admin管理员组

文章数量:1535353

2024年5月2日发(作者:)

KDD Knowledge Discovery in Databases

百科名片

知识发现

知识发现(KDD:Knowledge Discovery in Databases)是从数据集中别出有效的、

新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。知识发现将信息变为知识,

从数据矿山中找到蕴藏的知识金块,将为知识创新和知识经济的发展作出贡献。该术语于

1989年出现,Fayyad定义为"KDD"是从数据集中识别出有效的、新颖的、潜在有用的,

以及最终可理解的模式的非平凡过程”。

目录

详细解释

基本过程(the process of the KDD)

2.常用KDD过程模型 (KDD process model)

编辑本段详细解释

数据库知识发现(knowledge discovery in databases,KDD)的研究非常活跃。

在上面的定义中,涉及几个需要进一步解释的概念:“数据集”、“模式”、“过程”、

“有效性”、“新颖性”、“潜在有用性”和“最终可理解性”。数据集是一组事实 F

(如关系数据库中的记录)。模式是一个用语言L来表示的一个表达式E,它可用来描述

数据集F的某个子集凡上作为一个模式要求它比对数据子集FE的枚举要简单(所用的描

述信息量要少)。过程在KDD中通常指多阶段的处理,涉及数据准备、模式搜索、知识评

价以及反复的修改求精;该过程要求是非平凡的,意思是要有一定程度的智能性、自动性

(仅仅给出所有数据的总和不能算作是一个发现过程)。有效性是指发现的模式对于新的

数据仍保持有一定的可信度。新颖性要求发现的模式应该是新的。潜在有用性是指发现的

知识将来有实际效用,如用于决策支持系统里可提高经济效益。最终可理解性要求发现的

模式能被用户理解,目前它主要是体现在简洁性上。有效性、新颖性、潜在有用性和最终

可理解性综合在一起称为兴趣性。

由于知识发现是一门受到来自各种不同领域的研究者关注的交叉性学科,因此导致了

很多不同的术语名称。除了 KDD外,主要还有如下若干种称法:“数据挖掘”(data

mining),“知识抽取”(information extraction)、“信息发现”(in1ormation

discovery)、“智能数据分析”(intelligent data analysis)、“探索式数据分析”

(exploratory data analysis)、“信息收获”(Information harvesting)和“数据考

古”(data archedogy)等等。其中,最常用的术语是“知识发现”和“数据挖掘”。

相对来讲,数据挖掘主要流行于统计界(最早出现于统计文献中)、数据分析、数据库和

管理信息系统界;而知识发现则主要流行于人工智能和机器学习界。

编辑本段基本过程(the process of the KDD)

作为一个KDD的工程而言,KDD通常包含一系列复杂的挖掘步骤. Fayyad,Piatetsky-

Shapiro 和 Smyth 在 1996年合作发布的论文

discovery>中总结出了KDD包含的5个最基本步骤(如图).

1: selection: 在第一个步骤中我们往往要先知道什么样的数据可以应用于我们的

KDD工程中.

2: pre-processing: 当采集到数据后,下一步必须要做的事情是对数据进行预处理,尽

量消除数据中存在

的错误以及缺失信息.

3: transformation: 转换数据为数据挖掘工具所需的格式.这一步可以使得结果更加理

想化.

4: data mining: 应用数据挖掘工具.

5:interpretation/ evaluation: 了解以及评估数据挖掘结果.

KDD基本过程

编辑本段2.常用KDD过程模型 (KDD process model)

随着Fayyad,Piatetsky-Shapiro 和 Smyth 在 1996年总结出的KDD5个基本步骤,

各种不同的KDD过程模型

在此基础上发展以及完善起来.整体来说,KDD过程模型包含"学术模型"(academic

research model)以及"

工业模型"(industrial model)两大类. 常见的KDD过程模型有:

1996 年Fayyad等人提出的 "9 步骤模型"(nine-steps model).

1999 年 european commission 机构起草的CRISP-DM 模型. (cross-industry

standard process for

data mining)

扩展阅读:

1

Fayyad U and Stolorz P (1997) Data mining and KDD: Promise and challenges,

Future Generation Computer Systems, Vol.13 (3), pp 99-115

2

Fayyad U Piatetsky-Shapiro G and Smyth P (1996) From Data Mining to knowl

edge discovery, advantage in knowledge discovery, pp 1-34

开放分类:

数据库,互联网,技术,人工智能,数据挖掘

本文标签: 数据发现知识模式过程