数据挖掘入门精品文稿.ppt
《数据挖掘入门精品文稿.ppt》由会员分享,可在线阅读,更多相关《数据挖掘入门精品文稿.ppt(91页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、数据挖掘入门数据挖掘入门第1页,本讲稿共91页2023/2/42一、引言一、引言n n什么激发了数据挖掘什么激发了数据挖掘 近年来,数据挖掘引起了信息产业界的极大关注,其主近年来,数据挖掘引起了信息产业界的极大关注,其主要原因是存在大量数据可以广泛使用,并且迫切需要将这些要原因是存在大量数据可以广泛使用,并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛数据转换成有用的信息和知识。获取的信息和知识可以广泛应用于各种领域,如商务管理、生产控制、市场分析、工程应用于各种领域,如商务管理、生产控制、市场分析、工程设计和科学探索等。设计和科学探索等。面对海量数据库和大量繁杂信息,如
2、何才能从中提取有面对海量数据库和大量繁杂信息,如何才能从中提取有价值的知识,进一步提高信息的利用率,由此引发了一个新价值的知识,进一步提高信息的利用率,由此引发了一个新的研究方向:基于数据库的知识发现(的研究方向:基于数据库的知识发现(Knowledge Discovery Knowledge Discovery in Databasein Database)及相应的数据挖掘()及相应的数据挖掘(Data MiningData Mining)理论和技术)理论和技术的研究。的研究。第2页,本讲稿共91页2023/2/43n n为什么数据挖掘是重要的 数据的丰富带来了对强有力的数据分析工具的需求。
3、快速增长的海量数据收集存放在大型和大量的数据库中,没有强有力的工具,这些数据就变成了“数据坟墓”难得再访问的数据档案。因此数据和信息之间的鸿沟要求系统地开发数据挖掘工具,将数据坟墓转换成知识“金块”。第3页,本讲稿共91页2023/2/442.1 KDD定义 人们给KDD下过很多定义,内涵也各不相同,目前公认的定义是由Fayyad等人提出的。所谓基于数据库的知识发现(KDD)是指从大量数据中提取有效的、新颖的、潜在有用的、最终可被理解的模式的非平凡过程。二、二、KDD与数据挖掘与数据挖掘第4页,本讲稿共91页2023/2/452.2 KDD过程 KDD是一个人机交互处理过程。该过程需要经历多个
4、步骤,并且很多决策需要由用户提供。从宏观上看,KDD过程主要经由三个部分组成,即数据整理、数据挖掘和结果的解释评估。第5页,本讲稿共91页2023/2/46知识发现(知识发现(KDD)的过程)的过程数据清理筛选数据清理筛选数据数据目标数据目标数据预处理预处理及变换及变换变换后的数据变换后的数据数据挖掘数据挖掘解释解释/评估评估第6页,本讲稿共91页2023/2/47知识发现(知识发现(KDD)的步骤)的步骤1.1.数据准备:了解数据准备:了解KDDKDD应用领域的有关情况。包括熟悉相应用领域的有关情况。包括熟悉相关的知识背景,搞清用户需求。关的知识背景,搞清用户需求。2.2.数据选取:数据选取
5、的目的是确定目标数据,根据用户数据选取:数据选取的目的是确定目标数据,根据用户的需要从原始数据库中选取相关数据或样本。在此过程的需要从原始数据库中选取相关数据或样本。在此过程中,将利用一些数据库操作对数据库进行相关处理。中,将利用一些数据库操作对数据库进行相关处理。3.3.数据预处理:对步骤数据预处理:对步骤2 2中选出的数据进行再处理,检查中选出的数据进行再处理,检查数据的完整性及一致性,消除噪声及与数据挖掘无关的数据的完整性及一致性,消除噪声及与数据挖掘无关的冗余数据,根据时间序列和已知的变化情况,利用统计冗余数据,根据时间序列和已知的变化情况,利用统计等方法填充丢失的数据。等方法填充丢失
6、的数据。第7页,本讲稿共91页2023/2/484.4.数据变换:根据知识发现的任务对经过预处理的数据再处理,主要是通过投影或利用数据库的其它操作减少数据量。5.5.确定KDD目标:根据用户的要求,确定KDD要发现的知识类型。6.6.选择算法:根据步骤5确定的任务,选择合适的知识发现算法,包括选取合适的模型和参数。第8页,本讲稿共91页2023/2/497.7.数据挖掘:这是整个数据挖掘:这是整个KDDKDD过程中很重要的一个步骤。运过程中很重要的一个步骤。运用前面的选择算法,从数据库中提取用户感兴趣的知识,用前面的选择算法,从数据库中提取用户感兴趣的知识,并以一定的方式表示出来。并以一定的方
7、式表示出来。8.8.模式解释:对在数据挖掘步骤中发现的模式(知识)模式解释:对在数据挖掘步骤中发现的模式(知识)进行解释。通过机器评估剔除冗余或无关模式,若进行解释。通过机器评估剔除冗余或无关模式,若模式不满足,再返回到前面某些处理步骤中反复提模式不满足,再返回到前面某些处理步骤中反复提取。取。9.9.知识评价:将发现的知识以用户能了解的方式呈知识评价:将发现的知识以用户能了解的方式呈现给用户。其中也包括对知识一致性的检查,以现给用户。其中也包括对知识一致性的检查,以确信本次发现的知识不会与以前发现的知识相抵确信本次发现的知识不会与以前发现的知识相抵触。触。第9页,本讲稿共91页2023/2/
8、410n n什么是数据挖掘1.1.数据挖掘(从数据中发现知识)数据挖掘(从数据中发现知识)从海量的数据中抽取感兴趣的(有价值的、隐含的、以前没有用但从海量的数据中抽取感兴趣的(有价值的、隐含的、以前没有用但是潜在有用信息的)模式和知识。是潜在有用信息的)模式和知识。2.2.其它可选择的名字其它可选择的名字 数据库中知识挖掘、知识提取、数据数据库中知识挖掘、知识提取、数据/模式分析、数据考模式分析、数据考古、数据捕捞、信息获取、事务智能等。古、数据捕捞、信息获取、事务智能等。3.3.广义观点广义观点 数据挖掘是从存放在数据库、数据仓库中或其它信息库中数据挖掘是从存放在数据库、数据仓库中或其它信息
9、库中的大量数据中挖掘有趣知识的过程。的大量数据中挖掘有趣知识的过程。第10页,本讲稿共91页2023/2/411n n数据挖掘系统的组成n n数据库、数据仓库或其他信息库:是一个或一组数数据库、数据仓库或其他信息库:是一个或一组数据库、数据仓库、电子表格或其他类型的信息库。据库、数据仓库、电子表格或其他类型的信息库。可以在数据上进行数据清理和集成。可以在数据上进行数据清理和集成。n n数据库或数据仓库服务器:根据用户的挖掘请求,数据库或数据仓库服务器:根据用户的挖掘请求,数据库或数据仓库服务器负责提取相关数据。数据库或数据仓库服务器负责提取相关数据。n n知识库:是领域知识,用于指导搜索,或评
10、估结果知识库:是领域知识,用于指导搜索,或评估结果模式的兴趣度。模式的兴趣度。第11页,本讲稿共91页2023/2/412数据挖掘引擎:数据挖掘系统的基本部分,由一组功数据挖掘引擎:数据挖掘系统的基本部分,由一组功能模块组成,用于特征化、关联、分类、聚类分析以能模块组成,用于特征化、关联、分类、聚类分析以及演变和偏差分析。及演变和偏差分析。模式评估模块:使用兴趣度量,并与数据挖掘模块交模式评估模块:使用兴趣度量,并与数据挖掘模块交互,以便将搜索聚焦在有趣的模式上,可能使用兴趣互,以便将搜索聚焦在有趣的模式上,可能使用兴趣度阈值过滤发现的模式。度阈值过滤发现的模式。图形用户界面:该模块在用户和数
11、据挖掘系统之图形用户界面:该模块在用户和数据挖掘系统之间通信,允许用户与系统交互,指定数据挖掘查间通信,允许用户与系统交互,指定数据挖掘查询或任务,提供信息,帮助搜索聚焦,根据数据询或任务,提供信息,帮助搜索聚焦,根据数据挖掘的中间结果进行探索式数据挖掘。挖掘的中间结果进行探索式数据挖掘。第12页,本讲稿共91页2023/2/413数据挖掘系统结构数据挖掘系统结构数据仓库数据仓库数据清理数据清理 数据集成数据集成过滤过滤数据库数据库数据库或数据仓库服务器数据挖掘引擎模式评估图形用户界面 知识库第13页,本讲稿共91页2023/2/4143.1 3.1 可以分别按挖掘可以分别按挖掘任务任务、挖掘
12、、挖掘对象对象和挖掘和挖掘方法方法来分类。来分类。1.1.按挖掘任务分类:包括分类或预测知识模型发现,按挖掘任务分类:包括分类或预测知识模型发现,数据总结,数据聚类,关联规则发现,时序模式数据总结,数据聚类,关联规则发现,时序模式发现,依赖关系或依赖模型发现,异常和趋势发发现,依赖关系或依赖模型发现,异常和趋势发现等。现等。2.2.按挖掘对象分类:包括关系数据库,面向对象数据库,按挖掘对象分类:包括关系数据库,面向对象数据库,空间数据库,时态数据库,文本数据库,多媒体数据空间数据库,时态数据库,文本数据库,多媒体数据库,异构数据库,数据仓库,演绎数据库和库,异构数据库,数据仓库,演绎数据库和W
13、ebWeb数据数据库等。库等。三、数据挖掘方法三、数据挖掘方法第14页,本讲稿共91页2023/2/4153.3.按挖掘方法分类:包括统计方法,机器学习方法,神经网络按挖掘方法分类:包括统计方法,机器学习方法,神经网络方法和数据库方法,其中:方法和数据库方法,其中:n n统计方法可分为:回归分析(多元回归、自回归等),判别分统计方法可分为:回归分析(多元回归、自回归等),判别分析(贝叶斯判别、费歇尔判别、非参数判别等),聚类分析析(贝叶斯判别、费歇尔判别、非参数判别等),聚类分析(系统聚类、动态聚类等),探索性分析(主成分分析、相关(系统聚类、动态聚类等),探索性分析(主成分分析、相关分析等)
14、等。分析等)等。n n 机器学习方法可分为:归纳学习方法(决策树、规则归纳等),基机器学习方法可分为:归纳学习方法(决策树、规则归纳等),基于范例学习,遗传算法等。于范例学习,遗传算法等。n n神经网络方法可以分为:前向神经网络(神经网络方法可以分为:前向神经网络(BPBP算法等),自算法等),自组织神经网络(自组织特征映射、竞争学习等)。组织神经网络(自组织特征映射、竞争学习等)。n n数据库方法分为:多为数据分析和数据库方法分为:多为数据分析和OLAPOLAP技术,此外还有技术,此外还有面向属性的归纳方法。面向属性的归纳方法。第15页,本讲稿共91页2023/2/416数据挖掘技术分类数据
15、挖掘技术分类数据挖掘数据挖掘数据挖掘数据挖掘验证驱动挖掘验证驱动挖掘验证驱动挖掘验证驱动挖掘发现驱动挖掘发现驱动挖掘发现驱动挖掘发现驱动挖掘SQLSQLSQLSQL生成器生成器生成器生成器查询工具查询工具查询工具查询工具OLAPOLAP描述描述描述描述预测预测预测预测可视化可视化可视化可视化聚类聚类聚类聚类关联规则关联规则关联规则关联规则顺序关联顺序关联顺序关联顺序关联汇总描述汇总描述汇总描述汇总描述分类分类分类分类统计回归统计回归统计回归统计回归时间序列时间序列时间序列时间序列决策树决策树决策树决策树神经网路神经网路神经网路神经网路第16页,本讲稿共91页2023/2/4173.2 3.2
16、数据挖掘方法1.1.粗糙集粗糙集 1982 1982年波兰数学家年波兰数学家Z.PawlakZ.Pawlak针对针对G.FregeG.Frege的边界的边界线区域思想提出了粗糙集(线区域思想提出了粗糙集(Rough SetRough Set),他把那些),他把那些无法确认的个体都归属于边界线区域,而这种边界无法确认的个体都归属于边界线区域,而这种边界线区域被定义为上近似集和下近似集之差集。线区域被定义为上近似集和下近似集之差集。粗糙集理论主要特点在于它恰好反映了人们用粗糙集理论主要特点在于它恰好反映了人们用粗糙集方法处理不分明问题的常规性,即以不完全粗糙集方法处理不分明问题的常规性,即以不完全
17、信息或知识去处理一些不分明现象的能力,或依据信息或知识去处理一些不分明现象的能力,或依据观察、度量到的某些不精确的结果而进行分类数据观察、度量到的某些不精确的结果而进行分类数据的能力。的能力。第17页,本讲稿共91页2023/2/4182.2.模糊集 经典集合理论对应二值逻辑,一个元素要么属于、要么不属于给定集合。因此经典集合不能很好地描述具有模糊性和不确定性的问题。美国加利福尼亚大学的扎德教授于1965年提出了模糊集合论,用隶属程度来描述差异的中间过渡,是一种用精确的数学语言对模糊性进行描述的方法。第18页,本讲稿共91页2023/2/419 定义:论域X=x上的模糊集合A由隶属函数A(x)
18、来表征。其中A(x)在实轴的闭区间0,1中取值,A(x)的大小反映x对于模糊集合A的隶属程度。A(x)的值接近1,表示x隶属于A的程度很高。A(x)的值接近0,表示x隶属于A的程度很低。特例,当A的值域取0,1闭区间的两个端点,亦即0,1两个值时,A便退化为一个普通的逻辑子集。隶属函数也就退化为普通逻辑值。第19页,本讲稿共91页2023/2/4203.3.聚类分析聚类分析 聚类是对物理的或抽象的对象集合分组的过程。聚类生聚类是对物理的或抽象的对象集合分组的过程。聚类生成的组为簇,簇是数据对象的集合。簇内部任意两个对象之成的组为簇,簇是数据对象的集合。簇内部任意两个对象之间具有较高的相似度,而
19、属于不同簇的两个对象间具有较高间具有较高的相似度,而属于不同簇的两个对象间具有较高的相异度。的相异度。相异度可以根据描述对象的属性值计算,对象间的距离是最相异度可以根据描述对象的属性值计算,对象间的距离是最常采用的度量指标。在实际应用中,经常将一个簇中的数据对常采用的度量指标。在实际应用中,经常将一个簇中的数据对象作为一个整体看待。用聚类生成的簇来表达数据集不可避免象作为一个整体看待。用聚类生成的簇来表达数据集不可避免地会损失一些信息,但却可以使问题得到必要的简化。地会损失一些信息,但却可以使问题得到必要的简化。主要的数据挖掘聚类方法有:划分的方法、层次的方法、基主要的数据挖掘聚类方法有:划分
20、的方法、层次的方法、基于密度的方法、基于网格的方法、基于模型的方法于密度的方法、基于网格的方法、基于模型的方法第20页,本讲稿共91页2023/2/4214.4.关联规则关联规则 关联规则反映一个事物与其它事物之间的相互依存性和关联性,关联规则反映一个事物与其它事物之间的相互依存性和关联性,如果两个事物或者多个事物之间存在一定的关联关系,那么其中一如果两个事物或者多个事物之间存在一定的关联关系,那么其中一个事物就能够通过其他事物预测到。个事物就能够通过其他事物预测到。人们希望在海量的商业交易记录中发现感兴趣的数据关联关人们希望在海量的商业交易记录中发现感兴趣的数据关联关系,用以帮助商家作出决策
21、。例如:系,用以帮助商家作出决策。例如:面包面包 2%2%牛奶牛奶 1.5%1.5%(占超市交易总数)(占超市交易总数)2%2%和和1.5%1.5%表明这两种商品在超市经营中的重要程度,称为支持表明这两种商品在超市经营中的重要程度,称为支持度。商家关注高支持度的产品。度。商家关注高支持度的产品。面包面包=牛奶牛奶 60%60%在购买面包的交易中,有在购买面包的交易中,有60%60%的交易既买了面包又买了牛奶,的交易既买了面包又买了牛奶,成成60%60%为规则为规则“面包面包=牛奶牛奶”的信任度。信任度反映了商品间的信任度。信任度反映了商品间的关联程度。的关联程度。第21页,本讲稿共91页202
22、3/2/422 项目构成的集合称为项集。项集在事物数据库中出现的次项目构成的集合称为项集。项集在事物数据库中出现的次数占总事物的百分比叫做项集的支持度。如果项集的支持度数占总事物的百分比叫做项集的支持度。如果项集的支持度超过用户给定的最小支持度阈值,就称该项集是频繁项集。超过用户给定的最小支持度阈值,就称该项集是频繁项集。关联规则就是支持度和信任度分别满足用户给定阈值的规则关联规则就是支持度和信任度分别满足用户给定阈值的规则。发现关联规则需要经历如下两个步骤:发现关联规则需要经历如下两个步骤:(1 1)找出所有的频繁项。)找出所有的频繁项。(2 2)由频繁项集生成满足最小信任度阈值的规则。)由
23、频繁项集生成满足最小信任度阈值的规则。第22页,本讲稿共91页2023/2/4235.5.人工神经网络人工神经网络 人工神经网络是指由简单计算单元组成的广泛并行互联人工神经网络是指由简单计算单元组成的广泛并行互联的网络,能够模拟生物神经系统的结构和功能。组成神经网的网络,能够模拟生物神经系统的结构和功能。组成神经网络的单个神经元的结构简单,功能有限,但是,由大量神经络的单个神经元的结构简单,功能有限,但是,由大量神经元构成的网络系统可以实现强大的功能。元构成的网络系统可以实现强大的功能。由于现实世界的数据关系相当复杂,非线性问题和噪声数由于现实世界的数据关系相当复杂,非线性问题和噪声数据普遍存
24、在。将人工神经网络应用于数据挖掘,希望借助其非据普遍存在。将人工神经网络应用于数据挖掘,希望借助其非线性处理能力和容噪能力,得到较好的数据挖掘结果。线性处理能力和容噪能力,得到较好的数据挖掘结果。将人工神经网络应用于数据挖掘的主要障碍是,通过人工神经将人工神经网络应用于数据挖掘的主要障碍是,通过人工神经网络学习到的知识难于理解;学习时间太长,不适于大型数据集。网络学习到的知识难于理解;学习时间太长,不适于大型数据集。第23页,本讲稿共91页2023/2/4246 6,分类与预测,分类与预测 分类和预测是两种重要的数据分析方法,在商业上的应用很分类和预测是两种重要的数据分析方法,在商业上的应用很
25、多。分类和预测可以用于提取描述重要数据类型或预测未来的多。分类和预测可以用于提取描述重要数据类型或预测未来的数据趋势。数据趋势。分类的目的是提出一个分类函数或分类模型(即分类分类的目的是提出一个分类函数或分类模型(即分类器)通过分类器将数据对象映射到某一个给定的类别中。器)通过分类器将数据对象映射到某一个给定的类别中。数据分类可以分为两步进行。第一步建立模型,用于描述数据分类可以分为两步进行。第一步建立模型,用于描述给定的数据集合。通过分析由属性描述的数据集合来建立给定的数据集合。通过分析由属性描述的数据集合来建立反映数据集合特性的模型。第二步是用模型对数据对象进反映数据集合特性的模型。第二步
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 挖掘 入门 精品 文稿
限制150内