模式识别与机器学习第一章.ppt
《模式识别与机器学习第一章.ppt》由会员分享,可在线阅读,更多相关《模式识别与机器学习第一章.ppt(63页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、模式识别与机器学习黄庆明,兰艳艳,郭嘉丰,山世光中国科学院大学计算机学院/中科院计算所,,教师助教:李国荣()李亮()学生助教:黄俊()杨士杰()引言课程对象计算机应用技术专业硕士研究生的专业核心课计算机科学与技术、电子科学与技术、自动化技术等学科硕士研究生的专业普及课相关的学科统计学概率论与数理统计线性代数(矩阵计算)形式语言多元统计学习最优化方法图像处理计算机视觉人工智能数据挖掘控制论教学方法着重讲述模式识别与机器学习的基本概念,基本理论和方法、关键算法原理以及典型应用情况。注重理论与实践紧密结合实例教学:通过实例讲述如何将所学知识运用到实际应用之中尽量避免引用过多的、繁琐的数学推导。教学
2、目标掌握模式识别与机器学习的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别与机器学习的理论和方法打下基础题外话基本:完成课程学习(作业),通过考试,获得学分。提高:能够将所学知识和内容用于课题研究,解决实际问题,完成毕业论文。飞跃:通过这门课程的学习,改进思维方式,为将来的工作打好基础,终身受益。参考文献R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000(中译本:李宏东等译,模式分类,机械工业出版社,2004)J.P.MarquesdeSa,PatternRecognitionConcepts,Me
3、thodsandApplications,Springer,NewYork,USA,2002.ChristopherM.Bishop(2006),PatternRecognitionandMachineLearning,Springer.TrevorHastie,RobertTibshirani,andJeromeFriedman(2001),TheElementsofStatisticalLearning,Springer.李航,统计学习基础,清华大学出版社,北京,2012。张学工,模式识别(第三版),清华大学出版社,2010。边肇祺,模式识别(第二版),清华大学出版社,2000。蔡元龙,模
4、式识别,西北电讯工程学院出版社,1986。机构、会议、刊物1973年IEEE发起了第一次关于模式识别的国际会议“ICPR”(此后两年一次),成立了国际模式识别协会-“IAPR”1977年IEEE成立PAMI委员会,创立IEEETrans.onPAMI,并支持ICCV、CVPR两个会议1980年,CMU召开第一届机器学习国际研讨会,之后逐渐发展成为国际机器学习学会(IMLS)举办的机器学习国际会议ICML1986年,国际期刊MachineLearning创刊其它刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysi
5、sandApplication(PAA)JournalofMachineLearningResearch(JMLR)第一章概论什么是模式(Pattern)?什么是模式?广义地说,存在于时间和空间中可观察的物体,如果我们可以区别它们是否相同或是否相似,都可以称之为模式。模式所指的不是事物本身,而是从事物获得的信息,因此,模式往往表现为具有时间和空间分布的信息。模式的直观特性:可观察性可区分性相似性模式识别的概念模式识别直观,无所不在,“人以类聚,物以群分”周围物体的认知:桌子、椅子人的识别:张三、李四声音的辨别:汽车、火车,狗叫、人语气味的分辨:炸带鱼、红烧肉人和动物的模式识别能力是极其平常的,
6、但对计算机来说却是非常困难的。模式识别与机器学习的研究目的:利用计算机对物理对象进行分类,在错误概率最小的条件下,使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法机器学习利用大量的训练数据可以获得更好的预测结果。机器学习的概念机器学习:研究如何构造理论、算法和计算机系统,让机器通过从数据中学习后可以进行如下工作:分类和识别事物、推理决策、预测未来等。Wiki:“Thedesignanddevelopmentofalgorithmsthattakeasinputempiricaldataandyieldpatternsorpredic
7、tionsthatgeneratedthedata.”模式识别简史1929年G.Tauschek发明阅读机,能够阅读0-9的数字。30年代Fisher提出统计分类理论,奠定了统计模式识别的基础。50年代NoamChemsky提出形式语言理论傅京荪提出句法结构模式识别。60年代L.A.Zadeh提出了模糊集理论,模糊模式识别方法得以发展和应用。80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活,并在模式识别得到较广泛的应用。90年小样本学习理论,支持向量机也受到了很大的重视。模式识别简史21世纪以来,模式识别研究呈现一些新特点贝叶斯学习理论越来越多地用来解决具体的模式
8、识别和模型选择问题,产生了良好的分类性能。传统的问题,如概率密度估计、特征选择、聚类等不断受到新的关注,新的方法或改进/混合的方法不断提出。模式识别和机器学习相互渗透,特征提取和选择、分类、聚类、半监督学习、深度学习等问题日益成为二者共同关注的热点。模式识别系统开始越来越多地用于现实生活,如车牌识别、手写字符识别、生物特征识别等。机器学习简史机器学习的发展与模式识别密切相关。第一阶段是在50年代中叶到60年代中叶,属于热烈时期。研究的是以40年代兴起的神经网络模型为理论基础的“没有知识”的学习。模式识别发展的同时形成了机器学习的两种重要方法:判别函数法和进化学习第二阶段是在60年代中叶至70年
9、代中叶,被称为机器学习的冷静时期。研究的目标是模拟人类的概念学习阶段,并采用逻辑结构或图结构作为机器内部描述。神经网络学习机因理论缺陷转入低潮。第三阶段是从70年代中叶至80年代中叶,称为复兴时期。从学习单个概念扩展到学习多个概念,探索不同的学习策略和方法(如模式方法推断)。机器学习简史机器学习的最新阶段始于1986年。机器学习有了更强的研究手段和环境,出现了符号学习、神经网络学习、进化学习和强化学习等。机器学习已成为新的边缘学科并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。结合各种学习方法,取长补短的多种形式的集成学习系统研究正在
10、兴起。各种学习方法(归纳学习、连接学习、强化学习)的应用范围不断扩大,一部分已形成产品。神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。应用(举例)生物学自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析应用(举例)工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统模式识别方法模式识别系统的目标:在特征空间和解释空间之间找到一种映射关系,这种映射也称之为假说。特征空间:从模式得到的
11、对分类有用的度量、属性或基元构成的空间。解释空间:将c个类别表示为其中为所属类别的集合,称为解释空间。机器学习的目标:针对某类任务T,用P衡量性能,根据经验来学习和自我完善,提高性能。环境学习知识库执行与评价假说的两种获得方法监督学习、概念驱动或归纳假说:在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案,任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。依靠已知所属类别的训练样本集,按它们特征向量的分布来确定假说(通常为一个判别函数),在判别函数确定之后能用它对未知的模式进行分类;对分类的模式要有足够的先验知识,通常需要采集足够数量的具有典型性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 机器 学习 第一章
限制150内