产生式判别式精.ppt

产生式判别式第1页，本讲稿共22页内容提要内容提要v摘要摘要v简介简介v产生式模型（产生式模型（Generative Model）v判别式模型（判别式模型（Discriminative Model）v两者之间的关系两者之间的关系 v实验分析实验分析第2页，本讲稿共22页摘要摘要v产生式模型：无穷样本产生式模型：无穷样本=概率密度模型概率密度模型 =产生模型产生模型=预测预测v判别式模型：有限样本判别式模型：有限样本=判别函数判别函数 =预测预测模型模型=预测预测 第3页，本讲稿共22页简介简介v简单的说，假设简单的说，假设o o是观察值，是观察值，q q是模型。是模型。如果对如果对P(o|q)P(o|q)建模，就是建模，就是GenerativeGenerative模型。模型。v其基本思想是首先建立样本的概率密度模型，其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无再利用模型进行推理预测。要求已知样本无穷或尽可能的大。穷或尽可能的大。这种方法一般建立在这种方法一般建立在bayesbayes理论的基础之上。理论的基础之上。第4页，本讲稿共22页简介简介v如果对条件概率如果对条件概率 P(q|o)P(q|o)建模，就是建模，就是DiscrminativeDiscrminative模型。基本思想是有限样本条模型。基本思想是有限样本条件下建立判别函数，不考虑样本的产生模型，件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。代表性理论为统计学习直接研究预测模型。代表性理论为统计学习理论。理论。v这两种方法目前交叉较多。这两种方法目前交叉较多。第5页，本讲稿共22页产生式模型产生式模型v估计的是估计的是联合概率分布联合概率分布（joint probability joint probability distributiondistribution），），p(class,p(class,context)=p(class|context)*p(context)context)=p(class|context)*p(context)。p(context|class)*p(class)p(context|class)*p(class)v用于随机生成的观察值建模，特别是在给定某些隐藏参数用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下。情况下。v在机器学习中，用于直接对数据建模在机器学习中，用于直接对数据建模,或作为生成条件概或作为生成条件概率密度函数的中间步骤。通过使用贝叶斯规则可以从生成率密度函数的中间步骤。通过使用贝叶斯规则可以从生成模型中得到条件分布。模型中得到条件分布。第6页，本讲稿共22页产生式模型产生式模型v特点：特点：主要是对后验概率建模，从统计的角度表示数据的分主要是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。布情况，能够反映同类数据本身的相似度。v优点优点:由于产生式方法可以在联合分布空间插入变量、不变量、独由于产生式方法可以在联合分布空间插入变量、不变量、独立性、先验分布等关系的知识。因此，在联合分布空间，通立性、先验分布等关系的知识。因此，在联合分布空间，通用性（或称多面性）是其本质。这包括了系统中的未知的、用性（或称多面性）是其本质。这包括了系统中的未知的、观察到的、输入或输出变量，这就使得产生式概率分布成为观察到的、输入或输出变量，这就使得产生式概率分布成为一个非常灵活的建模工具。一个非常灵活的建模工具。第7页，本讲稿共22页产生式模型产生式模型v缺点缺点v产生式分类器需产生的所有变量的联合概率产生式分类器需产生的所有变量的联合概率 分布仅仅是分类任务的中间目标，对该中间分布仅仅是分类任务的中间目标，对该中间目标优化的过程，牺牲了最终分类判别任务目标优化的过程，牺牲了最终分类判别任务上的资源和性能，影响了最终的分类性能上的资源和性能，影响了最终的分类性能。第8页，本讲稿共22页产生式模型产生式模型v常用方法常用方法 Gaussians,Naive Bayes,Mixtures of multinomialsMixtures of Gaussians,HMMsBayesian networksMarkov random fields 第9页，本讲稿共22页判别式模型判别式模型v又可以称为条件模型，或条件概率模型。估计的是又可以称为条件模型，或条件概率模型。估计的是条件条件概率分布概率分布(conditional distribution)(conditional distribution)v判别式方法并不对系统中变量和特征的基本分布建模，仅判别式方法并不对系统中变量和特征的基本分布建模，仅仅对输入到输出之间映射的最优化感兴趣。因此，仅需调仅对输入到输出之间映射的最优化感兴趣。因此，仅需调整由此产生的分类边界，没有形成可对系统中变量建模的整由此产生的分类边界，没有形成可对系统中变量建模的生成器的中间目标，可以得到准确率更高的分类器。生成器的中间目标，可以得到准确率更高的分类器。第10页，本讲稿共22页判别式模型判别式模型v主要特点：主要特点：寻找不同类别之间的最优分类面，反映的是异类数据之寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。间的差异。v优点优点:相比纯概率方法或产生式模型，分类边界更灵活；相比纯概率方法或产生式模型，分类边界更灵活；能清晰的分辨出多类或某一类与其他类之间的差异特征，适能清晰的分辨出多类或某一类与其他类之间的差异特征，适用于较多类别的识别用于较多类别的识别判别模型的性能比产生模型要简单，比较容易学习判别模型的性能比产生模型要简单，比较容易学习第11页，本讲稿共22页判别式模型判别式模型v缺点：缺点：v不能反映训练数据本身的特性。可以告诉你的是不能反映训练数据本身的特性。可以告诉你的是1 1还是还是2 2，但没有办法把整个场景描述出来；但没有办法把整个场景描述出来；v判别式方法在训练时需要考虑所有的数据元组，当数据判别式方法在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高；量很大时，该方法的效率并不高；v缺乏灵活的建模工具和插入先验知识的方法。因此，缺乏灵活的建模工具和插入先验知识的方法。因此，判别式技术就像一个黑匣子，变量之间的关系不像在判别式技术就像一个黑匣子，变量之间的关系不像在产生式模型中那样清晰可见。产生式模型中那样清晰可见。第12页，本讲稿共22页判别式模型判别式模型v常见的主要有：常见的主要有：logistic regressionlogistic regressionSVMsSVMsneural networksneural networksNearest neighborNearest neighborConditional random fields(CRF):Conditional random fields(CRF):目前最目前最新提出的热门模型，从新提出的热门模型，从NLPNLP领域产生的，正在领域产生的，正在向向ASRASR和和CVCV上发展。上发展。第13页，本讲稿共22页判别式模型判别式模型v主要应用：主要应用：Image and document classificationImage and document classificationBiosequence analysisBiosequence analysisTime series prediction Time series prediction 第14页，本讲稿共22页两者之间的关系两者之间的关系v由生成模型可以得到判别模型，但由判别模由生成模型可以得到判别模型，但由判别模型得不到生成模型。型得不到生成模型。v例如当样本的各属性之间相互独立的并且满例如当样本的各属性之间相互独立的并且满足高斯概率密度分布时，可以由足高斯概率密度分布时，可以由NaNave Bayesve Bayes分类算法得到分类算法得到Logistic RegressionLogistic Regression分类算法分类算法第15页，本讲稿共22页实验分析实验分析v实验内容实验内容v 对于对于UCIUCI的的Adult Adult 数据集、数据集、Breast CancerBreast Cancer数数据集、据集、IonosphereIonosphere数据集以及数据集以及Optical Optical Recognition of Hand Written Digits Recognition of Hand Written Digits 数据数据集，分别用集，分别用NaNave Bayesve Bayes算法与算法与Logistic Logistic RegressionRegression算法对其进行分类，并对这两种算法对其进行分类，并对这两种算法进行比较分析。算法进行比较分析。第16页，本讲稿共22页实验分析实验分析v实验结果实验结果图图1 breast cancer 数据集上数据集上NB与与LR分类结果比较分类结果比较 第17页，本讲稿共22页实验分析v实验结果图图2 ionosphere 2 ionosphere 数据集上数据集上NBNB与与LRLR分类结果比较分类结果比较 第18页，本讲稿共22页实验分析v实验结果实验结果图图3 adult 数据集上数据集上NB与与LR分类结果比较分类结果比较 第19页，本讲稿共22页实验分析v实验结果图图4 lymphography 数据集上数据集上NB与与LR分类结果比较分类结果比较 第20页，本讲稿共22页实验分析v结果分析结果分析v从实验结果可见，在从实验结果可见，在breast_cancer和和lymphography数据集上数据集上NaiveBayes分类器的分类效果明显优于分类器的分类效果明显优于Logistic Regression分类器分类器v在四个数据集中，在四个数据集中，adult数据集的数据量最大，因此在这个数据集的数据量最大，因此在这个数据集上可以看出数据集上可以看出Logistic Regression分类器的训练时分类器的训练时间明显大于间明显大于NaiveBayes分类器。分类器。第21页，本讲稿共22页实验分析v结果分析结果分析v对于对于adultadult和和ionosphereionosphere数据集，图中显示数据集，图中显示NaiveBayesNaiveBayes分类器的分类正确率曲线与分类器的分类正确率曲线与Logistic RegressionLogistic Regression分类分类器的分类正确率曲线有交叉的现象。当训练数据较少的器的分类正确率曲线有交叉的现象。当训练数据较少的时候时候Logistic RegressionLogistic Regression分类器的效果比较差，随着分类器的效果比较差，随着训练数据的增加其对测试数据的分类正确率快速增加。而训练数据的增加其对测试数据的分类正确率快速增加。而NaiveBayesNaiveBayes分类器对于训练数据的多少并不敏感，分分类器对于训练数据的多少并不敏感，分类效果比较稳定。可见，在训练数据较少时应选择类效果比较稳定。可见，在训练数据较少时应选择NaiveBayesNaiveBayes分类器。分类器。第22页，本讲稿共22页