Chp9 Chp9参数推断参数推断.pdf
《Chp9 Chp9参数推断参数推断.pdf》由会员分享,可在线阅读,更多相关《Chp9 Chp9参数推断参数推断.pdf(23页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Chp9Chp9:参数推断:参数推断?主要内容主要内容?参数推断的基本概念参数推断的基本概念?参数推断的方法参数推断的方法?矩方法矩方法?极大似然估计(极大似然估计(Maximum Likelihood Estimator,Maximum Likelihood Estimator,MLEMLE)?MLEMLE的性质的性质参数推断参数推断假设已知模型的函数形式假设已知模型的函数形式其中其中为参数空间为参数空间目标:目标:估计参数估计参数,();:f x =FkR()1,.,k=例子例子?一些流行的参数模型的例子:一些流行的参数模型的例子:?线性判别分别(线性判别分别(LDALDA)(分类分类)?
2、混合高斯模型混合高斯模型(密度估计密度估计)?高斯噪声模型高斯噪声模型(回归回归)参数估计参数估计?假设有一类模型函数假设有一类模型函数,如所有的高斯函数的集合,其参,如所有的高斯函数的集合,其参数数参数空间参数空间为为。?通常我们只对一些函数通常我们只对一些函数感兴趣,如均值或均值的函感兴趣,如均值或均值的函数。因此数。因此 为为感兴趣参数感兴趣参数(parameter of interest)(parameter of interest),为为冗余冗余参参量量(nuisance parameter)(nuisance parameter)。?有多种方法可用来估计模型的参数有多种方法可用来估
3、计模型的参数?矩估计法矩估计法?极大似然估计极大似然估计:更流行:更流行?贝叶斯方法贝叶斯方法F(),:,0=R()T 矩方法矩方法?矩方法得到的估计虽然不是最优的,但是很容易计算矩方法得到的估计虽然不是最优的,但是很容易计算?当其他方法不可用时,可用矩方法当其他方法不可用时,可用矩方法?可用作很多迭代算法的初始值可用作很多迭代算法的初始值?基本思想:矩匹配基本思想:矩匹配?对真正的矩和样本矩进行匹配对真正的矩和样本矩进行匹配矩方法矩方法?j j阶矩:阶矩:?j j阶样本矩:阶样本矩:?矩方法:取前矩方法:取前k k阶矩阶矩()()11,.,;,.,nkXXf x=真正的矩样本矩()()();
4、jjjjXx f xdx=E11njjiiXn=()()()1122 nnknk=?例:例:BernoulliBernoulli分布分布令令,一阶矩一阶矩一阶样本矩一阶样本矩所以我们得到估计所以我们得到估计()1,.,nXXBernoulli p111niniXXn=()1pXp=E11nninipXXn=例:高斯分布例:高斯分布令令,参数为,参数为,一阶矩一阶矩一阶样本矩一阶样本矩二阶矩二阶矩二阶样本矩二阶样本矩所以所以()21,.,nXXN (),=111niniXXn=()1X=E()2222X=+E()2211niiXn=()()122222111 11nninnninnninnnii
5、iXXXnXXXnn=+=极大似然估计(极大似然估计(MLEMLE)?极大似然估计极大似然估计?似然函数似然函数?对似然函数求最大值对似然函数求最大值?极大似然估计的性质极大似然估计的性质似然函数似然函数?令令为为IIDIID,其,其PDFPDF为为,似然函数似然函数定定义为义为?有时也记为有时也记为或或,表示似然函数为在给,表示似然函数为在给定定x x的情况下,参数的情况下,参数的函数的函数。?似然函数在数值上是数据的联合密度,但它是参似然函数在数值上是数据的联合密度,但它是参数数的函数,的函数,。因此似然函数通常。因此似然函数通常不满足密度函数的性质,如它对不满足密度函数的性质,如它对的积
6、分的积分不不必为必为1 1。();nxL()|nxL1,.,nXX();f x()()1;nniif X=L):0,nL似然的解释似然的解释?若若X X是离散的,则是离散的,则。如果我们比较。如果我们比较两个参数两个参数1 1和和2 2的似然值,如果的似然值,如果则观测到的样本更可能发生在则观测到的样本更可能发生在=1 1下,也就是说,相下,也就是说,相比比2 2,1 1是一个更可信的猜测。是一个更可信的猜测。?对连续的对连续的X X,?但通常我们并不将似然解释为参数但通常我们并不将似然解释为参数的概率的概率()();nxXx=PL()()12PXxPXx=()()()()1212;nnxXx
7、xxXxx+PPLL极大似然估计极大似然估计?极大似然估计极大似然估计(MLEMLE)是使得是使得最大的最大的,即,即?loglog似然函数似然函数定义为:定义为:,它和似然函,它和似然函数在相同的位置取极大值。数在相同的位置取极大值。?同样,相差常数倍也不影响似然函数取极大值的同样,相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。位置。因此似然函数中的常数项也可以抛弃。()()lognl=L()argmaxnn=L()nLn?例:例:BernoulliBernoulli分布分布令令,则概率函数则概率函数似然函数为似然函数为其中其中所以所以解方程解方程()1,.,n
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Chp9 Chp9参数推断参数推断 参数 推断
限制150内