Bootstrap及jackknife刀切法中文课件.ppt
《Bootstrap及jackknife刀切法中文课件.ppt》由会员分享,可在线阅读,更多相关《Bootstrap及jackknife刀切法中文课件.ppt(56页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、上节课内容总结n统计推断基本概念n统计模型:参数模型与非参数模型n统计推断/模型估计:点估计、区间估计、假设检验n估计的评价:无偏性、一致性、有效性、MSEn偏差、方差、区间估计nCDF估计:n点估计、偏差、方差及区间估计n统计函数估计n点估计n区间估计/标准误差n影响函数nBootstrapnBootstrap也可用于偏差、置信区间和分布估计等计算1本节课内容n重采样技术(resampling)nBootstrapn刀切法(jackknife)2引言n 是一个统计量,或者是数据的某个函数,数据来自某个未知的分布F,我们想知道 的某些性质(如偏差、方差和置信区间)n假设我们想知道 的方差n如果
2、 的形式比较简单,可以直接用上节课学习的嵌入式估计量 作为 的估计n例:,则n ,其中 n ,其中n问题:若 的形式很复杂(任意统计量),如何计算/估计?3Bootstrap简介nBootstrap是一个很通用的工具,用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出,用于计算任意估计的标准误差n术语“Bootstrap”来自短语“to pull oneself up by ones bootstraps”(源自西方神话故事“The Adventures of Baron Munchausen”,男爵掉到了深湖底,没有工具,所以他想到了拎着鞋带将自己提起来)n计算机
3、的引导程序boot也来源于此n意义:不靠外界力量,而靠自身提升自己的性能,翻译为自助/自举n1980年代很流行,因为计算机被引入统计实践中来4Bootstrap简介nBootstrap:利用计算机手段进行重采样n一种基于数据的模拟(simulation)方法,用于统计推断。基本思想是:利用样本数据计算统计量和估计样本分布,而不对模型做任何假设(非参数bootstrap)n无需标准误差的理论计算,因此不关心估计的数学形式有多复杂nBootstrap有两种形式:非参数bootstrap和参数化的bootstrap,但基本思想都是模拟5重采样n通过从原始数据 进行n次有放回采样n个数据,得到boot
4、strap样本n对原始数据进行有放回的随机采样,抽取的样本数目同原始样本数目一样n如:若原始样本为n则bootstrap样本可能为6计算bootstrap样本n重复B次,n1.随机选择整数 ,每个整数的取值范围为1,n,选择每个1,n之间的整数的概率相等,均为n2.计算bootstrap样本为:nWeb上有matlab代码:nBOOTSTRAP MATLAB TOOLBOX,by Abdelhak M.Zoubir and D.Robert Iskander,nhttp:/www.csp.curtin.edu.au/downloads/bootstrap_ toolbox.htmlnMatla
5、b函数:bootstrp7Bootstrap样本n在一次bootstrap采样中,某些原始样本可能没被采到,另外一些样本可能被采样多次n在一个bootstrap样本集中不包含某个原始样本 的概率为n一个bootstrap样本集包含了大约原始样本集的1-0.368=0.632,另外0.368的样本没有包括8模拟n假设我们从 的分布 中抽取IID样本 ,当 时,根据大数定律,n也就是说,如果我们从 中抽取大量样本,我们可以用样本均值 来近似n当样本数目B足够大时,样本均值 与期望 之间的差别可以忽略不计9模拟n更一般地,对任意均值有限的函数h,当 有n则当 时,有n用模拟样本的方差来近似方差10模
6、拟n怎样得到 的分布?n已知的只有X,但是我们可以讨论X的分布Fn如果我们可以从分布F中得到样本 ,我们可以计算n怎样得到F?用 代替(嵌入式估计量)n怎样从 中采样?n因为 对每个数据点 的质量都为1/n n所以从 中抽取一个样本等价于从原始数据随机抽取一个样本n也就是说:为了模拟 ,可以通过有放回地随机抽取n个样本(bootstrap 样本)来实现11Bootstrap:一个重采样过程n重采样:n通过从原始数据 进行有放回采样n个数据,得到bootstrap样本n模拟:n为了估计我们感兴趣的统计量 的方差/中值/均值,我们用 bootstrap样本对应的统计量(bootstrap复制)近似
7、,其中12例:中值X=(3.12,0,1.57,19.67,0.22,2.20)Mean=4.46X1=(1.57,0.22,19.67,0,0,2.2,3.12)Mean=4.13X2=(0,2.20,2.20,2.20,19.67,1.57)Mean=4.64X3=(0.22,3.12,1.57,3.12,2.20,0.22)Mean=1.7413Bootstrap方差估计n方差:n其中n注意:F为数据X的分布,G为统计量T的分布n通过两步实现:n第一步:用 估计 n插入估计,积分符号变成求和n第二步:通过从 中采样来近似计算nBootstrap采样+大数定律近似14Bootstrap:方
8、差估计nBootstrap的步骤:n1.画出n2.计算n3.重复步骤1和2共B次,得到n4.(大数定律)(计算boostrap样本)(计算boostrap复制)15例:混合高斯模型:n假设真实分布为n现有n=100个观测样本:直接用嵌入式估计结果:16例:混合高斯模型(续)n用Bootstrap计算统计量 的方差:n1.得到B=1000个bootstrap样本 ,其中n2.计算B=1000个bootstrap样本对应的统计量的值n 3.与直接用嵌入式估计得到的结果比较:17Bootstrap:方差估计n真实世界:nBootstrap世界:n发生了两个近似n近似的程度与原始样本数目n及boots
9、trap样本的数目B有关18Bootstrap:方差估计n在方差估计中,可为任意统计函数n如均值(混合高斯模型的例子)n中值(伪代码参见教材)n偏度(例子参见教材)n极大值(见后续例子)nn除了用来计算方差外,还可以用作其他应用nCDF近似、偏差估计、置信区间估计19CDF近似n令 为 的CDFn则 的bootstrap估计为20偏差估计n偏差的bootstrap估计定义为:nBootstrap偏差估计的步骤为:n得到B个独立bootstrap样本n计算每个bootstrap样本 对应的统计量的值n计算bootstrap期望:n计算bootstrap偏差:21例:混合高斯模型:n标准误差估计n
10、在标准误差估计中,B为50到200之间结果比较稳定n偏差估计B B1010202050501001005005001000100010000100000.13860.13860.21880.21880.22450.22450.21420.21420.22480.22480.22120.22120.21870.2187B B1010202050501001005005001000100010000100005.05875.05874.95514.95515.02445.02444.98834.98834.99454.99455.00355.00354.99964.99960.06170.0617
11、-0.0417-0.04170.02740.0274-0.0087-0.0087-0.0025-0.00250.00640.00640.00250.002522Bootstrap置信区间n正态区间:n简单,但该估计不是很准确,除非 接近正态分布n 百分位区间:,对应 的样本分位数n还有其他一些计算置信区间的方法n如枢轴置信区间:23例:Bootstrap置信区间n例8.6:Bootstrap方法的发明者Bradley Efron给出了下列用语解释Bootstrap方法的例子。这些数据是LAST分数(法学院的入学分数)和GPA。计算相关系数及其标准误差。LSAT(Y)57663555857866
12、6580555661651605653575545572594GPA(Z)3.393.302.813.033.443.073.003.433.363.133.122.742.762.882.9624例8.6(续)n相关系数的定义为:n相关系数的嵌入式估计量为:nBootstrap得到的相关系数插入估计的标准误差为:标准误差趋向稳定于B252550100200400800160032000.1400.1400.1420.1420.1510.1510.1430.1430.1410.1370.1330.13225例8.6(续)n当B=1000时,n 的直方图为下图,可近似为从 的分布采样n95%的正
13、态区间为:n95%的百分点区间为:n当大样本情况下,这两个区间趋近于相同26非参数bootstrap过程总结n对原始样本数据 进行重采样,得到B个bootstrap样本 ,其中b=1,Bn 对每个bootstrap样本 ,计算其对应的统计量的值(bootstrap复制)n根据bootstrap复制 ,计算其方差、偏差和置信区间等n称为非参数bootstrap方法,因为没有对F的先验(即F的知识仅从样本数据中获得)27非参数bootstrapn统计量/统计函数:n没有对F的先验,F的知识仅从样本数据中获得(CDF估计),统计函数的估计变为嵌入式估计n真实世界:nBootstrap世界:n如方差计
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Bootstrap jackknife 刀切法 中文 课件
限制150内