现代优化方法现代优化方法 (4).pdf
《现代优化方法现代优化方法 (4).pdf》由会员分享,可在线阅读,更多相关《现代优化方法现代优化方法 (4).pdf(13页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、9.6 Augmented Lagrangian Method forSVMQingna Li(BIT)9.6 Augmented Lagrangian Method for SVM1/13IntroductionAugmented Lagrangian Method for L1-loss SVCNumerical ResultsConclusionsQingna Li(BIT)9.6 Augmented Lagrangian Method for SVM2/13SVC and SVR(a)support vector classification(b)support vector regr
2、essionQingna Li(BIT)9.6 Augmented Lagrangian Method for SVM3/13L1-Loss SVCRecallminIRn,bIR122+Cli=1max(1 yi(Txi+b),0).By setting xTi xTi,1,T T,bThe L1-Loss SVC without bias term isminRn122+Cmi=1max(1 yi(Txi),0).(1.1)It can be written asminwRn12w2+Cmax(0,Bw+d)1(1.2)Qingna Li(BIT)9.6 Augmented Lagrang
3、ian Method for SVM4/13Augmented Lagrangian Method(ALM)By introducing s Rm,there isminwRn,sRm12w2+p(s)s.t.s=Bw+d,(1.3)where p(s)=Cmax(0,s)1.The augmented Lagrangian function isL(w,s;)=12w2+p(s),s Bw d+2s Bw d2,(1.4)Qingna Li(BIT)9.6 Augmented Lagrangian Method for SVM5/13Augmented Lagrangian Method(A
4、LM)Solve(wk+1,sk+1)=argminw,sLk(w,s;k).(1.5)k+1=k k(sk+1 Bwk+1 d),and k+1 k.Qingna Li(BIT)9.6 Augmented Lagrangian Method for SVM6/13Key Points:(Q1)How to solve the subproblem?(wk+1,sk+1)=argminw,sLk(w,s;k).(Q2)Global convergence and local convergence ratefor ALM?Qingna Li(BIT)9.6 Augmented Lagrangi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 现代优化方法现代优化方法 4 现代 优化 方法
限制150内