第五章 随机神经网络.ppt
《第五章 随机神经网络.ppt》由会员分享,可在线阅读,更多相关《第五章 随机神经网络.ppt(24页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、第五章第五章 内容提要k 模拟退火算法k Boltzmann机第一节模拟退火算法神经计算中面临的问题 利用神经网络进行计算时,我们总是期望能通过系统状态的改变,使系统的能量函数E朝其减小的方向递减,然而这个递减过程最终所达到的一个稳定状态,往往是能量函数E的一个局部极小点,而达不到全局最优。如果利用神经网络计算求解具有多个限制条件的组合优化问题时,这个局部极小点所能满足的只是其中一些限制条件,只是达到了局部最优而不是全局最优,这当然不是我们所期望的结果,但是我们又怎样才能寻求到满足多数限制条件的全局最优点(或次优点)呢?物理中的退火过程 在物理学中,对固体物质进行退火处理时,通常先将它加温溶化
2、,使其中的粒子可自由地运动,然后随着物质温度的下降,粒子也形成了低能态的晶格。若在凝结点附近的温度下降速度足够慢,则固体物质一定会形成最低能量的基态。对于组合优化问题来说,它也有类似的过程,也就是说物理中固体物质的退火过程与组合优化问题具有相似性。组合优化问题也是在解空间寻求花费函数最小(或最大)的解。模拟退火算法的直观解释能量曲线AB全局极小局部极小模拟退火算法基本思想 在神经网络系统中,设系统所有可能状态为V=1,v2,vn,与系统相对应有一能量E,它是系统状态的函数,即E(V)。设控制参数为温度,我们的目的便是找到某一系统状态V*,使:模拟退火算法的基本思想u模拟退火思想是:让T从一个足
3、够高的值慢慢下降,对每个T,用Metropolis抽样法在计算机上模拟该系统在此下的热平衡状态,即对当前状态Vi经过随机扰动产生一个新状态Vj,计算系统的能量增量:E=E(Vj)-E(Vi),并以概率接受Vj作为新的当前状态。当重复地如此随机扰动数次后,状态Vi又重新作为当前状态的概率将服从Boltzmann分布。模拟退火算法的基本思想其中:k为Boltzmann常数。模拟退火算法基本思想 若下降足够慢,且T,从上式可知,系统所处的当前状态Vi将具有最小的能量值E(Vi)。模拟退火算法描述1、初始化。任给一初始状态V0,Vi=V0,计算E(V0),将参数置一初始温度值。2、产生一随机扰动V,按
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第五章 随机神经网络 第五 随机 神经网络
限制150内