深度学习的深度信念网络DBN学习资料.ppt
《深度学习的深度信念网络DBN学习资料.ppt》由会员分享,可在线阅读,更多相关《深度学习的深度信念网络DBN学习资料.ppt(16页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、深度学习的深度信念网络DBN自编码神经网络示例如果输入数据中隐含着一些特定的结构,比如某些输入特征是彼此相关的,那么这一算法就可以发现输入数据中的这些相关性。事实上,这一简单的自编码神经网络通常可以学习出一个跟主元分析(PCA)结果非常相似的输入数据的低维表示。“预训练”方法限制玻尔兹曼机(RBM)RBMRBM网网络络共共有有2 2层层,其其中中第第一一层层称称为为可可视视层层,一一般般来来说说是是输输入入层层,另另一一层层是是隐隐含含层层,也也就就是是我我们们一一般般指指的的特特征征提提取取层层。是是可可视视层层与与隐隐藏藏层层之之间间的的权重矩阵,权重矩阵,是可视节点的偏移量,是可视节点的
2、偏移量,是隐藏节点的偏移量。是隐藏节点的偏移量。隐含层隐含层可视层可视层“预训练”方法限制玻尔兹曼机(RBM)定义能量函数:联合概率分布:Z为归一化系数,其定义为:输入层的边缘概率为:限制玻尔兹曼机(RBM)计算方法权值更新网络学习的目的是最大可能的拟合输入数据,即最大化 。Hinton提出了一种快速算法,称作contrastive divergence(对比分歧)算法。这种算法只需迭代k次,就可以获得对模型的估计,而通常k等于1.CD算法在开始是用训练数据去初始化可见层,然后用条件分布计算隐层;然后,再根据隐层,同样,用条件分布来计算可见层。这样产生的结果是对输入的一个重构。根据CD算法:其
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 信念 网络 DBN 资料
限制150内