2.13. 神經網絡模型（無監督） · sklearn中文文檔

# 2.13. 神經網絡模型（無監督）校驗者: [@不將就](https://github.com/apachecn/scikit-learn-doc-zh) 翻譯者: [@夜神月](https://github.com/apachecn/scikit-learn-doc-zh) ## 2.13.1. 限制波爾茲曼機 Restricted Boltzmann machines (RBM)（限制玻爾茲曼機）是基于概率模型的無監督非線性特征學習器。當用 RBM 或 RBMs 中的層次結構提取的特征在饋入線性分類器（如線性支持向量機或感知機）時通常會獲得良好的結果。該模型對輸入的分布作出假設。目前，scikit-learn 只提供了 [`BernoulliRBM`](generated/sklearn.neural_network.BernoulliRBM.html#sklearn.neural_network.BernoulliRBM "sklearn.neural_network.BernoulliRBM")，它假定輸入是二值的，或者是 0 到 1 之間的值，每個值都編碼特定特征被激活的概率。 RBM 嘗試使用特定圖形模型最大化數據的可能性。所使用的參數學習算法（ [Stochastic Maximum Likelihood](#sml) （隨機最大似然））要防止特征表示偏離輸入數據，這使得它們能學習到有趣的特征，但使得該模型對于小數據集不太有用且通常對于密度估計無效。該方法隨著獨立RBM的權重初始化深層神經網絡而普及。這種方法被稱為無監督的預訓練（unsupervised pre-training）。 [![http://sklearn.apachecn.org/cn/0.19.0/_images/sphx_glr_plot_rbm_logistic_classification_0011.png](https://box.kancloud.cn/468dbb1715566c91c7dd9f7e2535a6b4_420x400.jpg)](../auto_examples/neural_networks/plot_rbm_logistic_classification.html) 示例: - [Restricted Boltzmann Machine features for digit classification](../auto_examples/neural_networks/plot_rbm_logistic_classification.html#sphx-glr-auto-examples-neural-networks-plot-rbm-logistic-classification-py) ### 2.13.1.1. 圖形模型和參數化 RBM 的圖形模型是一個全連接的二分圖（fully-connected bipartite graph）。 ![http://sklearn.apachecn.org/cn/0.19.0/_images/rbm_graph.png](https://box.kancloud.cn/1019baaad758130c960837859fe1f712_544x242.jpg)節點是隨機變量，其狀態取決于它連接到的其他節點的狀態。因此，為了簡單起見，模型被參數化為連接的權重以及每個可見和隱藏單元的一個偏置項。我們用能量函數衡量聯合概率分布的質量: ![E(\mathbf{v}, \mathbf{h}) = \sum_i \sum_j w_{ij}v_ih_j + \sum_i b_iv_i + \sum_j c_jh_j](https://box.kancloud.cn/ea4b412db688194f3a05d43e905e3651_356x42.jpg) 在上面的公式中， ![\mathbf{b}](https://box.kancloud.cn/fef0a448320658aff8ff186baf978af2_11x12.jpg) 和 ![\mathbf{c}](https://box.kancloud.cn/c24836a63780d10886efaced33b132ec_9x8.jpg) 分別是可見層和隱藏層的偏置向量。模型的聯合概率是根據能量來定義的: ![P(\mathbf{v}, \mathbf{h}) = \frac{e^{-E(\mathbf{v}, \mathbf{h})}}{Z}](https://box.kancloud.cn/021f9aa22dbec0c0e8095127e34ee07b_145x43.jpg) “限制”是指模型的二分圖結構，它禁止隱藏單元之間或可見單元之間的直接交互。這代表以下條件獨立性成立: ![h_i \bot h_j | \mathbf{v} \\ v_i \bot v_j | \mathbf{h}](https://box.kancloud.cn/48ec73e4c3b3808214d6c82e7e7ed542_61x46.jpg) 二分圖結構允許使用高效的塊吉比斯采樣(block Gibbs sampling)進行推斷。 ### 2.13.1.2. 伯努利限制玻爾茲曼機在 [`BernoulliRBM`](generated/sklearn.neural_network.BernoulliRBM.html#sklearn.neural_network.BernoulliRBM "sklearn.neural_network.BernoulliRBM") 中，所有單位都是二進制隨機單元。這意味著輸入數據應該是二進制的，或者在 0 和 1 之間的實數值表示可見單元活躍或不活躍的概率。這是一個很好的字符識別模型，其中的關注點是哪些像素是活躍的，哪些不是。對于自然場景的圖像，它不再適合，因為背景，深度和相鄰像素的趨勢取相同的值。每個單位的條件概率分布由其接收的輸入的sigmoid函數給出: ![P(v_i=1|\mathbf{h}) = \sigma(\sum_j w_{ij}h_j + b_i) \\ P(h_i=1|\mathbf{v}) = \sigma(\sum_i w_{ij}v_i + c_j)](https://box.kancloud.cn/981564784447dbfc6e56c00616089f0d_244x89.jpg) 其中 ![\sigma](https://box.kancloud.cn/161a73fe437f77a27c0e968a5a2f4f98_11x8.jpg) 是Sigmoid函數: ![\sigma(x) = \frac{1}{1 + e^{-x}}](https://box.kancloud.cn/be470e28706cb250782958cf62c05acf_119x39.jpg) ### 2.13.1.3. 隨機最大似然學習在 [`BernoulliRBM`](generated/sklearn.neural_network.BernoulliRBM.html#sklearn.neural_network.BernoulliRBM "sklearn.neural_network.BernoulliRBM") 函數中實現的學習算法被稱為隨機最大似然（Stochastic Maximum Likelihood (SML)）或持續對比發散（Persistent Contrastive Divergence (PCD)）。由于數據的似然函數的形式，直接優化最大似然是不可行的: ![\log P(v) = \log \sum_h e^{-E(v, h)} - \log \sum_{x, y} e^{-E(x, y)}](https://box.kancloud.cn/a941f64f09073dfd18a0e50a8e7d1b1d_333x42.jpg) 為了簡單起見，上面的等式是針對單個訓練樣本所寫的。相對于權重的梯度由對應于上述的兩個項構成。根據它們的符號，它們通常被稱為正梯度和負梯度。在這種實現中，按照小批量梯度（mini-batches of samples ）對梯度進行計算。在 maximizing the log-likelihood （最大化對數似然度）的情況下，正梯度使模型更傾向于與觀察到的訓練數據兼容的隱藏狀態。由于 RBM 的二分體結構，可以有效地計算。然而，負梯度是棘手的。其目標是降低模型偏好的聯合狀態的能量，從而使數據保持真實。可以通過馬爾可夫鏈蒙特卡羅近似，使用塊 Gibbs 采樣，通過迭代地對每個給定另一個的 ![v](https://box.kancloud.cn/d8e50ac994676493a711ed637329dedd_9x8.jpg) 和 ![h](https://box.kancloud.cn/18ec89e3a6e95da43b87097fe364c599_9x13.jpg) 進行采樣，直到鏈混合。以這種方式產生的樣品有時被稱為幻想粒子。這是無效的，很難確定馬可夫鏈是否混合。對比發散方法建議在經過少量迭代后停止鏈，![k](https://box.kancloud.cn/300675e73ace6bf4c352cfbb633f0199_9x13.jpg) 通常為 1.該方法快速且方差小，但樣本遠離模型分布。持續的對比分歧解決這個問題。而不是每次需要梯度啟動一個新的鏈，并且只執行一個 Gibbs 采樣步驟，在 PCD 中，我們保留了在每個權重更新之后更新的 ![k](https://box.kancloud.cn/300675e73ace6bf4c352cfbb633f0199_9x13.jpg) Gibbs 步長的多個鏈（幻想粒子）。這使得顆粒更徹底地探索空間. 參考文獻: - [“A fast learning algorithm for deep belief nets”](http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf)G. Hinton, S. Osindero, Y.-W. Teh, 2006 - [“Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient”](http://www.cs.toronto.edu/~tijmen/pcd/pcd.pdf)T. Tieleman, 2008