極限學習原理介紹，初步了解極限學習
一，ELM概要
極限學習機是一種針對單隱含層前饋神經網絡(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的新算法。相對于傳統前饋神經網絡訓練速度慢，容易陷入局部極小值點，學習率的選擇敏感等缺點，ELM算法隨機產生輸入層與隱含層的連接權值及隱含層神經元的閾值，且在訓練過程中無需調整，只需要設置隱含層神經元的個數，便可以獲得唯一的最優解。與之前的傳統訓練方法相比，ELM方法具有學習速度快，泛化性能好等優點。
二，ELM概述
傳統的典型單隱含層前饋神經網絡結構如下圖一所示，由輸入層，隱含層和輸出層組成，輸入層與隱含層，隱含層與輸出層神經元間全連接。其中，輸入層有n個神經元，對應n個輸入變量；隱含層有l個神經元；輸出層有m個神經元，對應m個輸出變量。在不失一般性的情況下，設輸入層與隱含層間的連接權值W為
三，ELM 的學習算法由以上分析可知，ELM 在訓練之前可以隨機產生 w 和 b ，只需確定隱含層神經元個數及隱含層神經元的激活函數（無限可微），即可計算出 .具體地，ELM的學習算法主要有以下幾個步驟：(1) 確定隱含層神經元個數，隨機設定輸入層與隱含層的連接權值 w 和隱含層神經元的閾值b ；(2) 選擇一個無限可微的函數作為隱含層神經元的激活函數，進而計算隱含層輸出矩陣 H ；(3) 計算輸出層權值 ' ^ ^ : H T . 值得一提的是，相關研究結果表明，在 ELM 中不僅許多非線性激活函數都可以使用（如 S 型函數，正弦函數和復合函數等），還可以使用不可微函數，甚至使用不連續的函數作為激活函數。四， ELM 當前研究現狀ELM 以其學習速度快，泛化性能好等優點，引起了國內外許多專家和學者的研究和關注。ELM 不僅適用于回歸，擬合問題，亦適用于分類，模式識別等領域，因此，其在各個領域均得到廣泛的應用。同時，不少改進的方法和策略也被不斷提及，ELM 的性能也得到了很大的提升，其應用范圍亦愈來愈廣，其重要性亦日益體現出來。
完整的pdf格式文檔51黑下載地址：
極限學習機原理介紹.pdf
(143.63 KB, 下載次數: 21)
2018-8-1 18:01 上傳
點擊文件名下載附件
|
