雲南網站推廣公司的設計都(dōu)借鑒了凸函數分析中的想法

來源：德宏樂喜網絡科技有限責任公司 | 發(fā)布時間：2018/1/1 22:33:16

       雲南網站推廣公司訓練神經(jīng)網絡很慢、很困難，之前有許多人設計了各種(zhǒng)各樣(yàng)的方法。近期的優化方法結合了随機方法和批量方法的特點，比如用mini-batch，跟SGD類似，但是實現了更多的啓發(fā)式方法來估計二階對(duì)角信息，就和無黑塞方法（Hessian-free）或者L-BFGS類似。

       這(zhè)樣(yàng)吸收了兩(liǎng)種(zhǒng)方法優點的方案通常在實際問題中有更快的收斂速度，比如Adam就是一個深度學(xué)習中常用的優化器，實現了簡單的啓發(fā)式方法來估計梯度的均值和變化幅度，從而能(néng)夠在訓練中更加穩定地更新權重。
        之前雲南網站推廣公司發(fā)現的許多權重更新規則都(dōu)借鑒了凸函數分析中的想法，雖然神經(jīng)網絡中的優化問題是非凸的。近期通過(guò)非單調學(xué)習速率的啓發(fā)式方法得到的經(jīng)驗結果表明，在神經(jīng)網絡的訓練方面(miàn)我們仍然知之甚少，還(hái)有許多非凸優化的方法可以用來改進(jìn)訓練過(guò)程。