雲南網站推廣公司要成(chéng)功訓練一個深度學(xué)習模型，選擇一個适當的優化方法是非常重要的。雖然随機梯度下降法（SGD）通常可以一上手就發(fā)揮出不錯的效果，不過(guò)Adam和Adagrad這(zhè)樣(yàng)更先進(jìn)的方法可以運行得更快，尤其是在訓練非常深的網絡時。

       然而，爲深度學(xué)習設計優化方法是一件非常困難的事(shì)情，因爲優化問題的本質是非凸問題。在這(zhè)篇論文中，谷歌大腦的研究員們讨論了一種(zhǒng)方案，它可以自動設計優化方法中的權重更新規則，尤其是對(duì)于深度學(xué)習架構。
       雲南網站推廣這(zhè)個方案的重點是使用了一個RNN結構的控制器，這(zhè)個控制器可以給優化器生成(chéng)權重更新方程。這(zhè)個RNN結構的控制器是通過(guò)強化學(xué)習的方式訓練的，一個具體的網絡結構用它生成(chéng)的更新規則進(jìn)行同樣(yàng)次數的訓練後(hòu)，可以把模型準确率大化。