## 優化器（optimizer）
優化器是用于更新網絡權重（W）和偏置項（b）的工具，不同的優化器針對參數的調整有不同的效果
## 效果對比
只修改優化器，其他保持不變，訓練1000次后得到得準確率
> adam：0.9461
> rmsprop：0.9499
> momentum：0.7753
> sgd：0.7374
了解更多：https://blog.csdn.net/weixin_41417982/article/details/81561210
- 序言
- 安裝
- 快速體驗
- 配置
- 層（layer）
- 展平（flatten）
- 全連接（fully connected）
- 卷積（convolutional）
- 池化（pooling）
- 標準化（batch normalization）
- 失活（dropout）
- 循環（RNN）
- 長短期記憶（LSTM）
- 激活函數（activation）
- relu
- sigmoid
- tanh
- 損失（loss）
- 交叉熵損失（softmax）
- 折頁損失（SVM或Hinge）
- 優化器（optimizer）
- 帶動量學習率自適應（adam）
- 動量（momentum）
- 學習率自適應（rmsprop）
- 隨機梯度下降（sgd）
- 模型（model）
- 保存（save）
- 載入（reload）
- 繼續訓練（continue train）
- 數據集（datasets）
- 手寫數字（mnist）
- 時尚物品（Fashion-MNIST）
- 10種物體分類（cifar10）
- 100種物體分類（cifar100）
- 電影評論情感分類（imdb）
- 路透社新聞主題分類（reuters）
- 可視化（visualization）
- 損失曲線（loss）
- 準確率曲線（accuracy）