**修正線性單元** **激活函數（activation function）** 使用神經網絡時的，起始激活神經網絡層（先理解到這地步） ***** *仿生物學原理：相關大腦方面的研究表明生物神經元的信息編碼通常是比較分散及稀疏的。通常情況下，大腦中在同一時間大概只有1%-4%的神經元處于活躍狀態。使用線性修正以及正則化（regularization）可以對機器神經網絡中神經元的活躍度（即輸出為正值）進行調試；相比之下，邏輯函數在輸入為0時達到1/2，即已經是半飽和的穩定狀態，不夠符合實際生物學對模擬神經網絡的期望。不過需要指出的是，一般情況下，在一個使用修正線性單元（即線性整流）的神經網絡中大概有50%的神經元處于激活態。* ***** **什么是激活函數？為什么要使用激活函數？** 如果沒有`relu`等激活函數（也叫**非線性**），`Dense`層將只包含兩個線性運算——點積和加法 ``` output = relu(dot(W, input) + b) ``` 這樣Dense層就只能學習輸入數據的線性變換（仿射變換）：該層的假設空間是從輸入數據到16位空間所有可能的線性變換集合。 **這種假設空間非常有限**，無法利用多個表示層的優勢，因為多個線性層堆疊實現的**仍是線性運算**，添加層數并**不會擴展假設空間**。 `relu`是深度學習中最常用的激活函數，但還有許多其他函數可選，它們都有類似的奇怪名稱，比如`prelu`、`elu`等。