激活函数

最大作用在于引入非线性。否则每一个神经元只是单纯的线性回归计算。

公式为： $$ \sigma(x) = \frac{1}{1 + e^{-x}} $$ 这个函数的值域在0-1间，可以自然映射到概率上。非常适合作为二分类问题的神经网络的最后一层唯一神经元的激活函数

公式为：

\[ \tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} = \frac{1 - e^{-2x}}{1 + e^{-2x}} \]

值域在-1到1之间。

定义为： $$ max(x,0) $$

这也是最常用的函数。这个函数有个很明显的问题，在为负数时梯度为0，因此在小于0的区间熵人们引入一个微小的梯度(Leaky ReLU)