激活函数

—— 作者：ReLU（自称“深度学习的摆渡人”） “ReLU 的人生信条：低于阈值就躺平（输出零），高于阈值就躺赢（线性通过）。”

—— 作者：Tanh（自称“对称宇宙的吟游诗人，Sigmoid的挚友”） “Tanh ？不就是个戴了伸缩腰带的 Sigmoid 吗 …

—— 作者：Softmax（自称“概率共和国的执政官，Sigmoid的远房表亲”） Softmax 假装让所有类别投票（概率和为一 …

—— 作者：Sigmoid（自称“概率世界的翻译官”） 用 Sigmoid 搭深度网络？想象一下传话游戏——第一个人说‘我爱你’， …

ReLU 是神经网络界的资本家——只剥削正值劳动力，负值直接失业！Leaky ReLU 是社会主义改造——失业也有低保，但 Swi …