其中在卷积层利用ReLU(Rectified Linear Units)激活函数： φ ( z ) = m a x ( 0 , z ) φ(z) = max(0, z) φ(z)=max(0,z) RuLU激活函数能够在输入和0之间求最大值的函数。ReLU函数能有助于缓解消失和爆炸梯度问题。