L1正则化

L2正则化

权重衰减

L2正则化和权重衰减的区别

L2正则化是在损失函数上做文章。 权重衰减是在梯度更新时增加一项。