正则化后的目标函数为：
$\tilde J(\theta; X, y) = J(\theta;X, y) + \alpha \Omega(\theta)$ 其中，
第1项为原目标函数。
第2项为参数范数惩罚。
$\alpha$为权衡因子。$\alpha$越大代表惩罚越大。

最小化正则化后的目标函数可以：

1. 减小原目标函数
2. 减小参数的规模

一些约定：

1. 参数包括每一层的仿射变换的w和b，通常只对w做正则化。
2. 可以对每一层设置不同的范数惩罚和权衡因子，但通常对所有层使用相同的权衡因子。