微积分中的链式法则(为了不与概率中的链式法则相混淆)用于计算复合函数的导数。 反向传播是一种计算链式法则的算法,使用高效的特定运算顺序。

1. 变量是实数

xx是实数,ffgg是从实数映射到实数的函数。 假设y=g(x)y=g(x)并且z=f(g(x))=f(y)z=f(g(x))=f(y)。 那么链式法则是说
dzdx=dzdydydx(6.44) \begin{aligned} \frac{dz}{dx}=\frac{dz}{dy} \frac{dy}{dx} && (6.44) \end{aligned}

[success]
同一条链路上两个相邻结点之间的偏导相乘
多条并行链路上的偏导结果相加
参数共享的情况,先把3个x当作不同的x来看,算完以后再结果全部加起来。

2. 变量是向量

我们可以将这种标量情况进行扩展。 假设xRm,yRnx\in R^m, y\in R^ngg是从RmR^mRnR^n的映射,ff是从RnR^nRR的映射。 如果y=g(x)y=g(x)并且z=f(y)z=f(y),那么
zxi=jzyjyjxi \begin{aligned} \frac{\partial z}{\partial x_i} = \sum_j \frac{\partial z}{\partial y_j} \frac{\partial y_j}{\partial x_i} \end{aligned}

[success]
相当于从xix_i出发,通过多条路径(所有的yjy_j)到达z。
多条并行的链路是相加的关系。

使用向量记法,可以等价地写成
xz=(yx)yz(6.46) \begin{aligned} \nabla_{x}z = \left ( \frac{\partial y}{\partial x} \right )^\top \nabla_{y} z && (6.46) \end{aligned}

这里yx\frac{\partial y}{\partial x}ggn×mn\times m的Jacobian矩阵。

[success]
公式6.46可以看作是公式6.44的高维形式。
dzdy\frac{dz}{dy}中的z是标量,y是向量,向量对标量的偏导仍是向量,记做yz\nabla_{y} z
dydx\frac{dy}{dx}中的y是n维向量,x是m维向量,向量对向量的偏导是Jacobian矩阵,矩阵大小为n×mn\times m

从这里我们看到,变量xx的梯度可以通过Jacobian矩阵yx\frac{\partial y}{\partial x}和梯度yz\nabla_{y} z相乘来得到。 反向传播算法由图中每一个这样的Jacobian梯度的乘积操作所组成。

3. 变量是张量

[warning] 为什么跳过了变量是矩阵

通常我们将反向传播算法应用于任意维度的张量,而不仅仅用于向量。

[success]
这里的“反向传播算法”是指逆着计算图箭头的方向批量计算偏导的过程。(见6.5.3)
不限于前馈网络中的backprop算法。

从概念上讲,这与使用向量的反向传播完全相同。 唯一的区别是如何将数字排列成网格以形成张量。 我们可以想象,在我们运行反向传播之前,将每个张量变平为一个向量,计算一个向量值梯度,然后将该梯度重新构造成一个张量。 从这种重新排列的观点上看,反向传播仍然只是将Jacobian乘以梯度。

[warning] ?[?] 这一段看不懂

为了表示值zz关于张量XX的梯度,我们记为Xz\nabla_X z,就像XX是向量一样。 XX的索引现在有多个坐标——例如,一个3维的张量由三个坐标索引。 我们可以通过使用单个变量ii来表示完整的索引元组,从而完全抽象出来。 对所有可能的元组ii(Xz)i(\nabla_X z)_i给出zXi\frac{\partial z}{\partial X_i}。 这与向量中索引的方式完全一致,(xz)i(\nabla_{x} z)_i给出zxi\frac{\partial z}{\partial x_i}。 使用这种记法,我们可以写出适用于张量的链式法则。 如果Y=g(X)Y=g(X)并且z=f(Y)z=f(Y),那么
Xz=j(XYj)zYj \begin{aligned} \nabla_X z = \sum_j (\nabla_X Y_j)\frac{\partial z}{\partial Y_j} \end{aligned}

[warning] ?[?] 这一段看不懂

results matching ""

    No results matching ""