详解神经网络的前向传播和反向传播(从头推导)

2021/11/13 23:41:49

本文主要是介绍详解神经网络的前向传播和反向传播(从头推导),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

详解神经网络的前向传播和反向传播
本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读,有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。

  对神经网络有些了解的人可能都知道,神经网络其实就是一个输入XX到输出YY的映射函数:f(X)=Yf(X)=Y,函数的系数就是我们所要训练的网络参数WW,只要函数系数确定下来,对于任何输入xixi我们就能得到一个与之对应的输出yiyi,至于yiyi是否符合我们预期,这就属于如何提高模型性能方面的问题了,本文不做讨论。

  那么问题来了,现在我们手中只有训练集的输入XX和输出YY,我们应该如何调整网络参数WW使网络实际的输出f(X)=Y^f(X)=Y^与训练集的YY尽可能接近?

  在开始正式讲解之前,让我们先对反向传播过程有一个直观上的印象。反向传播算法的核心是代价函数CC对网络中参数(各层的权重ww和偏置bb)的偏导表达式∂C∂w∂C∂w和∂C∂b∂C∂b。这些表达式描述了代价函数值CC随权重ww或偏置bb变化而变化的程度。到这里,BP算法的思路就很容易理解了:如果当前代价函数值距离预期值较远,那么我们通过调整ww和bb的值使新的代价函数值更接近预期值(和预期值相差越大,则ww和bb调整的幅度就越大)。一直重复该过程,直到最终的代价函数值在误差范围内,则算法停止。

  BP算法可以告诉我们神经网络在每次迭代中,网络的参数是如何变化的,理解这个过程对于我们分析网络性能或优化过程是非常有帮助的,所以还是尽可能搞透这个点。我也是之前大致看过,然后发现看一些进阶知识还是需要BP的推导过程作为支撑,所以才重新整理出这么一篇博客。

前向传播过程
  在开始反向传播之前,先提一下前向传播过程,即网络如何根据输入XX得到输出YY的。这个很容易理解,粗略看一下即可,这里主要是为了统一后面的符号表达。


记wljkwjkl为第l−1l−1层第kk个神经元到第ll层第jj个神经元的权重,bljbjl为第ll层第jj个神经元的偏置,aljajl为第ll层第jj个神经元的激活值(激活函数的输出)。不难看出,aljajl的值取决于上一层神经元的激活:
alj=σ(∑kwljkal−1k+blj)(1)
(1)ajl=σ(∑kwjklakl−1+bjl)
将上式重写为矩阵形式:
al=σ(wlal−1+bl)(2)
(2)al=σ(wlal−1+bl)
为了方便表示,记 zl=wlal−1+blzl=wlal−1+bl为每一层的权重输入, (2)(2)式则变为 al=σ(zl)al=σ(zl)。
  利用 (2)(2)式一层层计算网络的激活值,最终能够根据输入 XX得到相应的输出Y^Y^。
反向传播过程
  反向传播过程中要计算∂C∂w∂C∂w和∂C∂b∂C∂b,我们先对代价函数做两个假设,以二次损失函数为例:
C=12n∑x∥y(x)−aL(x)∥2(3)
(3)C=12n∑x‖y(x)−aL(x)‖2
其中 nn为训练样本xx的总数, y=y(x)y=y(x)为期望的输出,即ground truth, LL为网络的层数,aL(x)aL(x)为网络的输出向量。
假设1:总的代价函数可以表示为单个样本的代价函数之和的平均:
C=1n∑xCx  Cx=12∥y−aL∥2(4)
(4)C=1n∑xCx  Cx=12‖y−aL‖2

  这个假设的意义在于,因为反向传播过程中我们只能计算单个训练样本的 ∂Cx∂w∂Cx∂w和 ∂Cx∂b∂Cx∂b,在这个假设下,我们可以通过计算所有样本的平均来得到总体的 ∂C∂w∂C∂w和 ∂C∂b∂C∂b
假设2:代价函数可以表达为网络输出的函数 costC=C(aL)costC=C(aL),比如单个样本 xx的二次代价函数可以写为:
Cx=12∥y−aL∥2=12∑j(yj−aLj)2(5)
(5)Cx=12‖y−aL‖2=12∑j(yj−ajL)2
反向传播的四个基本方程
  权重ww和偏置bb的改变如何影响代价函数CC是理解反向传播的关键。最终,这意味着我们需要计算出每个∂C∂wljk∂C∂wjkl和∂C∂blj∂C∂bjl,在讨论基本方程之前,我们引入误差δδ的概念,δljδjl表示第ll层第jj个单元的误差。关于误差的理解,《Neural Network and Deep Learning》书中给了一个比较形象的例子。


  如上图所示,假设有个小恶魔在第ll层第jj个单元捣蛋,他让这个神经元的权重输出变化了ΔzljΔzjl,那么这个神经元的激活输出为σ(zlj+Δzlj)σ(zjl+Δzjl),然后这个误差向后逐层传播下去,导致最终的代价函数变化了∂C∂zljΔzlj∂C∂zjlΔzjl。现在这个小恶魔改过自新,它想帮助我们尽可能减小代价函数的值(使网络输出更符合预期)。假设∂C∂zlj∂C∂zjl一开始是个很大的正值或者负值,小恶魔通过选择一个和∂C∂zlj∂C∂zjl方向相反的ΔzljΔzjl使代价函数更小(这就是我们熟知的梯度下降法)。随着迭代的进行,∂C∂zlj∂C∂zjl会逐渐趋向于0,那么ΔzljΔzjl对于代价函数的改进效果就微乎其微了,这时小恶魔就一脸骄傲的告诉你:“俺已经找到了最优解了(局部最优)”。这启发我们可以用∂C∂zlj∂C∂zjl来衡量神经元的误差:
δlj=∂C∂zlj
δjl=∂C∂zjl
下面就来看看四个基本方程是怎么来的。
  
1. 输出层的误差方程
δLj=∂C∂zLj=∂C∂aLj∂aLj∂zLj=∂C∂aLjσ′(zLj)(BP1)
(BP1)δjL=∂C∂zjL=∂C∂ajL∂ajL∂zjL=∂C∂ajLσ′(zjL)
如果上面的东西你看明白了,这个方程应该不难理解,等式右边第一项 ∂C∂aLj∂C∂ajL衡量了代价函数随网络最终输出的变化快慢,而第二项 σ′(zLj)σ′(zjL)则衡量了激活函数输出随 zLjzjL的变化快慢。当激活函数饱和,即 σ′(zLj)≈0σ′(zjL)≈0时,无论 ∂C∂aLj∂C∂ajL多大,最终 δLj≈0δjL≈0,输出神经元进入饱和区,停止学习。
  (BP1)方程中两项都很容易计算,如果代价函数为二次代价函数 C=12∑j(yj−aLj)2C=12∑j(yj−ajL)2,则 ∂C∂aLj=aLj−yj∂C∂ajL=ajL−yj,同理,对激活函数 σ(z)σ(z)求 zLjzjL的偏导即可求得 σ′(zLj)σ′(zjL)。将(BP1)重写为矩阵形式:
δL=∇aC⊙σ′(zL)(BP1a)
(BP1a)δL=∇aC⊙σ′(zL)
⊙⊙为Hadamard积,即矩阵的点积。
2. 误差传递方程
δl=((wl+1)Tδl+1)⊙σ′(zl)(BP2)
(BP2)δl=((wl+1)Tδl+1)⊙σ′(zl)
这个方程说明我们可以通过第 l+1l+1层的误差 δl+1δl+1计算第 ll层的误差δlδl,结合(BP1)和(BP2)两个方程,我们现在可以计算网络中任意一层的误差了,先计算 δLδL,然后计算 δL−1δL−1, δL−2δL−2,…,直到输入层。
证明过程如下:
δlj=∂C∂zlj=∑k∂C∂zl+1k∂zl+1k∂zlj=∑kδl+1k∂zl+1k∂zlj
δjl=∂C∂zjl=∑k∂C∂zkl+1∂zkl+1∂zjl=∑kδkl+1∂zkl+1∂zjl
因为 zl+1k=∑jwl+1kjalj+bl+1k=∑jwl+1kjσ(zlj)+bl+1kzkl+1=∑jwkjl+1ajl+bkl+1=∑jwkjl+1σ(zjl)+bkl+1,所以 ∂zl+1k∂zlj=wl+1kjσ′(zlj)∂zkl+1∂zjl=wkjl+1σ′(zjl),因此可以得到(BP2),
δlj=∑kwl+1kjδl+1kσ′(zlj)
δjl=∑kwkjl+1δkl+1σ′(zjl)

3. 代价函数对偏置的改变率
∂C∂blj=∂C∂zlj∂zlj∂blj=∂C∂zlj=δlj(BP3)
(BP3)∂C∂bjl=∂C∂zjl∂zjl∂bjl=∂C∂zjl=δjl
这里因为 zlj=∑kwljkal−1k+bljzjl=∑kwjklakl−1+bjl所以 ∂zLj∂bLj=1∂zjL∂bjL=1
4. 代价函数对权重的改变率
∂C∂wljk=∂C∂zlj∂zLj∂wljk=∂C∂zljal−1k=al−1kδlj(BP4)
(BP4)∂C∂wjkl=∂C∂zjl∂zjL∂wjkl=∂C∂zjlakl−1=akl−1δjl
可以简写为
∂C∂w=ainδout(6)
(6)∂C∂w=ainδout
,不难发现,当上一层激活输出接近0的时候,无论返回的误差有多大, ∂C∂w∂C∂w的改变都很小,这也就解释了为什么神经元饱和不利于训练。
  从上面的推导我们不难发现,当输入神经元没有被激活,或者输出神经元处于饱和状态,权重和偏置会学习的非常慢,这不是我们想要的效果。这也说明了为什么我们平时总是说激活函数的选择非常重要。

  当我计算得到∂C∂wljk∂C∂wjkl和∂C∂blj∂C∂bjl后,就能愉悦地使用梯度下降法对参数进行一轮轮更新了,直到最后模型收敛。

反向传播为什么快
  回答这个问题前,我们先看一下普通方法怎么求梯度。以计算权重为例,我们将代价函数看成是权重的函数C=C(w)C=C(w),假设现在网络中有100万个参数,我们可以利用微分的定义式来计算代价函数对其中某个权重wjwj的偏导:
∂C∂wj≈C(w+εej→)−C(w)ε(7)
(7)∂C∂wj≈C(w+εej→)−C(w)ε
然后我们算一下,为了计算 ∂C∂wj∂C∂wj,我们需要从头到尾完整进行一次前向传播才能得到最终 C(w+εej→)C(w+εej→)的值,要计算100万个参数的偏导就需要前向传播100万次,而且这还只是一次迭代,想想是不是特别可怕?
  再反观反向传播算法,如方程(BP4)所示,我们只要知道 al−1kakl−1和 δljδjl就能计算出偏导 ∂C∂wljk∂C∂wjkl。激活函数值 al−1kakl−1在一次前向传播后就能全部得到,然后利用(BP1)和(PB2)可以计算出 δljδjl,反向传播和前向传播计算量相当,所以总共只需2次前向传播的计算量就能计算出所有的 ∂C∂wljk∂C∂wjkl。这比使用微分定义式求偏导的计算量少了不止一点半点,简直是质的飞跃。
————————————————
版权声明:本文为CSDN博主「Maples丶丶」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_16137569/article/details/81449209



这篇关于详解神经网络的前向传播和反向传播(从头推导)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程