本文主要是介绍反向传播算法，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

目录

• Chain rule
• Multi-output Perceptron
• Multi-Layer Perceptron

Chain rule

Multi-output Perceptron

Multi-Layer Perceptron

• 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点

• For an output layer node \(k\in{K}\)

\[\frac{\partial{E}}{\partial{W_{jk}}}=O_j\delta_k,\,\delta_k=O_k(1-O_k)(O_k-t_k) \]

• For a hidden layer node \(j\in{J}\)

\[\frac{\partial{E}}{\partial{W_{ij}}}=O_i\delta_j,\,\delta_j=O_j(1-O_j)\sum_{k\in{K}}\delta_kW_{jk} \]

• 其中\(\delta_k\)可以看做是\(O_j\)的信息；\(\delta_j\)可以看做是\(O_i\)的信息
• 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分

这篇关于反向传播算法的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！