Fine-Tuning and the Stability of Recurrent Neural Networks

本文主要是介绍Fine-Tuning and the Stability of Recurrent Neural Networks，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

PloS one, no. 9 (2011): e22885-e22885

Abstract

　　对构建稳定循环模型网络的标准理论方法的主要批评是，需要对突触连接权重进行微调。这种批评之所以严峻，是因为有关学习这些权重所提出的规则已显示出对其生物学合理性的各种限制。因此，不太可能使用此类规则在体内连续微调网络。我们描述了一种能够以生物学合理的方式调整突触权重的学习规则。我们在动眼积分器(oculomotor integrator)的背景下测试了该规则，表明仅需要已知的神经信号即可调整权重。我们证明了该规则适当地说明了各种各样的实验结果，并且在几种扰动下具有鲁棒性。此外，我们表明，该规则能够获得与积分器的循环模型中经常使用的线性最优权重所提供的相同或更高的稳定性。最后，我们讨论了如何将这一规则推广到各种各样的循环吸引子网络上，例如在头部方向和路径整合系统中发现的那些，表明它可以用于调节各种各样的稳定神经系统。

Introduction

　　持续神经活动通常表现为神经放电的持续增加，有时持续数秒钟，并且通常在短暂的刺激之后。人们认为它是多种神经计算的基础，包括速度命令的集成[1,2]，噪声降低[3]，跟踪头方向[4,5]，最大概率[6]和存储工作记忆[7,8,9]。实现持续活动的最常见理论解决方案是将循环连接引入网络模型[10,11,12][13]。最近，已经提出了将这种解决方案推广到具有可计数自由度的任何神经表征方法[14]。

　　但是，如[15]所示，在此类简单的循环网络中，需要精确调整循环连接权重才能实现适当的持续活动。早些时候[16]在数值模拟中也有类似的观察。具体地说，在长期以来一直是表征生物环境中持续活动特征的中心实验目标的动眼积分器中，众所周知，导致漂移缓慢到足以匹配观察到的行为所需的循环权重精度非常高[19]。已经表明，动眼积分器的稳定性只能通过将权重调整到理论理想值的1％以内来实现。1％精度是指调整循环权重矩阵的单位特征值的精度。它也可以表示为物理连接时间常数τ_syn与系统时间常数的比率[2]。由于这一很小的1％的余量，已经表明支持这种微调所必需的生理过程可能不可用[20]。为了获得观察到的稳定性，已经探索了各种替代机制。例如，[21]为依赖胆碱能调节的单细胞机制提供了证据。但是，尚不清楚这在内嗅皮层外部是否合理。同样，双稳态[21,18]和多层前馈连接[13]已被提议为可能的机制。然而，在相关的神经系统中支持这些更奇特的可能性的证据非常薄弱[13]。

　　因此，对于实际的神经生物学系统如何产生观察到的稳定性，这是一个悬而未决的问题。对于这个问题，最直接的答案(有用于微调的学习机制)似乎也不可信。已经采用这种方法的几种模型需要视网膜滑移信号以调节积分器[22,23,24]。通过比较眼睛的运动与视网膜上图像的运动来产生视网膜滑移信号。如果视网膜图像在移动，但眼睛(和身体的其余部分)没有移动，则动眼系统会产生错误信号。但是，该信号不能以已知的连通性明确提供给神经积分器，也不能解释在黑暗中积分器的发展[25,26]或本体感受反馈的作用[27]。 其他模型需要完全非生理算法[28]，或者不能适当地适应视觉反馈中的失真[29,30]。还没有显示出其他一些更能解决神经稳定性的方法[31,32]，但这些方法尚未应用于动眼神经积分器，并且可能没有足够的资源来进行动眼积分(请参见讨论)。

　　在此，我们提出了一种学习规则，该规则应能够解释可用的可塑性结果，同时具有生物学上的合理性。具体来说，我们证明了我们提出的规则：1）将连接权重微调到能够重现实验观察到的行为的值； 2）解释了在各种条件下神经积分器的失调；和3）仅依赖于系统的已知输入。 我们还提出了该规则的推广，可被多种神经系统用来在高维空间中诱导稳定性，例如可能在大鼠的头部和路径整合系统中使用的那些[33,5,34,14]。

Materials and Methods

The optimal neural integrator

　　为了理解所提出的学习规则的结果和起源，从吸引子网络的标准理论特征入手是很有用的。本研究中使用的"最优"神经积分器模型是使用[28]中所述的神经工程框架(NEF)方法构建的。我们将网络模型称为"最优"模型，因为NEF依赖于线性优化来确定连接权重(如下所述)。所得的连接权重与其他方法[2,15,35]得出的权重相似，因此所有此类方法均会生成稳定的积分器。但是，学习规则是使用NEF公式得出的。

　　为简单起见，积分器中的每个神经元都被建模为脉冲LIF神经元，尽管很少依赖于神经元模型的这种选择[28]。LIF神经元电压的亚阈值进化被描述为：

 （续）

Derivation of optimal decoders

Derivation of the learning rule

　　神经积分器的可塑性在各种各样的物种中都很明显，并且有强有力的证据表明，修改视网膜滑移信息能够使动眼积分器变得不稳定或受阻[19,30]。调整在人的动眼神经积分器中的作用的其他支持来自出生后两个月内调整的证据[41]，患有失明的受试者的错误调整[42]以及训练后诱发的漂移[43]。虽然来自黑暗饲养动物的实验证据显示了没有视觉反馈的积分器的发展[25,26]，但当向动物提供视觉反馈时，眼部稳定性会提高。因此，有充分的证据表明某种形式的适应在眼动积分器中是活跃的，并且这种适应可能能够支持微调是合理的。

　　这项研究的目的是确定能够执行整合以及上述线性最优网络的生物学可行的学习规则。此处得出的学习规则基于这样的思想，即积分器应该能够利用其接收到的校正输入信号。经验证据表明，积分器本身的所有输入均采用速度指令的形式[44]。虽然视神经道核具有视网膜滑移信息，但当它投影到神经积分器时，它会将其编码为速度信号[45]。因此，没有过去的学习规则所假定的明确的视网膜滑移信号[24,23]。

　　在动眼积分器中，有两类输入的证据：故意扫视和矫正扫视[46,47]。[48]认为矫正扫视而不是明确的视网膜滑移误差会引起扫视幅度的适应。扫视命令有几个特征，可用于区分矫正扫视和故意扫视，包括速度大小或位置变化(见图2)。由于眼睛通常在矫正扫视的目标附近，因此矫正扫视速度趋于变小。而且，由于扫视幅度与最大扫视速度成正比[49]，因此有可能根据幅度过滤扫视速度命令，以识别校正扫视。在此模型中用于过滤扫视速度v_s给出校正扫视v_c的算法为：

即，校正扫视信号由每秒小于200度的所有速度组成。

　　此外，[27]解释说，单独的视网膜滑移不能解释在黑暗中的学习，也不能吸收本体感受反馈，这在长期调节眼控方面具有一定作用[50]。基于矫正速度信号的算法具有与视网膜滑移，传出反馈和本体感受反馈一起工作的潜力，因为这些中的任何一个都可能驱动矫正眼球运动。 已知在黑暗中会发生小的校正扫视[51]。
　　尽管如此，视网膜滑移在整个系统中仍起着重要作用。 在大多数动眼系统模型中，包括我们在下面采用的模型，都会根据视网膜滑动信息生成矫正扫视。 如果视网膜图像在移动，但是没有自生运动(即，视网膜图像是"滑移")，则系统将生成校正速度命令以消除滑移。因此，积分器本身只能间接访问视网膜滑动信息。下面，我们证明这足以驱动适当的学习规则。

　　在转向规则本身之前，先考虑一下必须对系统进行微调的主张是有用的。当来自反馈连接的电流之和等于精确表示开环系统中眼图位置所需的电流量时，积分器能够维持持续的活动。如果将由反馈电流确定的眼图位置和实际眼图位置绘制在归一化轴上，则理想积分器的映射将定义一条通过原点的斜率线(见图3)。该行称为系统传递函数，因为它描述了如何将当前状态(通过反馈)转换为将来的状态。因此，神经积分器中的斜率1表示重复输入在任何给定的眼睛位置产生的电流正好足以弥补通过神经元膜的正常电流泄漏。简而言之，这意味着网络已经实现了完美的线吸引子。

　　但是，如果反馈的幅度小于所需的幅度，则表示的眼睛位置将向零漂移。这由系统传递函数的斜率小于1表示。这种系统据说是动态阻尼的。相反，如果反馈大于所需的反馈，则传递函数的斜率大于1，系统输出将偏离零。据说这种系统是动态不稳定的(参见图3)。

　　如前所述，等式8给出的眼睛位置表示具有一定的误差(对于图1所示的神经元，RMSE为0.134度)。因此，并非在所有眼睛位置都可获得完美的吸引子(斜率为1)。然而，从线性最优积分器的推导中可以清楚地看出，改变解码权重d_i(因此，连接权重w_ij = a_je_jd_i)等同于改变网络中眼睛位置的代表值。因此，改变这些权重将使我们或多或少准确地近似一个精确的积分器。

　　在这种背景下，有可能得出一种学习规则，该规则将眼睛位置的神经表示与实际位置x的差异最小化。重要的是，可用的校正扫视v_c提供有关最小化方向的信息。具体而言，如果vc为正，则必须增加估计值，以趋于x；如果v_c为负，则必须降低估计值。更正式地讲，我们可以将要最小化的误差表示为：

将等式8中的神经表示代入该表达式，然后通过对d_i给出的解码权重进行微分来最小化它：

其中下标 j 表示整个群体，i 表示当前正在优化的神经元。然而，请注意，在一个循环网络中，i 和 j 是同一个神经元的索引。此外，依赖于 i 的连接权重存在于突触后神经元 j 中。因此，尽管该等式被写成 i 的优化，但由此产生的学习规则用于调整 i 投影到的神经元 j 中的权重。

　　重要的是，现在可以用纠正性扫视的负数来代替括号中的项。之所以可以进行这种替换，是因为v_c是由动眼神经系统产生的，以便与由该项表示的差异(即，实际的和表示的眼睛位置之间的差异)成比例，但方向相反。执行此替换将得到：

将其转换为标准的delta规则形式，并包括学习率参数κ，给出：

此规则指示解码器本身应如何更改以最小化误差。

　　不幸的是，该规则既不是关于电路的连接权重，也不是局部的。可以通过将等式的两边乘以神经元 j 的编码器和增益来缓解这两个问题，神经元 j 从神经元 i 接收投影：

等式17中的最终学习规则解决了这两个问题。首先，连接权重的NEF表征可确保在给定项定义(如等式9中得出)的情况​​下，用v_ij代替d_ie_jα_j是合适的。

　　其次，等式17的右侧为伪Hebbian形式：学习率κ，突触前活动a_i和突触后活动α_je_jv_c。最后一项是矫正扫视对突触后神经元 j 的体细胞电流的影响，如等式7所述。值得注意的是，该项不是接收神经元的发放，而是驱动该发放的亚阈值电流(因此是"伪"Hebbian)。换句话说，用于驱动神经元的脉冲活动的相同电流用于更新连接权重。与该规则一致，在实验工作中已经提出，突触后电位对于可塑性不是必需的[52]。

（略）

Generalization of the learning rule

The oculomotor system model

Simulations

Measuring drift

Results

Application of the learning rule to the oculomotor integrator

Application of the generalized learning rule

Discussion

Optimality of linear methods

Empirical consequences

The generalized learning rule

这篇关于Fine-Tuning and the Stability of Recurrent Neural Networks的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！