深度学习的反向传播这种基于全局求导的算法在生物上不太可能，这应该几乎是共识了吧。生物神经元的学习规则 spike-timing dependent plasticity (STDP) 是一种局部的、跟时间紧密相关的机制。说它跟深度学习的反向传播有本质的不同我不认为有什么不妥。任何了解STDP的人都有资格下这个论断。当然人工智能如果不走生物模拟的路线能否达到与人类只能匹敌的程度，那又是另外一个问题。
【 在 ilovecpp (cpp) 的大作中提到: 】
: 纠正一个事实错误。当前人工神经网络里面神经元的行为离“把单个或者少量神经细胞的行为非常成功地进行了计算机模拟”相去甚远，只能说受后者启发。单个神经元其实是非常复杂，远未被研究清楚的。一个线性变换和分段线性函数的组合完全不能称为对神经元的模拟。
: 然后，无论计算机，生物学还是心理学界，离理解人类智能还相差甚远。在完全不理解人类智能本质的现在，谁有资格断言人工智能本质和人类智能一样或不一样？
--
FROM 118.112.200.*

不敢说有什么具体的发现，或者说把某个发现实现了这个问题就解决了，这样的事情不太可能发生。但至少我们可以获得一些灵感。

就拿对抗样本来举例。深度学习的图像识别任务中发现存在对抗样本。就是在一个输入的图像上加一个很小的扰动，扰动甚至小到肉眼无法识别，但却能让深度学习的模型得到完全错误的预测。我认为这种现象与深度学习网络过于深不无关系。很小的扰动在经过多层运算层层累积以后最终结果就完全走样了。

而生物的神经网络具有吸引子的动力学特征，就是说对各种不同的输入，网络的激活状态最终都能被吸引到有限的几个最稳定的状态之一去。这种动力学意味着生物神经网络对输入的微小变化不敏感，出现了偏离也会被吸引回去，也就不容易出现深度学习那样的对抗样本。

而这种吸引子的动力学，就不是现在深度学习的前馈网络能实现的。生物的神经网络不仅有前馈的连接，更有反馈的连接。也不像深度学习这样一轮传递得出结果。必须是不断前馈又反馈再前馈再反馈，是经过一段时间不断修正的结果。
【 在 ilovecpp (cpp) 的大作中提到: 】
: 问题是对于比如“小样本学习为什么为什么在人脑中解决得这么好”，神经科学具体有什么发现呢？
--
FROM 118.112.200.*