【 在 forevers 的大作中提到: 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标  题: 深度神经网络到底怎么解决训练问题的？
: 发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
: ...................

BP网络的局部解可以通过引入随机来跳出局部。
BP神经网络难对付的是梯度消失和梯度爆炸，而后推出了各种手段解决，比如正则话， 随机权值初始化， mini batch训练...
另外，BP网络， 只是神经网络中的一种， 还有很多其它类型的。
如前馈网络， AE，CNN，RBM， transformaer 等等， 有些用在预训练， 有些结构简单，可以深度堆叠。
--
FROM 115.171.245.*