- 主题:深度神经网络到底怎么解决训练问题的？ (转载)
【 以下文字转载自 ITExpress 讨论区 】
发信人: forevers (forevers), 信区: ITExpress
标 题: 深度神经网络到底怎么解决训练问题的？
发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
深度神经网络到底怎么解决训练问题的？BP算法是很早（1986年）就有的东西，为啥早期不行呢？说是容易陷入局部最优解，那现在的CNN,RNN,Transformer啥的训练时怎么解决BP的局部最优解问题的？
--
修改:forevers FROM 222.244.86.*
FROM 222.244.86.*
局部最优解有很多方案吧，batch train、adam、参数随机初始化等等
【 在 forevers 的大作中提到: 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标 题: 深度神经网络到底怎么解决训练问题的？
: 发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
: ...................
--
FROM 220.243.154.*
浅层的网络容易陷入局部最优解
但是据说深度网络反而不容易
【 在 forevers 的大作中提到: 】
: 【 以下文字转载自 ITExpress 讨论区 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标 题: 深度神经网络到底怎么解决训练问题的？
: ...................
--
FROM 125.38.176.*
【 在 forevers 的大作中提到: 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标 题: 深度神经网络到底怎么解决训练问题的？
: 发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
: ...................
BP网络的局部解可以通过引入随机来跳出局部。
BP神经网络难对付的是梯度消失和梯度爆炸，而后推出了各种手段解决，比如正则话， 随机权值初始化， mini batch训练...
另外，BP网络， 只是神经网络中的一种， 还有很多其它类型的。
如前馈网络， AE，CNN，RBM， transformaer 等等， 有些用在预训练， 有些结构简单，可以深度堆叠。
--
FROM 115.171.245.*
那早先咋出不来深网络？
【 在 poggy 的大作中提到: 】
: BP网络的局部解可以通过引入随机来跳出局部。BP神经网络难对付的是梯度消失和梯度爆炸，而后推出了各种手段解决，比如正则话 ...
--
FROM 223.104.3.*
【 在 raindays 的大作中提到: 】
: 那早先咋出不来深网络？
那个时候算力不行啊，
你别看你手里小小的手机不起眼，
90年代的PC动不动就上万块， 你手机能超它1000倍。
更不用说60年代到80年代了。
--
FROM 115.171.244.*
我也想了解这个问题
--
FROM 120.245.118.*
神经网络的根本缺陷并不是学习。
举个例子，动物界有成千上万的物种，都有神经系统，但只有人进化出来智能。
难道是物种面对的世界不同吗，不，都一样，都是这个地球，同一个宇宙。
输入的训练数据是一致的，结果大相径庭。根源在哪里？
【 在 forevers 的大作中提到: 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标 题: 深度神经网络到底怎么解决训练问题的？
: 发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
: ...................
--
FROM 114.246.97.*
就是凑数，只要参数够多，就能凑出所有问题的答案。
【 在 forevers 的大作中提到: 】
: 【 以下文字转载自 ITExpress 讨论区 】
: 发信人: forevers (forevers), 信区: ITExpress
: 标 题: 深度神经网络到底怎么解决训练问题的？
: 发信站: 水木社区 (Mon Nov 13 12:51:12 2023), 站内
:
:
: ..................
发自「今日水木 on iPhone 11」
--
FROM 180.79.245.*
其它动物也有智能，只是不够高。
【 在 cut188 的大作中提到: 】
: 神经网络的根本缺陷并不是学习。
: 举个例子，动物界有成千上万的物种，都有神经系统，但只有人进化出来智能。
: 难道是物种面对的世界不同吗，不，都一样，都是这个地球，同一个宇宙。
: 输入的训练数据是一致的，结果大相径庭。根源在哪里？
: --
发自「今日水木 on iPhone 11」
--
FROM 180.79.245.*