- 主题:说ResNet没理论创新的属于外行充内行
残差网络看着思路简单,但是提出来的时候深度学习已经N年了,数据和算力早就具备了,梯度消失更是几十年的老问题了,如果真的很容易想到,早二十年就该有人提了。函数拆分很多算法在用,之前没人想到用来解决梯度消失。简单的方法大部分时候都不work,或者只适用于很窄的特殊场景(这就是所谓的工业应用创新)。能找到简单的思路但是能高效的解决经典难题,而且还是通用的,难度非常高,跟工业界搞个临时解决方案不是一码事。所以物理学界从杨振宁到爱因斯坦都强调简单就是美,简约有效的理论远胜堆一堆一头雾水的公式。
发自「今日水木 on iPhone SE 2」
--
FROM 112.97.59.*
我没有否认。
对于国内国外大多数平庸的科研人员来说,的确是搞不出来的。
但是对于清北MSRA以及CV华人圈子的人,能搞出来的大有人在。
之所以是何凯明和孙剑搞出来,是因为他们在小圈子里面,属于头部选手,本身就接触这一块而已。历史使命选中了他们。
【 在 ciwp 的大作中提到: 】
: 残差网络看着思路简单,但是提出来的时候深度学习已经N年了,数据和算力早就具备了,梯度消失更是几十年的老问题了,如果真的很容易想到,早二十年就该有人提了。函数拆分很多算法在用,之前没人想到用来解决梯度消失。简单的方法大部分时候都不work,或者只适用于很窄的特殊场景(这就是所谓的工业应用创新)。能找到简单的思路但是能高效的解决经典难题,而且还是通用的,难度非常高,跟工业界搞个临时解决方案不是一码事。所以物理学界从杨振宁到爱因斯坦都强调简单就是美,简约有效的理论远胜堆一堆一头雾水的公式。
: 发自「今日水木 on iPhone SE 2」
--
FROM 27.115.4.*
同意。青椒应该看看杨振宁给大学生研究生的建议:选热门领域,选热点问题研究,这是扬名立万的先决条件
【 在 angusta 的大作中提到: 】
: 我没有否认。
:
: 对于国内国外大多数平庸的科研人员来说,的确是搞不出来的。
: ...................
--来自微微水木3.5.12
--
FROM 101.86.54.*
这又是另外一个问题,怎么进一个好的课题组,跟一个好的道师。
【 在 tianiu 的大作中提到: 】
: 同意。青椒应该看看杨振宁给大学生研究生的建议:选热门领域,选热点问题研究,这是扬名立万的先决条件
--
FROM 27.115.4.*
tutor is a keyword, funny.
现在稍微好点的学生都是保送,学生老师互相挑。
挑不到的实际上是渣渣。
【 在 angusta 的大作中提到: 】
: 这又是另外一个问题,怎么进一个好的课题组,跟一个好的道师。
--
FROM 223.92.10.*
学生挑到的不一定是好的,他们还太嫩,跟碰运气差不多
【 在 carbon 的大作中提到: 】
: tutor is a keyword, funny.
: 现在稍微好点的学生都是保送,学生老师互相挑。
: 挑不到的实际上是渣渣。
: ...................
--来自微微水木3.5.12
--
FROM 101.86.54.*
LSTM有理论吗?ResNet和LSTM差不多,都是神经网络的一种。
--
FROM 1.203.173.*