残差网络看着思路简单，但是提出来的时候深度学习已经N年了，数据和算力早就具备了，梯度消失更是几十年的老问题了，如果真的很容易想到，早二十年就该有人提了。函数拆分很多算法在用，之前没人想到用来解决梯度消失。简单的方法大部分时候都不work，或者只适用于很窄的特殊场景（这就是所谓的工业应用创新）。能找到简单的思路但是能高效的解决经典难题，而且还是通用的，难度非常高，跟工业界搞个临时解决方案不是一码事。所以物理学界从杨振宁到爱因斯坦都强调简单就是美，简约有效的理论远胜堆一堆一头雾水的公式。
发自「今日水木 on iPhone SE 2」
--
FROM 112.97.59.*