水木社区手机版
- 主题:tesla ai day
- https://www.bilibili.com/video/BV14h411i75g
尝鲜版翻译，翻的不咋滴但凑合能看：
https://www.bilibili.com/video/BV1Eb4y1S79e
2个半小时，我还没看完，不过我已经准备做一期翻译仔细过一遍。
粗略总结下：
tesla详细讲了他们的自动驾驶AI框架，大概分3块。1大块工作是把8个摄像头转换为全局空间，里面讲了不少怎么解决各种corner case的方法。一块是路线规划，还有一块是基于神经网络的规划求解，里面用了MCTS+AI，有点类似于AlphaGo的实现。
然后tesla基于这样的架构构成了闭环，也即能从原始的8个摄像头的视频，投影到全局空间，再反过来产生每个摄像头的视频，以及产生仿真激光点云的数据，以及产生仿真数据的能力。这些让tesla可以实现自动标注，来强化某些极端场景的训练。
然后是tesla搞了一块dojo的AI训练硬件平台。spec看着有点吓人。底层是一层ai chip，周围是一圈收发器，上下左右4路，每路带宽9TB/s，io能力总共36TB/s，性能是9PFops BF16/CFP8。然后电源直接片上堆叠在ai chip上，塞满了buck电路和mos管，实现52V DC输入，buck降压并驱动ai chip，总输出电流达到了18000A，然后上面一块小的CPU板再加上15kw热功耗的水冷散热。而整个这一块大概是一个批萨盒这么大，可以大规模网格扩展...
最后是tesla准备造人形机器人了，这个目前是吹个牛逼，号称明年出原型机，具体就不展开了，什么时候等tesla把吹得牛实现了再看...
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.* - 是有，不过特斯拉是绝对不会上激光雷达的，这个试验车是用来产生标记数据的。
【 在 cokebear 的大作中提到: 】
: 好像有报道路上看到特斯拉的激光雷达试验车
:
--
FROM 180.158.55.* - 那我们就讨论下天花板问题。
你觉得激光雷达在哪里可以体现出它的天花板比视觉更高？
比如，摄像头用的是400-700nm可见光谱成像，激光雷达用的是905nm近红外成像。
对摄像头有干扰的雨雾沙等微粒，近红外也一样存在。
其次，激光雷达是一束线扫描一个面，摄像头是透镜投影直接感知一个面，从光学原理上来说两者也是完全一样，都遵循成像原理。
最后，激光雷达是主动光源，通过测量ToF得到深度信息。摄像头是被动（环境光照明）+主动（开大灯）成像，被动成像的好处是对外界不存在干扰，而主动成像如果每辆车都用，那就相当与每辆车都开着大灯。虽然激光雷达波束聚焦，还可以使用编码来缓解，但你也无法确保在这种环境下激光雷达的探测结果一定不存在干扰。此外最后一点，既然也有主动光源，摄像头是可以让像素也具有ToF感知能力的，所以其实现在就有ToF CMOS Sensor，一颗摄像头同时给出图像和深度场。
激光雷达唯一确定优于摄像头的地方，那就是探测距离。这是激光的特性和部件的体积决定的，但这两点只能说优势，依然不能说天花板就一定更高。我们已经见过手机的摄像头是怎么淘汰单反的故事了。摄像头的深度场也一样可以用激光+散点的形式照明（就跟faceid的结构光一样），部件的灵敏度也可以继续提升下去。虽然同样的技术也可以帮助激光雷达获得更大的探测距离，但who care？摄像头如果能给出200米的深度场，激光雷达就算能探测10公里也没意义了。
最后，虽然我说了带深度场的ToF Sensor，但特斯拉是连这个都不会去用的。如果你仔细看了这篇演讲，你会发现特斯拉已经用摄像头形成了完整的体系。你认为的空间感知问题对现在的fsd来说已经几乎不存在了。截图这个效果，看起来很像是激光雷达的点云吧？但其实是3颗摄像头给出的。
【 在 ECUCoder 的大作中提到: 】
: 特斯拉在视觉感知这块确实很牛，无奈目前的视觉感知能力天花板太低，随着激光雷达逐步上车，不出三年，特斯拉的量产自动驾驶能力会被一众新车型吊打。
: 当然，特斯拉现在上激光雷达也不晚，就怕视觉一条道走到黑。
:
--
FROM 180.158.55.* - 不是，我的意思是，如果两套方案的天花板都没本质区别，那为啥 激光雷达 + 视觉就 > 单视觉啊，
你应该也有体会，工程上有句话叫多个香炉多只鬼，更复杂的设计如果不能带来足够具体的好处，那就是扣分项。
所以我想讨论的就是激光雷达跟视觉各有所长，这个各有所长的长具体体现在什么地方。
按照我目前的理解，激光雷达在远距离高精度测距上是有优势的，但首先这个优势点跟tesla目前的多目视觉方案对比，是优势很大还是微弱优势是个问号。目前根据tesla披露的信息来看，tesla在视距范围内，已经基本解决这个问题了，你可以看tesla的对比图，测速方面几乎无差别，测距方面没精确数据，但从点云效果来看远距离也完全OK。当然激光雷达的优势距离很远，如果要比5公里那肯定有巨大优势，所以就来到下面第二个问题。
远距离高精度测距，对于自动驾驶的帮助体现在哪里，这个比重算很大还是很小。这个从tesla的自动驾驶方案介绍中可以看出来，他们讨论了很多他们认为较难解决的问题点，但没有一个问题跟远距离高精度测距有关。所有的场景都发生在人目视能看到范围，比如看清路牙，看清交通标志，看清并识别周围车辆的类型运动状态等等。这里没有哪个问题需要超视距级的解决方案啊。
此外还有一个是激光雷达在恶劣天气下的抗干扰能力。先不讨论激光雷达本身抗干扰能力如何，我们就假设远好于摄像头方案，但tesla也展示了怎么通过自动标注解决恶劣环境下摄像头的识别稳定性问题。
所以，如果说之前老马坚持纯视觉方案是他想当然，只是他的执念的话，那现在在抛出了具体内部实现细节之后，理性上确实很难说服我，激光雷达的价值体现在哪里。反倒是可以反过来说，坚持激光雷达必不可少是一种想当然，需要具体论证证明这个观点了。
此外还有一个跟激光雷达有帮助类似的观点是高清地图，这个是另一个话题。
【 在 ECUCoder 的大作中提到: 】
: 你说的挺有道理的。
: 但你理解错了我的意思，我的意思是 激光雷达+视觉 > 视觉，并不是 激光雷达 > 视觉。
: 就自动驾驶环境感知而言，激光雷达跟视觉各有所长，互相补充，缺一不可。
: ...................
--
FROM 180.158.55.* - 近红外和可见光没啥大的物理区别啊，摄像头要是拿掉近红外滤片，能直接看到近红外，加个近红外带通滤波，那直接变成NIR camera了。摄像头上的ToF Sensor就是用NIR做的。
远光就瞎首先是自动驾驶天然需要考虑的问题，不仅仅要考虑远光瞎了，还要考虑各种大车遮挡等等问题，遮挡激光雷达也需要处理的，所以你不能假设可以依赖一个永远不会消失永远准确的信号。何况激光雷达普及之后，到处都是主动激光，我不认为激光雷达就不存在这个瞎的问题。
然后，人眼是远弱于CMOS sensor的，手机可以对着太阳光逆光拍还照样看清暗部细节，人眼就不行。我这里附一张4年前手机拍摄的效果。注意这里用了HDR+，tesla对于视频是有一大堆预处理，去修正曝光，模糊，甚至安装过程中对准误差等问题的。tesla是否应用了HDR提升摄像头的宽容度我不清楚，但这张照片至少可以展示一个老手机的摄像头的逆光能力是在什么档次上。
至于你的第二个问题，讲真建议还是看完tesla ai day先吧...人家花了很大的篇幅介绍了他们是怎么解决corner case的。你可以看看我下面上传的截屏，人家的训练场景里面有一头鹿出现在大马路上，有高速上一男一女一狗在跑步...tesla已经把实际场景识别，分解，再重新渲染投影回去了。所以他可以任意修改场景去支持各种奇葩案例。而且这些跟深度学习是否认得一个奇葩物体也没关系。深度学习是分很多层的，前面几层就是多目视觉转换为深度信息而已，它不认得也一样知道这里有个物体。
【 在 ECUCoder 的大作中提到: 】
: 基于TOF原理的深度摄像头与激光雷达的能力（包括距离与分辨率）不可同日而语，这是不同波长光的物理特性决定的。
: 基于其它原理的深度摄像头就更不靠谱了，对面车来几束远光直接就瞎了（这个人眼可以直观感受）。
: 深度摄像头用在玩具上，家用电器上，小机器人上都挺有前途的，自动驾驶汽车真不行，性能严重不足（当然，作为辅助驾驶还是有用的）。
: ...................
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.* - 哪里差太远我看不出来。
tesla有个演示，融合每辆车自己测量出来的路道情况，再对齐拼接起来。
得到一张融合的地图。
这稳定性和精度都很好啊。
【 在 cokebear 的大作中提到: 】
: fusing肯定是未来
: 视觉测距稳定性和精度比激光差太多了
:
--
FROM 180.158.55.* - 我的理解，基于视觉的模型，CNN也好Transformer，业界都有大量充分的工作作为基础。
相对而言，lidar的数据表现为点云，和图像数据在形态上有较大差别，那么问题就来了，你用什么样的方式喂给网络呢？
无非就两条路：
1、最理想的方式，针对lidar这种带有深度信息的点云，单独构造一套针对性的网络结构，来最大化利用里面的深度信息。
2、最简单的方式，直接把点云投影到多目普通摄像头视角，把投影结果跟其他视频流一样喂给视觉模型。
如果走第二条路最简单的方式，那很显然会出现数据污染。因为你的模型是按照实景训练的，而点云跟实景差距太大了，直接喂给它显然不合适，甚至点云这种充满高频信息的东西用CNN来处理是否合适都是个问题。
但如果走第一条的最理想路线，搞出一个网络来应该不难，但因为ai领域对lidar相关的数据研究工作规模远小于纯视觉，所以你很难说你搞出来的能同时接受视觉信息和lidar数据的单一网络在网络成熟度上是足够先进的。好比现在大家都在用transformer搞视觉了，你还在用vgg，这一下子就是大于5年的差距。
【 在 hicharlie 的大作中提到: 】
: 我是搞ai的，请教一下。
: 特斯拉说点，lidar和摄像头数据融合的时候容易出现数据污染，反而影响训练。所以他们完全放弃了lidar。
: 这个数据污染从训练的角度怎么理解。
: ...................
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.* - 不是，我们这里不是在讨论信仰，就是简单的摆事实，定性定量分析问题。
摄像头跟激光雷达差别那么大，这句话你跟小学生说没问题。但你要跟我讨论出一个结论出来，那自然要具体说说差在哪里，怎么个差法，这个差的因素是否关键。综合下来才能得出正确的结论啊。
我前面也给了很多两者对比的具体分析了。当然我也没穷尽一切细节，比如目前ToF CMOS Sensor的深度场典型分辨率只有CIF，这个分辨率是比较小的，lidar这个指标应该要高很多但具体是多少我不知道。这些不就是我们来讨论的意义嘛。
观点可以不同，因为大家的背景知识不一样。但只要大家秉承理性分析的原则，最后是一定可以补齐各自缺失的知识，最终讨论出一致结果的，这才是理性讨论的意义嘛。
我不需要你说服我，我也不想说服你，我只是想讨论清楚这个问题罢了。信仰不信仰，神话不神话，这些都不属于理性讨论需要考虑的内容。
【 在 ECUCoder 的大作中提到: 】
: 摄像头跟激光雷达差别那么大，你都认为没啥大的物理区别，那我真的没法说服你。
: 国外大公司的技术日视频我都会看几眼的，但我一般是在B站上看别人剪辑好的浓缩版，原版视频一个是时间太长，一个是听起来也费劲。
: 那么多年了，我的总体感觉特斯拉是一家做到70分，吹到100分的公司，有部分领先技术，但是并没有吹得那么神，不用迷信它。
: ...................
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.*