- 主题:tesla ai day
我是搞ai的，请教一下。
特斯拉说点，lidar和摄像头数据融合的时候容易出现数据污染，反而影响训练。所以他们完全放弃了lidar。
这个数据污染从训练的角度怎么理解。
【 在 lvsoft 的大作中提到: 】
:
: 近红外和可见光没啥大的物理区别啊，摄像头要是拿掉近红外滤片，能直接看到近红外，加个近红外带通滤波，那直接变成NIR camera了。摄像头上的ToF Sensor就是用NIR做的。
:
: 远光就瞎首先是自动驾驶天然需要考虑的问题，不仅仅要考虑远光瞎了，还要考虑各种大车遮挡等等问题，遮挡激光雷达也需要处理的，所以你不能假设可以依赖一个永远不会消失永远准确的信号。何况激光雷达普及之后，到处都是主动激光，我不认为激光雷达就不存在这个瞎的问题。
:
--
FROM 117.136.38.*
特斯拉追求的是规模化，这就决定了短期内不可能上激光雷达，说这些无非是托辞
不是技术问题，是商业模式的问题
就和华为说自己永不造车一样
【 在 hicharlie (马上诗人) 的大作中提到: 】
: 我是搞ai的，请教一下。
: 特斯拉说点，lidar和摄像头数据融合的时候容易出现数据污染，反而影响训练。所以他们完全放弃了lidar。
: 这个数据污染从训练的角度怎么理解。
: ...................
--
修改:cokebear FROM 101.86.77.*
FROM 101.86.77.*
摄像头跟激光雷达差别那么大，你都认为没啥大的物理区别，那我真的没法说服你。
国外大公司的技术日视频我都会看几眼的，但我一般是在B站上看别人剪辑好的浓缩版，原版视频一个是时间太长，一个是听起来也费劲。
那么多年了，我的总体感觉特斯拉是一家做到70分，吹到100分的公司，有部分领先技术，但是并没有吹得那么神，不用迷信它。
【 在 lvsoft 的大作中提到: 】
: 近红外和可见光没啥大的物理区别啊，摄像头要是拿掉近红外滤片，能直接看到近红外，加个近红外带通滤波，那直接变成NIR camera了。摄像头上的ToF Sensor就是用NIR做的。
: 远光就瞎首先是自动驾驶天然需要考虑的问题，不仅仅要考虑远光瞎了，还要考虑各种大车遮挡等等问题，遮挡激光雷达也需要处理的，所以你不能假设可以依赖一个永远不会消失永远准确的信号。何况激光雷达普及之后，到处都是主动激光，我不认为激光雷达就不存在这个瞎的问题。
: 然后，人眼是远弱于CMOS sensor的，手机可以对着太阳光逆光拍还照样看清暗部细节，人眼就不行。我这里附一张4年前手机拍摄的效果。注意这里用了HDR+，tesla对于视频是有一大堆预处理，去修正曝光，模糊，甚至安装过程中对准误差等问题的。tesla是否应用了HDR提升摄像头的宽容度我不清楚，但这张照片至少可以展示一个老手机的摄像头的逆光能力是在什么档次上。
: ...................
--
FROM 122.238.142.*
我的理解，基于视觉的模型，CNN也好Transformer，业界都有大量充分的工作作为基础。
相对而言，lidar的数据表现为点云，和图像数据在形态上有较大差别，那么问题就来了，你用什么样的方式喂给网络呢？
无非就两条路：
1、最理想的方式，针对lidar这种带有深度信息的点云，单独构造一套针对性的网络结构，来最大化利用里面的深度信息。
2、最简单的方式，直接把点云投影到多目普通摄像头视角，把投影结果跟其他视频流一样喂给视觉模型。
如果走第二条路最简单的方式，那很显然会出现数据污染。因为你的模型是按照实景训练的，而点云跟实景差距太大了，直接喂给它显然不合适，甚至点云这种充满高频信息的东西用CNN来处理是否合适都是个问题。
但如果走第一条的最理想路线，搞出一个网络来应该不难，但因为ai领域对lidar相关的数据研究工作规模远小于纯视觉，所以你很难说你搞出来的能同时接受视觉信息和lidar数据的单一网络在网络成熟度上是足够先进的。好比现在大家都在用transformer搞视觉了，你还在用vgg，这一下子就是大于5年的差距。
【 在 hicharlie 的大作中提到: 】
: 我是搞ai的，请教一下。
: 特斯拉说点，lidar和摄像头数据融合的时候容易出现数据污染，反而影响训练。所以他们完全放弃了lidar。
: 这个数据污染从训练的角度怎么理解。
: ...................
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.*
不是，我们这里不是在讨论信仰，就是简单的摆事实，定性定量分析问题。
摄像头跟激光雷达差别那么大，这句话你跟小学生说没问题。但你要跟我讨论出一个结论出来，那自然要具体说说差在哪里，怎么个差法，这个差的因素是否关键。综合下来才能得出正确的结论啊。
我前面也给了很多两者对比的具体分析了。当然我也没穷尽一切细节，比如目前ToF CMOS Sensor的深度场典型分辨率只有CIF，这个分辨率是比较小的，lidar这个指标应该要高很多但具体是多少我不知道。这些不就是我们来讨论的意义嘛。
观点可以不同，因为大家的背景知识不一样。但只要大家秉承理性分析的原则，最后是一定可以补齐各自缺失的知识，最终讨论出一致结果的，这才是理性讨论的意义嘛。
我不需要你说服我，我也不想说服你，我只是想讨论清楚这个问题罢了。信仰不信仰，神话不神话，这些都不属于理性讨论需要考虑的内容。
【 在 ECUCoder 的大作中提到: 】
: 摄像头跟激光雷达差别那么大，你都认为没啥大的物理区别，那我真的没法说服你。
: 国外大公司的技术日视频我都会看几眼的，但我一般是在B站上看别人剪辑好的浓缩版，原版视频一个是时间太长，一个是听起来也费劲。
: 那么多年了，我的总体感觉特斯拉是一家做到70分，吹到100分的公司，有部分领先技术，但是并没有吹得那么神，不用迷信它。
: ...................
--
修改:lvsoft FROM 180.158.55.*
FROM 180.158.55.*
定性地说，激光雷达跟TOF摄像头确实没什么区别，TOF摄像头本身就是模仿着激光雷达的原理来做的。
定量地说，区别就大了，车载激光雷达的探测距离、分辨率、抗扰性能都远比TOF摄像头要好。
就目前摄像头那种CMOS感光芯片，原理上就没法达到车载激光雷达的性能。
【 在 lvsoft 的大作中提到: 】
: 不是，我们这里不是在讨论信仰，就是简单的摆事实，定性定量分析问题。
: 摄像头跟激光雷达差别那么大，这句话你跟小学生说没问题。但你要跟我讨论出一个结论出来，那自然要具体说说差在哪里，怎么个差法，这个差的因素是否关键。综合下来才能得出正确的结论啊。
: 我前面也给了很多两者对比的具体分析了。当然我也没穷尽一切细节，比如目前ToF CMOS Sensor的深度场典型分辨率只有CIF，这个分辨率是比较小的，lidar这个指标应该要高很多但具体是多少我不知道。这些不就是我们来讨论的意义嘛。
: ...................
--
FROM 122.238.142.*
tof几米内还能用。像激光雷达那样达到100米不太现实
【 在 lvsoft 的大作中提到: 】
: 那我们就讨论下天花板问题。
: 你觉得激光雷达在哪里可以体现出它的天花板比视觉更高？
: 比如，摄像头用的是400-700nm可见光谱成像，激光雷达用的是905nm近红外成像。
: ...................
--
FROM 223.70.141.*