- 主题:特斯拉的纯视觉方案怎么解决黑暗环境下的识别
典型的不懂装懂
激光雷达不能识别坑，铁架子那还叫激光雷达吗？
视觉能准确识别坑和铁架子，你走夜路也就不会摔跤了。
【 在 vta 的大作中提到: 】
: 没有偷换概念，激光雷达支持者始终搞不懂一个逻辑：
:
: 假设大雾、强逆光时视觉失效了，这是要不要靠激光雷达继续高速跑？如果继续跑，这不就是只用激光雷达吗？然而这时路上有坑、有铁架子激光雷达识别不到。
: ...................
--
FROM 98.158.95.*
那也照不清楚路上的水坑和井盖，另外北方雪天走过夜路的都知道靠肉眼很难辨认被雪盖住的凸起。
【 在 richiter 的大作中提到: 】
: 走夜路配合强光手电是不是就ok了，车上也装备上
:
--
FROM 98.158.95.*
处理视频流更消耗算力，因为信息密度比激光雷达高太多了（帧率和分辨率都要高几个量级）。
融合的开销可以忽略不计，现在端到端大模型方案下，无论多少种模态，都是被编码器向量化之后嵌入大模型里的。
简单的讲，十个摄像头的视觉感知，相比同样9个摄像头+一个激光雷达的方案，更吃算力。
特斯拉这套纯视觉的方案现阶段唯一的有点就是低成本，硬件成本降低（几百元的摄像头VS上万的激光雷达）并且软件架构极简，从视觉感知直接到行车指令。
【 在 djkstra 的大作中提到: 】
: 现在的算力连高质量的视觉信息都处理不过来，再加上激光雷达信息还要考虑融合开销，AI负担岂不是更重了
:
--
FROM 98.158.95.*
这些信息处理的工程方法肯定都有应用，高速上肯定降低帧率，路口帧率拉满。但是不影响我的结论
【 在 djkstra 的大作中提到: 】
: 信息看的是质量，也就是熵，不看密度的，高密度可以轻松转换成低密度，降分辨率抽帧又不消耗算力，
: 但你低密度信息不能生成高密度的，插帧修复这些才要消耗算力
:
--
FROM 98.158.95.*
无论视频帧还是激光雷达帧，都带有时间戳的，按照时间戳去视频里抽帧，编码后嵌入大模型，有什么费劲的。
你说的费劲还停留在上古的后融合方案里面，现在端到端都前融合了，天然解决了多模态对齐的问题。
【 在 djkstra 的大作中提到: 】
: 即使不说信息质量，你也没考虑融合问题，激光雷达要和视频图像去对准，这个也很费劲
:
--
FROM 98.158.95.*
你先查查你的信息是不是对的。 摄像头是30-60帧每秒，激光雷达普遍是10Hz-20Hz，3抽1怎么对不齐？
再说机械扫描的问题，垂直分辨率是线束，水平分辨率由平扫间隔点决定，举个例子1/20s扫描180度上的180个点获得一帧点云图，去匹配1/20s的那帧图像，误差最大是1/40s，比ISP处理图像的速度还要快。
垂直同步就更不是问题了，主要是由线束决定的，一个线束的垂直扫描角度非常小。
至于你说的老人被撞的事情，没仔细分析过，我估计更多的是策略的问题（遇到一个奇形怪状的物体，判断它是什么以及应该怎么应对），而不是传感器扫不到的问题。
【 在 djkstra 的大作中提到: 】
: 现在主摄像头都是36帧的，而激光雷达只有20帧，这完全不同步啊怎么嵌入，
: 而且激光雷达每一帧都是逐点机械扫描出来的，别说跟摄像头的平面整体成像去对齐了，
: 自己每帧都存在垂直同步的问题，这在高速条件下尤为明显，
: ...................
--
FROM 98.158.95.*
高速上问题不大，摄像头也会降帧采集的。因为路况简单。
【 在 djkstra 的大作中提到: 】
: 摄像头帧率高，激光雷达做不到，要对齐就只能降低摄像头帧率了，这必然降低数据质量，
: 垂直同步问题是激光雷达机械扫描的每一行都有时间差，而且这个还是跟速度相关的，
: 相对速度越快成像行移就越严重，10Hz的雷达第一行和最后一行差了100ms，高速条件下
: ...................
--
FROM 98.158.95.*
架空讨论没意思，你说的这个例子具体是什么？
雷达扫描到障碍物要映射到物体认知和应对策略。比如一个塑料袋和锥桶大小类似应对策略却完全不同。我之前看版友描述是不是被误识别成别的什么了？
【 在 vta 的大作中提到: 】
: 如果雷达扫到前面有障碍物了，为什么不刹车？
: 如果视觉已经判断出前面是老人了，还要激光雷达干什么？
: 这个例子恰恰说了激光雷达没用
: ...................
--
FROM 98.158.95.*
降帧完全够用，前向看的很远两三百米，20S看一次，侧向物体相对速度又不快，要是100公里/小时的侧向cut in 神仙来了也应对不利，电脑能反应过来你也刹不住啊。
【 在 djkstra 的大作中提到: 】
: 高速给你的反应时间短啊怎么能降帧呢，我屮艸芔茻，我知道激光雷达问题出在哪了
:
--
FROM 98.158.95.*
那也得有策略啊，如果像你说的激光雷达检测到障碍物就停下或者规避，那体验得多差啊。
【 在 vta 的大作中提到: 】
: 撞老人的例子啊
: 如果视觉已经能判断出是塑料袋还是锥桶了还是老人了，那要激光雷达干什么？
: 如果纯视觉已经能根据前车行为判断出地上的树枝能否压过去，如果纯视觉已经能判断出行人面部朝向采取不同措施了，那还要激光雷达干什么？
: ...................
--
FROM 98.158.95.*