- 主题:小米联合创始人也去体验FSD了
如图。不过估计FSD还是很难落地。数据不允许出去,算力计算中心又没办法搬到中国,特斯拉也没办法在中国训练模型
- 来自 水木社区APP v3.5.7
※ 修改:·Vas 于 May 4 13:47:44 2024 修改本文·[FROM: 98.160.216.*]
※ 来源:·
https://exp.mysmth.net·[FROM: 98.160.216.*]
修改:Vas FROM 98.160.216.*
FROM 98.160.216.*
针对中美差异部分收集样本(10%左右),finetune模型,还可以只更新活跃权重,根lora之类的类似。模型训练本身不难,难的是筛样本,一周筛千万级别的样本并自动标注。
都知道fsd展示的是我们对国际资本的态度:公平、开放,吸引将来丑国降息天量资金;我怀疑还有一个目的,就是带动东数西算这个国家战略,带动整个芯片数据产业,未来中国的算力跟建网站一样便宜…否则没必要这么大费周章,这是想复制新能源成功之路。
【 在 Vas 的大作中提到: 】
: 如图。不过估计FSD还是很难落地。数据不允许出去,算力计算中心又没办法搬到中国,特斯拉也没办法在中国训练模型
- 来自 水木社区APP v3.5.7
--
FROM 223.104.40.*
还有人说用联邦学习,不过大模型好像都是集中式。估计更新一次权重数据量太大,不现实。
【 在 Vas 的大作中提到: 】
: 如图。不过估计FSD还是很难落地。数据不允许出去,算力计算中心又没办法搬到中国,特斯拉也没办法在中国训练模型
- 来自 水木社区APP v3.5.7
--
修改:hsv FROM 223.104.40.*
FROM 223.104.40.*
好奇,怎么解决训练的问题。等有机会我问问一个FSD team的人。不过在确定进入前,估计他也不知道
- 来自 水木社区APP v3.5.7
【 在 hsv 的大作中提到: 】
: 还有人说用联邦学习,不过大模型好像都是集中式。
--
FROM 98.160.216.*
单独的官方文件都出来了,大方向上说明已经没问题,剩下的也就具体的实施细节,落地也就是时间问题
【 在 Vas 的大作中提到: 】
: 如图。不过估计FSD还是很难落地。数据不允许出去,算力计算中心又没办法搬到中国,特斯拉也没办法在中国训练模型
: - 来自 水木社区APP v3.5.7
: ※ 修改:·Vas 于 May 4 13:47:44 2024 修改本文·[FROM: 98.160.216.*]
: ...................
--
修改:Vas FROM 98.160.216.*
FROM 183.192.25.*
临港好多算力大楼,可以租算力,商汤3E算力一个楼。
hw、摩尔线程、寒武纪等芯片,pytorch支持比较友好,尽管有些算子支持有问题,tsl要是肯用,售后支持力度肯定是没问题的,既然他们可以import dojo,import cambricon问题不大,不过这样的话,马斯克妥妥的美奸,哈哈。
【 在 Vas 的大作中提到: 】
: 好奇,怎么解决训练的问题。等有机会我问问一个FSD team的人。不过在确定进入前,估计他也不知道
: - 来自 水木社区APP v3.5.7
--
修改:hsv FROM 223.104.40.*
FROM 223.104.40.*
Dojo今年要到8.5万块H100,很难有了类似大小的算力吧?
- 来自 水木社区APP v3.5.7
【 在 hsv 的大作中提到: 】
: 临港好多算力大楼,可以租算力,商汤3E算力一个楼。
: hw、摩尔线程、寒武纪等芯片,pytorch支持比较友好,尽管有些算子支持有问题,tsl要是肯用,售后支持力度肯定是没问题的,既然他们可以import dojo,import cambricon问题不大,不过这样的话,马斯克妥妥的美奸,哈哈。
--
FROM 98.160.216.*
国内主要是产能严重不足,hw几个月在增长了几百P的算力,后续光刻机量产,就爆装备了…
【 在 Vas 的大作中提到: 】
: Dojo今年要到8.5万块H100,很难有了类似大小的算力吧?
: - 来自 水木社区APP v3.5.7
--
FROM 223.104.40.*
这个。。。我不信这种自媒体给遥遥领先吹的牛。。。
- 来自 水木社区APP v3.5.7
【 在 hsv 的大作中提到: 】
: 国内主要是产能严重不足,hw几个月在增长了几百P的算力,后续光刻机量产,就爆装备了…
--
FROM 98.160.216.*
这没啥不信的,迟早的事…
【 在 Vas 的大作中提到: 】
: 这个。。。我不信这种自媒体给遥遥领先吹的牛。。。
: - 来自 水木社区APP v3.5.7
--
FROM 223.104.40.*