人脑能耗每天三碗米饭5个菜扣除长胖的重量
现在这搞法是不是走错路了
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
:
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: 腾讯:约20-25万张,含H20/A100/T4,向字节采购H20算力,服务混元大模型与游戏AI。
: 百度:约15-20万张,以A100/H20为主,搭配昆仑芯,支撑文心一言与千帆平台。
--发自 ismth(丝滑版)
--
FROM 39.82.206.*