- 主题:巨无霸大模型的神秘涌现能力,将重塑地球
拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
腾讯:约20-25万张,含H20/A100/T4,向字节采购H20算力,服务混元大模型与游戏AI。
百度:约15-20万张,以A100/H20为主,搭配昆仑芯,支撑文心一言与千帆平台。
超擎数智:约2.5-3.5万张,训练卡占比60%,服务DeepSeek等。
其他云厂商/AI公司:京东科技、网易有道等均有万级部署,以A100/T4为主,侧重推理。
--发自 ismth(丝滑版)
--
FROM 118.253.152.*
大模型除了没有任何物理意义外,更没有任何的生物意义,所以人工智能突破不了数据
拟合的限制,只能从现有知识中发现规律,很难产生新的知识,
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: ...................
--
FROM 223.104.40.*
大佬所言极是
【 在 anyone111 的大作中提到: 】
: 大模型除了没有任何物理意义外,更没有任何的生物意义,所以人工智能突破不了数据
: 拟合的限制,只能从现有知识中发现规律,很难产生新的知识,
:
: 【 在 Barbarossa 的大作中提到: 】
: : 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: : 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
--发自 ismth(丝滑版)
--
FROM 118.253.152.*
人脑能耗每天三碗米饭5个菜扣除长胖的重量
现在这搞法是不是走错路了
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
:
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: 腾讯:约20-25万张,含H20/A100/T4,向字节采购H20算力,服务混元大模型与游戏AI。
: 百度:约15-20万张,以A100/H20为主,搭配昆仑芯,支撑文心一言与千帆平台。
--发自 ismth(丝滑版)
--
FROM 39.82.206.*
斯文那
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
:
: 不过我国算力
: ..................
发自「今日水木 on iPhone 13 Pro」
--
FROM 223.104.78.*
但是,就效率而言,比如编程,人脑在大模型面前就是猪脑
【 在 isxb2 的大作中提到: 】
: 人脑能耗每天三碗米饭5个菜扣除长胖的重量
: 现在这搞法是不是走错路了
:
: 【 在 Barbarossa 的大作中提到: 】
: : 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: :
--发自 ismth(丝滑版)
--
FROM 118.253.152.*
一般
【 在 liangf 的大作中提到: 】
: 斯文那
: 【 在 Barbarossa 的大作中提到: 】
: : 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: :
: : 不过我国算力
: : ..................
--发自 ismth(丝滑版)
--
FROM 118.253.152.*
改用碳基,比如碳纳米管,石墨纤维?
【 在 isxb2 的大作中提到: 】
: 人脑能耗每天三碗米饭5个菜扣除长胖的重量
: 现在这搞法是不是走错路了
:
--
FROM 116.128.189.*
大佬,你低估了现在的人工智能
【 在 anyone111 的大作中提到: 】
: 大模型除了没有任何物理意义外,更没有任何的生物意义,所以人工智能突破不了数据
: 拟合的限制,只能从现有知识中发现规律,很难产生新的知识,
:
--
FROM 116.128.189.*
搞梅屈可克斯?
【 在 isxb2 的大作中提到: 】
: 人脑能耗每天三碗米饭5个菜扣除长胖的重量
: 现在这搞法是不是走错路了
:
: --发自 ismth(丝滑版)
: --
发自「今日水木 on iPhone 13 Pro」
--
FROM 223.104.78.*