- 主题:现在的大模型里 神经元会有多少
deepseek满血版 671b，是可以处理6710亿个参数
但结点数或叫神经元的数量一般会有多少？
人脑有800多亿个神经元
现在的大模型还达不到这么多吧？
--
FROM 39.165.250.*
是叫维数吗？
【 在 prog2000 的大作中提到: 】
: deepseek满血版 671b，是可以处理6710亿个参数
: 但结点数或叫神经元的数量一般会有多少？
: 人脑有800多亿个神经元
: ...................
--
FROM 39.165.250.*
多谢
已经与人的神经元数量差不多了
【 在 adamhj 的大作中提到: 】
: deepseek的回答：
: 方法二：手动计算（理解模型结构）
: 要手动计算，你需要了解模型的基本架构。我们以典型的 Transformer 模型（如 GPT 系列）为例。
: ...................
--
FROM 39.165.250.*
学习了
【 在 overcomeunic 的大作中提到: 】
: 一个神经元有 2000个触突
: 人类大脑有860亿神经元，虽说不是每个神经元都有 2000个触突， 虽说不是每个神经元都激活
: 如果按 10%的神经元激活，按每个神经元200个触突， 8.6B * 200 = 1720B
: ...................
--
FROM 39.165.250.*
好，多谢
【 在 fluter 的大作中提到: 】
: 神经连接更重要，人脑大约100T
: 大模型现在的规模是1T
--
FROM 39.165.250.*