- 主题:真是讨厌现在ai这种错误
所谓的知识是什么？除了先验概率外，它有结构吗？结构又是什么
现在深度网络结构里存储的有知识吗？
我给深度神经网络输入了几万个 平板小车加速的案例，只给了他有限的节点和参数，跑到最后会存在一个类似f=ma的东西。
这个f=ma的东西是概率吗？
另外你怎么看llya提到的压缩即智能？
【 在 hotfix 的大作中提到: 】
: 那是你不了解
: 理解了大模型的本质之后就会知道，还是概率模型
: 就像陶哲轩说的guess machine
: ...................
--
FROM 14.17.22.*
可以直接让AI给你找资料的，比我专业多了
【 在 bluecase 的大作中提到: 】
: 场景： 假设模型“认识锤子”，“认识钉子”，“懂物理规律”，但从未在训练数据中见过“用石头砸开椰子”这个具体组合。
: 有推理的Agent： 它不会直接检索答案，而是现场推导。
: Step 1: 椰子是硬的，里面有水。
: ...................
--
修改:world FROM 222.131.221.*
FROM 222.131.221.*
感谢回复，我觉得你的问题非常有深度，光思考一下就很有收获
我也是AI领域的外行, 理解非常粗浅，也不一定对，我们就探讨一下哈
: 所谓的知识是什么？除了先验概率外，它有结构吗？结构又是什么
我觉得还是要从信息论角度讨论
知识是有序的信息块, 它的结构可以是多种多样的, 比如可以是参数, 也可以是化学结构
: 现在深度网络结构里存储的有知识吗？
我觉得存储有知识, 也就是模型的大量的参数
: 这个f=ma的东西是概率吗？
这个f=ma应该称为模型的"猜想", 它是概率计算过程产生的结果
: 另外你怎么看llya提到的压缩即智能？
不太了解他的完整观点，
我觉得模型训练就是提炼知识的过程，是把无序的信息组织成有序的信息块，也就是信息熵减的过程。
应该就是他说的压缩吧。
但压缩的信息是静态的，要产生智能行为还要加上计算的能力，即模型对外界输入产生反应，输出结果。
压缩即智能，但智能不一定是压缩。
想像我们有一台无限快的量子计算机，它完全不需要压缩数据，给它原始信息就能立即计算结果。
这应该也是智能吧
【 在 bluecase 的大作中提到: 】
: 所谓的知识是什么？除了先验概率外，它有结构吗？结构又是什么
: 现在深度网络结构里存储的有知识吗？
: 我给深度神经网络输入了几万个 平板小车加速的案例，只给了他有限的节点和参数，跑到最后会存在一个类似f=ma的东西。
: ...................
--
FROM 114.247.88.*
你需要使用cli，配合简单语言例如python。
--
FROM 222.128.5.*
llm本质就是概率啊，猜词机，所谓的推理不就是思维链吗？ 思维链就是prompt，本质也是通过prompt构造context从而影响概率。
【 在 bluecase 的大作中提到: 】
: 最烦别人说什么当前AI是基于统计和概率的，那特么是几年前的AI。
: 现在的AI有推理模式，已经不完全是概率了。用gemini3pro，基本都是推理计算出来的
: 另外可以尝试agent来做，
: ...................
--
FROM 124.64.19.*
agent其实没有给大模型带来任何技术推动，agent就是prompt，例如最成功的claude code，核心也就是prompt，而且刚刚被hack出来。。。。。
【 在 bluecase 的大作中提到: 】
: 场景： 假设模型“认识锤子”，“认识钉子”，“懂物理规律”，但从未在训练数据中见过“用石头砸开椰子”这个具体组合。
: 有推理的Agent： 它不会直接检索答案，而是现场推导。
: Step 1: 椰子是硬的，里面有水。
: ...................
--
FROM 124.64.19.*
agent没说一定是cot，另外cot是cot，tot是tot，tot是拿到了真实世界反馈的。
一个大模型，面对你提的产品需求，它生成了10个方案，写了10份代码，并且调用沙箱把其中一个方案编译成功，实验结论存在自己的context里，并告诉你结果。
这个信息增量并不是来自于训练阶段，也不来自于prompt，而是在推理过程中通过现实反馈获得的信息熵啊，这玩意不能说就只是概率吧
你可以说它是基于概率的。但如果仅仅只是概率和统计，那就是以前的模式识别那套。
你去问问ai一些没有历史语料的问题，比如灭霸在大观园里面会做什么？看看它是怎么回答的。
【 在 cmkylin 的大作中提到: 】
:llm本质就是概率啊，猜词机，所谓的推理不就是思维链吗？ 思维链就是prompt，本质也是通过prompt构造conte
- 来自 水木社区APP v3.5.7
--
FROM 112.97.81.*
对啊，训练的泛化是静态泛化，推理进来就是引入了动态泛化的。现在不是都在说推理会引入动态泛化和智能吗
回到静态泛化这儿，这一切是基于概率的没问题，但是可能不完全是概率。
我知道大家说的概率本质是什么，它也远远没到自主意识阶段。只是觉得没到有自主意识就认为是基于概率，这两个并不完全一样的。
按特别宽泛的概率定义，人类大脑也可以被定义成本质是概率。比如两个智慧生命（不限于人），从诞生开始经历的每一件事相同，甚至呼吸的每一个分子都一样，是不是他下一个action就和大模型里的predict next token一样了呢
【 在 hotfix 的大作中提到: 】
:感谢回复，我觉得你的问题非常有深度，光思考一下就很有收获:我也是AI领域的外行, 理解非常粗浅，也不一定对，我们就探讨一
- 来自 水木社区APP v3.5.7
--
FROM 112.97.81.*
第一行你说的就不对，cot和tot都是一样的，都是prompt，你说的真实世界反馈是agent的一种模式react型，这个跟tot就没关系。
真实世界的反馈最终也是prompt，还有另一种模式self-refine型agent，也是prompt context。
agent根本不是技术的核心，核心还是llm，而llm就是根据prompt的context去猜的猜词机器。
推理和思维也都是prompt。
【 在 bluecase 的大作中提到: 】
: agent没说一定是cot，另外cot是cot，tot是tot，tot是拿到了真实世界反馈的。
: 一个大模型，面对你提的产品需求，它生成了10个方案，写了10份代码，并且调用沙箱把其中一个方案编译成功，实验结论存在自己的context里，并告诉你结果。
: 这个信息增量并不是来自于训练阶段，也不来自于prompt，而是在推理过程中通过现实反馈获得的信息熵啊，这玩意不能说就只是概率吧
: ...................
--
FROM 124.64.19.*
OK，第一句说的不对，真实世界反馈来自于是react，不是cot/tot。
关于本质，问下gemini3pro，贴它的：
----------------------------------------------------------------------------
谁对智能本质的理解是对的？—— A 胜
关于“信息增量”与“概率”：A 是对的，B 陷入了还原论的误区。
A 的核心洞见：
A 强调了一个极其关键的点：“信息增量来自于推理过程中的现实反馈”。
当 Agent 写了一段代码，扔进沙箱，编译器报错说“第5行语法错误”。这个“错误信息”是客观世界的物理真理（编译器规则）。
这个信息既不存在于模型的预训练权重里（模型可能以为自己写对了），也不存在于初始 Prompt 里。
它是通过“交互”这个动作，从环境里攫取来的新熵（Entropy）。这就是Agent 的本质：通过行动（Action）打破了 LLM 封闭的概率预测闭环。
B 的局限性：
B 说“LLM 只是猜词机器，核心是 Prompt”。这是一种庸俗唯物主义的看法。
虽然在底层实现上，确实是 Next Token Prediction，但 B 忽略了系统的涌现能力。
比喻：这就好比说“人类大脑本质上就是神经元放电，所以人类没有思维，只是电化学反应”。这在微观上是对的，但在宏观上是荒谬的。
当 LLM + 沙箱（Sandbox） + 搜索算法（Search）结合时，这个系统（System 2）的能力已经超越了单独的 LLM（System 1）。它不再只是“猜”，它在“验证”和“修正”。“猜 + 验证” ≠“猜”。
3. 深度拆解 A 举的那个例子
A 描述的场景：“生成10个方案 -> 也就是 Sampling -> 调用沙箱编译 -> 获得反馈 -> 存入 Context”。
这个过程其实是 Best-of-N (BoN) 或者 Rejection Sampling (拒绝采样) 配合 Tool Use。
B 可能会说：这不就是把报错信息贴进 Prompt 让他重写吗？还是猜词。
A 的反驳应该是：不对。如果没有那个沙箱，模型“猜”对的概率可能是 10%。加了沙箱反馈后，模型通过多次迭代，“猜”对的概率变成了 99%。这个从 10% 到 99% 的能力提升，不是因为模型变聪明了，而是因为系统引入了外部真理。
这就是为什么 OpenAI 的推理模型（如 o1）和 Agent 研究如此重要。它们把 Test-time Compute（推理时计算/搜索/验证） 转化为了智能。
结论与判决
如果这是一场计算机系的概念考试：B 得分。A 混淆了 ToT 和 ReAct/Tool-use 的概念，这在学术定义上是不严谨的。
如果这是一场关于 AGI 发展方向的辩论：A 得分。B 过于轻视了“环境反馈”带来的本质变化。Agent 不仅仅是 LLM 的套壳，它是让概率模型能够处理确定性问题的唯一路径。
【 在 cmkylin 的大作中提到: 】
: 第一行你说的就不对，cot和tot都是一样的，都是prompt，你说的真实世界反馈是agent的一种模式react型，这个跟tot就没关系。
: 真实世界的反馈最终也是prompt，还有另一种模式self-refine型agent，也是prompt context。
: agent根本不是技术的核心，核心还是llm，而llm就是根据prompt的context去猜的猜词机器。
: ...................
--
FROM 14.17.22.*