- 主题:AI的回答为什么是一个字一个字出来的？
而不是一整篇出来
--
FROM 120.35.168.*
第3点除非服务器特别忙
【 在 Acui 的大作中提到: 】
: AI的回答逐字出现是因为生成和显示文本的方式。具体原因如下：
: 1. **生成过程**：AI模型逐字生成文本，每次预测下一个最可能的字或词，直到完成整个回答。
: 2. **显示方式**：为了让用户实时看到生成过程，系统会逐字显示，而不是等待整个回答生成完毕后再一次性展示。
: ...................
--
FROM 218.108.214.*
主要还是为了效果
【 在 wonder0321 的大作中提到: 】
: 当然可以等都生成好了，再呈现给用户。对比现在这种逐字的效果，是不是更像一个人在对话。
--
FROM 218.108.214.*
我还以为有了整篇答案以后，再逐字呈现
【 在 lengxinyi 的大作中提到: 】
: 因为整篇出来太慢了，用户等着不高兴
:
--
FROM 218.108.214.*
比如答案有300字，推理出前30个字到后30个字需要那么久，那内容逻辑怎么连贯一体？
会不会类似多线程的效果，服务器时间分片，用来同时服务上万个用户，每个用户一次一个字，一万个用户轮流一遍再下一个字？
--
修改:ooolinux FROM 218.108.214.*
FROM 218.108.214.*
推理跟逐字动画输出肯定不是同步关系，不考虑数据包传输的情况，当然你也可以说有个输出缓冲区来调节二者的不同步。
【 在 lengxinyi 的大作中提到: 】
: 不是
: 答案在回答前不知道有多少个字
: 模型从第一个字开始生成，先推出第n个字后才能推出第n+1个字
: ...................
--
FROM 218.108.214.*
AI的逐字推理与逐字显示应该不同步
【 在 sealtracy 的大作中提到: 】
: 现在主流的大模型，都是生成式的，技术方案都是逐字推理，前几年ibm还是谁弄了一个多字推理的，后面就被gpt给弄得没啥动静了，
: 发自「今日水木 on SM-S9260」
--
FROM 120.35.168.*