是的后台架构的原因，ChatGPT是AT（autoregressive）的单词接龙模型，只能一个一个字的生成

如果要一次生成完整的句子，理论上得需要NAT的模型，但NAT效果普遍是不如AT的。只是NAT性能可能会更好而已。

至于后一个字如何和前一个字产生关联，你需要学习embedding, attention, transformer, encoding/decoding, decoder masking等一系列机器学习技术。。。 才能理解
【 在 feng321 的大作中提到: 】
: 有的chatGPT是一个字一个字的蹦出来，有的chatGPT不是一个一个的蹦出来。这个效果，是前台做的？还是后台做的？听说后台产生答案的时候，是一个字一个字产生的，这可能吗？肯定不是随机产生的吧？后一个字如何跟前一个字关联？谢谢
--
修改:Xjt FROM 101.228.85.*
FROM 101.228.85.*

反了，API是故意帮你做成一次出来的。理论上，底层原理是一个一个token生成，当然也可以帮你包装成等全部生成完了再一次吐给你
【 在 iwannabe 的大作中提到: 】
: 没用过api？api是一次出来的
: 前台故意做成这样的
:
--
FROM 220.243.154.*

我也发现API是一次性蹦出来的，如果答案很长的话，需要等很久才能获取到响应。
这样做出来的聊天软件，很不人性化。
有没有办法做到像web端那样，让字一个字一个字读取到？

【 在 Xjt 的大作中提到: 】
: 反了，API是故意帮你做成一次出来的。理论上，底层原理是一个一个token生成，当然也可以帮你包装成等全部生成完了再一次吐给你
--
FROM 122.242.150.*

不是HTTPS？是Steam？

啥Stream？

【 在 iwannabe 的大作中提到: 】
: en,看了一下chatgpt的接口，后端是通过一个stream发送字符的
:
--
FROM 120.244.234.*

请看附件。我用的 https://data.zhishuyun.com 提供的免费接口。至少从我python代码（知数云提供的样例代码）debug来看，问题的答案，还是后台一次性的吐给了前台。
r = requests.post(url, headers=headers, json=body, stream=True)
执行完这句后，前台就拿到了完整的答案。（但我不知道为何，他又要一个字一个字的划分）。拉到最下面后，完整的答案就出来了。
前台想一个字一个字的显示，完全可以拿到全部答案后，一个字一个字的显示。
欢迎探讨。
【 在 Xjt 的大作中提到: 】
: 是的后台架构的原因，ChatGPT是AT（autoregressive）的单词接龙模型，只能一个一个字的生成
: 如果要一次生成完整的句子，理论上得需要NAT的模型，但NAT效果普遍是不如AT的。只是NAT性能可能会更好而已。
: 至于后一个字如何和前一个字产生关联，你需要学习embedding, attention, transformer, encoding/decoding, decoder masking等一系列机器学习技术。。。 才能理解


--
FROM 120.242.253.*