水木社区手机版
- 主题:大佬，语言模型回答问题，一个一个的字蹦出来，是后台如此吗？
- 用百度的文心一言，就是一个一个字蹦出来的。用chatGPT，就不是。应该不是网速的原因。
【 在 l123173 的大作中提到: 】
: 你那是网速慢了吧，快的话没有那么一个字一个字的感觉
: 发自「今日水木 on iPhone X」
--
FROM 120.242.253.* - 请看附件。我用的 https://data.zhishuyun.com 提供的免费接口。至少从我python代码（知数云提供的样例代码）debug来看，问题的答案，还是后台一次性的吐给了前台。
r = requests.post(url, headers=headers, json=body, stream=True)
执行完这句后，前台就拿到了完整的答案。（但我不知道为何，他又要一个字一个字的划分）。拉到最下面后，完整的答案就出来了。
前台想一个字一个字的显示，完全可以拿到全部答案后，一个字一个字的显示。
欢迎探讨。
【 在 netvideo 的大作中提到: 】
: GPT是一个一个Token产生的，产生的Token接到输入（提示词）的后，产生下一个Token。Token对应词向量。其中一种简单的词向量就是以字为单位，但这种效果一般不算好。
--
FROM 120.242.253.* - 看起来是想展示生成过程，每一步生成一行，如果只解码最后一行就一次性显示出来了？
【 在 feng321 的大作中提到: 】
: 请看附件。我用的 https://data.zhishuyun.com 提供的免费接口。至少从我python代码（知数云提供的样例代码）debug来看，问题的答案，还是后台一次性的吐给了前台。
: r = requests.post(url, headers=headers, json=body, stream=True)
: 执行完这句后，前台就拿到了完整的答案。（但我不知道为何，他又要一个字一个字的划分）。拉到最下面后，完整的答案就出来了。
: ...................
--
FROM 125.69.13.* - 我估计应该也是这样。但是深度学习里，有一个词，大概是叫“反向传播”，那如果是按照他这个展示来看，是不是可以推定，他没有用“反向传播”?
【 在 netvideo 的大作中提到: 】
: 看起来是想展示生成过程，每一步生成一行，如果只解码最后一行就一次性显示出来了？
:
--
FROM 120.242.253.* - “反向传播”是训练时更新参数的算法，和这个没关系。这个体现出“自回归”语言模型的特性。
【 在 feng321 的大作中提到: 】
: 我估计应该也是这样。但是深度学习里，有一个词，大概是叫“反向传播”，那如果是按照他这个展示来看，是不是可以推定，他没有用“反向传播”?
--
FROM 125.69.13.* - 但是我发现，前台拿到结果数据有点慢，好像答案越长，等待的时间就越久。所以拿到之后再一个字一个字地显示，对用户来说，总体等待的时间就实在是太久了。
【 在 feng321 的大作中提到: 】
: 请看附件。我用的 https://data.zhishuyun.com 提供的免费接口。至少从我python代码（知数云提供的样例代码）debug来看，问题的答案，还是后台一次性的吐给了前台。
: r = requests.post(url, headers=headers, json=body, stream=True)
: 执行完这句后，前台就拿到了完整的答案。（但我不知道为何，他又要一个字一个字的划分）。拉到最下面后，完整的答案就出来了。
: ...................
--
FROM 60.182.153.* - 是的，我也是这意思。前台拿到就显示得了，干嘛要一个字一个字的蹦，纯粹是浪费时间
【 在 webhost 的大作中提到: 】
: 但是我发现，前台拿到结果数据有点慢，好像答案越长，等待的时间就越久。所以拿到之后再一个字一个字地显示，对用户来说，总体等待的时间就实在是太久了。
--
FROM 120.242.253.* - 主要看了网页版一个字一个字蹦出来的体验很好。
现在我只能做成仿微信聊天，发过去一段话后，过了一会，对方回你一句话这样。这之间的空隙，只能把输入框屏蔽了不让再输。
【 在 feng321 的大作中提到: 】
: 是的，我也是这意思。前台拿到就显示得了，干嘛要一个字一个字的蹦，纯粹是浪费时间
--
FROM 60.182.153.*