- 主题:本地部署了一个32B的，现在想做个网页对话机器人接上去回答问题
目前都对接上了，但是回答的问题幻觉严重
因为要做的是个解答本公司制度流程的对话机器人
需要这个对话回答严格按照公司流程制度回答
这个该如何解决的比较好？
--
FROM 106.37.187.*
用本公司数据去做微调
【 在 BubbleRider 的大作中提到: 】
: 目前都对接上了，但是回答的问题幻觉严重
: 因为要做的是个解答本公司制度流程的对话机器人
: 需要这个对话回答严格按照公司流程制度回答
: ...................
--
FROM 101.226.154.*
我这公司制度也就是几个word文档，大概3万字，这种怎么去处理比较好阿
【 在 johnbird 的大作中提到: 】
: 用本公司数据去做微调
--
FROM 106.37.187.*
这点字数可以找个支持长文本输入的大模型，把这些文字附在每个提问之前传给大模型
【 在 BubbleRider 的大作中提到: 】
: 我这公司制度也就是几个word文档，大概3万字，这种怎么去处理比较好阿
--
FROM 101.226.154.*
用提示词工程设计好模板，开发个agent。
用RAG接好本地知识库，当然，要提前梳理好公司流程文档，改成问答对。
用私域对齐技术，做一些内容过滤，防止安全数据及客户数据泄露什么的。
【 在 BubbleRider 的大作中提到: 】
: 目前都对接上了，但是回答的问题幻觉严重
: 因为要做的是个解答本公司制度流程的对话机器人
: 需要这个对话回答严格按照公司流程制度回答
: 这个该如何解决的比较好？
--
FROM 123.103.9.*
嗯，谢谢
【 在 johnbird 的大作中提到: 】
: 这点字数可以找个支持长文本输入的大模型，把这些文字附在每个提问之前传给大模型
--
FROM 106.37.187.*
比较有操作性，多谢
【 在 reaphone 的大作中提到: 】
: 用提示词工程设计好模板，开发个agent。
: 用RAG接好本地知识库，当然，要提前梳理好公司流程文档，改成问答对。
: 用私域对齐技术，做一些内容过滤，防止安全数据及客户数据泄露什么的。
: ...................
--
FROM 106.37.187.*
用AI工作流平台做，需要先将输入做一个意图理解，理解用户要查询哪些制度，提取制度关键字，分支到不同的文本拼接中形成特定提示词，在这里用提示词要求根据制度关键字的变量到指定的文档库里查询。
有必要的话，还应针对固定问题，采用问答对分支形式保障准确性
也可以根据关键字返回对应的规章制度的官方文件网盘链接，给用户详细查询。
--
FROM 111.201.209.*
请教一下，所谓的微调，能改进本地模型吗？
我现在把本地文档向量化后，提问前加载，貌似对本地deepseek没有影响，不加载的话，DS还是不知道我本地文档的内容
【 在 johnbird 的大作中提到: 】
: 用本公司数据去做微调
--
FROM 183.241.167.*
用LM Studio;
--
FROM 123.114.18.*