RAG只能对局部问题做出回答，对于需要综合、推理的问题是完全没用的。我最近也在苦恼这个事情，对LLM进行微调是一个路子，但是需要对语料进行标注，标注为（Q，think，A）这样的三元组，这是完全不可行的。另外一个路子是GraphRAG，据说能够利用大模型把语料变成知识图谱，我对比表示谨慎的怀疑（我2012年开始搞语义网，那时还没有大模型，一切都需要靠手搓，实体识别和关系提取就是一个天坑）。所以，搞不好，本地化信息融入到大模型这件事可能还有很长的路要走。

【 在 wangstone 的大作中提到: 】
: 改进了
: Embeding换了nomic模型
: LLM改用14B 16FP的DS或者千问
: ...................
--
FROM 175.169.211.*