- 主题:本地知识库问答系统已经完整实现
本地知识库问答系统已经完整实现,主要包含以下功能:
1. 文档处理
- 支持加载TXT、PDF、Word等多种格式文档
- 使用RecursiveCharacterTextSplitter进行智能文本分块
- 可配置的chunk_size和chunk_overlap参数优化语义完整性
2. 向量化与检索
- 使用nomic-embed-text或bge-m3进行文本向量化
- 采用FAISS向量数据库进行高效存储和检索
- 支持保存和加载向量索引,避免重复构建
3. 问答功能
- 集成DeepSeek大语言模型进行回答生成
- 优化的prompt模板提升回答质量
- 支持相关度评分和来源追踪
- 提供交互式问答界面
4. 实用特性
- 完整的错误处理机制
- 支持用户反馈收集
- 自动保存对话历史
- 命令行参数支持批处理和交互模式
使用方法:
1. 构建索引:python TrainP.py --build <文档目录>
2. 单次查询:python TrainP.py --query <问题>
3. 交互模式:python TrainP.py --interactive
--
FROM 183.241.167.*
把本地文档放到指定目录,先build,再问答
这样能让本地部署的DS永久学习到本地知识库吗?测试下来似乎不能
那所谓的微调,是最终影响本地已经部署的DS模型吗
--
FROM 183.241.167.*
我也是只有笔记本电脑,Ollama装的deepseek 14b
也是让AI生成的python代码。
提问如下:
本地电脑已经通过ollama安装好了deepseek-r1:14b模型,我想用自己的本地知识库对本地部署的deepseek进行微调,请给出python代码
然后改了几次就可以了。
【 在 VChart 的大作中提到: 】
: 求攻略教程
: 目前我用的是gpt4all这个东西,但是它的缺点性能太慢太卡,只用cpu,虽然不依赖gpu,但是回答最简单的问题也得半个小时,不能忍,你这个回答问题它需要想多久啊?
:
--
FROM 183.241.167.*
我这个先build,生成faiss.bin,然后运行query的时候,他会加载这个bin。所以回答问题是基于build时处理的文档。
但是在cmd界面,运行14b,问同样的问题,完全不知道我在问什么。
所以我判断没有影响到DS本身
【 在 VChart 的大作中提到: 】
: 能啊,我的gpt4all的底层也是你这样的架构,部署完了学习完了,它就能记住了,今天关机后明天再开机不用再重新学习它就能直接用的
: 我没用到什么微调
--
FROM 183.241.167.*
啥意思?详细说说怎么自举哈
【 在 VChart 的大作中提到: 】
: 自举啊……
:
--
FROM 183.241.167.*
提问如下:
: 本地电脑已经通过ollama安装好了deepseek-r1:14b模型,我想用自己的本地知识库对本地部署的deepseek进行微调,请给出python代码
: 然后改了几次就可以了。
【 在 upndown 的大作中提到: 】
: 具体怎么弄的说说呗。
:
: --来自微微水木3.5.17
--
FROM 183.241.167.*
一、最优微调方案选择
1. 核心策略:LoRA + 梯度检查点
方法 硬件需求 训练速度 显存占用 效果保持率
全参数微调 32×A100 80G 慢 极高 100%
LoRA+梯度检查点 1×RTX 4090 24G 快 低 98-99%
QLoRA 1×RTX 3090 24G 较慢 极低 95-97%
推荐组合:
硬件有限:QLoRA + 4-bit量化(单卡消费级GPU)
平衡场景:LoRA + 梯度检查点(单卡/多卡均可)
企业级部署:全参数微调 + DeepSpeed Zero-3(多卡集群)
--
FROM 183.241.167.*
应该算RAG
【 在 Aladdin 的大作中提到: 】
: 这种是rag那种?还是说需要自己加文档外挂?
:
--
FROM 183.241.167.*
我提的需求是微调,他就给了我这些代码,不知道到底调了没有
我也搞不清楚到底啥区别哈
【 在 tgfbeta 的大作中提到: 】
: 我不明白,一个RAG,需要做什么微调
: look into my eyes
: 回答我
--
FROM 183.241.167.*
ragflow是第三方的东西,和cherryStudio及dify啥的都一样
感觉不如自己弄的放心哈,毕竟是公司的内部知识库。
关键是搞起来也挺简单的,我就趟个路子,看看能否争取到IT的经费哈
【 在 RiverFish 的大作中提到: 】
: 直接用 Ragflow 不更简单吗
:
--
FROM 183.241.167.*