水木社区手机版
- 主题:问个模型文件的问题
- 我试了如下三种工具
1. ollama
2. huggingface-cli
3. LM Studio
ollama下载下来的model文件,都没有扩展名,名字都是sha256-BLABLA
用huggingface-cli download --resume-download gpt2 --local-dir gpt2,下载下来的gpt2的文件就是一堆json,ot,msgpack等文件.
LM Studio下载的就是gguf文件.
我搜网上说gguf文件才是模型文件.
那么问题来了
1. ollama下载下来的不也是模型文件吗,怎么转成gguf文件,或者怎么给LM Studio用
2. huggingface-cli下载下来的东西,又如何给LM Studio用.
3. 反过来,gguf怎么给ollama用
谢谢
--
FROM 1.202.141.* - 在ollama的github上面找到了import guff的方法
Create a file named Modelfile, with a FROM instruction with the local filepath to the model you want to import.
FROM ./vicuna-33b.Q4_0.gguf
但是,问题又来了,这个FROM instruction是哪里来的?ollama的按照文件里面没有找到.
【 在 lobachevsky 的大作中提到: 】
: 我试了如下三种工具
: 1. ollama
: 2. huggingface-cli
: ...................
--
FROM 1.202.141.* - vicuna-33b.Q4_0.gguf 是你下载的文件，新建一个文件，比如 Modelfile1，文件中输入 FROM ./vicuna-33b.Q4_0.gguf，关闭文件。Modelfile1同一个目录中用命令行输入 ollama create modefile1 -f ./Modelfile1
【 在 lobachevsky 的大作中提到: 】
: 在ollama的github上面找到了import guff的方法
: Create a file named Modelfile, with a FROM instruction with the local filepath to the model you want to import.
: FROM ./vicuna-33b.Q4_0.gguf
: ...................
--
FROM 110.184.113.* - 谢谢
我试一下
然后,我看到有些的模型文件如图
扩展名是safetensors
这种怎么用,怎么给ollama
【 在 netvideo 的大作中提到: 】
: vicuna-33b.Q4_0.gguf 是你下载的文件，新建一个文件，比如 Modelfile1，文件中输入 FROM ./vicuna-33b.Q4_0.gguf，关闭文件。Modelfile1同一个目录中用命令行输入 ollama create modefile1 -f ./Modelfile1
:
--
FROM 1.202.141.* - python convert-hf-to-gguf.py
--
FROM 110.184.113.* - 懂了
谢谢
【 在 netvideo 的大作中提到: 】
: python convert-hf-to-gguf.py
--
FROM 1.202.141.*