如何把hugggingface的GGUF模型文件导入ollama中？

以下载Qwen2-VL-2B-Instruct为例：

1、在hugggingface搜索是否有Qwen2-VL-2B-Instruct的GGUF模型，没有就是没有，有的话，比如：https://hf-mirror.com/turingevo/Qwen2-VL-2B-Instruct-gguf/tree/main

2、下载模型，一般选择：wget https://hf-mirror.com/turingevo/Qwen2-VL-2B-Instruct-gguf/resolve/main/Qwen2-VL-2B-Instruct-Q8_0.gguf

3、添加模型文件地址：echo From Qwen2-VL-2B-Instruct-Q8_0.gguf >Qwen2-VL-2B-Instruct-Q8_0.modlefile

4、在命令行中执行指令转换模型：ollama create Qwen2-VL-2B-Instruct-Q8_0 -f Qwen2-VL-2B-Instruct-Q8_0.modlefile

5、ollama run Qwen2-VL-2B-Instruct-Q8_0

分享一个国内免费使用GPT4.0的AI智能问答工具：智答专家。支持AI文本、作图、语音、Sora视频。无需魔法，亲测有效，点击访问

标签：hugggingface,GGUF,ollama
来源：智答专家
发布时间：2024-10-30 08:55