如何从 HuggingFace 为 Ollama 导入新模型:Octopus-v2为例

1、关于GGUF格式介绍

是由Georgi Gerganov提出的一种通用的大语言模型存储格式，它支持多种量化级别，它为量化后的模型提供了一个标准化和高效的存储解决方案，使得这些模型可以更容易地集成到各种应用中，尤其是在资源受限的环境中。

2、下载GGUF文件

这里以Octopus-v2为例，

如何下载网上的某个模型

可以从hugggingface.co 或者镜像网站hr-mirror.com 下载所需gguf格式的大模型（不然得自己转） 假设我们要下载的是这两天大火的斯坦福的模型Octopus-v2， 搜Octopus-v2，找有GGUF标识的，

手动下载模型

比如我们选择个链接 https://hf-mirror.com/brittlewis12/Octopus-v2-GGUF/tree/main 下载octopus-v2.Q8_0.gguf

$ wget https://hf-mirror.com/NexaAIDev/Octopus-v2-gguf-awq/blob/main/octopus-v2-Q4_K_S.gguf

导入自己下载的模型

$ echo From Octopus-v2-Q4_K_S.gguf >ModleFile

$ ollama create octopus:v2 -f ModleFile

$ ollama run octopus:v2

分享一个国内免费使用GPT4.0的AI智能问答工具：智答专家。支持AI文本、作图、语音、Sora视频。无需魔法，亲测有效，点击访问

标签：HuggingFace,Ollama,Octopus-v2
来源：智答专家
发布时间：2024-05-13 18:50