新手指南：如何在Ubuntu安装部署大语言模型Ollama+Gemma+Open-webui，实现本地离线使用AI

（一）介绍

Ollama：一款可以让你在本地快速搭建大模型的工具

官网：https://ollama.com/

 

github：https://github.com/ollama/ollama

 

Gemma：谷歌开源的大模型

https://huggingface.co/google/gemma-2b

 

open-webui：非常不错的大模型webui，聊天界面从 ChatGPT 中汲取灵感，确保用户友好的体验。

github：https://github.com/open-webui/open-webui

官网介绍文档：https://docs.openwebui.com/getting-started/

（二）安装

1、安装Ollama：

Ollama是一个命令行工具，可以在Linux上本地运行多种语言模型，包括Gemma。首先，你需要访问Ollama的官方网站或GitHub页面以获取安装指令和包。

curl -L -o install.sh https://ollama.com/install.sh

bash install.sh

安装完成后，你可以通过运行以下命令来验证Ollama是否正确安装：

ollama --version

出现版本号，安装成功

启动服务

ollama serve

然后重新打开一个窗口new session

 

2、下载Gemma模型：

使用Ollama提供的命令行工具下载Gemma模型。Ollama支持多个版本的Gemma模型，包括2B和7B参数规模的版本12。你可以根据你的硬件配置选择合适的模型版本。例如，要下载Gemma 2B版本，可以使用以下命令：

ollama run gemma:2b

这将自动从Ollama的模型库中下载并运行Gemma 2B模型。下载和运行过程可能需要一些时间，具体取决于你的网络速度和系统性能。

 

3、开启API接口：

Ollama提供了REST API接口，允许你通过编程方式与运行的模型进行交互3。默认情况下，Ollama会在本地启动一个HTTP服务器，你可以通过以下API端点与Gemma模型进行交互：

curl http://localhost:11434/api/generate -d '{ "model": "gemma:2b", "prompt": "What is your name?" }'

如果一切正常，你应该会收到一个包含Gemma模型回答的JSON响应。

 

4、允许外网访问：

首先，确保您的服务器防火墙允许对外部访问开放11434端口。在Ubuntu中，您可以使用ufw（Uncomplicated Firewall）命令来打开端口：

sudo ufw allow 11434/tcp

sudo ufw reload

如果使用iptables，可以执行以下命令：

sudo iptables -A INPUT -p tcp --dport 11434 -j ACCEPT

sudo service iptables save

 

4、修改配置：

找到配置文件：/etc/systemd/system/ollama.servic

添加 Environment="OLLAMA_HOST=0.0.0.0:11434"

 

结果文件如下：

... [Service]

Environment="OLLAMA_HOST=0.0.0.0:11434"

ExecStart=/usr/bin/ollama serve

 ...

重启：

sudo systemctl daemon-reload

sudo systemctl restart ollama

测试：
curl http://192.168.17.134:11434/api/generate -d '{ "model": "gemma:2b", "prompt": "What is your name?" }'

 

5、安装open-webui

下载源码：

git clone https://github.com/open-webui/open-webui.git

cd open-webui/

 

# 复制 .env file

cp -RPp .env.example .env

 

 

# 安装编译 Node（版本至少18以上）

sudo apt install npm

curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash -

sudo apt-get install -y nodejs

 

更换国内安装源：

npm config set registry https://registry.npmmirror.com

查看是否更换成功：

npm config get registry

 

执行安装命令：

npm install

npm run build

 

# 安装依赖环境

cd ./backend

pip install -r requirements.txt -U -i https://pypi.tuna.tsinghua.edu.cn/simple

 

# 安装huggingface国内镜像，不然需要外网才能启动运行

pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

export HF_ENDPOINT=https://hf-mirror.com

 

#运行

sudo chmod -R 777 /home/malata/open_webui/backend/

bash start.sh

运行成功

首次登录先注册用户，然后就可以使用了，可以设置成中文版，如下

好了，你现在可以在本地离线使用Open AI啦！！Gemma 2b模型比较小，不够智能，需要可以去Ollama下载更大的模型，不过对硬件要求会更高些。

分享一个国内免费使用GPT4.0的AI智能问答工具：智答专家。支持AI文本、作图、语音、Sora视频。无需魔法，亲测有效，点击访问

标签：OpenAI,ChatGPT,Ollama,Gemma,Open-webui,新手教程
来源：智答专家
发布时间：2024-05-29 14:34