AI资讯
掌握人工智能AI动态，领略未来风采！
1、安装Ollama：
Ollama是一个命令行工具，可以在Linux上本地运行多种语言模型，包括Gemma。首先，你需要访问Ollama的官方网站或GitHub页面以获取安装指令和包。
curl -L -o install.sh https://ollama.com/install.sh
bash install.sh
安装完成后，你可以通过运行以下命令来验证Ollama是否正确安装：
ollama --version
2、下载Gemma模型：
使用Ollama提供的命令行工具下载Gemma模型。Ollama支持多个版本的Gemma模型，包括2B和7B参数规模的版本12。你可以根据你的硬件配置选择合适的模型版本。例如，要下载Gemma 2B版本，可以使用以下命令：
ollama run gemma:2b
这将自动从Ollama的模型库中下载并运行Gemma 2B模型。下载和运行过程可能需要一些时间，具体取决于你的网络速度和系统性能。
3、开启API接口：
Ollama提供了REST API接口，允许你通过编程方式与运行的模型进行交互3。默认情况下，Ollama会在本地启动一个HTTP服务器，你可以通过以下API端点与Gemma模型进行交互：
curl http://localhost:11434/api/generate -d '{ "model": "gemma:2b", "prompt": "What is your name?" }'
如果一切正常，你应该会收到一个包含Gemma模型回答的JSON响应。
4、允许外网访问：
首先，确保您的服务器防火墙允许对外部访问开放11434端口。在Ubuntu中，您可以使用ufw（Uncomplicated Firewall）命令来打开端口：
sudo ufw allow 11434/tcp
sudo ufw reload
如果使用iptables，可以执行以下命令：
sudo iptables -A INPUT -p tcp --dport 11434 -j ACCEPT
sudo service iptables save
4、修改配置：
找到配置文件：/etc/systemd/system/ollama.servic
添加 Environment="OLLAMA_HOST=0.0.0.0:11434"
结果文件如下：
... [Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...
重启：
sudo systemctl daemon-reload
sudo systemctl restart ollama
测试：
curl http://192.168.17.134:11434/api/generate -d '{ "model": "gemma:2b", "prompt": "What is your name?" }'
闽公网安备35020302035941号