Groq:一个完美平替ChatGPT的AI厂商,免费使用10种大模型,安装部署指南


Groq本身是一家专注于人工智能芯片研发的公司,随着大模型的爆发,也加入到这场盛宴,提供类似OpenAI的大模型推理服务。笔者介绍的就是这家公司提供的公益项目,简单来说就是免费为用户提供大模型推理服务,没有任何套路,目前已推出包括Gemma、Llama、Mixtral在内的10种不同级别的模型,另外还支持2种TTS模型,强烈建议需要的朋友入手。


🦀 获取Groq Key

1️⃣ 注册Groq

打开下面的网址,注册一个账号并登录,或者直接使用Github或Google账号登录。

https://console.groq.com/login

2️⃣ 创建Key

打开API Keys菜单,点击Create API Key创建一个用于调用大模型推理的Key。
Groq

3️⃣ 关于使用的限制

因为是完全免费的服务,自然会有些限制,否则分分钟就会被刷嘎掉,这对于一个公益项目来说还是有必要的。具体可见下图,基本上就是对每分钟和每天的调用次数、每分钟和每天的Token上限做了一些限制,大部分没有每日Token上限,对于个人来说完全够用了。
Groq

🦀 使用Groq

剩下的就是如何使用了,用了API Key以后就好办了。很多大模型客户端都支持直接接入Groq,包括Oneapi、Dify、NextChat、LobeChat等。下面简单介绍在LobeChat如何使用。

首先启动LobeChat,打开应用设置->语言模型,找到groq配置项。

  • 如果直连groq,则API代理地址空着即可;如果使用Oneapi这类的代理服务,则填写代理地址。

  • 如果直连groq,则API Key填写在groq网站创建的Key;如果使用Oneapi这类的代理服务,则填写代理中的Key。

  • 模型列表全选即可。

Groq

然后关闭设置界面,回到聊天界面,点击左下角1所在的按钮,选择groq中的模型,以Gemma2 9B为例。
Groq

下面就可以开始与大模型愉快聊天了,不得不说,速度杠杠的,完全不输OpenAI!
Groq

笔者试玩了一会,以正常的速度使用的话,没有触发过限制,总体来说速度没得说,质量也过的去,非常值得入手作为后备模型池的一员。

智答专家提供了Groq版本,欢迎使用:https://chat.aizdzj.com/groq.php



分享一个国内免费使用GPT4.0的AI智能问答工具:智答专家。支持AI文本、作图、语音、Sora视频。无需魔法,亲测有效,点击访问

标签:Groq,安装部署,AI,Gemma,Llama,Mixtral
来源:智答专家
发布时间:2024-09-11 09:00