如何将LLaMA 3部署到生产中以及硬件要求?

Meta 几天前发布了 LLaMA 3 生成式 AI 模型,它已经显示出令人印象深刻的功能。
通过此分步指南了解如何安装 LLaMA 3 并将其部署到生产环境中。从硬件要求到部署和扩展,我们涵盖了您顺利实施所需了解的一切。

什么是LLaMA 3?
Meta 推出了 Llama 3 开源 AI 模型的初始版本,可用于文本创建、编程或聊天机器人。此外,Meta 还宣布计划将 LLaMA 3 纳入其主要社交媒体应用程序。此举旨在与其他AI助手竞争,例如OpenAI的ChatGPT、微软的Copilot和谷歌的Gemini。

与 Llama 2 类似,Llama 3 是一个可免费访问的具有开放权重的大型语言模型,由一家领先的人工智能公司提供(尽管它不符合传统意义上的“开源”)。

目前,Llama 3可以从Meta网站免费下载,有两种不同的参数大小:80亿(8B)和700亿(70B)。用户可以注册来访问这些版本。 Llama 3 提供两种变体:预训练,这是下一个令牌预测的基本模型;指令调整,经过微调以遵守用户命令。两个版本的上下文限制均为 8,192 个令牌。

Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 在接受 Dwarkesh Patel 采访时提到,他们使用 24,000 个 GPU 集群训练了两个定制模型。 70B 模型使用大约 15 万亿个代币的数据进行训练,并且从未达到饱和点或能力极限。随后,Meta 决定专注于训练其他模型。该公司还透露,他们目前正在开发 Llama 3 的 400B 参数版本,Nvidia 的 Jim Fan 等专家认为该版本在 MMLU、GPQA、HumanEval、和数学。

据 Meta 称,Llama 3 已使用各种基准进行评估,包括 MMLU(本科水平知识)、GSM-8K(小学数学)、HumanEval(编码)、GPQA(研究生水平问题)和 MATH(数学应用题) )。这些基准测试表明,8B 模型的性能优于开放权重模型,例如 Google 的 Gemma 7B 和 Mistral 7B Instruct,而 70B 模型则与 Gemini Pro 1.5 和 Claude 3 Sonnet 具有竞争力。

Meta 报告称,Llama 3 模型在理解编码的能力方面得到了改进,与 Llama 2 类似,并且首次使用图像和文本进行训练。然而,它当前的输出仅限于文本。

LLaMA 3 硬件要求和在 AWS EC2 上选择正确的实例
由于许多组织使用 AWS 来处理其生产工作负载,让我们看看如何在 AWS EC2 上部署 LLaMA 3。

实现 LLM 时存在多个障碍,例如 VRAM(GPU 内存)消耗、推理速度、吞吐量和磁盘空间利用率。在这种情况下,我们必须确保在 AWS EC2 上分配具有足够 VRAM 容量的 GPU 实例来支持模型的执行。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM(GPU 内存)。您当然可以在 CPU 上部署 LLaMA 3,但对于现实生产用例来说延迟太高。至于LLaMA 3 70B,它需要大约140GB的磁盘空间和160GB的FP16 VRAM。

获得 LLaMA 3 8B 的 20GB VRAM 相当容易。我建议您配置 NVIDIA A10 GPU:该 GPU 配备 24GB VRAM,是基于 Ampere 平台的快速 GPU。在 AWS EC2 上,您应该选择 G5 实例才能配置 A10 GPU。 g5.xlarge 就足够了。

不过,部署 LLaMA 3 70B 模型更具挑战性。没有 GPU 具有足够的 VRAM 用于此模型,因此您需要配置多 GPU 实例。如果您在 AWS 上配置 g5.48xlarge 实例,您将获得 192GB VRAM(8 个 A10 GPU),这对于 LLaMA 3 70B 来说足够了。

在此类配置中,您预计会出现以下延迟(响应时间):LLaMA 3 8B 在 1 秒内生成 50 个令牌,对于 LLaMA 3 70B 在 5 秒内生成 50 个令牌。

为了降低这些模型的运营成本并增加延迟,您可以研究量化技术,但请注意,此类优化可能会损害模型的准确性。量化超出了本文的范围。

为了配置此类实例,请登录 AWS EC2 控制台,然后启动新实例:在 g5.xlarge 或 g5.48xlarge 实例上选择 NVIDIA 深度学习 AMI。不要忘记配置足够的磁盘空间。

使用 vLLM 进行生产推理
vLLM 是一个专为快速、轻松的 LLM 推理和部署而设计的库。其效率归功于各种复杂的方法,包括用于优化管理注意力键和值内存的分页注意力、批量传入查询的实时处理以及个性化的 CUDA 内核。

此外,vLLM 通过采用分布式计算(使用张量并行性)、实时流以及与 NVIDIA 和 AMD 显卡的兼容性,提供了高度的适应性。

具体来说,vLLM 将极大地帮助部署 LLaMA 3,使我们能够利用配备多个紧凑型 NVIDIA A10 GPU 的 AWS EC2 实例。这比使用单个大型 GPU(例如 NVIDIA A100 或 H100)更有优势。此外,vLLM 将通过连续批量推理显着提高我们模型的效率。

设置 vLLM 非常简单。让我们与最近创建的 AWS 实例建立 SSH 连接,并使用 pip 安装 vLLM:
pip install vllm

由于我们计划在 8 x A10 GPU 上使用 vLLM 执行分布式推理,因此还需要安装 Ray:
pip install ray

如果您在安装时遇到兼容性问题,从源代码编译 vLLM 或使用其 Docker 映像可能会更简单:查看 vLLM 安装说明。


启动推理服务器
现在让我们创建 Python 推理脚本:


from vllm import LLM# Use LLaMA 3 8B on 1 GPUllm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")# Use LLaMA 3 70B on 8 GPUs# llm = LLM("meta-llama/Meta-Llama-3-70B-Instruct", tensor_parallel_size=8)print(llm.generate("What are the most popular quantization techniques for LLMs?"))


您可以运行上面的脚本。如果这是您第一次运行此脚本,您将需要等待模型下载并加载到 GPU 上,然后您将收到如下内容:


The most popular quantization techniques for Large Language Models (LLMs) are:1. Integer Quantization2. Floating-Point Quantization3. Mixed-Precision Training4. Knowledge Distillation


这很容易理解。您只需根据您拥有的GPU数量调整tensor_parallel_size即可。

我们现在正在寻求启动一个适当的推理服务器,能够管理大量请求并执行同时推理。首先,启动服务器:

对于 LLaMA 3 8B:


python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-8B-Instruct


对于 LLaMA 3 70B:


python -m vllm.entrypoints.openai.api_server \--model meta-llama/Meta-Llama-3-70B-Instruct--tensor-parallel-size 8


模型加载到 GPU 上最多需要 1 分钟。然后您可以启动第二个终端并开始发出一些请求:


curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \
-d '{    "model": "meta-llama/Meta-Llama-3-8B-Instruct",    "prompt": "What are the most popular quantization techniques for LLMs?"}'


您现在拥有一个适合生产的推理服务器,由于连续批处理,它可以处理许多并行请求。在某些时候,如果请求数量过多,GPU 就会过载。在这种情况下,您将需要在多个 GPU 实例上复制模型并平衡您的请求(但这超出了本文的范围)。

结论
如您所见,借助 vLLM 等推理服务器,将 LLaMA 3 部署到生产中不需要任何复杂的代码。

然而,配置正确的硬件具有挑战性。首先是因为这些 GPU 非常昂贵,而且还因为目前全球 GPU 短缺。如果这是您第一次尝试在 AWS 上配置 GPU 服务器,您可能没有创建 GPU 服务器的权限。在这种情况下,您需要联系支持人员并解释您的用例。在本文中,我们使用了 AWS EC2,但当然也可以使用其他供应商(Azure、GCP、OVH、Scaleway...)。

部署 LLaMA 3 8B 相当容易,但 LLaMA 3 70B 则是另一头野兽。考虑到所需的 VRAM 量,您可能需要配置多个 GPU 并使用 vLLM 等专用推理服务器,以便将模型拆分到多个 GPU 上。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM(GPU 内存)。至于LLaMA 3 70B,它需要大约140GB的磁盘空间和160GB的FP16 VRAM。



分享一个国内免费使用GPT4.0的AI智能问答工具:智答专家。支持AI文本、作图、语音、Sora视频。无需魔法,亲测有效,点击访问

标签:LLaMA 3,vLLM
来源:智答专家
发布时间:2024-04-26 10:37