教你如何在本地运行最强开源大模型Llama 3离线整合包
全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。为了让大家能更好地享受开源大模型带来的便利，今天Glen特地给大家制作并分享一个Llama-3-8B大模型整合包。
Llama 3简介
Meta本次开源了8B和70B两款不同规模的模型。与Llama-2相比，Llama-3使用了15T tokens的训练数据，在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。
Llama-3-8B：与之前一个版本的Llama 2 70B一样强大，在参数量小了接近10倍的情况下，性能竟然基本一致，而且可以在消费级显卡上愉快地玩耍。
Llama-3-70B: 媲美Gemini 1.5 Pro，全面超越Claude大杯。
还不止是以上，Meta还将在未来几个月，陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。据官方公布，超400B的重量级选手更是有望与超越目前闭源的两个大模型GPT-4和Claude 3超大杯！
离线懒人包来了
该懒人包基于之前介绍过的Text generation web UI制作，老规矩，还是无套路直接分享给大家。大家下载到本地解压即用，请注意不要放置在含中文的文件路径中。
①双击“一键启动”。
②双击一键启动程序后，会打开一个命令提示窗口，项目会自动运行。加载成功后，请自行复制以下网址在浏览器打开“ http://127.0.0.1:7860/”，记得点点关注不迷路哦，后续还有更多酷炫的AI项目分享~
③打开页面后，首选选择“Model”选项卡，在Model中，选择“
Meta-Llama-3-8B-Instruct.Q8_0.gguf”模型文件，继续点击“Load”，等待模型加载。
加载完模型后，就可以在本地快速使用啦~使用很简单:
输入提示词：跟使用ChatGPT一样，输入提示词即可。
点击提交：可以跟Llama-3-8B大模型在本地无限免费聊天了。
我亲测了一下，可以使用中文跟Llama-3-8B进行聊天哦~
注意事项：
①该项目建议使用英伟达显卡运行，建议8G显存以上
②请确保安装路径不包含中文，不然可能会引起奇怪的适配问题
③系统要求：支持Windows 10和Windows 11
分享一个国内免费使用GPT4.0的AI智能问答工具：智答专家。支持AI文本、作图、语音、Sora视频。无需魔法，亲测有效，点击访问
标签：Llama-3
来源：智答专家
发布时间：2024-04-30 11:25
闽公网安备35020302035941号