真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

AI人工智能2年前 (2023)发布 ash

452 0 7

虽然相比于 ChatGPT 等需要大量算力资源的超大规模的

语言模型

，单张显卡的要求已经很低了，但还能更低！最近有开发者实现了在 MacBook 上运行 LLaMA，还有开发者成功在 4GB RAM 的树莓派上运行了 LLaMA 7B。

这些都得益于一个名为 llama.cpp 的新项目，该项目在 GitHub 上线三天，狂揽 4.6k star。

项目地址：https://github.com/ggerganov/llama.cpp

Georgi Gerganov 是资深的开源社区开发者，曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。

这次，llama.cpp 项目的目标是在 MacBook 上使用 4-bit

量化

成功运行 LLaMA 模型，具体包括：

没有依赖项的普通 C/C++ 实现；
Apple silicon first-class citizen—— 通过 Arm Neon 和 Accelerate 框架；
AVX2 支持 x86 架构；
混合 F16 / F32 精度；
4-bit

量化

支持；
在 CPU 上运行。

llama.cpp 让开发者在没有 GPU 的条件下也能运行 LLaMA 模型。项目发布后，很快就有开发者尝试在 MacBook 上运行 LLaMA，并成功在 64GB M2 MacBook Pro 上运行了 LLaMA 7B 和 LLaMA 13B。

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

在 M2 MacBook 上运行 LLaMA 的方法：https://til.simonwillison.net/llms/llama-7b-m2

如果 M2 芯片 MacBook 这个条件还是有点高，没关系，M1 芯片的 MacBook 也可以。另一位开发者分享了借助 llama.cpp 在 M1 Mac 上运行 LLaMA 模型的方法。

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

在 M1 Mac 上运行 LLaMA 的方法：https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

除了在 MacBook 上运行，还有开发者借助 llama.cpp 在 4GB RAM Raspberry Pi 4 上成功运行了 LLaMA 7B 模型。Meta 首席 AI 科学家、图灵奖得主 Yann LeCun 也点赞转发了。

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

以上是 3 个在普通硬件设备上成功运行 LLaMA 模型的例子，几位开发者都是借助 llama.cpp 实现的，可见 llama.cpp 项目的实用与强大。

看来，LLaMA 将在 Meta 和开源社区的共同努力下，成为众多开发者钻研大规模

语言模型

的入口。

# AI人工智能

文章版权归作者所有，未经允许请勿转载。

官宣｜「天工」大模型4月17日启动邀测

ash

426 10

阿维塔11累计交付量突破4000辆，将开放城区NCA

ash

412 4

语言模型悄悄偷懒？新研究：上下文太长，模型会略过中间不看

ash

400 9

性能提升、成本降低，这是分布式强化学习算法最新研究进展

ash

512 6

产品在初创公司中呈病毒式增长，OpenAI会成为下一个科技巨头？

ash

354 7

比亚迪秦PLUS DM-i 2023冠军版上市，售价9.98万元起

ash

498 5

暂无评论

暂无评论...

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

科技巨头持续血拼：微软豪掷数亿造ChatGPT超算，谷歌加急测试Big Bard

腾讯获国际信息检索领域国际权威比赛两项冠军，展示AI大模型技术实力

相关文章

暂无评论

Magia AI

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

科技巨头持续血拼：微软豪掷数亿造ChatGPT超算，谷歌加急测试Big Bard

腾讯获国际信息检索领域国际权威比赛两项冠军，展示AI大模型技术实力

相关文章

暂无评论