距离 ChatGPT 的最初发布，过去差不多四个月的时间了。在这期间，ChatGPT 的惊艳表现，让人直呼 AIGC 是不是要提前实现了。
不过众所周知的一个秘密是，ChatGPT 不大可能开源，加上巨大的算力投入以及海量的训练数据等，都为研究界复制其实现过程设下重重关卡。
面对 ChatGPT 的来势汹汹，开源平替是一个不错的选择，它们在实现相似功能的同时，还能让你通过替代品了解 ChatGPT 的运行机理。
随着技术的进步，现在已经出现了许多其他类似于 ChatGPT 的新 AI 模型。本文我们将为大家盘点一下 ChatGPT 的开源平替项目。内容将分为两部分，一部分为类 ChatGPT 开源项目汇总，另一部分是对该项目汇总的补充。
项目作者 nichtdax 整理了 9 个开源的 ChatGPT 平替项目。接下来会一一介绍。
项目地址：https://github.com/nichtdax/awesome-totally-open-chatgpt
第一个项目是「PaLM-rlhf-pytorch」，项目作者为 Phil Wang。该项目是在 PaLM 架构之上实现 RLHF（人类反馈的
强化学习
），它基本上是使用 PaLM 的 ChatGPT。
该项目已在 GitHub 上获得了 5.8k 的 Stars。
项目地址：https://github.com/lucidrains/PaLM-rlhf-pytorch
第二个项目是「OpenChatKit」，它提供了一个强大的的开源基础，为各种应用程序创建专用和通用的
聊天机器人
。该 kit 包含了一个经过指令调优的 200 亿
参数
语言模型
、一个 60 亿
参数
调节模型和一个涵盖自定义存储库最新响应的可扩展检索系统。
OpenChatKit 是在 OIG-43M 训练数据集上训练的，该数据集是 Together、LAION 和 Ontocord.ai 三者的联合。项目作者表示，这不仅仅是一个模型的发布，还是一个开源项目的开始。他们正在发布一套工具和流程，并通过社区贡献持续改进。
该项目已在 GitHub 上获得了 5.7k 的 Stars。
项目地址：https://github.com/togethercomputer/OpenChatKit
第三个项目是「text-generation-webui」，它是一个用于运行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大
语言模型
的 gradio web UI。该项目旨在成为
文本生成
领域的 AUTOMATIC1111/stable-diffusion-webui。
功能包括使用下拉菜单在不同模型之间切换、提供类似于 OpenAI playground 的笔记本模式、用于对话和角色扮演的聊天模式、为 GPT-4chan 生成漂亮的 HTML 输出等等。
该项目已在 GitHub 上获得了 3.4k 的 Star。
项目地址：https://github.com/oobabooga/text-generation-webui
第四个项目是「KoboldAI-Client」，它是一个基于浏览器的前端，通过多个本地和远程 AI 模型实现 AI 辅助写作。
KoboldAI-Client 提供了一系列标准的工具，包括内存、作者注释、世界信息、保存 & 加载、可调节的 AI 设置、格式化选项以及导入现有文字冒险游戏《AI Dungeon》的能力。你可以开启 Adventure 模式，也可以玩 AI Dungeon Unleashed 之类的游戏。
该项目已在 GitHub 上获得了 1.4k 的 Stars。
项目地址：https://github.com/KoboldAI/KoboldAI-Client
第五个项目是「Open-Assistant」，它旨在让每一个人都可以访问基于聊天的大
语言模型
。项目作者希望借此在语言创新方面掀起一场革命，就像 stable diffusion 帮助世界以新的方式创造艺术和图像一样。
项目作者计划收集高质量人工生成指令执行样本（指示 + 响应），目标大于 50k。对于收集到的每个指示，他们将采样多个补全结果。接下来进入基于指示和奖励模型的 RLHF 训练阶段。
该项目已在 GitHub 上获得了 19k 的 Stars。
项目地址：https://github.com/LAION-AI/Open-Assistant
第六个项目是「stanford_alpaca」，它旨在建立和共享一个指令遵循的 LLaMA 模型。该 repo 包含了用于微调模型的 52k 数据、用于生成数据的代码以及用于微调模型的代码。
该项目已在 GitHub 上获得了 9.5k 的 Stars。
项目地址：https://github.com/tatsu-lab/stanford_alpaca
第七个项目是「ChatRWKV」，它类似于 ChatGPT，但由 RWKV（100% RNN）模型支持，并且是开源的。项目作者表示，RWKV 是目前唯一能在质量和扩展方面媲美 transformers 的 RNN 模型，同时速度更快、节省 VRAM。
该项目已在 GitHub 上获得了 3.5k 的 Stars。
项目地址：https://github.com/BlinkDL/ChatRWKV
第八个项目是由清华技术成果转化的公司智谱 AI 开源、支持中英双语的对话
语言模型
「ChatGLM-6B」，基于 General Language Model (GLM) 架构，具有 62 亿
参数
。结合模型
量化
技术，用户可以在消费级的显卡上进行本地部署（INT4
量化
级别下最低只需 6GB 显存）。
ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈
强化学习
等技术的加持，62 亿
参数
的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
不过由于 ChatGLM-6B 的规模较小，目前已知其具有相当多的局限性，如事实性 / 数学
逻辑
错误、可能生成有害 / 有偏见内容、较弱的上下文能力、自我认知混乱、以及对英文指示生成与中文指示完全矛盾的内容。
该项目已在 GitHub 上获得了 6k 的 Stars。
项目地址：https://github.com/THUDM/ChatGLM-6B
第九个项目是「xmtf」，包含了创建论文《Crosslingual Generalization through Multitask Finetuning》中介绍的 BLOOMZ、mT0 和 xP3 的所有组件。
其中 BLOOMZ 是一个 1760 亿
参数
且可开放获取的多
语言模型
；mT0（这里特指谷歌的 T5X）；xP3 是 46 种语言的有监督数据集，带有英语和
机器翻译
的 prompts。
项目地址：https://github.com/bigscience-workshop/xmtf
除了上述提到的模型，ChatGPT 平替项目还包括基于 Meta 开源的大模型系列 LLaMA（Large Language Model Meta AI）的一些研究，这个系列模型的
参数
量从 70 亿到 650 亿不等。具有 130 亿
参数
的 LLaMA 模型「在大多数
基准
上」可以胜过 GPT-3（
参数
量达 1750 亿），而且可以在单块 V100 GPU 上运行；而最大的 650 亿
参数
的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B。
-
论文链接：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
-
GitHub 链接：https://github.com/facebookresearch/llama
llama.cpp 无需 GPU，就能运行 LLaMA
llama.cpp 项目实现了在 MacBook 上运行 LLaMA，还有开发者成功的在 4GB RAM 的树莓派上运行了 LLaMA 7B。总结而言，即使开发者没有 GPU ，也能运行 LLaMA 模型。
项目地址：https://github.com/ggerganov/llama.cpp
由于 LLaMA 大模型系列没有使用 RLHF 方法，因此初创公司 Nebuly AI 开源了 RLHF 版 LLaMA（ChatLLaMA）的训练方法。它的训练过程类似 ChatGPT，该项目允许基于预训练的 LLaMA 模型构建 ChatGPT 形式的服务。与 ChatGPT 相比，LLaMA 架构更小，但训练过程和单 GPU 推理速度更快，成本更低；该库还支持所有的 LLaMA 模型架构（7B、13B、33B、65B），因此用户可以根据训练时间和推理性能偏好对模型进行微调。
项目地址：https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
参考链接：https://www.reddit.com/r/MachineLearning/comments/11uk8ti/d_totally_open_alternatives_to_chatgpt/
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
