中文大语言模型赶考：商汤与上海AI Lab等新发布「书生·浦语」

随着 AI 大

语言模型

越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对

语言模型

的智能水平进行评测。

比如，在关于 GPT-4 的技术报告中，OpenAI 就主要通过各领域的考试对模型能力进行检验，而 GPT-4 展现出的优秀「应试能力」也是出人意料。

中文大

语言模型

挑战高考卷的成绩如何？是否能够赶超 ChatGPT ？让我们来看看一位「考生」的答题表现。

综合 “大考”：“书生・浦语” 多项成绩领先于 ChatGPT

近日，

商汤科技

、上海 AI 实验室联合香港中文大学、

复旦大学

及上海交通大学发布千亿级

参数

大

语言模型

“书生・浦语”（InternLM）。

“书生・浦语” 具有

1040 亿

参数


，是在包含

1.6 万亿 toke


n

的多语种高质量数据集上训练而成。

全面评测结果显示，“书生・浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。

“书生・浦语” 联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的

四个综合性考试评测集

：

• 由伯克利加州大学等高校构建的多任务考试评测集 MMLU；
  
• 微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；
  
• 由上海交通大学、
  
  清华大学
  
  和爱丁堡大学合作构建的面向中文
  
  语言模型
  
  的综合性考试评测集 C-Eval；
  
• 以及由
  
  复旦大学
  
  研究团队构建的高考题目评测集 Gaokao；
  

实验室联合团队对 “书生・浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。

“书生・浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval，以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些

综合性考试的成绩反映出 “书生・浦语” 扎实的知识掌握程度和优秀的综合能力

。

虽然 “书生・浦语” 在考试评测上取得优秀成绩，但在测评中也可以看到，大

语言模型

仍然存在不少能力局限性。“书生・浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理

逻辑

演绎等方面还存在明显局限。另外，在实际对话中，大

语言模型

还普遍存在幻觉、概念混淆等问题。这些局限使得大

语言模型

在开放场景中的使用还有很长的路要走。

四个综合性考试评测数据集结果

MMLU 是由伯克利加州大学（UC Berkeley）联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。

细分科目结果如下表所示。

图中粗体表示结果最佳，下划线表示结果第二

AGIEval

是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估

语言模型

的能力，从而实现模型智能和人类智能的对比。

这个评测集基于中国和美国各类考试构建了 19 个评测大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个重要的评测子集 AGIEval (GK)。

下列表格中，带 GK 的是中国高考科目。

图中粗体表示结果最佳，下划线表示结果第二

C-Eval

是由上海交通大学、

清华大学

和爱丁堡大学合作构建的面向中文

语言模型

的综合性考试评测集。

它包含了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。

测试结果可以通过 leaderboard 获得。

https://cevalbenchmark.com/static/leaderboard.html

Gaokao

是由

复旦大学

研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。

在 GaoKao 测评中，“书生・浦语” 在超过 75% 的项目中均领先 ChatGPT。

分项评测：阅读理解、推理能力表现出色

为避免 “偏科”，研究人员还通过多个学术评测集，对 “书生・浦语” 等

语言模型

的分项能力进行了评测对比。

结果显示，

“书生・浦语” 不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得较好成绩

。

知识问答

方面，“书生・浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超越 LLaMA-65B（得分为 68.2 和 23.8）。

阅读理解（英语）

方面，“书生・浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9，ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。

中文理解

方面，“书生・浦语” 成绩全面超越主要的两个中文

语言模型

ERNIE-260B 和 GLM-130B。

多语翻译

方面，“书生・浦语” 在多语种互译中的平均得分为 33.9，显著超越 LLaMA (平均得分 15.1)。

数学推理

方面，“书生・浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中，分别取得 62.9 和 14.9 的得分，明显领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。

编程能力

方面，“书生・浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后，在 HumanEval 上的得分可以提升至 45.7)，明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。

此外，研究人员还对 “书生・浦语” 的安全性进行评测，在 TruthfulQA（主要评价回答的事实准确性） 以及 CrowS-Pairs（主要评价回答是否含有偏见）上，“书生・浦语” 均达到领先水平。

关于 “书生・浦语” 的技术报告已在公开，报告对模型的技术特点以及测试结果进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport