Nature 报道｜GLM 团队为什么要做中国自己的大语言模型？
“来自中国的多个研究团队在创建中文人工智能模型方面不断取得进展，ChatGLM 便是中国的领先（大模型）产品之一。”
日前，权威科学期刊《自然》（Nature）首席新闻与特写编辑 Celeste Biever 在一篇题为“China’s ChatGPT: why China is building its own AI chatbots”的文章中，大篇幅介绍了 ChatGLM 模型及其团队在构建中文 LLM 方面的实践。
Biever 在文中写道，尽管 ChatGPT 及其许多竞争对手可以使用多种语言做出回应，但大多由美国公司开发，并以英语为主要语言。相比之下，ChatGLM 则是中、英双语的。
同样，业内同行专家也对 ChatGLM 及其基础模型 GLM 给予了很高的评价。
东京理化学研究所革新智能统合研究中心主任、计算机科学家 Masashi Sugiyama 表示，他此前并不知道中国学术界正在做一个如此大的项目，“这让我非常震惊。”
加州大学洛杉矶分校的计算机科学家 Yizhou Sun 说，“我对他们能够实现与 GPT-4 相当的性能印象深刻。”
在被问及“ChatGLM 会成为第一个实现 AGI 的人工智能系统吗？” GLM 大模型技术团队表示：“我希望它会是第一个，我们正在与其他团队竞争。”
我们在不改变原文大意的情况下，做了简单的编译与删减。内容如下：
随着人工智能（AI）聊天机器人之间的竞争日趋激烈，来自中国的多个研究团队在创建中文人工智能模型方面不断取得进展，ChatGLM 便是中国的领先（大模型）产品之一，据开发者称，其在某些功能上接近或比肩 ChatGPT。
自从 OpenAI 于 2022 年 11 月发布基于大型语言模型（LLM）的聊天机器人 ChatGPT，并供公众使用以来，人们对 LLM 的热情不断激增。LLM 可以针对文本提示做出貌似可信的、类似人类的回答。如今，全球的科技巨头、初创企业和大学都在开发 LLM。不过，尽管 ChatGPT 及其许多竞争对手可以使用多种语言做出回应，但大多由美国公司开发，并以英语为主要语言。相比之下，ChatGLM 则是中、英双语的。
“ChatGLM 是中国的明星模型之一，” 鹏程实验室计算生物学家 Wang Yu 说。
ChatGLM 及其基础模型 GLM（即通用语言模型）由智谱AI 开发。GLM 研究的规模之大让一些研究人员感到惊讶。“我此前并不知道中国学术界正在做一个如此大的项目，” 东京理化学研究所革新智能统合研究中心主任、计算机科学家 Masashi Sugiyama 表示，“这让我非常震惊。”
01
面向中国的 ChatGLM
GLM 大模型技术团队表示，面向中国的 LLM 所产生的结果，能够更好地反映中国人的需求和偏好。
GLM 大模型技术团队将其比作在中国社交媒体应用而不是西方社交媒体应用上训练语言模型，“微信基本上比 Snapchat 更了解中国人”。开源语言模型平台 Hugging Face 的社区负责人 Adina Yakefu 认为，针对不同语言定制的模型可以避免“过度简化或忽视某些语言和文化的特殊性”。
为了基于输入生成类似于人类的反应，LLM 通过处理数十亿句子来学习单词之间的统计相关性。聊天机器人通过人类训练师的反馈进一步优化对话。ChatGLM 的开发人员专门根据中文案例对其进行了训练，并由中文训练师提供反馈。
Hugging Face 工程师 Tiezhen Wang 表示，构建非英语语言模型也面临着其他挑战。为了便于分析，大多数语言模型都会将输入文本转换为 token，但中文不使用空格来分隔单词，这就使得 token 化变得更加复杂。不过，GLM 大模型技术团队提到，ChatGLM 的 token 化方法与英语人工智能模型使用的方法“几乎一样”。
在 ICLR 2024 上，GLM 大模型技术团队分享了一些数据，ChatGLM 的底层模型 GLM-4 的最高性能版本在多个基准测试中的得分接近或比肩 GPT-4 ，这些基准包括通用知识、常识和数学测试等。ChatGLM 还在一项针对中文优化的 LLM 基准测试中击败了 GPT-4。GLM-4 的技术报告也将很快以预印本的形式发表。
“我对他们能够实现与 GPT-4 相当的性能印象深刻。” 加州大学洛杉矶分校的计算机科学家 Yizhou Sun 说。
02
中国的大模型热潮
如今，ChatGLM 的在线版本可以通过其网站供公众使用，共有中文和英文两种界面。一些 GLM 产品（包括早期的 GLM-130B 基础模型和 ChatGLM-6b）是开源的。这意味着任何人都可以下载并训练它们适应特定应用，科学家也可以通过检查底层代码来了解其工作原理。
ChatGLM-6b 已有 1300 万次下载。该模型使用了 60 亿个“参数”（用于捕捉词与词之间统计相关性），是 ChatGLM 模型系列中最小的一个。
如今，中国仍有几十个 LLM 正在开发。Yakefu 表示，中国在 2023 年发布了 100 多个人工智能语言模型，“我们称之为‘百模大战’”。另外，中国的 LLM 须遵守专门针对生成式人工智能系统的法规。例如，模型必须“采取有效措施，提高生成式人工智能服务的透明度，提高生成内容的准确性和可靠性”，等等。
03
迈向 AGI
如今，GLM 大模型技术团队正致力于让 ChatGLM 和 GLM-4 的功能更强大。
他们把目前的系统比作“缸中之脑”，因为它们无法与世界进行物理交互。他说，要让人工智能系统在执行各种任务时具备人类水平的能力——这是一个里程碑，被称为通用人工智能（AGI）——就需要让它们在这个世界具身化。
ChatGLM 会成为第一个实现 AGI 的人工智能系统吗？GLM 大模型技术团队表示：“我希望它会是第一个，我们正在与其他团队竞争。”
计算机科学家距离开发出 AGI 还有多远，以及 LLM 是不是通向 AGI 的技术，这都是目前激烈争论的话题。鉴于超级智能（super-intelligent）人工智能模型的安全性问题，应该如何追求 AGI 也是一个问题。
原文作者：
Celeste Biever，首席《自然》杂志新闻与特写编辑
原文链接：
https://www.nature.com/articles/d41586-024-01495-6