陶哲轩：初学者不宜用AI工具做专家级任务，GPT对专家帮助不大

机器之心

2023-09-10 12:11


发表于北京

近几个月来，著名数学家陶哲轩一直尝试用 ChatGPT 等大模型 AI 工具来辅助解决数学问题，并与大家分享结果、交流心得，比如用 ChatGPT 写代码、证明数学定理、生成 LaTeX 表达式程序代码等。

对于自己的研究以及人们来说，GPT 等 AI 工具的作用究竟大不大呢？近两天，陶哲轩似乎得出了他的结论。

陶哲轩发现，虽然 AI 工具对自己研究中的核心数学部分并不是那么有用（或者可能只是因为不想在自认为可以熟练完成的任务上尝试），但是在生成代码和创建论文中的流程图初稿（他使用了自己过去很少用的 LaTeX 包 (tikz)）等任务中都非常有用。

总的来说，他发现 GPT 允许自己为一项计算任务抽象出特定语言，比如 Python、SAGE、正则表达式、LaTeX 等。他可以用自然语言向 GPT 表达自己的请求，然后 GPT 会以合适的语言提供适当的代码。尽管在没有完全集成的情况下，他依然必须将 GPT 输出内容复制粘贴到可以编译的文档中。

陶哲轩承认 GPT 开始改变他的工作流程，过去会避免使用代码密集型解决方案来解决任务，但现在这种状况正在消失。他发现自己更愿意将编码作为日常工作的一部分了。

就拿 GitHub Copilot 而言，陶哲轩惊喜地发现，在使用 VSCode+LaTeXworkshop 设置后，它可以自动完成标准信函了。仅给出开头段落和接下来的句子，Copilot 提供的其余段落与他实际要写的内容非常接近。并且通过对 Copilotshuchu 内容的小修小改，他可以将完成标准信函的时间省掉一大半。

陶哲轩分享了自己在论文中使用自动完成功能的一张截图。在尝试自动完成证明大纲时，Copilot 确实引用了论文其余部分的相关结果，但随后给出了一些随机分析数论的废话。

到目前为止，除了一些非常短的自动完成工作或编写重复的文本模式之外，他发现 Copilot 在写数学论文时更有趣而不是有用，但未来可能会有令他惊讶的效果。

事实证明，GPT 提供的正则表达式虽然没有按照陶哲轩想要的方式来处理嵌套分隔符，但足够接近。他可以在自己阅读正则表达式文档后调整成想要的。在他看来，需要一定的正则表达式技能才能完成类似的任务，但要比没有 GPT 辅助时所需要的技能少。

一般来说，GPT 似乎允许人们在基于文本的任务中提升自己的技能，但随着技能水平的提高，「收益」递减。完全不熟悉任务的人可能会通过 GPT 成为高级初学者，初学者可以达到中级技能水平，中级水平的人可能会成为专家，至少在某些方面是这样。但对于专家而言，使用 GPT 进一步提供的收益相对不大。

因此，陶哲轩不建议初学者使用 AI 工具来完成专家级的任务，因为无法正确地对输出进行检查。不过他也认为，人们可以用 AI 工具来完成比正常水平高出一个技能水平的任务，这样有足够的能力来检查输出的结果，并决定是否接受或者额外调整。

有人问了，万一人们没有清楚意识到这种技能水平上的差距呢？陶哲轩表示，他相信随着 AI 工具变得越来越熟悉，大多数人会对这些工具能做什么、不能做什么有更准确的心理模型，并进行相应的校准。

当然陶哲轩也同意对公众展开 AI 教育以及进行独立的输出验证，这些都会成为现代世界越来越重要的技能。

你赞同陶哲轩的观点吗？

原文链接：https://mathstodon.xyz/@tao/111024521278833999