上周四，雅各布·齐默曼等四位数学家荣获了数学界的诺贝尔奖 —— 菲尔兹奖。获奖当天，齐默曼宣布，他将从多伦多大学暂时休假，全身心投入 AI 安全工作。
正如我和同事罗斯·霍罗威茨上周撰文所写的那样，如今顶尖的 AI 公司雇用了各行各业的学术人才，包括物理学家、哲学家、经济学家，当然，还有数学家。不过，考虑到齐默曼的名气，他的这一决定还是让不少人感到意外。一位机器学习教授在 X 上发帖戏称：“这就像是聘请里奥·梅西来当项目经理。” 齐默曼的研究领域是数论。因其在安德烈-奥尔特猜想上的研究工作以及其他贡献，他荣获了菲尔兹奖。到目前为止，他的数学研究尚未涉及 AI 安全领域。但他以前就对这一话题表现出兴趣：去年，齐默曼合作撰写了一篇报告，列出了 AI 可能导致人类灭绝的五种潜在场景。其中一个场景是，科技公司与政府之间爆发了“全球内战”。
齐默曼的这一举动，正值 AI 安全与数学界发展的关键节点。本月早些时候，一个 OpenAI 的智能体在进行安全测试时，脱离了公司的内部环境，并侵入了另一家 AI 公司的软件。与此同时，AI 的数学能力也在飞速提升。今年 5 月，OpenAI 的研究人员利用内部模型，推翻了一个有着 80 年历史的数学猜想；就在最近，Anthropic 的一位数学家引导 Claude 解决了一个更古老的猜想。公认的世界顶尖数学家（同时也是菲尔兹奖得主）陶哲轩上周在一次演讲中表示，数学正进入一个“动荡时期”。
周三，我致电齐默曼，向他请教了数学的未来，以及他决定加入 OpenAI 的初衷。
以下是对话实录，经过编辑与删减。
莱拉·什罗夫：这么多年来，大家一直对 AI 及其在数学领域的应用感到兴奋。但就在过去几个月里，AI 模型开始解决学术研究级别的难题了。您能谈谈这期间发生了怎样的转变吗？
雅各布·齐默曼：几年前，AI 模型甚至连最基础的数学题都做不好，但它们一直在稳步提升。起初，它们在解答高中生竞赛题方面变得非常拿手，这引起了一些数学家的关注。接着，在过去的几个月里，AI 突然爆发出大量研究成果，其水平之高，足以让专业数学家感到自豪并发表出来。我们现在正亲眼目睹这一幕大规模上演。如果按照这个趋势发展下去——包括我在内的许多人都认为会如此——很快，在数学家目前所做的工作上，AI 系统就会全面超越人类。到那个时候，我们将不得不重新思考整个数学领域的研究方式。
莱拉·什罗夫：您能详细描述一下那个未来会是什么样子吗？
雅各布·齐默曼：这取决于你从什么角度来看。一方面，我认为这会非常令人兴奋。我们生成有价值数学成果的速度可能会提高 10 倍甚至 100 倍。如果是这样，纯数学与实际应用之间的桥梁（通常需要几十年的时间来建立）将会大大缩短，两者的衔接会变得紧密得多。
但对于科研数学家，特别是那些正在攻读数学博士学位的年轻一代来说，现在有些动荡。我们已经掌握并传授的这些技能，未来可能不再像现在这样重要。
莱拉·什罗夫：我想谈谈您上周宣布加入 OpenAI 的消息。您是从什么时候开始关注 AI 的安全风险的？又是什么促使您现在决定将其作为首要专注的方向？
雅各布·齐默曼：我关注有关 AI 的讨论已经大概有 20 年了。现在回想起来，有几个社区对我们今天看到的局面有着惊人的预见性。我个人是在 2016 年左右开始投入更多精力关注的，当时 AlphaGo 刚刚问世。后来 ChatGPT 诞生了，我看到这些系统真的能够像人一样交流。我找不到任何理由去怀疑，它们不会在各种任务中变得比人类强大得多、能干得多。在那个时候，我就已经很清楚，自己最终很可能会转向 AI 安全领域。
现在的时机特别好，因为直到最近，AI 系统才发展到可以让我们放心托付编程任务的水平。这样一来，没有受过软件工程师专业训练就不再像以前那样是个障碍了。过去，如果我想用 AI 系统或任何大型数据集做实验，会非常耗时。我得学习各种计算机科学和编程知识，然后还要调试代码，花这么多时间去做这些事对我来说不划算。而现在，这变得简单多了。
莱拉·什罗夫：确实，有些社区对 AI 风险的预测非常具有远见。但也有很多人对一些极端风险情境持怀疑态度，比如人类灭绝。
雅各布·齐默曼：人们有一种偏见，认为最初写在科幻小说里的桥段不会在现实世界中上演，觉得相信这些会发生很幼稚。同时，我们的文化也充斥着各种夸大的宣传——每个人都在告诉你，某项新进展将是“下一个大事件”，我们应该为了应对它而做出彻底改变。但大多数时候，事实证明这些都是噱头。所以，我认为人们对这些宣传产生一种健康的“免疫反应”也是很正常的。
但我想鼓励大家做的是，真正记录下自己对未来的预测，把它们写下来。然后，在三个月、六个月、九个月或一年之后，对比一下现实世界和你的预期有什么不同。如果我们在五年前告诉人们，我们会拥有今天这样的 AI 系统，几乎所有人都会觉得难以置信。人类灭绝这个话题听起来太宏大了，难免会让人本能地想要回避或否定。大家不想去面对它，这完全可以理解。我写那篇关于“全人类毁灭”的论文，目的就是为了让大家切身体会到这些潜在风险的可能性。
什罗夫：你能透露一下你计划在 OpenAI 做什么工作吗？在研究 AI 安全方面，数学家能发挥什么作用？
齐默曼：现在的 AI 很大程度上是一门经验科学。对于 AI 系统如何运作、它们为什么能做到、又是怎么做到的，以及在特定情况下会如何表现，我们其实还没有建立起完善的理论理解。从历史上看，数学就是一种工具，能把我们对事物运作方式的直觉和模糊概念变得精确。我们在信息论和复杂度理论中都做到过这一点。只要有一点点深刻的理解和精确的定义，就能走得很远。一旦有了这种理解，我们就有望更好地预测新 AI 系统的行为、进行调整、加以控制并做出应对。我认为这就是数学家的用武之地。
什罗夫：为什么选择去私营公司工作，而不是在学术界研究同样的问题？你会担心失去独立性吗？比如在发表论文上受到限制，或者在研究课题的选择上受到约束？
齐默曼：是的，去私营公司工作、去政府部门还是留在学术界，之间确实需要权衡。我深信，我们需要一个健康的 AI 安全生态系统。各家实验室在安全方面所做的工作至关重要。还有很多第三方组织在独立开展 AI 安全研究，我觉得我们非常需要更多这样的组织。同时，我也认为我们需要一些监管，以及由政府直接出资的机构来对这些系统进行评估。我希望所有这些部分能保持日常互动。所以我和许多 AI 安全组织都有过接触，未来也会继续跟他们保持联系。
对我来说，目前加入 OpenAI 是最合理的选择，部分原因是我最缺乏软件工程方面的背景。我对神经网络的理论层面和 AI 系统的运作方式更熟悉，但对于我们如何训练这些模型、如何让它们实现各种功能的完整流程，就没那么熟悉了。所以，为了能更好地看清全貌，现在加入一家 AI 实验室是最明智的决定。
我正处于多伦多大学的休假期间。但我仍然是那里的教授和教职人员，并且打算保留这个身份。现在的变化实在太快了，我甚至不敢对一年后会发生什么做出具体的预测。我保持着开放的心态，想看看技术能力会如何发展，自己的理解会如何加深，以及世界对 AI 的反应会如何变化。我觉得这些反应几乎每个月都在变。不过对于未来具体会如何展开，我并没有一个明确的规划。
什罗夫：目前有一封公开信正在流传，已经有 1000 多名顶尖 AI 公司的员工签名，其中包括 Anthropic 和 OpenAI 的领导层。这封信呼吁美国政府建立必要的监管机制，以“刻意引导前沿自动化 AI 开发的步伐”。你在网上写道，你非常高兴看到这封信。如果真的需要放慢或暂停研发，我们实际上该如何协调呢？
齐默曼：在 AI 领域，协调合作是我们必须做的最重要的事情之一，也是最困难的事情之一。我最不乐意在公共讨论里看到的就是，大家常说：“协调太难了，所以我们显然办不到，哪怕去试也是幼稚。”这是一种病态的世界观，而且大错特错。世界上有太多事情运行得非常好，而它们都需要通过协调一致来做出大量的决策。例如，互联网就是一项极其复杂的全球性技术，无数组织无时无刻不在协同工作。它完美无缺吗？并不是，但它运行得极其出色。
我想支持的一个观点是：不要让犬儒主义阻碍我们为了人类的共同利益去解决那些棘手的协调问题。这一点向来如此，并非 AI 时代独有。即便在今天，它依然适用。这并不意味着我们要天真地以为，不同利益方和组织不会考虑自己的利益。他们当然会。但只要你去尝试，确实就能做成很多事。我们过去做到了，我认为在 AI 领域我们也必须做到。
什罗夫：我们之前谈到过你对安全研究的兴趣。你对技术开发（Capabilities）方面的工作也感兴趣吗？特别是关于提升数学能力方面？
齐默曼：不，我非常专注于安全这一侧。开发侧确实有很多有趣的问题，AI 也有着巨大的前景。但开发方面的进展已经很顺利了，我认为我们现在不需要把精力放在那上面。安全方面还有太多工作要做。
什罗夫：我们是否快要走到这样一个节点：任何人都可以打开 ChatGPT 或 Claude Code，对它说“帮我解决这个悬而未决的数学难题”？
雅各布·齐默曼：没错。你真的可以直接输入：“帮我解决一个未解的数学难题。” 确实有人这么做过。系统会去搜寻这类问题并尝试解决，甚至可能真的成功搞定几个。我们现在已经生活在这样的世界里了。
不过，我不觉得这有多值得大家花时间。首先，因为这项工作几乎肯定会实现全自动化。以后会有专门的系统，定期去搜寻现存的各种猜想，并尝试不同的数学解法。任何个人——尤其是没有数学背景的人——随手打入一个查询，其实起不到什么实质作用。所以，虽然这挺好玩，但如果一个人没有专业背景去甄别得出的结果，我并不建议在这上面花太多时间。因为这种做法也会制造大量的 AI 垃圾信息。有时候，有些人完全不懂数学，AI 给了他们一个结果，他们就会发帖说：“这是我的 AI 系统算出来的，我不知道对不对，但万一是真的呢？有数学家能帮忙看看吗？” 我不觉得这有什么价值。
莱拉·什罗夫：我承认这确实很有诱惑力。上周，我让我的智能体花了一整晚去解未解的数学题。第二天早上它们发给了我一堆东西，但我完全不知道那是什么意思。
雅各布·齐默曼：面对那些充斥着专业定义的复杂问题，你想在一两天内真正理解它们，几乎是不可能的。但也有一些经典的数学难题，理解门槛没那么高，而且也悬而未决了很久。我建议，大家在与 AI 互动时，即使 AI 做了绝大部分工作，你最好也能在这个过程中学到点东西。如果你只是对智能体下指令说“继续”，自己却完全不求甚解，那其实是在自我矮化、放弃掌控。
莱拉·什罗夫：目前数学界正在发生的事情，是否能让我们看到其他学科未来的影子？随着 AI 在其他领域的能力不断提升，其他学科也会经历类似的过程吗？
雅各布·齐默曼： AI 必将冲击许多专业技术领域——物理学、经济学的某些领域，以及化学的前沿分支肯定逃不掉。但在生物学和实验物理等其他领域，情况还不那么明朗，因为这些学科需要动手做实验。也许有一天，AI 系统会聪明到不需要实际做实验，就能对实验物理或生物学问题进行非常高效的推理。但这还只是推测——目前看来，这更像是空中楼阁。不过，在各个学科中偏理论的部分，我们很快就会看到翻天覆地的变化。
编译自《大西洋月刊》，原文链接：点击阅读。作者：莱拉·什罗夫 (Lila Shroff)。
