AI 公司在手忙脚乱地维持系统运转的同时，也让我们普通人付出了高昂的代价。像 ChatGPT 和 Claude 这样的大语言模型极其消耗资源。科技公司可能已经买下了全球 70% 的高端内存，并引发了供应短缺。结果就是，计算机内存和存储设备的价格正在暴涨：两年前我为了写报道买了几个硬盘，当时每个 350 美元；两周前我再看时，价格已经飙升到 800 美元，现在更是直接断货。部分笔记本电脑的价格涨幅高达 50%，廉价电脑受到的冲击最为严重。根据一项预测，平价的入门级电脑可能会“在 2028 年前绝迹”。而且这种内存短缺预计还会持续好几年。
这些内存都被塞进了数据中心，而科技公司正以惊人的速度扩张这些设施。他们计划在未来几年内将美国数据中心的总容量扩大八倍。这些设施对电力的需求已经极其庞大，以至于一些公司开始改造喷气式发动机来为它们供电。
问题不仅仅在于 AI 的部署范围广或速度快。其他计算机技术也曾经历过类似的爆发式增长，但并未引发如此剧烈的用电量激增或电脑配件短缺：视频和音乐现在能在全球范围内流畅播放，每天产生数 TB 的互联网流量；智能手机的普及催生了数十亿台设备的制造，这些设备如今正在传输海量数据；数十亿台家用设备也已经接入物联网；众多行业都已将业务转移到云端软件上，而这些软件并非存在于云端，没错，它们同样托管在数据中心里。
用行业里的黑话来说，生成式 AI 的问题在于它无法“有效扩展”（scale）。比如，用户量从一千增长到一百万所需的成本，是风险投资人评估初创企业时看重的一个关键因素。他们希望看到增加新用户的成本随着时间的推移不断下降，这样公司才能支撑数以百万计的用户并获取更多利润。这部分要归功于对计算机系统进行精心设计，使其能高效处理日益增长的用户需求，无论是发照片、叫优步，还是听音乐。
但在生成式 AI 领域，建立高效且可扩展系统的工作还远未完成。而越来越大的生成式 AI 模型又加剧了这个问题。根据独立机构的估算，模型的参数已经从 2020 年的 1750 亿暴增至如今的超过 1 万亿（尽管支撑 Claude 和 ChatGPT 等产品的实际模型大小仍是机密）。“大语言模型”里的“大”本来不该是个卖点。但业界观察到大模型往往比小模型表现更好，这催生了对“扩展定律”的盲目崇拜，仿佛只要把模型做大，任何问题都能迎刃而解。 OpenAI 首席执行官萨姆·奥特曼 9 月份在他的博客里写道：“也许有了 10 吉瓦的算力，AI 就能算出怎么治愈癌症了。”
然而，收益正在递减。 AI 模型越大，每增加一个参数所带来的提升就越小。因此，为了保持稳定的进步，必须以更快的速度扩充模型规模。我问了几位 AI 研究员，能否举出任何其他扩展性如此糟糕的现实应用软件。没人能想得出来。就算跳出软件行业，也很难找到类似的例子。毕竟，正是规模经济的原理让灯泡、汽车和衣服变得如此便宜。如果从经济学和工程学的角度来衡量，生成式 AI 可能是迄今为止投入使用的最糟糕的技术。
但是在目前这种臃肿的发展模式背后，有着巨额投资的推波助澜，业界恐怕没有多少改变的意愿。 OpenAI 联合创始人兼前首席科学家伊利亚·苏茨克维在 11 月的一次采访中表示，企业之所以采取这种简单粗暴的路线，“是因为它为你提供了一种风险极低的资源投资方式”。他认为，当前的产品估值正向数万亿美元攀升，想要去投资研究如何重构这些产品，难度要大得多。那些怀疑我们正身处 AI 驱动的泡沫经济中的人指出，这些公司能否真正盈利仍然是一个未知数，而这很大程度上要归咎于这项技术的高昂成本和低下效率。
效率是计算机科学的核心原则。本科生上的第一课里就会学到：写一个给 50 个单词排序的程序很简单。但如果给这个程序塞进 5000 万个单词，它可能就会耗尽内存，或者花上几个小时才能跑完。计算机科学很大一部分内容，就是学习巧妙的编程技巧来避免这类情况发生。许多技巧利用了数据中的重复模式，这样当程序接收更多输入时，处理每一个新增数据所需的时间或内存就会减少。正是这种效率，让现代智能手机和电脑功能如此强大又如此便宜。这被称为对数（logarithmic）扩展，如果你把它画成图表，看起来是这样的：
大语言模型并不是呈对数扩展的。当要求它们处理更多的词汇时，它们的速度会变慢，消耗的内存也会增加——随着输入量的增长，耗费的时间和资源增长得更快。用专业术语来说，大语言模型呈二次方扩展（quadratically）。任何一个计算机系的学生都知道，这极其糟糕。
致力于评估 AI 模型运行成本的机构 Epoch AI，去年发布了一份图表。图表显示，随着公开 AI 模型处理的“token”（用户输入聊天机器人的词汇）越来越多，其服务成本正呈指数级增长。
AI 并不一定非得这样构建。过去，AI 的目标是通过模拟人类思维过程来解决问题。研究人员会观察自己的思考方式，然后试图用代码把这些思维习惯实现出来。这种方法现在大多已被放弃。一方面是因为很难认清并说清人类思维的规则，但它的确有个好处：消耗的资源和数据要少得多。
如今的 AI 研发路线不再试图描述人类的思维规则。相反，它直接丢给计算机几百万个例子去模仿。这也是为什么大模型在生成语言、图像和音乐时，表现通常比小模型更好——因为它们有更多的素材可以调用。一些研究人员想把过去那种更高效的方法找回来，并与现代方法结合。不过到目前为止，这类项目获得的关注和资金，远远比不上那些支撑聊天机器人的大模型。
聊天机器人公司其实清楚自家产品的效率很低。有些公司找到了一些提升性能的技术，但都没带来显著成效。偶尔有公司声称取得了突破——比如 Anthropic 首席执行官达里奥·阿莫迪就将它们称作“算力乘数”。但这些说辞往往含糊其辞。目前没有任何证据表明，二次方扩展和模型体积爆炸等根本难题已经得到解决。（我曾就此联系 Anthropic，但对方拒绝公开置评。）
一些研究人员正致力于开发只需少量数据和算力的极小模型。我和微软的 AI 研究员亚历克西娅·若利科尔-马蒂诺聊了聊。她曾独立设计过此类小模型。我问她如何看待行业里这种大力出奇迹的做法。“这有点疯狂，”她告诉我。“到了某个阶段，你总得学会提高点效率。”
去年，若利科尔-马蒂诺凭借一篇关于“微型递归模型”的论文获得了 5 万美元奖金。该模型不需要消耗庞大的计算资源。她写道：“认为只有依赖大公司斥资数百万美元训练的庞大基础模型，才能解决复杂任务，这完全是个陷阱。”她的模型并不能替代 LLM 。它的初衷是解决生物学和电气工程等领域的逻辑问题，而不是用来生成语言。不过，目前那些庞大的 AI 模型正在处理的某些任务，她的模型照样能胜任。
然而，我们似乎被 LLM 给困住了，也许是因为各大公司的营销手段太过猛烈。现在，不管你需不需要，它们正被塞进各类产品里。在 2024 年和 2025 年，大模型被集成到了 Windows 和 MacOS 系统中。这意味着哪怕只是运行一台基本的个人电脑，现在也需要更多的算力。为了迎接新的 AI 功能，厂商在销售智能手机时也不得不配备升级版的硬件。效率低下的 AI 同样被硬塞进诸如 Adobe Photoshop 和 Microsoft Word 这类常用软件中。结果就是，你的电脑必须性能更强，才能勉强跑得动它们。
情况之所以如此糟糕，主要是因为计算机性能的提升速度已经大不如前。自 20 世纪 50 年代以来，制造商总能稳步地把微芯片造得更快、更小、更便宜。这就是人们常说的“摩尔定律”。但在过去几年里，零部件已经微小到了分子级别，制造商发现很难再将其进一步缩小，这使得技术进步大幅放缓。
既然没法缩小元件，制造商只好把精力转向开发专门针对 AI 的新硬件。这的确带来了一些偶尔的性能提升，但要想跟上 AI 呈指数级飙升的需求，还差得太远。
归根结底，对于科技行业里那些坚信自己正在复制人类智慧的人来说，效率低下也许根本不值一提。硅谷的许多人抱有一种近乎宗教般的狂热信仰：他们认为这些本质上仅仅是统计学文本生成软件的 LLM，总有一天会涌现出类似人类的心智。尽管这些软件连基本事实都记不准，缺乏常识，且跟生物大脑毫无相似之处。就连 AI“教父”之一的杨立昆，最近在接受《纽约时报》采访时也直言：“LLM 根本不是通向超级智能甚至人类级别智能的路径。”但 AI 神话的诱惑力实在太强，以至于许多工程师坚信，任何东西都不该阻挡他们的脚步。哪怕是最基本的要求——写出高效的软件代码，也不行。
编译自《大西洋月刊》，原文链接：点击阅读。
