经济学人 —— ChatGPT 及其竞争对手的崛起，正在破坏互联网的经济基础。
大概从去年年初开始，Matthew Prince 就不断接到大型媒体公司老板打来的焦急电话。
Matthew Prince 的公司 Cloudflare 为全球五分之一的网站提供安全基础设施。老板们告诉他，他们正面临一个新的、严峻的线上威胁。「我说，『咋了，是北朝鲜吗？』」他回忆道，「他们说，『不，是 AI。』」
这些高管已经看到了一个趋势的早期迹象，而这个趋势现在已清晰可见：AI 正在改变人们浏览网页的方式。用户向 chatbot（聊天机器人）提问，而不是传统的搜索引擎，chatbot 会直接给出答案，而不是一堆链接让你自己点进去。
结果就是，从新闻媒体、线上论坛到像 Wikipedia 这样的参考网站，这些内容发布者的流量都出现了惊人的下滑。
AI 改变了人们的浏览习惯，也正在改变互联网核心的经济基础。长期以来，人类流量一直是通过线上广告来实现变现的，但现在，流量正在枯竭。内容创作者们正急着寻找新的方式，让 AI 公司为他们使用的信息付费。如果做不到，open web 可能会演变成一个截然不同的样子。
自 ChatGPT 在 2022 年底推出以来，人们已经接受了这种新的线上搜索信息方式。这款 chatbot 的制造商 OpenAI 表示，大约有 8 亿用户在使用它。ChatGPT 是 iPhone 应用商店里下载量最高的应用。Apple 公司表示，今年 4 月，其 Safari 网页浏览器的传统搜索量首次下降，因为人们都改向 AI 提问了。OpenAI 预计很快还会推出自己的浏览器。
在 OpenAI 和其他新贵公司飙升的同时，Google 也在努力跟上。Google 在美国的传统搜索市场占据了约 90% 的份额，它给自己的搜索引擎添加了 AI 功能。去年，它开始在一些搜索结果之前显示 AI 生成的「overviews」，这些概览现在已经随处可见。今年 5 月，它推出了「AI 模式」，这是一个类似于 chatbot 的搜索引擎版本。现在，Google 承诺，有了 AI，用户可以「让 Google 替你 Google」。
然而，当 Google 替你 Google 时，人类就不再访问那些信息来源的网站了。Similarweb 监测了超过 1 亿个网页域名的流量。据它估计，截至今年 6 月的一年里，全球（人类）搜索流量下降了大约 15%。虽然有些类别（比如爱好者的网站）表现还不错，但其他网站受到了严重冲击。许多受影响最严重的网站，恰恰是那些通常能回答搜索查询的网站。科学和教育类网站失去了 10% 的访问，参考类网站失去了 15%，健康类网站更是失去了 31%。
对于靠广告或订阅赚钱的公司来说，访问者的流失意味着收入的损失。「我们和 Google 曾长期保持着非常正面的合作关系……他们破坏了协议，」Dotdash Meredith 的负责人 Neil Vogel 说。Dotdash Meredith 旗下拥有《人物》和《Food & Wine》等刊物。三年前，其网站超过 60% 的流量来自 Google，现在这个数字降到了 30% 多。「他们正在窃取我们的内容来和我们竞争，」Vogel 先生说。Google 坚称，它对他人内容的使用是公平的。但 Similarweb 估计，自从 Google 推出 AI overviews 以来，与新闻相关的搜索中，不产生后续点击的比例已从 56% 上升到 69%。
「互联网的本质已经彻底改变了，」Stack Overflow 的首席执行官 Prashanth Chandrasekar 说。Stack Overflow 是一个著名的程序员线上论坛。「AI 基本上正在扼杀大多数内容网站的流量，」他说。访问者少了，Stack Overflow 留言板上的提问也少了。同样由爱好者驱动的 Wikipedia 警告说，缺乏署名的 AI 生成摘要「阻碍了人们访问……并为该网站做出贡献的途径。」
为了维持流量和资金来源，许多大型内容生产商通过法律威胁与 AI 公司进行了授权协议谈判：News Corp 首席执行官 Robert Thomson 称之为「诱惑加起诉」。他的公司旗下拥有《华尔街日报》和《纽约邮报》等刊物，已与 OpenAI 达成协议。他的两家子公司正在起诉另一家 AI 问答引擎 Perplexity。《纽约时报》则与 Amazon 达成了协议，同时起诉了 OpenAI。还有许多其他的交易和诉讼正在进行。（《经济学人》未授权我们的作品用于训练模型，但已同意 Google 将精选文章用于其一项 AI 服务。）
然而，这种做法是有限制的。一方面，法官们目前倾向于支持 AI 公司：上个月，加州两起不同的版权案件都裁定被告 Meta 和 Anthropic 胜诉，这两家公司都辩称，用他人的内容训练模型属于「fair use」（合理使用）。唐纳德·特朗普似乎也认同硅谷的观点，即必须允许他们继续开发未来的技术，以免被中国赶超。一位美国版权局的负责人提出，用受版权保护的材料训练 AI 并非总是合法，但她随即被 Trump 解职。
AI 公司更愿意为持续获取信息而不是训练数据付费。但到目前为止达成的交易并不算优厚。线上论坛 Reddit 已将其内容授权给 Google，据称每年可获得 6000 万美元。然而，由于搜索流量的不稳定，该公司 2 月份报告的用户增长低于预期，其市值曾下跌了一半以上。（此后增长有所回升，股价也收复了一些失地。）
陷入网络困境
然而，更大的问题在于，互联网上的数亿个域名大多太小，既无法「诱惑」也无法「起诉」这些科技巨头。虽然它们的内容对于 AI 公司来说可能集体是必不可少的，但每个网站单独来看都是可有可无的。即便它们能够联合起来集体议价，反垄断法也会禁止这样做。它们可以选择阻止 AI 爬虫，有些网站也确实这么做了。但这又意味着完全没有搜索可见度。
软件提供商或许能够提供帮助。Cloudflare 的所有新客户现在都会被问到，是否允许 AI 公司的 bot（机器人）抓取他们的网站，以及出于什么目的。Cloudflare 的规模使其比大多数公司更有可能促成内容网站的集体回应，以迫使 AI 公司掏钱。它正在测试一种「按爬取付费」的系统，允许网站向 bot 收取入场费。「我们必须制定道路规则，」Prince 先生说。他希望的结果是「一个人类可以免费获得内容，而 bot 需要为此支付高昂费用的世界。」
另一种选择是 Tollbit，它自称为 bot 的「paywall」（付费墙）。它允许内容网站向 AI 爬虫收取不同的费用：例如，一本杂志可以对新故事收取比旧故事更高的费用。今年第一季度，Tollbit 为包括美联社和《新闻周刊》在内的 2000 个内容生产商处理了 1500 万笔此类微交易。其首席执行官 Toshit Panigrahi 指出，传统的搜索引擎奖励雷同的内容（例如「Super Bowl 几点开始？」），而收费访问则鼓励内容的独特性。Tollbit 最高的单次爬取费用是由一家地方报纸收取的。
ProRata 提出了另一种模式。这家初创公司由 Bill Gross 领导。Gross 是 20 世纪 90 年代「按点击付费」线上广告的先驱，这种广告模式一直是互联网大部分收入的驱动力。他建议，放在 AI 生成答案旁边的广告收入，应该按照各个网站内容对答案的贡献比例进行再分配。ProRata 有自己的问答引擎 Gist.ai，它与 500 多个合作伙伴分享广告收入，其中包括《金融时报》和《大西洋月刊》。目前，它更多的是一个榜样，而非 Google 的真正威胁：Gross 先生说，他的主要目标是「展示一个公平的商业模式，让其他人最终会效仿。」
内容生产商也在重新思考他们的商业模式。「互联网的未来并不完全取决于流量，」Chandrasekar 先生说。他建立了 Stack Overflow 面向企业的订阅产品 Stack Internal。新闻出版商正在为「Google zero」做打算，他们使用电子报和应用程序来触达不再通过搜索来到他们网站的客户，并将内容移到付费墙后面或转移到现场活动。Dotdash Meredith 表示，尽管来自 Google 的引荐流量下降，但其整体流量还是增长了。
音频和视频在法律和技术上也被证明比文本更难被 AI 引擎总结。根据 Similarweb 的数据，问答引擎在搜索流量中最常引用的网站，远远超过其他网站的是 YouTube。
谁是救世主？
并非所有人都认为互联网正在衰落。恰恰相反，Google 的 Robby Stein 认为，互联网正处于「一个令人难以置信的扩张时刻」。随着 AI 让内容创作变得更加容易，网站的数量正在增加：Google 的 bot 报告称，过去两年互联网已经增长了 45%。AI 搜索允许人们以新的方式提问——例如，拍下书架的照片，询问接下来应该读什么书——这可能会增加流量。通过 AI 查询，比以往任何时候都有更多的网站正在被「阅读」，即使不是被人眼阅读。一个问答引擎可能会扫描数百个页面来提供一个答案，它借鉴的来源范围比人类读者要广泛得多。
至于 Google 正在传播比以前更少的人类流量的说法，Stein 先生表示，公司没有注意到出站点击量有剧烈下降，尽管他拒绝公开这个数字。除了 AI 之外，人们访问网站减少还有其他原因。也许他们在刷社交媒体，也许他们在听播客。
互联网的「死亡」以前也曾被预测过——先是社交网络，然后是应用程序——但都没有实现。然而，AI 可能给它带来了最大的威胁。如果互联网要以接近目前的形式继续存在，网站就必须找到新的付费方式。「毫无疑问，人们更喜欢 AI 搜索，」Gross 先生说。「为了让互联网生存下去，为了让民主生存下去，为了让内容创作者生存下去，AI 搜索必须与创作者分享收入。」