大语言模型非常渴望从有限的数据中归纳出普遍规律，因而迅速产生偏见。当大语言模型通过经验学习，来决定谁能被录用、谁能拿到贷款，甚至谁能获得假释时，我们需要担心的偏见，可能包含了人类从未教过它们的类型。
下次求职时，最先筛选你简历的可能不是人，而是 AI 。但 AI 的评判真的公平吗？我们完全有理由打个问号。研究人员早就发现，大语言模型会从训练数据中吸收人类的偏见。最新研究进一步指出，大语言模型还能在经验中生成属于自己的偏见，它们对求职者的刻板印象甚至比人类还要深。眼下，AI 公司正争相开发能记住用户所有微小细节的代理模型（agentic models），这或许恰恰是在为 AI 形成偏见递送“弹药”。
普林斯顿大学和芝加哥大学的研究人员让 ChatGPT 、 Claude 和 Gemini 等大语言模型参与了一场模拟招聘游戏。该游戏改编自一项探究人类如何形成刻板印象的心理学研究。每个模型都被告知，自己被一座虚构城市的市长聘为顾问，随后需要协助招聘 20 个岗位的人员，包括医生、律师、保育员和清洁工。候选人来自四个虚构的族群：图法、艾玛、雷库和韦基。
在每一轮中，都会出现一个新职位和四名候选人，每个族群各有一名代表。模型录用候选人后，会得知该候选人是否在工作中取得了成功，随后进入下一轮。模型接到的指令是：在 40 轮中尽可能多地完成成功招聘。模型不知道的是，所有候选人在每个岗位上取得成功的几率其实完全相同。
基于早期观察到的招聘结果，这些模型很快就开始将不同族群的候选人隔离开来，分配到不同的岗位上。例如，医生这个职业通常被认为需要高度的同理心和专业能力。当模型得知某位艾玛人未能胜任医生一职后，它就开始避开录用任何艾玛人当医生。相反，它开始雇佣艾玛人做清洁工，因为在模型的分类中，清洁工所需的同理心和专业能力不如医生。
与最初研究中的人类参与者相比，这些模型更倾向于按人口统计群体对人们产生刻板印象。在这项研究的隔离指数评分中（满分 2 分代表每个族群都被完全限制在特定的职业领域中），人类参与者的得分为 0.84 。而模型的得分大约高出 65%，其中 OpenAI 的推理模型 o3 得分高达 1.83，接近最高极值。
普林斯顿大学博士生、该研究的合著者瑞安·刘指出，这是因为大语言模型“非常渴望从有限的数据中归纳出普遍规律”。该研究已于今年 7 月在首尔举行的国际机器学习大会（ICML）上以论文形式发表。“这其实就是它们的一大核心优化目标。”
无论是人还是机器，每一个决策者都会面临一种权衡：是坚持以前行之有效的方法，还是尝试可能效果更好的新方法。心理学家将这种现象称为“探索与利用困境”。这就像是在尝试新餐厅和去你信赖的老字号之间做选择。
大语言模型接受的训练大多涉及数学、编程和科学问题。这类任务往往会奖励从少数例子中进行归纳的行为。因此，它们可能会过早地认准某种直觉。而正是这种帮助大语言模型破解逻辑难题的本能，让它们同样迅速地形成了刻板印象。
在实验中，具备更强推理能力的新模型（如 OpenAI 的 o3 和深度求索的 R1）表现出了更强烈的偏见。瑞安·刘表示，当大语言模型在社交场景中急于进行概括时，“事情往往就会出错”。 OpenAI 和 Anthropic 没有回复置评请求。
康奈尔大学计算机科学家安吉丽娜·王（未参与该研究）认为，考虑到聊天机器人如今正获得越来越强的记忆和个性化功能，这一发现显得尤为重要。她指出，当聊天机器人调用以前的对话记录时，它可能会“过度关注它以前经历过的同类行为”，从而形成偏见。
然而，单纯让聊天机器人少记点东西并不是解决办法，因为用户还是希望机器人能记住自己说过的话。安吉丽娜·王说：“我们仍在努力寻找一个恰到好处的平衡点，既不过多也不太少。”
直接命令模型保持公平，并不能让它的行为发生多大改变。瑞安·刘表示：“要么是它无法将这些价值观付诸实践，要么就是这个过程被另一种倾向给淹没了——即努力优化以实现‘尽可能多地成功录用候选人’这一目标。”但是，如果向模型承诺，实现多元化招聘会获得额外奖励，它们的偏见就会大大减少。因此，瑞安·刘认为，关键的窍门在于设计目标时要“纳入令人向往的社会价值观，从而促使大语言模型以符合社会期望的方式行事”。
当向模型提供更多关于个人的信息时，它们的偏见也会减少。在同一项研究的另一个实验中，研究人员要求模型将不同族群的成员安置在加拿大的各个城市。当模型得知与适应新城市能力相关的个人信息（如年龄和教育程度）时，它们按族群隔离人群的可能性就降低了。但是，当提供的是无关信息（如头发颜色和纹身形状）时，模型在很大程度上又退回到了按族群对人进行分类的老路。
在现实世界中，AI 系统对求职者的刻板印象究竟会严重到什么程度，这仍是一个悬而未决的问题。实验中的模型能立刻得知自己的招聘是否成功，但在现实中筛选简历的模型却得不到即时的“成绩单”。公司往往需要很长时间才能弄清楚一位新员工到底优不优秀。
不过，当反馈信息最终逐渐传来时，模型在未来的招聘中可能仍然会过度解读这些结果。随着越来越多的公司部署大语言模型来筛选简历甚至进行面试，模型可能从招聘经验中形成偏见这一发现，“是一个非常严重的问题，他们必须加以应对，”安吉丽娜·王表示。
当大语言模型通过经验学习，来决定谁能被录用、谁能拿到贷款，甚至谁能获得假释时，我们需要担心的偏见，可能包含了人类从未教过它们的类型。
刘表示：“这些新型偏见，可以说无处不在。”
编译自 MIT Technology Review，原文链接：点击阅读。
