微软近日提交了一项新的专利申请,展示了一项能够在接近实时的状态下修改直播视频中讲话者的语音内容,并同步调整其面部和口型表情的人工智能(AI)技术。
该专利最早由专利追踪机构 Patentlyze 发现,被发明者描述为“对现场活动的直播视频或增强现实(AR)展示进行近实时人工智能优化”。随着 AI 深度伪造(Deepfake)和虚假信息在网络上的蔓延,这一专利预示着未来观众可能可以根据个人偏好,自定义接收到的“实时现实”。
技术原理:AI 代理实时修正音视频
根据专利说明,该系统利用 AI 代理(AI Agents)识别并修改或删除讲话者口中的某些词汇,同时对讲话者的面部和嘴唇进行微调,使其动作与修改后的音频完全吻合。为了避免视频出现卡顿或突兀感,系统还会对被替换词汇前后的音视频进行平滑过渡处理。
多重应用场景:从实时翻译到过滤俚语
专利中提到了这种实时修改技术的多种潜在用途:
- 实时跨语言翻译:在提供不同语言实时配音的同时,让画面中讲话者的口型与新语言保持一致。
- 提升表达流畅度:自动剔除直播说话中的“嗯”、“啊”等停顿词,或纠正结巴和发音障碍。
- 过滤特定词汇与俚语:系统可以修正发音错误、用错的词汇、不当或冒犯性言论,甚至能过滤地方俚语(如美南方常用词“y’all”或成语“bite the bullet”)。系统还可以通过互联网搜索获取替换词。
这项技术未来可广泛应用于学术讲座、新闻播报、各类电视节目(如颁奖典礼、游戏及美食节目)以及体育赛事直播等场景。
真实性争议:定制化“信息茧房”
尽管实时翻译等功能具有实用价值,但该专利也引发了业内对真实性与信息透明度的担忧。如果观众能够随意改变他人直播时的言论,不仅可能削弱直播内容的真实性,还可能让人们进一步陷入按照自己喜好定制的“信息茧房”中。
微软在专利中也提到了这一潜在风险,并指出系统会保留和存储最初的现场原始音视频文件作为“真实依据”(ground truth),以便在发生争议或滥用时进行核对。
参考来源:Futurism