分享:

Battle!AI和人类进行辩论比赛

2021-04-27 15:05:17 中国航空报 逸文

人类斗嘴还要看提词器,AI引经据典的能力却已经比你高出不止一个段位了。

在人工智能打败专业国际象棋选手、围棋选手,并在多个电子游戏中大展身手之后,现在它冲着职业辩论选手来了!

辩论是指对某个议题或主张,以言语为主要方式,为分辨不同立场之优劣而进行的一种争论方式。辩论需要精湛的口才或强大的逻辑思辩能力,且讲求反应。

辩论比赛不是人人都能上,很多人甚至连吵完架都后悔没发挥好,那么AI呢?它能在辩论中发挥出怎样的成绩呢?

2012年,IBM海法研究院开始研发能够与人类辩论的AI系统——Project Debater。2018年6月,Project Debater打败人类专业辩手,并在2019年2月第二次亮相时,对阵2016年世界辩论决赛选手、欧洲辩论赛冠军Harish Natarajan。虽然在这次人机“辨论”中,Project Debater未能获得胜利,但它展示出了优秀的构建论据以及决策能力。

IBM关于Project Debater的一项新研究登上了Nature封面,介绍了Project Debater的架构并进行了性能评估。

Project Debater与人类的对战

辩论赛的一大难点是论据挖掘,在很长时间里这一能力都被认为超出AI能力范畴。但AI技术进展、日益成熟的工程技术和广泛的商业需求促使该领域快速发展。IBM海法研究院Noam Slonim博士等人决定开启一项挑战:开发一个能够与人类进行现场辩论的完全自主系统。

这 就 是Project Debater。Project Debater是一项巨大的工程成就,融合了多种基于文本收集和解释辩论相关材料的新方法。研究人员为了评估Project Debater系统的总体性能,将其与各种基线进行比较,并跟踪其随时间的进展情况,由结果可得,Project Debate的评估结果明显优于其他系统,并且非常接近人类专家的得分。

和几乎所有目标高远的AI研究一样,Project Debater面临一个关键的瓶颈,即如何获取足够的数据,以便计算出一个有效的解决方案。Project Debater用双管齐下的方法解决了这一问题:它将关注范围缩小到约100个辩题;从庞大的数据集中获取原材料。

在2018年和2019年的一系列活动中,Project Debater与多名才华横溢、备受瞩目的人类辩手进行了较量,观众对其辩论进行了非正式评估。

在1v1辩论中,该系统进行一个4分钟的演讲,人类对手对此作出回应。然后,Project Debater对对手的观点做出回应,发表第二个4分钟辩论,对手用4分钟的时间进行反驳。最后,双方都做了2分钟的最终陈述。

该系统最薄弱之处或许是它难以模仿人类辩手的连贯性和流畅度,这与论据选择、抽象和编排的最高层次有关。然而,这种限制并非Project Debater所独有。尽管对辩论已经进行了两千年的研究,但人们对论证结构仍然知之甚少。

构成优秀论证的模型是多样化的,而构成优秀辩论的模型仅仅相当于形式化的直觉。因此,当时Project Debater的性能评估仅仅是通过询问人类观众是否认为它表现不错来完成的。在几乎三分之二的辩题中,人类认为是这样的。

所有辩论技术系统面临的最终挑战是:将论据视为受一系列孤立考虑因素影响的局部话语片段,还是将其编入更大范围的社会规模辩论中。在很大程度上,这关乎于如何设计待解决的问题,而不是如何制定解决方案。通过在论据上设置先验界限,得到理论上的简化,从而提供计算优势。

此外,在现实世界中,论据并不存在明确的界限:发生在辩论室之外的话语不是离散的,而是与一个交叉引用、类比、举例和泛化的网络连接起来。关于AI如何处理这种论据网络的想法已经在理论上被提出,并用软件实现——DebateGraph。

但这些实现面临了棘手的理论挑战和社会技术问题。

Project Debater是辩论技术发展的关键一步,也是将论据作为局部现象来处理的关键一步。它的成功让我们看到了AI系统是如何轻松处理论据网络的。

Project Debater解决了一项重大挑战,它也代表了AI在促进人类推理方面的进步,正如Slonim等人所说,这远远超出了当前AI技术的舒适区。

如何造就强大的AI辩手

Project Debater包含四个主要组件:论据挖掘、论据知识库(AKB)、论点反驳和辩论构建。其中前两个模块是辩论语音的内容源。

论据挖掘组件负责找出与辩题相关的论据和反驳论据,它包含两个阶段。在离线阶段中,该组件处理包含4亿新闻文章的大型语料库,将这些文章拆分为句子并进行索引。在在线阶段中,该模块基于给出的辩题依靠索引在语料库中执行句子级的论据挖掘、相关论断和论据检索。

正所谓“知己知彼,百战不殆”,该模块还会搜索支持对方观点的论据,这些论据将在论点反驳模块中得到使用。

AKB模块则包含论据、反驳论据和与一般辩论类别相关的其他文本。给出一道辩题,它就可以找出最相关的材料。

论点反驳模块基于前两个模块预测对手的反对主张,并生成潜在的回应。最后的辩论构建模块则选择其他模块提议的文本,并将其组合成流畅的表述。

此外,IBM还提供了Project Debater 12种底层技术的云API,以供学术使用。这些API包括处理wikification、维基百科概念间的语义关联、短文本聚类和文本主题提取的自然语言理解能力。API的核心部分服务于论据挖掘与分析,包括检测包含主张和论据的句子、检测句子中的主张界限、评估论据质量和立场分类(支持/反对)。

此外,Narrative Generation和Key Point Analysis API还提供两项高级服务——创建不同类型的总结。Narrative Generation为支持或反驳给定主题构建结构完备的语音。Key Point Analysis是一种新型有前景的摘要方法,它可以基于给定主题将评论总结为一小组关键点,每个关键点的重要程度由评论中匹配句子的数量决定。

责任编辑:实习编辑