近日，在第十一届国际对话系统技术挑战赛Dialog System Technology Challenge（DSTC11）中，认知智能国家重点实验室凭借基于提示学习的多任务联合训练方案以及基于对比学习的多阶段粗到细模型训练方案，一举夺得三项冠军。

Track 1：多模态智能对话

在现实世界中，人类需要通过多种感官（例如眼睛、耳朵、触觉）来感知丰富的信息。对于机器而言，它需要通过能够处理多模态信息的智能对话系统，来感知并理解周边环境，有效地在现实世界的多模环境中帮助用户，这也是Track 1 SIMMC(Situated and Interactive Multimodal Conversations)任务的目标所在。

SIMMC任务给定一个或者多个用户和助理共同视角的场景进行任务型对话，每个场景中会包含多个物体对象，下图是示例的场景信息。

SIMMC任务包括歧义候选识别、多模态共指消解、多模态对话状态跟踪以及回复生成四项子任务，如下图所示：

• Subtask#1（歧义候选识别）：用户对话过程存在歧义，找出场景中的歧义对象。
• Subtask#2（多模态共指消解）：将用户对话过程存在的指代对应到场景中的对象上。
• Subtask#3（多模态对话状态跟踪）：根据上下文对话，以及场景信息，确认用户对话的意图、槽位、槽值。
• Subtask#4（回复生成）：根据上下文信息以及场景中对象的属性信息，生成助理的回复。
  

此任务的难点在于需要对话系统将场景信息以及场景中的对象信息编码到对话上下文里，并将物品属性与场景中的对象属性建立联系，从而进行识别和消歧。

针对前三个子任务，实验室创新提出基于提示学习的多任务联合训练方案，进行多模态场景信息编码和多任务学习，全面提升对话系统的信息编码和属性联系建立能力，有效攻克任务难点。

针对回复生成任务，实验室采用Encoder-Decoder结构，同样基于模板的形式将场景信息编码，另外结合系统回复所需要的对话状态信息，生成最终回复。

基于以上技术创新，实验室对话系统在Track 1的Subtask#1（歧义候选识别）及Subtask#3（多模态对话状态跟踪）中的Act F1均取得第一。

Track 2：自动对话意图归纳

任务型对话系统的关键是对话意图识别。在面临新增意图请求下，任务型对话系统的理解能力及模型迁移能力较差，因此自动对话意图归纳对于智能对话系统至关重要。

Track 2旨在考察机器和人类在现实环境交互中自动归纳意图的能力，包括意图聚类和开放意图归纳两个子任务。难点在于，新增未知意图较为开放，并且需要在少量无标签数据下获得对聚类任务更好的对话语句特征表示。

为了攻克以上难点，实验室提出了基于对比学习的多阶段粗到细模型训练方案，该方案由三个阶段组成：

• 使用大量的对话数据，将同一对话的连续话语作为正样本对通过对比学习方式进行预训练。如下图示例，模型在训练过程中会隐式地学习了I am looking for restaurants和Find me some restaurants的相似表示，因为它们的下一句都是What type of food do you like?

• 使用与比赛数据同一领域且带有意图标签的数据，将每个样本与其相邻的样本或具有相同意图的样本作为正样本对，通过对比学习的方式对第一阶段获得的预训练模型进行微调。

• 通过对比学习和聚类联合训练的方式对第二阶段获得的模型进一步微调，弥补单一方式训练的不足，使得聚类的效果更好。

实验室利用以上三阶段训练结束后的模型获取对话句子的特征表示，采用聚类算法k-means来获得最终的聚类结果。针对意图个数确定难点，实验室通过Silhouette Coefficient在类别个数范围内实现自动优化确定，最终夺得该任务两个赛道冠军。

此外，在人机对话系统优化研究中，实验室不断突破知识构建学习、对话库构建、交互知识推理、自学习等共性基础技术，并在语言理解、对话管理、对话生成、多模态交互等关键核心技术上实现跨越，致力于让机器能理解多模态信息并分析意图，学习外部知识与人进行自然对话，具有情感能与人共情，实现更加自然的人机交互。

同时实验室以支撑“中国智造”升级需求为目标，积极探索对话系统交互能力升级和交互体验提升方法，将其在汽车交互、电视交互、陪伴机器人等多场景中落地应用，从而支持我国经济主战场的手机、家电、汽车等支柱性产业实现智能化、国际化升级。