SMP 2017 首届中文人机对话技术评测结果公布
近年来,人机对话技术受到了学术界和产业界的广泛关注。学术上,人机对话是人机交互最自然的方式之一,其发展影响及推动着语音识别与合成、自然语言理解、对话管理以及自然语言生成等研究的进展;产业上,众多产业界巨头相继推出了人机对话技术相关产品,如个人事务助理、虚拟情感陪护机器人、娱乐型聊天机器人等等,并将人机对话技术作为其公司的重点研发方向。以上极大地推动了人机对话技术在学术界和产业界的发展。
在中国中文信息学会社会媒体处理专委会的支持下,以第六届全国社会媒体处理大会(The Sixth China National Conference on Social Media Processing, SMP)为平台,专委会组织了首届中文人机对话技术评测(The Evaluation of Chinese Human-Computer Dialogue Technology,SMP2017-ECDT)。评测委员会主席为哈尔滨工业大学张伟男博士,委员包括科大讯飞研究院副院长陈志刚、哈尔滨工业大学车万翔副教授/博导以及华为公司的芮祥麟博士。本次评测包含两个评测任务,即任务一——用户意图领域分类(包括封闭式评测和开放式评测),任务二——特定域任务型人机对话在线评测(详细评测任务介绍请参见评测网站http://ir.hit.edu.cn/SMP2017-ECDT)。本次评测经过近五个月的筹备和角逐,目前已顺利落下帷幕,任务一(包括封闭式和开放式)和任务二的全部评测工作已完成,评测结果见附录,在此感谢中国中文信息学会社会媒体处理专委会及第六届全国社会媒体处理大会对本次评测的支持,感谢所有参赛单位的积极参与,同时感谢科大讯飞股份有限公司提供的评测数据支持和华为公司提供的奖金支持。
“第六届全国社会媒体处理大会(The Sixth China National Conference on Social Media Processing)”将于2017年9月15—17日在北京召开,本届全国社会媒体处理大会(SMP 2017)由中国中文信息学会社会媒体处理专委会主办,中国科学院计算技术研究所承办,会议网站注册网址为:www.cips-smp.org/smp2017/。全国社会媒体处理大会专注于以社会媒体处理为主题的科学研究与工程开发,为传播社会媒体处理最新的学术研究与技术成果提供广泛的交流平台,旨在构建社会媒体处理领域的产学研生态圈,成为中国乃至世界社会媒体处理的风向标,会议将以社交网络的形式改变传统的学术会议交流体验。全国社会媒体处理大会每年举办一次,现已成为社会媒体处理的重要学术活动。
附录:
- 任务一:用户意图领域分类1.1 封闭式评测:

【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。
1.2开放式评测:

【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。
- 任务二:特定域任务型人机对话在线评测

*指静态的数据库资源未覆盖情况的引导能力。任务完成率高,平均话轮数少,用户满意度和流畅度高,则系统更优。
【注】未在此名单中的参赛单位为未正确提供服务器信息或者最后时刻仍然没有联通。
- 奖项设置
本次评测对于上述两个任务包含的3个Track分别比赛及排名,并根据每个Track的最终评测结果分别取前三名进行奖励,奖金总额5万元人民币
任务1(封闭式评测): 第一名4000元,第二名2000元,第三名1000元。
任务1(开放式评测): 第一名6000元,第二名4000元,第三名3000元。
任务2:第一名15000元;第二名10000元;第三名5000元。
【注】由SMP2017主办方中国中文信息学会(CIPS)为参评队伍提供成绩证书认证。
- 人机对话评测会议信息
本次中文人机对话评测会议以论坛的形式包含在SMP2017会议中,具体信息如下:
时间:9月16日,16:00-18:00
地点:北京友谊宾馆,
瑞宾楼二层2号会议室
议程:
16:00-16:10 开幕致辞
16:10-16:20 评测总结
16:20-16:30 颁奖典礼
16:30-18:00 获奖评测系统技术报告
组委会诚挚邀请对人机对话相关技术感兴趣的学界和业界人员前来参会。