第二届“讯飞杯”中文机器阅读理解评测圆满落幕
由中国中文信息学会计算语言学专委会(CIPS-CL)主办,哈工大讯飞联合实验室(HFL)承办,科大讯飞股份有限公司冠名的第二届CCL“讯飞杯”中文机器阅读理解评测研讨会(CMRC 2018)于2018年10月19日在湖南长沙圆满落幕。从2017年开始,全国计算语言学学术会议(CCL)计划举办评测活动。作为CCL的系列评测,哈工大讯飞联合实验室继续承办了第二届CCL“讯飞杯”中文机器阅读理解评测,并与第十七届全国计算语言学学术会议(CCL 2018,2018年10月19日~21日,湖南长沙)共同召开,旨在通过每年的中文机器阅读理解评测,与相关领域学者共同推进中文机器阅读理解的技术水平以及提供相关学者交流的平台。
今年的评测任务是基于篇章片段抽取的阅读理解(Span-Extraction Machine Reading Comprehension),作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如SQuAD、NewsQA等篇章片段抽取型阅读理解数据集,但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集,参赛选手需要对篇章、问题进行建模,并从篇章中抽取出连续片段作为答案。 本次评测依然采取训练集、开发集公开,测试集隐藏的形式以保证评测的公平性。
CMRC 2018评测研讨会
CMRC 2018评测研讨会于2018年10月19日下午2点准时开始。CCL 2018评测主席、CMRC 2018评测主席刘挺教授在评测研讨会上进行了开幕致辞。介绍了CCL系列评测的概况,表达了希望通过各类技术评测进一步推动中文信息处理的深切愿景。随后,科大讯飞AI研究院资深研究员、CMRC 2018评测联合主席崔一鸣对本次评测进行了总结并宣布了获奖单位,同时宣布开放式评测的启动,并且欢迎更多的研究机构通过参加开放式评测进一步推动中文阅读理解技术的研究。另外,评测委员会对评测单位的系统描述报告、测试集结果、挑战集结果进行综合评定选出本届评测的最佳单系统奖,最终颁发给北京信息科技大学智能信息处理实验室。


随后,冠军单位“深圳追一科技有限公司”,亚军单位(同时为最佳单系统奖获得者)“北京信息科技大学智能信息处理实验室”,季军单位“6ESTATES PTE LTD”作评测系统描述报告,介绍了评测中使用的模型以及比赛心得,并且回答了与会嘉宾的提问。三家单位全部使用了基于神经网络的建模方法,并且关注到大规模预训练模型的应用。然而,除了通过技术手段进一步提升相关效果指标的同时,我们期待有更多工作关注通过目前技术手段没能解决的阅读理解问题,并加以深入分析。




随着三家获奖单位的精彩报告的结束,CMRC 2018评测研讨会圆满结束。CMRC 2019评测将于2019年与CCL 2019共同举办。CCL 2019将于2019年10月18日至20日在云南昆明召开。评测委员会欢迎各位专家、老师、同学积极关注CMRC中文机器阅读理解系列评测,进一步推动中文信息处理的研究。