近年来，深度学习和自然语言处理技术在以SQuAD为代表的机器阅读理解比赛中取得了巨大突破，同时也开始在司法领域拓展研究，受到了学术界和产业界的广泛关注。为了促进智慧司法认知技术的发展，同时将机器阅读理解技术实际应用到产业界，哈工大讯飞联合实验室（HFL）提出了中文法律阅读理解任务，作为2019年中国“法研杯”人工智能挑战赛三项评测任务之一，旨在推动阅读理解技术的产业应用，促进法律人工智能事业的发展，并通过阅读理解技术，辅助司法工作人员以及民众更方便地获取所需信息。
8 月17 日，SMP2019法律阅读理解技术评测（The Evaluation of Chinese Judicial  Reading Comprehension Technology，SMP-CJRC）挑战赛顺利完成，技术报告论坛在哈工大（深圳）召开。
本次评测由中国中文信息学会社会媒体处理专委会（CIPS-SMP）、中国司法大数据研究院主办，科大讯飞股份有限公司、哈尔滨工业大学联合承办，以第八届全国社会媒体处理大会（The Eighth China National Conference on Social Media Processing, SMP）为平台举办了本次法律阅读理解技术评测。评测委员会的人员如下所示：

评测指导委员会

许建峰（最高人民法院信息中心主任）

王珩（中国司法大数据研究院总经理）

刘挺（哈尔滨工业大学教授、哈工大人工智能研究院副院长）

林鸿飞（大连理工大学教授、大连理工信息检索研究室主任）

王士进（河北省讯飞人工智能研究院院长、科大讯飞AI研究院副院长）

刘知远（清华大学计算机系副教授）

评测委员会

主席：

伍大勇（科大讯飞AI研究院副院长）

副主席：

胡振（中国司法大数据研究院）

刘铭（哈尔滨工业大学）

崔一鸣（科大讯飞）

委员：

王宝鑫（科大讯飞）

霍天翔（中国司法大数据研究院）

段兴义（科大讯飞）

王梓玥（科大讯飞）

马文涛（科大讯飞）

参赛情况

本次评测设置初赛、复赛以及封测阶段，共有659 支队伍（879人）报名参与竞赛，初赛有152支队伍提交模型，复赛有101支队伍提交模型。（有评测报告下载链接请查看文章结尾处附录。）本次评测奖金由科大讯飞提供，具体的奖金分配如下：

• 一等奖，一名，20000元奖金+获奖证书
• 二等奖，两名，10000元奖金+获奖证书
• 三等奖，四名，5000元奖金+获奖证书

       最终获奖单位如下：

评测任务介绍

本次比赛是首次基于中文裁判文书的阅读理解比赛，属于篇章片段抽取型阅读理解比赛（Span-Extraction Machine ReadingComprehension）。为了增加问题的多样性，参考英文阅读理解比赛SQuAD和CoQA，本比赛增加了拒答以及是否类（YES/NO）问题。鉴于民事和刑事裁判文书在事实描述部分差异性较大，相应的问题类型也不尽相同，为了能同时兼顾这两种裁判文书，从而覆盖大多数裁判文书，本次比赛设置民事和刑事两类测试集。本次比赛采用与CoQA比赛一致的宏平均（macro-average F1）进行评估。对于每个问题：

• 需要把N个标准回答按照N-1一组的方式分成N组；
• 预测回答需要同每组的所有标准回答计算F1，并取最大值作为该的F1；
• 取N组F1的平均值作为该问题的F1。评估模型的F1为所有问题F1的平均值。

本次评测的最终评测结果如下所示

通过比赛结果，可以观察到：

• 第一名成绩比BERT_Baseline高4.6%，效果有明显提升。
• 最好结果仍然比人类指标低9.3%，说明在该数据集上仍有较大提升空间。
• Unanswerable类问题回答准确率低于其它类型问题，仍待进一步提升。 

本次评测经过近三个月的筹备和角逐，目前已顺利落下帷幕，在此感谢中国中文信息学会社会媒体处理专委会、中国司法大数据研究院及第八届全国社会媒体处理大会对本次评测的支持，感谢所有参赛单位的积极参与，期望法律阅读理解评测能够促进司法领域技术的交流并推动法律阅读理解技术的进步与落地。

获奖队伍风采：

第一名

第二名

第三名

附录

评测报告下载链接：

https://pan.iflytek.com:443/link/54674CF51B98C02D81B4F386357FF3BE

密码：mRKJ