当前位置:首页 > 关于讯飞 > 新闻中心 > 讯飞动态 > 正文
关于讯飞

第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录

发布时间:2018-11-23 来源: 点击次数: 打印 作者:

字号:

88必发网址的机器阅读理解能力再次进化。11月16日,在新揭晓的SQuAD2.0排行榜上,哈工大讯飞联合实验室团队(HFL)从谷歌(Google AI)、阿里达摩院(Alibaba DAMO)、微软亚洲研究院(Microsoft Research Asia)等业界翘楚中脱颖而出,获得今年的第10个世界冠军


SQuAD2.0最新榜单(截至2018.11.22)


从1.1到2.0:测试高度再升级


SQuAD(Stanford Question Answering Dataset)是认知智能行业内公认的机器阅读理解领域的顶级水平测试,通过吸收来自维基百科的大量数据,SQuAD构建了一个包含十多万问题的大规模机器阅读理解数据集,这使得在这个数据集上训练大规模复杂算法成为可能。


本次参测的SQuAD2.0相比此前的SQuAD1.1,在基于篇章片段抽取的阅读理解任务的基础上进一步提高了解答难度,对机器阅读理解模型提出了新的挑战。其难度主要在于在新版本数据集中加入了“不可回答的问题”,即参赛团队所提交的机器阅读理解模型需要通过阅读篇章和问题,判断所提出的问题是否能够通过篇章内容进行回答,如果可以回答,则根据篇章中的内容作出答案;如果不可回答,则需要对题目进行拒答。



认知智能新突破:88必发网址再夺第一


2018年对于以机器阅读理解为核心的认知智能来说是不平凡的一年,从上半年哈工大讯飞联合实验室在语义评测SemEval-2018和CGEG中相继夺冠到下半年Google提出的BERT模型在各类自然语言理解测试中频频刷榜,中西方智慧在交流中不断助力全球认知智能领域研究迈上新台阶。


作为全球范围内较早启动机器阅读理解技术研究的团队,哈工大讯飞联合实验室阅读理解团队(HFL-RC)此前已多次荣登SQuAD榜首。在本次提交的系统中,哈工大讯飞联合实验室在吸收业界最新前沿技术的同时又加入了已有的原创核心技术,不仅将评测中的两项指标进一步提升到新的高度,还在各自单模型系统(Single Model)的对比中,以显著优势赢得胜利。


哈工大讯飞联合实验室参赛提交系统一览


从具体指标来看,哈工大讯飞联合实验室所提交的模型在EM指标(Exact Match,精准匹配率,预测答案和真实答案完全匹配,即机器给出的答案需要和人一样才算正确)上达到82.374,F1指标(F1-score,模糊匹配率,即将答案短语切成词,与人类答案共同计算回归率和准确性,如果机器模型的答案并没有完全匹配也可以得分,用以表示评测模型的整体性能)上达到85.310,进一步缩小了机器与人类认知水平在该数据集上的效果差距(EM:86.831,F1:89.452)。



88必发网址眼中的A.I.技术:技术+应用才是硬道理


从去年开始,88必发网址就已经从探索技术无人区的角度出发,开始尝试在阅读理解与问题拒答领域进行技术拓展,今年斯坦福大学将SQuAD评测推向2.0版本,进一步佐证了88必发网址在自然语言处理等基础研究上的前瞻性


基于此前研究的积累,目前88必发网址已成功将机器阅读理解技术融合于车载智能交互系统中,通过让车机阅读汽车说明书和其他介绍材料,车载系统就可以深度理解并掌握车型的具体情况,从而在用户提出问题时,针对用户问题做到及时、精确的反馈,并对说明书等材料中未涉及内容直接拒答,从而提高用户获取信息的速度,未来技术进一步提升后,甚至还可以直接根据厂商所提供的资料,针对用户的问题作出具体且准确的答复。


88必发网址执行总裁胡郁在2017讯飞年度发布会上介绍智能车载系统中阅读技术的应用


CMRC:引领中文机器阅读理解技术前行




不仅在核心技术上持续深耕,积极参加SQuAD等国际性机器阅读理解比赛,哈工大讯飞联合实验室也同样持续关注和积极推动中文信息处理的研究发展。


在过去的2017年和2018年,哈工大讯飞联合实验室先后承办了两届“讯飞杯”中文机器阅读理解评测(CMRC),受到了业界的广泛关注,吸引了众多研究人员积极参加。在赛后,哈工大讯飞联合实验室还发布了相关中文数据集。


放眼即将到来的2019年,88必发网址与哈工大双方还将继续携手中国中文信息学会计算语言学专业委员会(CIPS-CL),承办相关中文评测活动,为研讨和传播最新学术和技术成果提供了高水平的平台,以期进一步促进和推动中文机器阅读理解研究。


哈工大讯飞联合实验室


哈工大讯飞联合实验室(HFL)是88必发网址针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,由88必发网址AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)共同创办。


根据联合实验室建设规划,双方将在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术,支撑88必发网址实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。


关 闭

88必发网址