设为首页 | 加入收藏
> 栏目导航
热门排行
您的位置:主页 > 蒸汽眼罩 > 蒸汽眼罩

AI考官自动评估AI翻译结果 达摩院获WMT2021第一


发布日期:2021-08-26 21:48   来源:未知   阅读:

  www.bm5l3.cn路人拍的佘诗曼早秋穿针织衫配长筒靴超显嫩一看就是香,记者近日获悉,在业界权威的WMT2021国际机器翻译大赛上,阿里巴巴达摩院翻译团队打造的翻译质量评估系统,在极具挑战的 Sentence-level Direct Assessment QE Shared Task 2021质量估计比赛上获得第一名。该系统堪比AI考官,能够自动给AI翻译的结果打分,以此不断优化翻译模型,提升AI翻译的质量。

  国际机器翻译大赛WMT已有15年历史,其赛事众多。其中包括较为常见的翻译任务,比如将新闻从英文翻译为中文,其质量好坏评估是用人类译文来做参考,越接近越好,即BLEU值越高越好。大会还有更为挑战的翻译质量估计比赛,参赛者需要创造一套AI系统,在没有人类参考译文的情况下,自动评估机器翻译的质量,因为真实世界就是如此,很少有人类标准答案。

  达摩院翻译团队打造的AI考官,参与了Sentence-level Direct Assessment任务的全部11项子任务,获得总平均分第一,从华为、Unbabel等国内外资深团队中脱颖而出。其中,达摩院在7项有样本的语向中获得5项第一,分别为英语-中文、罗马尼亚语-英语、爱沙尼亚语-英语、尼泊尔语-英语、俄语-英语;在4项零样本(zero-shot)语向中获得3项第一,分别为英语-捷克语、普什图语-英语、高棉语-英语。

  据介绍,该项目的创新之处在于,达摩院翻译团队在大规模预训练模型和迁移学习的基础上,改进了机器翻译的“白盒”特征,洞悉了机器翻译模型的内部状态和原理,包括非常重要的翻译解码概率。与此同时,他们还发现了新的重要质检特征,先使用Levenshtein算法和Masked语言模型对原文进行适度加噪,然后利用待评估质量的翻译模型提取相应的译文解码概率,结果发现它与译文质量紧密相关。更关键的是,研究团队验证发现,这些创新方法能够跨语言通用,在多语向项融合的翻译质量估计模型训练过程中也表现优秀,有望推动机器翻译整个领域的进步。

  达摩院AI考官已用于阿里多个业务场景,包括全球速卖通AliExpress、Lazada、钉钉、阿里云技术文档等,能实时监测线上翻译质量,定向优化翻译模型,让这些场景里的机器翻译性能提升5%-15%不等。

  据了解,这是达摩院翻译团队第二次参与WMT的翻译质量估计比赛,2018年他们曾获得英-德、德-英语向句子级别和词级别等六项质量估计子任务冠军。达摩院翻译团队近两年在国际顶会上发表论文100余篇,已实现214种语言的高质量翻译,日调用量突破13亿次,创造了多项世界纪录。他们还揭榜了工信部人工智能产业创新重点任务中的智能翻译系统,在2021年第一期评比中荣获优胜单位。