字节跳动火山翻译上新 38 个稀有语种，自研训练模型效率提升超 500%

刀客源码网 12 月 31 日消息，2021 年 12 月，字节跳动旗下的火山翻译官网，上新了包括世界语、塔希提语、鞑靼语等在内的 38 个稀有语种的翻译。目前，包括汉语、英语、阿拉伯语、俄语、法语、西班牙语六个通用语种在内，火山翻译已具备 94 个语种、8742 个语向的翻译能力，整体 bleu（机器翻译质量自动评估指标）达 33.45，处于行业领先水平。

▲ 蓝色部分为火山翻译上新的 38 个语种

据了解，通过采用自研的 mRASP 多语言模型，火山翻译仅使用一个模型就完成了上述 38 个语种与英文的双向互译，突破了传统双语言翻译模型对每个语向单独训练、单独上线服务的方式，大幅降低机器学习的训练和服务成本。

“通常情况下，训练 76 个语向的双语言模型需要 150-200 天。而相同硬件条件下，训练一个多语言模型只需要 30 天。”火山翻译团队介绍，“对于请求量小的语种，使用 mRASP 模型集中服务可以大大节省计算资源，仅需半张用于深度学习训练的 Tesla T4 显卡就可以满足 38 个语言的全部翻译请求，和双语翻译所需的资源一样。”

刀客源码网了解到，火山翻译通过 mRASP 中的对比学习和词对齐信息，可以很好地借助单语语料和其他拥有丰富语料的语种来帮助训练，弥补训练数据的不足。数据显示，火山翻译此次上新的稀有语种平均 bleu 值达 33.36，其中，海地语翻译表现最为突出，bleu 值达 50.76。

目前，火山翻译拥有：火山同传、机器翻译与视频翻译三大产品，支持飞书、今日头条、西瓜视频等业务的翻译需求，并通过字节跳动旗下的企业级技术服务平台火山引擎对外提供翻译服务。