设计应用

融合图文预训练的汉越多模态神经机器翻译

作者：韦浩翔1，2，高盛祥1，2，余正涛1，2，王晓聪1，2
发布日期：2024-12-16
来源：电子技术应用

引言

机器翻译是利用计算机程序将一种自然语言的文本自动转换成另一种自然语言。随着中国的“一带一路”倡议的不断推进，中越两国在经济和文化领域的交流与合作日益增强，高效且准确的翻译服务变得尤为关键。尤其是神经机器翻译技术的应用，极大提升了翻译的速度和质量，有效地促进了两国之间的信息交流与理解，为双边关系的深化提供了坚实的语言支持。

由于汉语-越南语语言对属于低资源语言对，语料资源稀缺，且汉语和越南语语法差异巨大，名词翻译错误一直是汉越神经机器翻译的一个难点，这个问题的存在导致了汉越神经机器翻译模型的翻译不准确。

为了解决汉越神经机器翻译中名词翻译不准确和在少量语料下翻译模型性能不佳的问题，本文提出融合图文预训练的汉越多模态神经机器翻译方法。通过Gumbel门控机制，将视觉-文本联合预训练模型M-CLIP和多语言翻译预训练模型mBART进行有效结合。借助视觉信息，解决名词翻译错误问题；引入mBART预训练模型，提升稀缺语料下的翻译性能；通过Gumbel门控机制，融合多模态信息，排除无关视觉信息对翻译模型的干扰。


本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000006247


作者信息：

韦浩翔1，2，高盛祥1，2，余正涛1，2，王晓聪1，2

（1.昆明理工大学 信息工程与自动化学院，云南 昆明 650500；

2.云南省人工智能重点实验室，云南 昆明 650500）


Magazine.Subscription.jpg

此内容为AET网站原创，未经授权禁止转载。
汉越神经机器翻译 视觉-语言联合预训练 多模态 注意力

Copyright © 2005-2024 华北计算机系统工程研究所版权所有 京ICP备10017138号-2