引言
多模态文本生成是人工智能领域融合视觉、语言等多种信息模态的核心任务,广泛应用于图像字幕生成、视觉问答、视频叙述、智能交互等场景。过去十年,该领域技术架构经历了由“小而专用”到“大而统一”的演变。早期的编码器–解码器范式将卷积神经网络(CNN)与循环神经网络(RNN)结合,实现了端到端的图像到文本生成,并在注意力机制和专用Transformer架构的推动下达到性能高峰。然而,此类模型在信息表达上存在瓶颈,泛化能力有限,无法满足开放环境下复杂指令驱动的生成需求。
随着大型语言模型(Large Language Model, LLM)的崛起,以LLM强大的语言理解、推理与指令遵循能力为核心的统一生成框架成为多模态领域的新范式。通过CLIP等模型构建统一语义空间,并采用“冻结LLM+轻量视觉连接+指令微调”的技术路线,研究者成功将视觉感知能力注入预训练LLM,实现了从封闭任务到开放任务的能力跃迁。新范式不仅带来了零样本与少样本学习、复杂推理、多轮交互等突破性特性,还催生了原生多模态架构与智能体应用的趋势。
本文旨在系统分析多模态文本生成从范式一到范式二的技术与理论演进,揭示驱动这一变革的架构、预训练目标与数据基础,量化比较两大范式代表性模型的性能差异,并探讨当前面临的挑战与未来发展的关键方向。通过这一综述,期望为多模态生成技术的研究者与应用开发者提供理论参考与实践指南,助力其在迈向通用人工智能的道路上取得更高成就。
本文详细内容请下载:
https://www.chinaaet.com/resource/share/2000007343
作者信息:
何永瑾,杨嘉佳,曹蓉,陈紫璇,刘子丰
(中国电子信息产业集团有限公司第六研究所,北京 100083)