引言
随着水下考古学[1]、海洋生态研究[2]、水下机器人[3]等领域的兴起，水下图像处理和理解越来越受到人们的关注[4]。但是水体环境固有的复杂性和光在水中受到的吸收及散射效应，导致直接获取的水下图像常常存在图像质量退化的问题。因此在实际应用中如何在小型化设备上实现高效的水下图像增强，是当前面临的一项重大挑战。
水下图像增强的目的是从这些降级的水下数据中获得更高质量、更清晰的图像和视频。传统的水下图像增强方法有基于白平衡的方法[5]、基于直方图均衡化方法[6]以及基于物理模型的方法[7]，以改善水下图像的可视性和信息含量。随着深度神经网络的发展，近些年来，研究人员提出了许多的基于深度学习的水下图像增强方法，并取得了良好的视觉效果。根据模型采用的主体网络结构不同，可将其划分为基于生成对抗网络(Generative Adversarial Network, GAN)的方法与基于卷积神经网络(Convolutional Neural Network, CNN)的方法[8]。GAN由生成器和判别器两个部分组成，通过两个部分的对抗训练逐渐提高两部分的性能，最后通过生成器实现水下图像的增强。Guo 等人提出了一种多尺度密集生成对抗网络方法UWGAN来增强水下图像[9]。UWGAN引入了结合L1损失和非饱和GAN损失函数，从而学习参考图像特征，能够有效校正图像颜色偏差。Islam等人提出了一种基于条件对抗生成网络的水下图像增强模型FunIe-GAN[10]，该方法将水下图像增强问题转变为从失真图像到增强图像的函数映射问题。但该方法在某些水下场景效果欠佳，会使增强后的图像呈现暗黑色。基于GAN的水下图像增强方法虽然在提高图像质量和恢复细节方面展现出了显著的优势，但是训练难度较大，且稳定性较差，容易陷入模式崩溃。
CNN通过结合不同的卷积层、池化层、激活函数层实现对水下图像的增强。Li等人构建了一个具有890 幅大水下图像的增强基准数据集（UIEB），并提出了WaterNet模型，该模型使用自适应滤波器和深度卷积神经网络来提高图像质量并降低噪声[11]。Wu等人提出了一种基于结构分解的两阶段卷积神经网络UWCNN-SD进行水下图像增强，通过将水下场景先验与卷积神经网络结合优化水下图像的颜色[12]。
近些年来无人水下潜航器(Unmanned Underwater Vehicles, UUV)以及水下机器人在各领域得到了广泛的应用，但是这些水下设备往往计算资源有限，传统的深度学习模型难以在这些平台上实现高效的运行，所以轻量化的网络有着强烈的需求。Naik等人提出了Shallow-UWNet，它通过整合轻量级结构元素与残差卷积组件，创建了一个简化的网络框架[13]。尽管此类设计主要以节省计算资源为主要考量，但单纯追求轻量化并不一定会带来计算效率的显著提升，同时也忽略了针对水下环境中图像劣化现象的特殊优化，导致处理后的图像在视觉质量和技术评估指标上不尽人意。因此，Jiang等人提出了FA+Net，其仅包含9k个参数，通过多分支颜色增强模块、多尺度金字塔模块以及空频域特征交互模块的结合实现对水下图像的增强[14]。该网络参数量虽少，但计算过程中包括了大量的傅里叶和逆傅里叶计算，显著增大了计算复杂度，使得模型的推理时间变长。
因此，如何构建一个能够在保持极低参数量的同时提供高效且高质量图像增强效果的实时系统，成为水下成像技术领域亟待攻克的长期课题。这要求新的解决方案不仅要深入考虑并专门解决水下环境所特有的图像退化问题，还需高度优化计算资源利用。
本文提出了基于终端处理器的轻量化水下图像增强系统。其核心构建了超轻量化的水下图像增强模型CMFNet，该模型通过分析水下图像退化的特性，从校正颜色失真和恢复图像细节两个方面解决该问题，并且通过多层次的原始特征接入，使其在各个阶段均保持对原始细节的记忆。在整个网络中，大多使用1×1的Point-Wise(PW)卷积，相比3×3的卷积，能够有效降低参数量以及计算复杂度。基于华为昇腾终端处理器实现了该模型的优化部署，在720P分辨率下实现图像的端到端实时增强，从而满足水下拍摄设备和机器人平台等移动平台的需求。
总体而言，本文的贡献如下：
(1)提出了一种新的轻量级水下图像增强网络CMFNet，适用于任何分辨率图像，能够端到端地生成色彩适中、细节准确的水下增强图像。
(2) CMFNet参数仅有3.4k，是据我们所知目前唯一能够在RTX 4090上对2K图像进行实时增强的网络，更适用于在移动平台上部署。
(3)在UIEB标准数据集上进行了大量的实验，证明了CMFNet与其他先进的水下图像增强方法相比能够以更少的参数量与计算复杂度实现最优或次优的效果。
(4)在华为昇腾终端处理器上进行了优化部署，能够实现在720P分辨率下的水下图像实时增强，为水下视觉终端设备提供实时增强视觉感知能力，进一步提高目标检测跟踪的精度。
本文详细内容请下载：
https://www.chinaaet.com/resource/share/2000007227
作者信息：
李诗言1，2，3，韩华锦1，2，3，毛恒1，2，3，马百威1，2，3，郭远寒1，2，3
（1.天津航海仪器研究所，天津 300000；
2.天津七所精密机电技术有限公司，天津 300000；
3.天津市抗恶劣环境特种计算机重点实验室，天津 300000）
