设计应用

基于CNN-Transformer混合构架的轻量图像超分辨率方法

作者:林承浩,吴丽君
发布日期:2024-03-25
来源:网络安全与数据治理

引言

图像超分辨率(Super Resolution, SR)是一项被广泛关注的计算机视觉任务,其目的是从低分辨率(Low Resolution, LR)图像中重建出高质量的高分辨率(High Resolution, HR)图像[1]。由于建出高质量的高分辨率图像具有不适定的性质,因此极具挑战性[2]。随着深度学习等新兴技术的崛起,许多基于卷积神经网络(CNN)的方法被引入到图像超分任务中[3-6]。SRCNN[3]首次将卷积神经网络引入到图像超分任务中,用卷积神经网络来学习图像的特征表示,并通过卷积层的堆叠来逐步提取更高级别的特征,使得重建出的图像具有较高的质量。在后续研究中,Kaiming He等人提出了残差结构ResNet[5],通过引入跳跃连接,允许梯度能够跨越层进行传播,有助于减轻梯度消失的问题,使得模型在较深的网络情况下仍然能保持较好的性能。Bee Lim等人在EDSR[6]中也引入了残差结构,EDSR实际上是SRResnet[7]的改进版,去除了传统残差网络中的BN层,在节省下来的空间中扩展模型尺寸来增强表现力。RCAN[8]中提出了一种基于Residual in Residual结构(RIR)和通道注意力机制(CA)的深度残差网络。虽然这些模型在当时取得了较好的效果,但本质上都是基于CNN网络的模型,网络中卷积核的大小会限制可以检测的空间范围,导致无法捕捉到长距离的依赖关系,意味着它们只能提取到局部特征,无法获取全局的信息,不利于纹理细节的恢复,使得图像重建的效果不佳[5]。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000005931


作者信息:

林承浩,吴丽君

福州大学物理与信息工程学院,福建福州350108


杂志订阅.jpg

此内容为AET网站原创,未经授权禁止转载。
图像超分辨率 轻量化 卷积神经网络 Transformer