作者丨追风视觉

编辑丨极市平台

作者：田春伟，张艳宁，左旺孟，林嘉文，张大鹏，袁奕萱

单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、哈尔滨工业大学、台湾国立清华大学、香港中文大学

论文链接：

可视化Demo链接：

项目链接：

01 摘要

卷积神经网络（Convolutional Neural Networks, CNNs）已通过深度结构获得显著的图像超分辨性能。但这些CNNs对复杂场景下的图像超分辨表现出差的鲁棒性。对此，本文通过使用不同类型的结构信息来设计一个异构组卷积神经网络的图像超分辨方法（Heterogeneous group super-resolution convolutional neural network，HGSRCNN），获得高质量图像。其中，HGSRCNN的每个异构组块都由一个对称卷积块和一个互补卷积块组成的异构结构并以并行方式来增强不同通道的内部和外部的关联，促进不同类型更丰富的低频结构信息。为了防止出行冗余的特征，一个提纯信号增强块以串行工作方式来过滤无用的信息。为了防止原始信息的丢失，一个多级增强机制引导一个CNN来实现一个对称结构，提高HGSRCNN的表达能力。此外，一个并行的上采样机制用来训练一个盲超分辨模型。实验结果显示提出的HGSRCNN在定性分析和定量分析上已经获得好的超分辨性能。相关代码能在处被获取。

主要贡献：

提出的52层的HGSRCNN利用异构结构和提纯块以并行和串行的工作方式来增强不同通道的内部和外部的关联，获得不同类型的丰富的低频结构信息，这是非常适合复杂场景下的图像超分辨任务。一个多级增强机制引导一个卷积神经网络来实现一个对称结构，逐步促进图像超分辨钟的结构信息。提出的HGSRCNN能在图像超分辨任务上获得可竞争的执行速度，它在恢复一个1024x1024大小的高质量图像上仅占RDN的4.58%和SDRBN的4.27%02 方法

网络结构如图1所示，上采样操作如图2所示：

图1 HGSRCNN网络结构图

图2 并行上采样机制结构图

03 实验

本文提出的方法在Set5，Set14，B100，U100这四个基准数据上超过了很多流行的方法，如：A+、SelfEx、SRCNN和CARN-M等。更多的图像超分辨结果如表1到表4所示：

表1 不同SR方法在Set5数据集上恢复三种不同倍数（×2、×3和×4）的图像的PSNR/SSIM结果

表2 不同SR方法在Set14数据集上恢复三种不同倍数（×2、×3和×4）的图像的PSNR/SSIM结果

表3 不同SR方法在B100数据集上恢复三种不同倍数（×2、×3和×4）的图像的PSNR/SSIM结果

表4 不同SR方法在U100数据集上恢复三种不同倍数（×2、×3和×4）的图像的PSNR/SSIM结果

为了验证提出方法的鲁棒性，本文还在B100数据集上利用RDN，CSFM，SRFBN、CFSRCNN和CARN-M提出的方法恢复4倍高质量图像，测试提出方法的性能。如表5-7所示，虽然我们提出的模型的性能略低于RDN，CSFM和SRFBN方法，但HGSRCNN具有更低的复杂度和更快的恢复图像的速度。此外，本文还从图像质量评估的方面来测试恢复图像的效果。如表8所示，本文获得特征相似性（Feature Similarity, FSIM）比其他方法高，这说明了本文提出的方法具有较高的图像超分辨方法。

表5 不同SR方法在B100数据集上恢复4倍图像的PSNR/SSIM结果

表6 不同SR方法恢复256×256、512×512和1024×1024大小的2倍高分辨率图像的运行时间（秒）

表7 不同SR方法恢复2倍高分辨率图像的复杂度

表8 不同的SR方法恢复不同倍数图像时获得FSIM值。

为了从视觉验证本文提出方法的优越性，本文制作不同倍数的2组可视化图像。如图3和图4所示，本文提出的方法获得更清晰的细节信息，这再次说明提出的HGSRCNN对图像超分辨任务有效。

图3 不同SR方法在U100上复原3倍图像的可视化效果。(a) HR image, (b) VDSR, (c) DRCN, (d) CARN-M, (e) LESRCNN, (f) CFSRCNN, (g) ACNet and (h) HGSRCNN (Ours)。

图4 不同SR方法在B100上复原4倍图像的可视化效果。Visual effect of different methods for ×4 on B100 as follows. (a) HR image, (b) VDSR, (c) DRCN, (d) CARN-M, (e) LESRCNN, (f) CFSRCNN, (g) ACNet and (h) HGSRCNN (Ours)。

04 结论

在本文中，我们提出一种异构组卷积神经网络的图像超分辨方法（HGSRCNN）。HGSRCNN利用异构结构以并行的方式来增强不同通道外部和内部的联系，促进更丰富的低频结构信息。考虑冗余信息的影响，一个提纯信号增强块以串行的方式来过滤无用信息。为了防止原始信息的丢失，一个多级增强机制引导CNN来实现一个对称结构，增强HGSRCNN的表达能力。此外，一个并行上采样机制用来训练一个盲超分辨模型。大量的实验被制作在四个公开的数据集上就图像超分辨性能、效率、复杂度和可视化效果等方面来验证提出的HGSRCNN的有效性。