UNet++：重新设计跳跃连接，利用图像分割中的多尺度特征

题目：

UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation

作者：

Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang

来源：

Computer Vision and Pattern Recognition

Journal of IEEE Transactions on Medical Imaging

(Submitted on 11 Dec 2019 (v1), last revised 28 Jan 2020 (this version, v2))

文档链接：

代码链接：

摘要

目前最先进的医学图像分割模型是U-Net和全卷积网络(FCN)的变种。尽管这些模型取得了成功，但它们有两个局限性:(1)它们的最优深度先天未知，需要大量的架构搜索，或者对不同深度的模型进行低效的集成;(2)它们的跳跃连接强加了一种不必要的限制融合方案，强制只在编码器和解码器子网的相同尺度的特征映射上进行聚合。为了克服这两个局限性，我们提出了一种新的用于语义和实例分割的神经网络结构——UNet++，具体如下:(1)使用不同深度的u - net高效集成来减轻未知网络深度，这些U-Nets部分共享一个编码器，同时使用深度监督进行联合学习;(2)重新设计skip连接，在解码器子网络上聚合不同语义尺度的特征，形成高度灵活的特征融合方案;(3)设计一种剪枝方案，加快UNet++的推理速度。我们评估UNet + +使用六种不同的医学图像分割的数据集,覆盖多个成像技术如计算机断层扫描(CT)、磁共振成像(MRI),和电子显微镜(EM),并证明(1)UNet + +持续优于基线模型语义分割的任务在不同的数据集和骨干架构;(2) UNet++增强了可变大小对象的分割质量——相对于固定深度U-Net的改进;(3) Mask RCNN++ (Mask R-CNN with UNet++ design)在实例分割任务上优于原始的Mask R-CNN;(4)修剪后的UNet++模型实现了显著的加速，而性能仅略有下降。我们的实现和预培训的模型可以在上找到

英文原文

The state-of-the-art models for medical image segmentation are variants of U-Net and fully convolutional networks (FCN). Despite their success, these models have two limitations: (1) their optimal depth is apriori unknown, requiring extensive architecture search or inefficient ensemble of models of varying depths; and (2) their skip connections impose an unnecessarily restrictive fusion scheme, forcing aggregation only at the same-scale feature maps of the encoder and decoder sub-networks. To overcome these two limitations, we propose UNet++, a new neural architecture for semantic and instance segmentation, by (1) alleviating the unknown network depth with an efficient ensemble of U-Nets of varying depths, which partially share an encoder and co-learn simultaneously using deep supervision; (2) redesigning skip connections to aggregate features of varying semantic scales at the decoder sub-networks, leading to a highly flexible feature fusion scheme; and (3) devising a pruning scheme to accelerate the inference speed of UNet++. We have evaluated UNet++ using six different medical image segmentation datasets, covering multiple imaging modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and electron microscopy (EM), and demonstrating that (1) UNet++ consistently outperforms the baseline models for the task of semantic segmentation across different datasets and backbone architectures; (2) UNet++ enhances segmentation quality of varying-size objects -- an improvement over the fixed-depth U-Net; (3) Mask RCNN++ (Mask R-CNN with UNet++ design) outperforms the original Mask R-CNN for the task of instance segmentation; and (4) pruned UNet++ models achieve significant speedup while showing only modest performance degradation. Our implementation and pre-trained models are available at

要点

本文的贡献：

（1）我们在UNet++中引入了一个内置的不同深度的U-Net集合，从而提高了不同大小对象的分割性能，比固定深度的U-Net有了改进(参见II-B部分)。

（2)我们在UNet++中重新设计了skip连接，在解码器中实现了灵活的feature fusion，这比U-Net中只需要融合相同比例的feature map的限制性skip连接有了改进(见II-B部分)。

(3) Mask RCNN++ (Mask R-CNN with UNet++ design)在实例分割任务上优于原始的Mask R-CNN;

(4)修剪后的UNet++模型实现了显著的加速，而性能仅略有下降。我们的实现和预培训的模型可以在上找到，这比单独培训相同架构的孤立的u - net有更好的性能(见第四节- d和第五节- c)。

（5)我们证明了UNet++可扩展到多个骨干编码器，并进一步证明其适用于各种医学成像模式，包括CT、MRI和电子显微镜(见IV-A节和IV-B节)。

图1展示了UNet++是如何从最初的UNet发展而来的。

在接下来的部分中，我们将首先跟踪这一演变过程，从而激发对UNet++的需求，然后解释其技术和实现细节。

图2显示了在不同复杂度的修剪架构中，分割分支的选择是如何产生结果的。具体来说，从X 0,4中提取分割结果不会导致剪枝，而从X0,1中提取分割结果会导致网络的最大剪枝。

实验

数据集:

（1）电子显微镜(EM):数据集由EM分割挑战[30]提供，作为ISBI 2012的一部分。该数据集包含30张果蝇初生幼体腹神经索(VNC)的连续切片透射电镜图像(512512像素)。参照图3中的例子

（2）Cell:使用Cell-CT成像系统[31]获取数据集。两个训练有素的专家手动分割收集的图像，因此数据集中的每个图像都带有两个二进制单元掩码。

(3)Nuclei:数据集由数据科学提供Bowl 2018年分割挑战，包括670个来自不同模式的分割核图像(brightfield vs. fluorescence)。

(4)脑瘤:数据集由BraTS 2013[32]，[34]提供。为了减少与其他方法的比较，模型使用20个高级别(HG)和10个低级别(LG)的Flair、T1、T1c和T2扫描所有患者的MR图像，共得到66348个切片。

（5）肝脏:数据集由MICCAI 2017 LiTS Challenge提供，包含331个CT扫描，我们将其分为训练(100例患者)、验证(15例患者)和测试(15例患者)亚组。

（6）肺结节:数据集由肺图像数据库联盟(LIDCIDRI)[33]提供，包括7个学术中心和8个医学影像公司收集的1018例病例。确定并排除了六例地面真相问题。

实验结果：

表3：更宽版本的U-Net和V-Net被设计成具有与UNet++和VNet++相当数量的参数。

表4：对U-Net、宽U-Net、UNet+(我们的中间建议)和UNet++(我们的最终建议)的语义分割结果使用IoU(平均s.d. %)测量。UNet+和UNet++均在有和无深度监督(DS)的情况下进行评估。我们对U-Net[5]和其他20个独立试验进行了独立的两个样本t检验，并在差异有统计学意义时用红色高亮框标出(p <0.05)。

图4：U-Net、UNet+、UNet+在神经结构、细胞、细胞核、脑肿瘤、肝脏切分等领域的最新研究进展。

表5：重新设计的跳过连接提高了语义和实例分割的原子核分割的任务。我们使用Mask R-CNN进行实例分割，使用U-Net进行语义分割。

图8:脑肿瘤图像中沿顶部最跳跃连接的早期、中期和晚期的特征图的可视化和比较。这里，点箭头表示U-Net和UNet+中的简单跳跃连接，而破折号箭头表示UNet++中引入的密集连接。

结论

我们提出了一个新的架构，名为UNet++，以更准确的图像分割。我们的UNet++性能的提高归功于它的嵌套结构和重新设计的跳跃连接，旨在解决U-Net的两个关键挑战:1)优化架构的未知深度和2)跳跃连接的不必要的限制性设计。我们使用了六种不同的生物医学成像应用程序对UNet++进行了评估，并在语义分割和实例分割的元框架的各种最先进的主干上展示了一致的性能改进。