论文： U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection
CVPR2020
github: https://github.com/xuebinqin/U-2-Net
U²-Net给我们带来了什么？
得益于在SOTA SOD方法取得了不错的竞争力，U²-Net可以应用在很多场景。首先，U²-Net现在已经是Python的抠图工具Rembg的基础算法。抠图就是将照片的主体人或物品从图片中抠出来，以便贴到别处使用。除了被用来作为抠图外，素描肖像生成（Portrait Drawing）也是其非常有趣且流行的新应用。
显着物体检测（SOD）
显着物体检测（SOD）是基于视觉注意机制的任务，其中算法旨在探索比场景或图像周围区域更专注的物体或区域，因此很适合于做抠图应用。
从自然场景中检测和分割最具视觉吸引力的对象的过程，在计算机视觉领域称为显着对象检测（SOD）。现有的大多数SOD网络都具有类似的设计，并且专注于利用由AlexNet，VGG，ResNet，ResNeXt，DenseNet等骨干网络提取的深度特征。这些骨干网络最初是为图像分类任务而构建的，因此它们提取特征代表语义含义，而不是对显着物体检测至关重要的局部细节或全局参考信息。这样的网络还倾向于在ImageNet上进行数据效率低下的预训练。
U²-Net是一种简单而强大的深度网络体系结构，具有新颖的两层嵌套U形结构，旨在解决这些问题。提出的ReSidual U （RSU）具有各种不同大小的感受野，从而使其能够更好地捕获不同规模的上下文信息。 RSU还使用池化操作来增加总体体系结构深度，而不会显着增加计算成本。
Architecture
RSU
RSU具有三个主要组成部分：输入卷积层，类似U-Net的对称编码器-解码器结构，以及通过求和融合局部和多尺度特征的残差连接。
RSU和原始残差块之间的主要区别在于，RSU用类似U-Net的结构，替换了普通的单流卷积，并用通过加权层转换的局部特征替换了原始特征。
U-2-Net
在RSU的基础上开发了U²-Net，这是用于显着物体检测的新型堆叠U形结构。 U²-Net包括一个6级编码器，一个5级解码器和一个显着度图融合模块，该模块连接到解码器级和最后一个编码器级。
总体而言，U²-Net网络结构具有丰富的多尺度特征，以及较低的计算和内存成本。 另外，由于U²-Net体系结构仅建立在RSU块上，并且不使用任何经过预训练的骨干网络进行图像分类处理，因此可以灵活，轻松地适应不同的工作环境，而性能损失最小。