Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation
代码链接：https://github.com/tinyalpha/BPR
后处理分割结果，效果是即插即用后处理模块当年的sota：通过将 BPR 框架应用于 PolyTransform + SegFix 基线，我们在 Cityscapes 排行榜上排名第一。
从目前的排名来说（22.09.23），排名第五，与top1相差不到2个百分点，而 BPR后处理使得PolyTransform + SegFix的效果提升了1.5个百分点。 相比于MASK-RCNN提升了4.2个百分点。
CVPR21上一篇关于实例分割的文章。对于Mask RCNN来说，其最终得到的mask分辨率太低，因此还原到原尺寸的时候，一些boundary信息就显得非常粗糙，导致预测生成的mask效果不尽如人意。而且处于boundary的pixel本身数量相比于整张image来说很少，同时本身难以做分类。现有的一些方法试图提升boundary quality，但预测mask边界这个task本身的复杂度和segmentation很接近了，因此开销较大。
因此本文作者提出了一种crop-and-refine的策略。首先通过经典的实例分割网络（如Mask RCNN）得到coarse mask。随后在mask的boundary出提取出一系列的patch，随后将这些patch送入一个Refinement Network，这个Refinement Network负责做二分类的语义分割，进而对boundary处的patch进行优化，整个后处理的优化网络称为BPR（Boundary Patch Refinement）。该网络可以解决传统Mask RCNN预测的mask的边界粗糙的问题。
本文的核心就是在Mask RCNN一类的网络给出coarse mask后，如何设计Refine Network来对这个粗糙 mask 的边界进行优化，进而得到resolution更高，boundary quality更好的mask。
给定一个coarse mask（上图a），首先需要决定这个mask的哪些部分要做refine。这里作者提出了一种sliding-window式的方法提取到boundary处的一系列patch（上图b）。具体来说，就是在mask边界处密集assign正方形的bounding box，这些box内部囊括了boundary pixel。随后，由于这些box有的overlap太大导致redundant（冗余），这里采用NMS进行过滤（上图c），以实现速度和精度的trade-off（平衡）。
随后这些survive下来的image patch（上图d）和mask patch（上图e）都resize到同一尺寸，一起喂入Refinement Network。这里作者argue说一定要喂入mask patch，因为一旦拥有mask patch的location和semantic信息，这个refinement network就不再需要学习instance-level semantic（实例类别信息，比如这个image patch属于哪个类别）了。所以，refinement network只需要学习boundary处的hard pixel，并把它们正确分类。
关于Refinement Network，其任务是为每一个提取出来的boundary patch独立地做二分类语义分割，任何的语义分割模型都可以搬过来做这个task。输入的通道数为4（RGB+mask），输出通道数为2（BG or FG），这里作者采用了HRNetV2（CVPR 2019），这种各种level feature不断做融合的网络可以maintain高分辨率的representation。通过合理的增加input size，boundary batch就可以得到比之前方法更高的resolution。
在对每个patch独立地refine以后，需要将它们reassemble（组装）到coarse mask上面。有的相邻的patch可能存在overlap的情况，最终的结果是取平均，以0.5作为阈值判断某个pixel属于前景或是背景。
Experiment
这里的指标是AP (Average precision)：指的是PR曲线的面积（AP就是平均精准度，简单来说就是对PR曲线上的Precision值求均值。）对于实例分割的评价指标：使用AP评价指标
实例分割和目标检测mAP计算时除了IOU计算方式（实例分割是mask间的IOU）不同，其他都是一样的.
对于一个二分类任务，二分类器的预测结果可分为以下4类：
Precision的定义为：
Recall的定义为：
Precision从预测结果角度出发，描述了二分类器预测出来的正例结果中有多少是真实正例，即该二分类器预测的正例有多少是准确的；Recall从真实结果角度出发，描述了测试集中的真实正例有多少被二分类器挑选了出来，即真实的正例有多少被该二分类器召回。
逐步降低二分类器预测正例的门槛，则每次可以计算得到当前的Precision和Recall。以Recall作为横轴，Precision作为纵轴可以得到Precision-Recall曲线图，简称为P-R图。
详细解释：目标检测/实例分割中 AP 和 mAP 的混淆指标
首先通过实验证明了将mask patch一并作为输入的重要性：
patch size、不同的patch extraction策略，input size对结果的影响：
RefineNet的选取，NMS的阈值：
Cityscape上与其他方法的比较：PolyTransform + SegFix baseline，达到最高的AP。
迁移到其他model上面的结果 and coco数据集上的结果
