论文： https://arxiv.org/abs/1903.00241 CVPR2019
code: https://github.com/zjhuang22/maskscoring_rcnn
这篇论文从实例分割中mask 的分割质量角度出发，提出过去的经典分割框架存在的一个缺陷：用Bbox bounding box的classification confidence作为mask score，导致mask score和mask quality不配准。因此文章基于Mask R-CNN提出一个新的框架Mask Scoring R-CNN，能自动学习出mask quality，试图解决不配准的问题。
摘要
让一个深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实例分割框架使用实例分类的置信度作为mask质量分数。然而，将mask质量量化为实例mask与其ground truth之间的IoU，通常与分类分数的相关性并不好。
在本文中，我们提出Mask Scoring R-CNN来学习预测实例mask的质量。提出的网络块将实例特征和相应的预测mask结合起来回归mask IoU。Mask评分策略校准mask质量和mask评分之间的偏差，并通过在COCO AP评估期间优先处理更准确的mask预测来改进实例分割性能。
通过对COCO数据集的广泛评估，Mask Scoring R-CNN与不同的模型带来一致和显着的增益，并优于Mask RCNN。
总而言之，这项工作的主要贡献突出如下：
1. 提出Mask Scoring R-CNN，这是第一个解决实例分割假设得分问题的框架。它探索了改善实例分割模型性能的新方向。通过考虑实例mask的完整性，如果实例mask的得分较高而mask不够好，则可以对实例mask的分数进行惩罚。
2. MaskIoU head非常简单有效。能够在各个backbone上涨点。
正文：
在实例分割（instance segmentation）中，比如Mask R-CNN，mask 分支的分割质量（quality）来源于检测分支的classification confidence。Mask R-CNN其实Faster R-CNN系列的延伸，其在Faster R-CNN的基础上添加一个新的分支用来预测object mask，该分支以检测分支的输出作为输入，mask的质量一定程度上依赖于检测分支。这种简单粗暴的做法取得了SOTA的性能，近年来COCO比赛的冠军或者前几名基本是Mask R-CNN及其变体，但依然有上升的空间。
更仔细的来讲，Mask R-CNN存在的问题是：bounding box的classification confidence不能代表mask的分割质量。classification confidence高可以表示检测框的置信度高（严格来讲不能表示框的定位精准），但也会存在mask分割的质量差的情况。高的分类置信度也应该同时有好的mask 结果。
回到原始的初衷，文章希望得到精准的mask质量，那么如何评价输出的mask质量呢？
是AP，或者说是instance-level的IoU。这个IoU和检测用到的IoU是一个东西，前者是predict mask和gt mask的pixel-level的Intersection-over-Union，而后者则是predict box和gt box的box-level的Intersection-over-Union。所以一个直观的方法就是用IoU来表示分割的质量，那么让网络自己学习输出分割的质量也是简单直观的做法。学习出mask的IoU，那么最后的mask score就等于maskIoU乘以classification score，mask score就同时表示分类置信度和分割的质量。
作者在Mask R-CNN的基础上添加了一个MaskIoU分支用于预测当前输出的mask和gt mask的IoU。MaskIoU的输入由两部分组成，一是ROIAlign得到的RoI feature map，二是mask分支输出的mask。两者concat之后经过3层卷积和2层全连接输出MaskIoU。
training过程：
box分支和mask保持不变，输出的mask先经过阈值为0.5的binarize，再计算binary mask和gt的IoU作为target，采用L2 loss作为损失函数，loss weight设为1，3个分支同时end-to-end训练。
inference过程：
检测分支输出score最高的100个框，再送入mask分支，得到mask结果，RoI feature map再和mask送入MaskIoU分支得到mask iou，与box的classification score相乘就得到最后的mask score。
实验结果，在COCO 2017 test集上，相对于Mask R-CNN，mask AP有1个点多的提升。
同时作者还做了对比实验，验证不同的MaskIoU输入对性能的影响。文章列举了4种输入方式：
- target mask和ROI feature concat
- target mask和ROI feature 相乘
- 所有mask和ROI feature concat
- target mask和高分辨率的ROI feature concat
其网络结构示意图如下：
验证不同training target对性能的影响：
- 只学习target类别的MaskIoU,忽略其他类别
- 学习所有类别的MaskIoU，相应的其他类别的MaskIoU的学习目标就是0
- 学习出现在ROI区域的类别的MaskIoU。
可以看出，setting#1的效果最好，setting#2的效果最差。
同时作者还做了实验探索Mask Scoring R-CNN的性能上界。
对每个输出的MaskIoU，用输出的mask 和匹配的gt mask iou来代替，MaskIoU分支就输出了mask分支的真实quality，这时就得到了Mask Scoring R-CNN的性能上界。实验结果表明Mask Scoring R-CNN依然比Mask R-CNN更好，说明MaskIoU起到了alignment的效果，但很显然会比用gt mask iou 代替的效果差，说明一方面box的准确性和mask分支本身也会影响mask任务的性能，另一方面MaskIoU 分支的学习能力可以进一步提升，Mask Scoring R-CNN依然有提升的空间。
速度方面，作者在Titan V GPU上测试一张图片，对于ResNet18-FPN用时0.132s，Resnet101-DCN-FPN用时0.202s，Mask Scoring R-CNN和Mask R-CNN速度一样。
总结：
作者motivation就是想让mask的分数更合理，从而基于mask rcnn添加一个新的分支预测来得到更准确的分数，做法简单粗暴，从结果来看也有涨点。其实mask的分割质量也跟box输出结果有很大关系，这种detection-based分割方法不可避免，除非把detection结果做的非常高，不然mask也要受制于box的结果。这种做法与IoU-Net类似，都是希望直接学习最本质的metric方式来提升性能。
为了同时提升detection和mask的效果，最近的Cascade方法很受欢迎，从人脸检测领域的Cascade CNN， 到Cascade R-CNN: Delving into High Quality Object Detection，再到友商的HTC不仅在COCO中拿了冠军，同时也被CVPR2019接收，Cascade方式展现了强大实力，相信在未来会出现越来越多的Cascade，如Cascade RetinaNet，Cascade TridentNet。。。