目标检测|当可爱的anchor-free来到了2020年
-
更一些近期anchor-free在目标检测中的文章,主要是看看他们的一些思路,所以这回的笔记写的比较简约。
- 一、SaccadeNet:超越YOLOV3和CenterNet:更快更准确的SaccadeNet来了!(基于CenterNet)
- 二、PolarMask:一阶段实例分割新思路,CVPR oral (基于FCOS )
- 三、BlendMask:实例分割新标杆,SOTA (基于FCOS)
- 四、CenterNet Pro Max开源
- 五、CenterMask:CenterMask Real-Time Anchor-Free (基于FCOS)
- 六、CentripetalNet (基于CenterNet,keypoint那篇)
- 七、EmbedMask精度不减速度超MaskRCNN三倍(基于FCOS)
实例分割里还有一些比较热门的:SOLO、yolact、yolact++
-
一、SaccadeNet
标题党说:超越YOLOV3和CenterNet:更快更准确的SaccadeNet来了!
论文的思想是说,大多数现有的目标检测算法会先关注某些目标区域,然后预测目标位置。但是,神经科学家发现,人类不会以固定的稳定性注视场景。取而代之的是,人眼四处走动,定位信息丰富的部分以了解目标的位置。这种主动的感知运动过程称为saccade。
看了一下结构,其实就是在centernet的center分支的基础上,加入了corner分支与attention分支。二、PolarMask:一阶段实例分割新思路,CVPR oral
作者:“PolarMask基于FCOS,把实例分割统一到了FCN的框架下。在4月份FCOS挂出来之后,我和沈老师就一直在讨论如何进把instance segmentation融合进FCN里。FCOS本质上是一种FCN的dense prediction的检测框架,可以在性能上不输anchor based的目标检测方法,让行业看到了anchor free方法的潜力。接下来要解决的问题是实例分割。”
基于极坐标系建模轮廓的方式,即我们只需回归角度。此外,FCOS可以看成PolarMask的特殊形式,而PolarMask可以看作FCOS的通用形式,因为bbox本质上是最简单的Mask,只有0,90,180,270四个角度回归长度。 我们首次将instance segmentation和object detection用同一种建模方式来表达。
整个网络和FCOS一样简单,首先是标准的backbone + fpn模型,其次是head部分,我们把fcos的bbox分支替换为mask分支,仅仅是把channel=4替换为channel=n, 这里n=36,相当于36根射线的长度。同时我们提出了一种新的Polar Centerness 用来替换FCOS的bbox centerness。可以看到,在网络复杂度上,PolarMask和FCOS并无明显差别。概括一下,将目标检测的四值预测,通过对分割问题的极坐标建模,转化为36值的预测(关于角度)。
三、BlendMask:实例分割新标杆,SOTA
BlendMask包含检测网络和mask分支,mask分支包含3个部分,bottom module用于预测score maps,top layer用于预测实例的attentions,blender module用于整合分数以及attentions 。
可以看到左边的FPN就是和FCOS的head分支是一致的,是一个Top-Down的思想。
-
四、CenterNet Pro Max开源
(开了几天,刚刚发现这个库现在居然关了)
为什么有这么多人关注centernet,包括github上有很多基于这个代码库的优化。知乎上的一个人是这么说的:
- 这个模型真的很简洁,越是简洁的东西,越容易让人理解并发现它的美;
- 它不仅简洁,美,而且work;
- 它成为了一个优秀的高层任务有力后端。
- 它将引领分化和潮流。
称作Pro在于它:
-
五、CenterMask:CenterMask Real-Time Anchor-Free
以FCOS作为baseline,在其基础上增加mask分支来实现。和BlendMask一样,backbone都用了FCOS。FCOS真好用~
-
六、CentripetalNet
角点预测模块、向心移位模块、交叉星可变形卷积模块和实例掩码头模块创新点:
1、对每个角点,在预测的时候,会根据向心偏移,产生一个中心点。如果某两个角点产生的中心点,非常接近,就说明他们属于同一个框。(区别于传统使用embedding的距离来做)
2、一种能够更好地预测向心偏移的交叉星形可变形卷积模块:交叉星可变形卷积,不仅可以学习一个大的感受野,而且还可以学习“cross stars”的几何结构。可以观察到角池(corner pool)输出的feature map中有一些“cross stars”。概括一下:相比于CenterNet(keypoint那篇),通过判断直接预测出的中心点,是否落在角点构成的框中。CentripetalNet,是使用一个向心偏移的向量得到中心点。
-
七、EmbedMask精度不减速度超MaskRCNN三倍