目标检测|当可爱的anchor-free来到了2020年



  • 更一些近期anchor-free在目标检测中的文章,主要是看看他们的一些思路,所以这回的笔记写的比较简约。

    • 一、SaccadeNet:超越YOLOV3和CenterNet:更快更准确的SaccadeNet来了!(基于CenterNet)
    • 二、PolarMask:一阶段实例分割新思路,CVPR oral (基于FCOS )
    • 三、BlendMask:实例分割新标杆,SOTA (基于FCOS)
    • 四、CenterNet Pro Max开源
    • 五、CenterMask:CenterMask Real-Time Anchor-Free (基于FCOS)
    • 六、CentripetalNet (基于CenterNet,keypoint那篇)
    • 七、EmbedMask精度不减速度超MaskRCNN三倍(基于FCOS)

    实例分割里还有一些比较热门的:SOLO、yolact、yolact++



  • 一、SaccadeNet

    标题党说:超越YOLOV3和CenterNet:更快更准确的SaccadeNet来了!

    论文的思想是说,大多数现有的目标检测算法会先关注某些目标区域,然后预测目标位置。但是,神经科学家发现,人类不会以固定的稳定性注视场景。取而代之的是,人眼四处走动,定位信息丰富的部分以了解目标的位置。这种主动的感知运动过程称为saccade。

    0_1585995582573_56f98c2d-dbab-4c59-ae16-bd25ebbc6ed4-image.png
    看了一下结构,其实就是在centernet的center分支的基础上,加入了corner分支与attention分支。

    二、PolarMask:一阶段实例分割新思路,CVPR oral

    作者:“PolarMask基于FCOS,把实例分割统一到了FCN的框架下。在4月份FCOS挂出来之后,我和沈老师就一直在讨论如何进把instance segmentation融合进FCN里。FCOS本质上是一种FCN的dense prediction的检测框架,可以在性能上不输anchor based的目标检测方法,让行业看到了anchor free方法的潜力。接下来要解决的问题是实例分割。”

    0_1585995154552_872cf409-1d2d-499b-a977-fc09ddfe55dd-image.png
    基于极坐标系建模轮廓的方式,即我们只需回归角度。此外,FCOS可以看成PolarMask的特殊形式,而PolarMask可以看作FCOS的通用形式,因为bbox本质上是最简单的Mask,只有0,90,180,270四个角度回归长度。 我们首次将instance segmentation和object detection用同一种建模方式来表达。
    0_1585995329499_fe2145bc-08b7-42aa-a30c-a66ef45abbeb-image.png
    整个网络和FCOS一样简单,首先是标准的backbone + fpn模型,其次是head部分,我们把fcos的bbox分支替换为mask分支,仅仅是把channel=4替换为channel=n, 这里n=36,相当于36根射线的长度。同时我们提出了一种新的Polar Centerness 用来替换FCOS的bbox centerness。可以看到,在网络复杂度上,PolarMask和FCOS并无明显差别。

    概括一下,将目标检测的四值预测,通过对分割问题的极坐标建模,转化为36值的预测(关于角度)。

    三、BlendMask:实例分割新标杆,SOTA

    0_1585994722430_e5df0577-e98f-4570-a0fe-e23e5e567798-image.png

    BlendMask包含检测网络和mask分支,mask分支包含3个部分,bottom module用于预测score maps,top layer用于预测实例的attentions,blender module用于整合分数以及attentions 。
    可以看到左边的FPN就是和FCOS的head分支是一致的,是一个Top-Down的思想。



  • 四、CenterNet Pro Max开源

    (开了几天,刚刚发现这个库现在居然关了)

    为什么有这么多人关注centernet,包括github上有很多基于这个代码库的优化。知乎上的一个人是这么说的:

    • 这个模型真的很简洁,越是简洁的东西,越容易让人理解并发现它的美;
    • 它不仅简洁,美,而且work;
    • 它成为了一个优秀的高层任务有力后端。
    • 它将引领分化和潮流。

    称作Pro在于它:
    0_1585996589264_c1ce2e01-b27b-442d-9fba-15c2d9b0eb70-image.png



  • 五、CenterMask:CenterMask Real-Time Anchor-Free

    0_1585996709793_e8ca2b62-a54f-4029-96e5-6bd31f855aff-image.png
    以FCOS作为baseline,在其基础上增加mask分支来实现。和BlendMask一样,backbone都用了FCOS。FCOS真好用~



  • 六、CentripetalNet

    0_1586000618089_2a33d840-2f9a-43e1-a5be-ebf4e3fdfe45-image.png
    角点预测模块、向心移位模块、交叉星可变形卷积模块和实例掩码头模块

    创新点:
    1、对每个角点,在预测的时候,会根据向心偏移,产生一个中心点。如果某两个角点产生的中心点,非常接近,就说明他们属于同一个框。(区别于传统使用embedding的距离来做)
    2、一种能够更好地预测向心偏移的交叉星形可变形卷积模块:交叉星可变形卷积,不仅可以学习一个大的感受野,而且还可以学习“cross stars”的几何结构。可以观察到角池(corner pool)输出的feature map中有一些“cross stars”。

    概括一下:相比于CenterNet(keypoint那篇),通过判断直接预测出的中心点,是否落在角点构成的框中。CentripetalNet,是使用一个向心偏移的向量得到中心点



  • 七、EmbedMask精度不减速度超MaskRCNN三倍

    0_1586068465103_26f12f87-c18f-4c28-9749-c931a561a3db-image.png


 

Copyright © 2018 bbs.dian.org.cn All rights reserved.

Looks like your connection to Dian was lost, please wait while we try to reconnect.