全连接层与1x1卷积的关系



  • 理解全连接层:

    全连接层可以由以卷积核深度为特征图深度的1x1卷积运算代替,卷积核的channel数为原全连接层的输出feature数。卷积后channel上每个1x1卷积核都会作为一个输出,可看作全连接层的一个点。

    假设最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4096。

    如果将这个全连接层转化为卷积层:

    1. 共有4096组滤波器(通道数4096
    2. 每个卷积核的大小为512x7×7
    3. 则输出为1×1×4096

    由于每个滤波核的大小和上一层的feature map大小一样,保证了转换后的卷积层的运算结果和全连接层是一样的。
    若后面再连接一个1×1×4096全连接层。则其对应的转换后的卷积层的参数为:

    1. 共有4096组滤波器(通道数4096
    2. 每个卷积核的大小为4096x1x1
    3. 则输出为1×1×4096

    举例说明

    参考“ RCNN系列目标检测详解”,在Faster RCNN中,RPN网络的关键部分就是由两个1x1的卷积核完成的,其作用即为全连接。
    Network Structure



  • 1*1卷积可以去看《Network in Network》


 

Copyright © 2018 bbs.dian.org.cn All rights reserved.

Looks like your connection to Dian was lost, please wait while we try to reconnect.