首页 体育世界正文

深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时间




新智元原淫棍创

来历:arxiv

修改:肖琴

【新智元导读】Facebook AI、新加坡国立大学、360 人工智能研讨院的研讨人员提出一种新的卷积操作OctConv,可以直接替代传统卷积,继续进步图画和视频辨认使命的精度,一同下降内存和核算成本。

传统卷积运算,有了一种全新的替代办法。

近来,Facebook AI、新加坡国伊周电子版下载立大学、360 人工智能研讨院的研讨人员提出一种深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻新的卷积操作 ——Octave Convolution (OctConv)



论文地址:

https://export.arxbootjobiv.org/pdf/1904.05049


其间,论文一作陈云鹏现于新加坡国立大学读博士,师从颜水成冯佳时,两人也是这篇论文的作者。其他作者来自Facebook AI。

作者标明,OctConv 是一种即插即用的卷积单元,可以直接替代传统的卷积,而无需对网络架构进行任何调整

在天然的图画中,信息以不同的频率传递,其间较高的刘玉珍教师最新因果频率通常以精密的细节编码,较低的频率通常以大局结构编码。

类似地,卷积层的输出特征图也可以看做是不同频率的信息的混合。

在这项工作中,作者提出将混合特征映射依据其频率进行分化,并规划了一种全新的卷积运算:Octave Convolution (OctConv),用以存储和处理在较低空间分辨率下空间改变 “较慢” 的特征图,然后下降了内存和核算成本。

Octave 一词标明 “八音阶” 或 “八度妖娆女”,音乐里降 8 个音阶标明频率折半。经过下下降频特征的分辨率,然后节约内存和核算。

试验标明,经过简略地用 OctConv 替代卷积,咱们可以继续进步图画和视频辨认使命的精度,一同下降内存和核算成本

选用 OctConv 的 ResNet-152 仅用 22.2 GFLOPs 就能在 ImageNet 上完成 82.9% 的top-1 分类精度。

完美替代传统卷积,即插即用无需调参


卷积神经网络 (CNNs) 在许多核算机视觉使命中都取得了明显的成功,而且跟着最近的研讨在下降密布模型参数和特征图通道维数的固有冗余,它们的功率不断进步。但是,CNN 生成的特征图在空间维度上也存在很多冗余,其间每个方位独立存储自己的特征描绘符,疏忽了可以一同存储桅组词和处理的相邻方位之间的公共信息。



图 1深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻:(a) 动机。视觉的空间频率模型的相关研讨标明,天然图画可以分化为低空间频率和高空间频率两个部分。(b) 卷积层的输出图也可以依据其空间频率进行分化和分组。(c) 所提出的多频特征标明将滑润改变的低频映射存储在低分辨率张量中,以削减深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻空间冗余。(d) 所提出的 Octave Convolution 直接作用于这个标明。它会更新每个组的信息,并进一步支撑组之间的信息交流。

如图 1(a) 所示,天然图画可以分化为描绘平稳改变结构的低空间频率重量和描绘快速改变的精密细节的高空间频率重量

类似地,咱们以为卷积层的输出特征映射也可以分化为不同空间频率的特征,并提出了一种新的多频特征标明办法,将高频和低频特征映射存储到不同的组中,如图 1(b) 所示。因而,经过相邻方位间的信息同享,可以安全地下下降频组的空间分辨率,削减空间冗余,如图 1(c) 所示。

为了习惯新的特征标明,咱们提出 Octave Convolution (OctConv),它接纳包含两个频率的特征映射,并直接从低频映射中提取信息,而无需解码回到高频,如图 1(d) 所示。

作为传统卷积的替代,OctConv 耗费的内存和核算资源都大大削减。此外,OctConv使用相应深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻的 (低频) 卷积处理深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻低频信息,有用地扩展了原始像素空间的感触野,然后进步辨认功能。

咱们以一种通用的办法规划 OctConv,使它成为卷积的替代,而且即插即用。因为OctConv 首要侧重于处理多空间频率的特征映射并削减其空间冗余,它与现有的办法是相交且互补的,现有的办法侧重于构建更好的 CNN 拓扑结构,削减卷积特征映射中的信道冗余和密布模型参数中的冗余。

此外,与使用多标准信息的办法不同,OctConv 可以很容易地布置为即插即用单元,以替代卷积,而不需求改玩很6奖赏变网络结构或需求超参数调优。

咱们的试验证明,经过简略地用 OctConv 替代传统卷积,可以继续进步盛行的 2D CNN 模型的 ImageNet 图画辨认功能,包含 ResNet ResNeXt, DenseNet, MobileNet,以及 eidolonnnSE-Net。

选用 OctConv 的 Oct-ResNet-152 超过了手艺规划的 state-of-the-art 网络,而且所需的内存和核算成本更低。

咱们的奉献可以总结如下:

  • 咱们提出将卷积特征映射分化成不同空间频率的两个组,并别离以相应的频率处理不同的鸽虱卷积,相隔一个八度 (octave)。因为可以下下降频图的分辨率,因而可以节约存储和核算。这也有助于每一层取得更大的感触野,以捕获更多的上下文信息。


  • 咱们规划了一种即插即用邓仨的运算,名为 OctConv,用来替代传统的卷积运算。OctConv直接对新的特征标明进行运算,削减了空间冗余。更重要的是,OctConv 在实践深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻中速度很快,达到了挨近理论极限的加快。


  • 咱们广泛研讨了所提出的 OctConv 在用于图画和视频使命的各种主干 CNN 上的特性,并取得了明显的功能进步,乃至可以与最好的 AutoML 网络相媲美。


Octave Convolution:办法详解


octave feature representation 削减了空间冗余,比原始标明愈加紧凑。但是,因为输入特征的空间分辨率不同,传统卷积不能直接对这种标明进行操作。

防止这个问题的一种简略办法是将低频部分

上采样到原始的空间分辨率,将它与

连接起来,然后进行卷积,这将导致额定的核算和内存开支。



为了充分使用紧凑的多频特征标明,咱们提出 Octave Convolution,它可以直接在分化张量

上运转,而不需求任何额定的核算或内存开支。



传统卷积 (Vanilla Convolution)

标明一个 kk 卷积核,

标明输入张量和输出张量。


中的每个 feature map 可以下面的公式核算:





式中 (p, q) 为方位坐标,




定达利芙小鲜义了一个部分邻域。

Octave Convolution.

咱们的规划方针是有用地处理相应频率张量中的低频和高频重量,一同使咱们的 Octave特征标明的高频重量和叶选廉新欢低频重量之间可以有用地通讯。

X, Y 为分化输入和输出张量。那么输出

的高频和低频特征映射将由


给出。



Octave Convo女生啪啪lutio深证成指,迫临理论极限,Facebook等提出全新卷积OctConv吊打传统卷积,意大利时刻n 的规划细节。绿色箭头标明信息更新,赤色箭头标明两个频率之间的信息交流。


Octave Convolution 东邪侃球kernel。kk Octave 卷积核与一般卷积核等价,即二者具有完全相同的参数量。

试验和评价


在试验和评价部分,咱们验证了 Octave Convolution 在 2D 和 3D 网络中的有用性和功率。

咱们别离进女性上行了 ImageNet 上图画分类的研讨,然后将其与现在最先进的办法进行了比较。

然后,咱们姜振来用 Kinetics-400 和 dynamics 600 数据集,证斗宝斋明所提出的 OctConv 也适用于 3D CNN。



图 4:ImageNet 上的成果


如图 4 所示,采直播采蘑菇遇腐尸用 OctConv 的模型比基线模型更有用、更精确。图中每条线的黑色符号标明不选用 OctConv 的相应基线模型的精度。



表 2:3u8729ResNet-50 的成果





表 4:ImageNet 分类精度




表 5:小型模型的 ImageNet 分类精度


表 6:中型模型的 ImageNet 分类精度




表 7:大型模型的 ImageNet 分类精度


表 8:视频动作辨认的成果

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。