参数少一半速度快3倍最新目标检测核心架构来了

选自arXiv

作者：Abdullah Rashwan、Agastya Kalra、Pascal Poupart

机器之心编译

机器之心编辑部

这是一个「矩阵网络」，它的参数少、作用好、练习快、显存占用低。将这样的架构加载到方针检测中，嗯，逾越 SOTA 检测器不是梦。

论文链接：https://arxiv.org/abs/1908.04646

研究者在这篇论文中提出了 Matrix Net (xNet)，它是一种用于方针检测的深度架构。研究者运用 xNet 加强根据要害点的方针检测，而且在 MS COCO 数据集上取得了 47.8 的 mAP，这比其它任何一步（single-shot）检测器作用都要好，而且参数量折半。重要的是，比较作用第二好的架构，xNets 在练习上要快了 3 倍。

如下图所示，很明显 xNet 的参数功率要超越其它模型。其间 FSAF 在根据锚点的检测器中作用是最好的，它超越了经典的 RetinaNet。而在根据要害点的方针检测器中，18 年提出的 CornerNet 是「开山之作」，本年又沿着它提出了 CenterNet。这些十分凶猛的 single-shot 检测器看起来作用都不如 xNet。

图 1：一步检测架构在 MSCOCO 测验集上的模型巨细（参数量）vs 精确率（均匀精度）。借助于 MatrixNet 骨干，本文作者提出的模型在参数量相似的情况下功能超越了一切其他 single-shot 架构。

在这篇论文中，xNet 用于根据要害点的方针检测就构成了 KP-xNet，后文会持续介绍它的结构，但这儿首要重视它的功能。其实根据要害点的方针检测近来也是一个热门，经过几个要害点确认鸿沟框，这的确十分简练高雅。

曾经功能最好的是 CenterNet，它在 COCO 数据集上能取得 47.0 的 mAP，可是 KP-xNet 只需求一半的参数量、1/3 的迭代数量、1/2 的 GPU 内存，就能取得额定 5.7% mAP 的作用提高。

表 1：本文提出的架构与其他架构在 MSCOCO 数据集上的试验比照成果。如图所示，以 ResNext-101-X 为骨干的终究模型 KP-xNet（MultiScale）mAP 值最高，比原始 CornerNet（MultiScale）架构高 5.7%。

方针检测需求什么样的架构

方针检测架构能够分为两类：一步检测架构和两步检测架构。两步检测运用候选区域网络寻觅固定数量的候选方针，然后再用第二个网络来猜测每个候选方针的得分并修正鸿沟框。

一步检测架构还能够分为两类：根据锚点的检测架构和根据要害点的检测架构。

根据锚点的检测架构包括许多锚框，猜测每个模板的偏移量和类别，其间最著名的便是 RetinaNet。

根据要害点的检测架构猜测左上角和右下角的热图，并用特征嵌入将其合在一起，CornerNet 便是根据要害点检测中十分经典的架构。

检测不同标准的方针是方针检测使命的一大应战。特征金字塔网络（FPN）是多标准架构范畴取得的最大发展之一。虽然 FPN 为处理不同巨细的方针供给了一种高雅的办法，但它并没有为不同宽高比的方针供给任何处理方案。

为了处理这一问题。研究者引入了一种新的 CNN 架构——Matrix Network，这一架构能够一起处理方针标准和宽高比不同的问题。如下图 2 所示，xNet 具有若干矩阵层，每一层负责处理一种特定巨细和宽高比的方针。xNet 将不同巨细和宽高比的方针分配到各个层，以保证在其分配的层中方针巨细挨近共同。这使得方形的输出卷积核能够从各种宽高比和巨细的方针中搜集信息。和 FPN 相似，xNet 能够应用到不同的骨干上。

图 2：（a）是原始的 FPN 架构，这一架构对每种标准都分配了不同的输出层。（b）是 MatrixNet 架构，这一架构将 5 个 FPN 层视为矩阵中的对角层，经过下采样这些层来填充矩阵的其余部分。

Matrix Nets 是什么

如图 2 所示，Matrix nets（xNets）运用分层矩阵建模具有不同巨细和宽高比的方针，其间矩阵中的每个条目 i、j 表明一个层 l_i,j，矩阵左上角层 l_1,1 中宽度降采样 2^(i-1)，高度降采样 2^(j-1)。对角层是不同巨细的方形层，相当于一个 FPN，而非对角层是矩形层（这是 xNets 所特有的）。

层 l_1,1 是最大的层，每向右一步，层宽度折半，而每向下一步高度折半。例如，层 l_3,4 是层 l_3,3 宽度的一半。对角层建模宽高比挨近方形的方针，而非对角层建模宽高比不挨近方形的方针。挨近矩阵右上角或左下角的层建模宽高比极高或极低的方针。这类方针十分稀有，所以能够对它们进行剪枝以提高功率。

1. 层生成

生成矩阵层是影响模型参数数量的要害过程。参数越多，模型的表达能力越强，但优化也越困难，所以研究者尽可能少地选用新参数。

2. 层规模

矩阵中的每层都对必定宽度和高度的方针进行建模，所以研究者需求限制矩阵中每层宽度和高度的规模，而且规模需求反映矩阵层特征向量的感触野。

3.Matrix Nets 的长处

Matrix Nets 的首要长处是：它能够让方形卷积核精确地搜集不同宽高比的信息。因而根据这个特色，MatrixNets 可作为任何方针检测的主架构，包括根据锚点或要害点的一步或两步检测器。

Matrix Nets 怎样用于根据要害点的检测

CornerNet 提出来便是为了代替根据锚点的检测器，它运用一对角——左上角和右下角——来猜测鸿沟框。关于每个角来说，CornerNet 可猜测热图、偏移量和嵌入。

下图 3 为研究者提出的根据要害点的方针检测架构 KP-xNet，它包括 4 个过程。(a-b) 过程运用了 xNet 骨干；(c) 过程运用了同享输出子网络，而针对每个矩阵层，他们猜测了左上角和右下角的热图和偏移量，并在方针层内对它们进行中心点猜测；(d) 过程运用中心点猜测匹配同一层中的角，然后将一切层的输出与 soft 非极大值按捺结合，然后得到终究输出。

图 3：KP-xNet 架构

本文为机器之心编译，转载请联络本大众号取得授权。

------------------------------------------------