批归一化究竟做了什么DeepMind研究者进行了拆解

选自arXiv

作者：Soham De、Samuel L. Smith

机器之心编译

参加：魔王

批归一化有许多作用，其最重要的一项功用是大幅提高残差网络的最大可练习深度。DeepMind 这项研讨探寻了其间的原因，并进行了许多验证。

论文链接：https://arxiv.org/abs/2002.10444

批归一化用途许多。它能够改进丢失散布（loss landscape），一起仍是作用惊人的正则化项。可是，它最重要的一项功用呈现在残差网络中——大幅提高网络的最大可练习深度。

DeepMind 近期一项研讨找到了这项功用的原因：在初始化阶段，批归一化运用与网络深度的平方根成份额的归一化因子来缩小与跳动衔接相关的残差分支的巨细。这能够保证在练习初期，深度归一化残差网络核算的函数由具有体现杰出的梯度的浅途径（shallow path）主导。

该研讨基于此主意开发了一种简略的初始化机制，能够在不运用归一化的情况下练习十分深的残差网络。研讨者还发现，虽然批归一化能够保持模型以较大的学习率进行安稳练习，但这只在批巨细较大的并行化练习中才有用。这一成果有助于厘清批归一化在不同架构中的不同功用。

批归一化究竟干了什么

跳动衔接和批归一化结合起来能够大幅提高神经网络的最大可练习深度。

DeepMind 研讨者将残差网络看作多个途径的集成，这些途径同享权重，可是深度各有不同（与 Veit 等人 2016 年的研讨相似），然后发现批归一化怎么保证十分深的残差网络（数万层）在练习初期被仅包括几十个层的浅途径主导。原因首要在于，批归一化运用与网络深度的平方根成份额的因子缩小与跳动衔接相关的残差分支的巨细。这就为深度归一化残差网络在练习初期可得到高效优化供给了直观解说，它们仅仅把具有体现杰出的梯度的浅层网络集成起来算了。

上述调查标明，要想在不运用归一化或不进行仔细初始化的前提下练习深度残差网络，只需要缩小残差分支即可。

为了承认这一点，研讨者改动了一行代码，完成不运用归一化的深度残差网络练习（SkipInit）。结合额定的正则化后，SkipInit 网络的功能可与通过批归一化的对应网络平起平坐（该网络运用惯例的批巨细设置）。

为什么深度归一化残差网络是可练习的？

残差分支通过归一化后，假定 f_i 的输出方差为 1。每个残差块的方差添加 1，则第 i 个残差块前的激活的预期方差为 i。因而，关于恣意遍历第 i 个残差分支的途径，其方差缩小到 1/i，这说明躲藏层激活缩小到 1/√ i。

如图 3 所示，该缩小因子很强壮，可保证具有 10000 个残差块的网络 97% 的方差来自遍历 15 个或许更少残差分支的浅途径。典型残差块的深度与残差块总数 d 成份额，这标明批归一化将残差分支缩小到 1/√ d。

图 3：此图模拟了初始化阶段不同深度的途径对 logits 方差的奉献。

为了验证这一观念，研讨者评价两个归一化残差网络的不同通道的方差，以及批统计量（batch statistics），如下图 4 所示。

图 4(a) 中，深度线性 ResNet 的跳动途径方差简直等于当时深度 i，而每个残差分支结尾的方差约为 1。这是由于批归一化移动方差约等于深度，然后证明归一化将残差分支缩小到本来的 1/√ i。

图 4(b) 中，研讨者在 CIFAR-10 数据集上评价运用 ReLU 激活函数的卷积 ResNet。跳动途径的方差仍与深度成正比，但系数略低于 1。这些相关也导致批归一化移动均匀数的平方跟着深度的添加而增大。

图4。

这就为「深度归一化残差网络是可练习的」供给了简练的解说。这一观念能够扩展至其他归一化办法和模型架构。

SkipInit：归一化的代替计划

研讨者发现，归一化之所以能够保证深度残差网络的练习，是由于它在初始化阶段按与网络深度平方根成正比的归一化因子缩小残差分支。

为了验证该观念，研讨者提出了一个简略的代替办法——SkipInit：在每个残差分支结尾放置一个标量乘数，并将每个乘数初始化为 α。

图 1：A) 运用批归一化的残差块。B) SkipInit 用一个可学习标量 α 代替了批归一化。

移除归一化之后，只需改动一行代码即可完成 SkipInit。研讨者证明，按 (1/ √ d) 或更小的值初始化 α 就能够练习深度残差网络（d 表明残差块数量）。

研讨者引入了 Fixup，它也能够保证残差块在初始化时表明 identity。可是，Fixup 包括多个额定组件。在实践中，研讨者发现 Fixup 的组件 1 或组件 2 就足以在不运用归一化的前提下练习深度 ResNet-V2 了。

实证研讨

下表 1 展现了 n-2 Wide-ResNet 在 CIFAR-10 数据集上练习 200 epoch 后的均匀功能，模型深度 n 在 16 到 1000 层之间。

表 1：批归一化使得咱们咱们能够练习深度残差网络。然而在残差分支结尾添加标量乘数 α 后，不运用归一化也能完成相同的作用。

下表 2 验证了，当 α = 1 时运用 SkipInit 无法练习深度残差网络，因而有必要缩小残差分支。研讨者还承认了，关于未经归一化的残差网络，只保证激活函数不在前向传达上爆破还不行（只需在每次残差分支和越过途径兼并时将激活乘以 (1/ √ 2) 即可完成）。

表 2：假如 α = 1，咱们无法练习深度残差网络。

批归一化的首要功用是改进丢失散布，添加最大安稳学习率。下图 5 供给了 16-4 Wide-ResNet 在 CIFAR-10 数据集上练习 200 epoch 后的均匀功能，批巨细的规模很大。

图 5：运用批归一化要比不运用取得的测验准确率更高，研讨者还能够以十分大的批巨细履行高效练习。

为了更好地了解批归一化网络能够以更大批巨细进行高效练习的原因，研讨者在下图 6 中展现了最优学习率，它能够最大化测验准确率、最小化练习丢失。

图 6：运用和不运用批归一化情况下的最优学习率。

研讨者在 ImageNet 数据集上对 SkipInit、Fixup 初始化和批归一化进行了试验比照，证明 SkipInit 可扩展至大型高难度数据散布。

下表 3 展现了最优验证准确率。研讨者发现卷积层包括偏置可使 SkipInit 的验证准确率呈现小幅提高，因而研讨者在所有 SkipInit 运转中添加了偏置。SkipInit 的验证功能与批归一化适当，与运用规范批巨细 256 的 Fixup 适当。可是，当批巨细十分大时，SkipInit 和 Fixup 的功能不如批归一化。

表 3：研讨者练习了 90 个 epoch，并履行网格查找，以找出最优学习率，然后最大化模型在 ImageNet 数据集上的 top-1 验证准确率。

本文为机器之心编译，转载请联络本大众号取得授权。

------------------------------------------------