Google 开源 MobileNetV3，以新思路改进移动端计算机视觉模型
最新发布的 MobileNets 在移动端深度学习中融入了 AutoML 及其他新颖理念。
移动端深度学习正成为人工智能（AI）领域最活跃的研究方向之一。设计能够在移动运行时高效执行的深度学习模型，需要重新思考神经网络中的许多架构范式。移动端深度学习模型需要在复杂神经网络结构的准确性与移动运行时的性能约束之间取得平衡。在移动端深度学习的各个领域中，计算机视觉仍然是最具挑战性的方向之一。2017 年，Google 推出了 MobileNets，这是一系列基于 TensorFlow 的计算机视觉模型。几天前，MobileNets 的最新架构正式亮相，其中包含了一些改进移动端计算机视觉模型的有趣思路。
MobileNetV3 是该架构的第三个版本，为许多热门移动应用的图像分析能力提供支持。该架构也已被集成到 TensorFlow Lite 等流行框架中。MobileNets 需要谨慎地在计算机视觉和深度学习整体进步与移动环境的局限性之间取得平衡。Google 一直在定期发布 MobileNets 架构的更新，融入深度学习领域一些最新颖的理念。
MobileNetV1
MobileNets 的第一个版本于 2017 年春季发布。其核心理念是推出一系列基于 TensorFlow 的计算机视觉模型，在最大化准确性的同时，兼顾设备端或嵌入式应用的资源限制。从概念上讲，MobileNetV1 试图实现两个基本目标，以构建移动优先的计算机视觉模型：
更小的模型尺寸：更少的参数量
更低的复杂度：更少的乘法和加法运算
遵循这些原则，MobileNetV1 是小型、低延迟、低功耗的模型，通过参数化来满足各种用例的资源约束。它们可以作为分类、检测、嵌入和分割的基础。
MobileNetV1 的核心架构基于一种精简架构，使用深度可分离卷积来构建轻量级深度神经网络。在神经网络架构方面，深度可分离卷积是先进行深度卷积，再进行逐点卷积，如下图所示。在 MobileNetV1 中，深度卷积对每个输入通道应用单个滤波器。然后逐点卷积应用 1×1 卷积来组合深度卷积的输出。标准卷积在一个步骤中同时完成滤波和将输入组合成一组新的输出。深度可分离卷积将其拆分为两层，一层用于滤波，另一层用于组合。
第一个 MobileNetV1 实现作为 TensorFlow-Slim 图像分类库的一部分被纳入。随着使用这一新范式构建新的移动应用，新的改进整体架构的思路也随之涌现。
MobileNetV2
MobileNet 架构的第二版于 2018 年初发布。MobileNetV2 基于其前身的一些思想，并融入了新的理念，针对分类、目标检测和语义分割等任务对架构进行了优化。从架构角度来看，MobileNetV2 为该架构引入了两个新特性：
层与层之间的线性瓶颈
瓶颈之间的快捷连接 1 。基本结构如下所示。
MobileNetV2 背后的核心思想是，瓶颈层编码模型的中间输入和输出，而内层则封装了模型从低级概念（如像素）转换到高级描述符（如图像类别）的能力。最后，与传统残差连接一样，快捷连接能够实现更快的训练和更好的准确率。
MobileNetsV3
MobileNets 架构的最新改进总结在今年 8 月发表的一篇研究论文中。MobileNetV3 的主要贡献是使用 AutoML 为给定问题找到最佳的神经网络架构。这与之前版本架构的手工设计形成对比。具体来说，MobileNetV3 利用两种 AutoML 技术：MnasNet 和 NetAdapt 。MobileNetV3 首先使用 MnasNet 搜索粗略架构，MnasNet 使用强化学习从一组离散选择中选出最优配置。之后，模型使用 NetAdapt 对架构进行微调，这是一种互补技术，以小幅度修剪未被充分利用的激活通道。
MobileNetV3 的另一个新颖想法是将 squeeze-and-excitation 模块纳入核心架构。squeeze-and-excitation 模块的核心思想是通过显式建模其卷积特征通道之间的相互依赖关系，来提升网络所产生表示的质量。为此，我们提出了一种机制，使网络能够执行特征重校准，从而学会利用全局信息有选择地强调信息量大的特征并抑制不太有用的特征。在 MobileNetV3 中，该架构扩展了 MobileNetV2，将 squeeze-and-excitation 模块作为搜索空间的一部分，最终产生了更稳健的架构。
MobileNetV3 的一个有趣优化是重新设计了架构中一些开销较大的层。MobileNetV2 中的一些层对模型的准确率至关重要，但也带来了令人担忧的延迟水平。通过引入一些基本优化，MobileNetV3 能够在不牺牲准确率的情况下移除其前身架构中三个开销较大的层。
MobileNetV3 相比之前的架构显示出显著改进。例如，在目标检测任务中，MobileNetV3 以比之前版本低 25% 的延迟运行，并达到相同的准确率。分类任务中也出现了类似的改进，如下图所示：
MobileNets 仍然是移动计算机视觉中最先进的架构之一。MobileNetV3 中 AutoML 的引入无疑为各种我们此前未曾想到的有趣架构打开了大门。MobileNets 的最新版本可在 GitHub 上获取，MobileNetV3 的实现包含在 Tensorflow Object Detection API 中。
原文 。经许可转载。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：KDnuggets
原文作者：https://www.facebook.com/kdnuggets；如有侵权，请联系管理员删除。
