子网宽度对照表,正确子网号表示方法

ShuffeNetV1的unit结构如图3ab所示, 在V1的基础上加入channel split操作, 如图3c所示。 在每个unit的开头, 将特征图分为 以及 两部分，一个分支直接往后传递，另一个分支包 含3个输入输出维度一样的卷积。 V2不再使用分组卷积, 因为unit的开头已经相当于进行了分 组卷积。在完成卷积操作后，将特征concate, 恢复到unit的输入大小, 然后进行channel shuffle操作。这里没有了element-wise adddition操作，也节省了一些计算量，在实现的时候将concat/channel shuffle/channel split合在一起做了，能够进一步提升性能。  空间下采样时对unit进行了少量的修改，如图3d所示，去掉了channel split操作，因此输出大小降低一倍，而维度则会增加一倍。

论文提出了移动端的神经网络架构搜索方法，该方法主要有两个思路，首先使用多目标优化方法将模型在实际设备上的耗时融入搜索中，然后使用分解的层次搜索空间让网络保持层多样性的同时，搜索空间依然很简洁，MnasNet能够在准确率和耗时中有更好的trade off

MobileNet系列是很重要的轻量级网络家族，出自谷歌，MobileNetV1使用深度可分离卷积构建轻量级网络，MobileNetV2提出创新的inverted residual with linear bottleneck单元，虽然层数变多了，但是整体网络准确率和速度都有提升，MobileNetV3则结合AutoML技术与人工微调进行更轻量级的网络构建。

MobileNetV1基于深度可分离卷积构建了非常轻量且延迟小的模型，并且可以通过两个超参数进一步控制模型的大小，该模型能够应用到终端设备中，具有很重要的实践意义。

MobileNet通过深度可分离卷积优进行计算量优化，将标准卷积转化为深度卷积和pointwise卷积，每层后面都会接BN和ReLU。

MobileNetV2首先表明高维特征实际可以用紧凑的低维特征表达，然后提出了新的层单元inverted residual with linear bottleneck，该结构与残差网络单元类似，都包含shorcut，区别在于该结构是输入输出维度少，中间通过线性卷积先扩展升维，然后通过深度卷积进行特征提取，最后再映射降维，可以很好地保持网络性能且网络更加轻量。