Skip to the content.

MoGA: Searching Beyond MobileNetV3

Contact me

本系列博客主页及相关见此处


ABSTRACT

现在大部分模型搜索关注于CPU的延迟,而不关心GPU,但是后者开支更小,工业界更偏向与GPU。因此提出Mobile GPU-Aware (MoGA)网络结构搜索,专为真实世界的应用定制。移动端网络设计的最终目的是在有限的资源下获得最好的性能。虽然希望在有限的时间下获得最大的性能,但是我们更希望增加模型参数以获得更高的表示能力。

1 Introduction

我们希望在可接受的延迟范围内提高模型的表示能力。第一,从对移动端的CPU优化转为对GPU优化,这样可以更精确的衡量模型速度,提供直接用于生产的解决方案,图1是针对不同平台生成的不同模型。第二,出了要考虑准确率,延迟和参数数量外,还要考虑的是减弱他们之间的竞争。一个要点是,增大模型的参数可以提升性能,但是不见得会增加延迟。因此移动端我们要避免的是欠拟合而不是过拟合。这样,我们更关心准确率和延迟,参数量的重要性就降低了,可以吧传统的多目标优化改为加权策略。最后,我们的模型在GPU上有很好的性能。

3 Mobile GPU-Aware NAS Based on Multi-Objective Optimization

3.1 Mobile GPU Awareness

MnasNet的奖励是 $ACC \times (LAT / TAR)^w$,需要很小心$w$来平衡延迟和准确率。

7 Conclusion

TODO