摘要:

机器之心在性能上牺牲?机器之心评价?机器心脏报告参与：一个声音，一个想法。60个建筑模型，十几个SOTA模型。这21秒带你回顾图像识别的进化历史。ImageNet是计算机视觉领域常用的数据集之一。它在图像分类、目标分割和目标检测中起着重要的作用。ImageNet最初由李菲菲等人在CVPR2009年出版的论文——“ImageNet3

机器心脏报告

参与：一个声音，一个想法。

60个建筑模型，十几个SOTA模型。这21秒带你回顾图像识别的进化历史。

ImageNet是计算机视觉领域常用的数据集之一。它在图像分类、目标分割和目标检测中起着重要的作用。ImageNet最初由李菲菲等人在CVPR 2009年出版的论文——“ImageNet 3360 a大规模分层图像数据库”中发表。这些年来，ImageNet的相关论文在业界产生了很大的影响。到目前为止，关于谷歌学术的论文被引用12，224次。在ImageNet发布十周年之际，这篇论文获得了CVPR 2019大会经典论文奖。ImageNet本身是一个巨大的带注释的图像数据集。通过众包等方式进行标记。从2007年到2009年。Net有超过1500万张图片，只有70万张汽车图片和2567个类别。如此巨量的数据集，加上极低的标注误差和免费，成为图像处理领域研究人员最先接触的数据集之一。毫不夸张地说，ImageNet是图像处理算法的试金石。从2010年开始，ImageNet官方每年都会举办一次挑战赛。2017年以后的比赛将由Kaggle社区主办。自从Hinton和其他团队在2012年提出AlexNet以来，每年都有层出不穷的模型希望在ImageNet排名中获得一席之地。近日，PaperWithCode网站发布了一段21秒的视频，在ImageNet发布十年的时刻，总结了历年来在排行榜上取得一定成绩的车型。

如上图所示，分类任务的SOTA效应在13到19年间的演变已经显示出来。13到15年提出了很多真正有很大改进的方法，比如关联结构，剩余模等等。排行榜地址：3359 www.paperwithcode.com/sota/image-classification-on-imagenet机器之心已根据视频和网站内容整理。下面是一些著名的模型，发布时间，Top-1精度，参数数量，以及相关论文链接。发布时获得的SOTA型号名称用红色字体标注。这是一堆熟悉的模型。

参数

提交日期：2012年9月

最高准确率：62.5%

参数：60M

论文地址：3359 papers . nips . cc/paper/4824-imagenet-class ification-with-deep-evolutionary-neural-networks . pdf

Net架构图。

ZFNet

提交日期：2013/11年

最高准确率：64%

地址：https://arxiv.org/pdf/1311.2901v3.pdf

盗梦V1

提交日期：2014年9月

最高准确率：69.8%

参数：5M

地址：https://arxiv.org/pdf/1409.4842v1.pdf

VGG-19

提交日期：2014年9月

最高准确率：74%

参数：144米

地址：https://arxiv.org/pdf/1409.1556v6.pdf

预网络

提交日期：2015年2月

最高准确率：75.73%

地址：https://arxiv.org/pdf/1502.01852v1.pdf

盗梦空间V3

提交日期：2015/12

最高准确率：78.8%

参数：23.8米

地址：https://arxiv.org/pdf/1512.00567v3.pdf

盗梦空间V3 .

ResNet 152

提交日期：2015/12

最高准确率：78.6%

地址：https://arxiv.org/pdf/1512.03385v1.pdf

ResNet的基本模块

盗梦空间V2

提交日期：2016/2

最高准确率：80.1%

地址：https://arxiv.org/pdf/1602.07261v2.pdf

DenseNet-264

提交日期：2016/8

最高准确率：79.2%

地址：https://arxiv.org/pdf/1608.06993v5.pdf

DenseNet架构，增长率为4。

ResNeXt-101 644

提交日期：2016/11

最高准确率：80.9%

参数：83.6米

地址：https://arxiv.org/pdf/1611.05431v2.pdf

PolyNet

提交日期：2016/11

最高准确率：81.3%

参数：92M

报纸地址：https://arxiv.org/pdf/1611.05725v2.pdf

DPN-131

提交日期：2017/7

最高准确率：81.5%

参数：80M

地址：https://arxiv.org/pdf/1707.01629v2.pdf

NASNET-A(6)

提交日期：2017/7

最高准确率：82.7%

参数：89M

地址：https://arxiv.org/pdf/1707.07012v4.pdf

与左侧的模型相比，使用神经架构搜索(NAS)方法获得的模型(右侧)减少了参数的数量并提高了效果。

PNASNet-5

提交日期：2017/12

最高准确率：82.9%

参数：86.1米

地址：https://arxiv.org/pdf/1712.00559v3.pdf

MobileNetV2

提交日期：2018/1

最高准确率：74.7%

参数：6.9M

地址：https://arxiv.org/pdf/1801.04381v4.pdf

阿米巴网-A

提交日期：2018/2

最高准确率：83.9%

参数：469米

地址：https://arxiv.org/pdf/1802.01548v7.pdf

ResNeXt-101 3248d

提交日期：2018年5月

最高准确率：85.4%

参数：829米

地址：https://arxiv.org/pdf/1805.00932v1.pdf

V2沙狐球网2

提交日期：2018年7月

最高准确率：75.4%

参数：7.4M

地址：https://arxiv.org/pdf/1807.11164v1.pdf

效率网

提交日期：2019年5月

最高准确率：84.4%

参数：66M

地址：https://arxiv.org/pdf/1905.11946v2.pdf

EfficientNet论文中的体系结构比较。a)基线模型；B)- d)分别是图像宽度、深度和分辨率的扫描架构；e)本文提出的网络结构可以集成所有的扫描架构。

固定件NeXt-101 3248d

提交日期：2019年6月

最高准确率：86.4%

参数：829米

地址：https://arxiv.org/pdf/1906.06423v2.pdf

你发现了一些规律？从图邦模型来看，获取SOTA的模型参数数量逐年增加。从60M参数的AlexNet到829M参数的FixResNext-101，模型一年比一年大。但是，也有一些意想不到的情况。比如DenseNet获得了CVPR 2017最佳论文，但是DenseNet没有达到SOTA的效果。此外，众所周知的ResNet仅接近2015年SOTA模型Inception V3。然而，未能获得SOTA并不意味着这些模型是坏的。他们对后续工作有很大启发。值得注意的是，2018年以来，降低模型参数的研究逐渐增多。可以看到有MobileNet，ShuffleNet等。可惜牺牲了很多性能。今年最著名的小型化模型是Google提出的EfficientNet，只有66M的参数，但已经接近现在的SOTA评分。要了解模型架构，可以看这里。机器之心也介绍了很多博客和论文，是理解这些模型架构的好资源。以下是一些综合性的文章，非常适合全面了解建筑的演变：

从Inception v1到Inception-ResNet，本文概述了切口家族的“奋斗史”。

没有数学背景，了解ResNet，归纳，Inception三个转化架构。

从DensNet到CliqueNet——解读北京大学对卷积架构的探索

神经网络体系结构的进化史：从LeNet5到eNet的十余种体系结构综述(附论文)

从VGG到NASNet，概述了图像分类网络。

轻量级卷积神经网络概述：SqueezeNet，MobileNet，ShuffleNet，Xception

从AlexNet到残差网络，了解卷积神经网络的不同架构。

图像研究的未来从近年来图像研究领域的论文题目来看，有几个研究方向值得关注。首先，在算法领域，生成对抗网络(GAN)的研究呈现井喷之势。越来越多的研究人员尝试使用GAN进行图像研究，如图像识别、样本攻防，以及生成高清图像、图像风格转换、直接生成新图像的研究。一些学者也尝试使用GAN进行目标探测。其次，在任务领域，从静态图像到动态视频图像，从2D图像到三维图像和三维数据的研究越来越多。近年来，人们在视频领域进行了更多的尝试，研究图像分类、目标分割和检测的算法，并实现了行人检测和人体姿态跟踪等应用。与此同时，研究人员尝试使用深度学习模型来探索三维建模的性能。最后，在模型方面，有很多关于模型参数降阶和模型压缩的研究。许多学者研究在不影响模型性能的情况下对模型进行剪枝和压缩的技术，希望将性能优异的模型部署在移动终端或物联网设备上，实现本地化的模型推理。