关于ZAKER 融媒体解决方案 合作 加入

从 16.6% 到 74.2%,谷歌新模型刷新 ImageNet 纪录,第一作者是上海交大毕业生谢其哲

量子位 2019-11-14

从 16.6% 到 74.2%,谷歌新模型刷新 ImageNet 纪录,第一作者是上海交大毕业生谢其哲

谷歌的 EfficientNet 进化之后,又刷新了 ImageNet 纪录。

这个叫Noisy Student的新模型,将 ImageNet 图像分类的 top-1 准确率提高到了 87.4%,比此前最好的 FixResNetXt-101 32 × 48d 高出了1%

更令人惊叹的是,在 ResNeXt-101 32 × 48d 只达到了16.6%top-1 准确率的 ImageNet-A 测试集上,Noisy Student 一举将准确率提高到了74.2%

新模型来自谷歌大脑首席科学家 Quoc V. Le 的团队,而论文第一作者,则是毕业于上海交大 ACM 班的谢其哲,目前正在 CMU 攻读博士,是谷歌大脑的学生研究员。

实现方法

提升如此明显,但方法却并不复杂。Noisy Student 是站在了EfficientNet这位 " 名师 " 的肩膀上。

第一步,是用 ImageNet 中带标签的图像训练 EfficientNet。

EfficientNet 是谷歌开源的缩放模型,基于 AutoML 开发, 初登场就刷新了 ImageNet 的纪录,准确度为 84.4%(top-1)和 97.1%(top-5),并且模型更小更快,效率提升达 10 倍之多。

对于这一模型,量子位做过详细的解读:https://mp.weixin.qq.com/s/DCRpBUJE98ckZnrouuVo6Q

第二步,在一个更大规模的数据集上,用 EfficientNet 给无标签图片打上伪标签。

这一步中,研究人员选择的是谷歌的 JFT 数据集。这一数据集拥有 300M 图片,是 ImageNet 的 300 倍。

然后,将有标签的图像和被打上伪标签的图像组合起来,训练一个更大的学生模型。

新的学生模型又会成为新的老师,迭代这一过程。

在生成伪标签的过程中,教师模型不会被噪声干扰,以便提高伪标签的置信度。

但学生模型在训练的过程中,会面临来自随机深度、dropout 和 RandAugment 带来的噪声干扰。这就迫使学生模型不得不从伪标签中进行学习。

在训练的过程中,EfficientNet 也会不断更新。其中,最大的模型 EfficientNet-L2 需要在 2048 核的 Cloud TPU v3 Pod 上训练 3.5 天。

性能表现

开头已经提到,这个新的 Noisy Student 模型再一次刷新了 ImageNet 的纪录,现在来看看它的具体战绩:

在 top-1 准确率上,EfficientNet 和 Noisy Student 的组合将最佳成绩提高了 1%,并且模型的参数规模远小于 Facebook 的 FixResNetXt-101 32 × 48d。

而在更加严格测试集上,Noisy Student 的进步更为显著。

ImageNet-A 测试集包含 7500 个自然对抗样本,会导致 SOTA 模型的准确率大大下降。比如来自 Facebook 的知名选手 ResNeXt-101 32 × 48d,就只能达到 16.6% 的 top-1 准确率。

在这个基准当中,Noisy Student 一举将 top-1 准确率从 16.6% 提高到了 74.2%

Image-C 和 Image-P 测试集则包含了模糊、雾化、旋转和缩放过的图像。换句话说,测试图像完全不同于模型的训练数据。

在 ImageNet-C 上,Noisy Student 将平均错误率从 45.7 降到了 31.2

在 ImageNet-P 上,Noisy Student 将平均翻转率从 27.8 降到了 16.2

也就是说,这个新模型不仅准确率又进一步,在鲁棒性上,更是实现了惊人的进步。

根据论文作者介绍,模型代码将尽快释出,不妨先 mark 一下 ~

传送门

论文地址:

https://arxiv.org/abs/1911.04252

大咖齐聚!第一批参会嘉宾重磅揭晓

量子位 MEET 2020 智能未来大会启幕,李开复、倪光南、景鲲、周伯文、吴明辉、曹旭东、叶杰平、黄刚等 AI 大咖与你一起读懂人工智能。观众票即将售罄,扫码报名预定席位 ~

量子位 QbitAI · 头条号签约作者

' ' 追踪 AI 技术和产品新动态

喜欢就点「在看」吧 !

以上内容由"量子位"上传发布 查看原文