关于ZAKER 融媒体解决方案 合作 加入

反向传播退出历史舞台?新研究提出基于信息瓶颈估计的训练方法 | 一周 AI 最火论文

反向传播退出历史舞台?新研究提出基于信息瓶颈估计的训练方法 | 一周 AI 最火论文

大数据文摘专栏作品

作者:Christopher Dossman

编译:Jiaxu、fuma、云舟

呜啦啦啦啦啦啦啦大家好,拖更的 AIScholar Weekly 栏目又和大家见面啦!

AI ScholarWeekly 是 AI 领域的学术专栏,致力于为你带来最新潮、最全面、最深度的 AI 学术概览,一网打尽每周 AI 学术的前沿资讯。

每周更新,做 AI 科研,每周从这一篇开始就够啦!

本周关键词:AutoML

本周最佳研究

AutoML 的中场战事

在本周发表的一篇论文中,研究者们全面盘点了最新的自动化机器学习技术。

首先,他们对现有的自动化机器学习技术进行了系统性的评估。除此之外,由于神经架构搜索(NAS)这一话题在近几年的兴起,他们也总结了现有的 NAS 算法。

他们着眼于基础数据集与相应的结果等因素,研究了包括随机搜索(RS)、强化学习(RL)、进化算法(EA)以及梯度下降法(GD)在内的算法。最终,他们提出了出许多有趣的开放性问题并指出了一些很有前景与价值的人工智能研究方向。

这篇论文为自动化人工智能方向的初学者提供了很全面的相关知识。与此同时,它也为许多热衷于 AI 的人们指明了在平衡计算成本与产出质量的原则下,构建大体量、高效率的机器学习模型的方式。

常言道:你永远无法解决一个你根本不了解的问题。这篇论文帮助 AI 界的人们很好地了解到目前自动化机器学习如今到底发展到什么地步了,相信在它的帮助下,更多的前沿技术会应运而生,解决更多、更深奥的自动化机器学习问题。

增强的自动化机器学习将有助于实现机器学习 " 平民化 " ——即不需要大量的编程知识即可实现机器学习,它也能因此撬动数据科学这一学科、带来解决问题的技能,最重要的是,它能够帮助我们节省计算时间和资源。

原文:

https://arxiv.org/abs/1908.00709v1

还在用反向传播做深度学习?你 Out 了

惠灵顿 - 维多利亚大学的研究人员近日提出了一种不需要反向传播的深度网络训练方案。这一方案通过估计信息瓶颈来训练网络。由于计算随机变量之间互信息的挑战,他们采用基于非参数的、基于核的方法—— Hilbert-Schmidt 独立性标准(HSIC)——来表征不同层的统计(in)依赖性。

对于神经网络的每一层,他们同时进行以下两种操作:尽可能地增大本层与理想输出的 HSIC、尽可能的地减小本层与输入的 HSIC。相比于传统的反向传播算法,这种利用 HSIC 瓶颈的训练方式能够更快地达到训练效果。

这个 HSIC 瓶颈的训练方式是除传统反向传播法之外的另一个训练方案。在这一方案下,人们可以进行并行处理并显著减少运算。它不会受到梯度爆炸或梯度消失的影响。从生物学的角度来说,这比反向传播更合理,因为它不需要对称反馈。在没有反向传播的情况下连接单层训练实现了最先进的性能。

原文:

https://arxiv.org/abs/1908.01580v1

AI 读唇术真的要来了?

这篇论文提出了 " 视听化 " 的变分自动编码器(VAE),可以用于单声道和与说话者无关的语音增强。本文的作者开发了一种 " 条件性 "VAE,其中音频语音的生成取决于唇部区域的图像信息。

在测试中,这一 " 视听化 " 语音生成模型与非负矩阵分解的噪声模型相结合,而语音增强则依赖于蒙特卡罗期望最大化算法。

当研究者们将此模型应用到 NTCD-TIMIT 数据集上进行测试时,结果显示这一 " 视听化 " 可以有效结合音频和视觉信息,与纯音频的 VAE 模型相比,它提高了语音增强的性能,尤其是当语音信号严重受噪音干扰时。

在此之前,VAE 已经在创建复杂数据的场景中展现出很好的前景,例如构建人脸,手写数字,CIFAR 图像,门牌号,物理模型场景,分割以及从静态图像预测未来等等。

这篇论文中提出的 VAE 方法不仅显著改善了语音增强技术,还明显优于目前最先进的有监督深度学习技术。目前,研究人员还计划扩展这一框架,以便能够处理更真实的视觉信息。

原文:

https://arxiv.org/abs/1908.02590

SqueezeNAS 实现超快语义分割

研究人员展示了目前第一个使用 NAS 进行密集语义分割且代理硬件较少的感知搜索。虽然 NAS 已经被有效地用于开发图像分类的低延迟网络,但使用 NAS 来优化 DNN 架构相比于其他视觉任务的工作依然相对少见。

研究人员提出了 SqueezeNAS,一个用于替换 NAS 的架构传输,以开发针对特定任务和特定计算平台进行优化的 DNN。通过这种方法,他们在 Cityscapes 语义分段数据集上提升了延迟优化网络的准确度。他们还进行了两组 NAS 实验:在一组实验中,他们搜索低 MAC 模型,并在另一个目标计算平台上搜索低延迟模型。

他们的延迟优化小型 SqueezeNAS 网络实现了超过 68%的验证级别 mIOU,应用于 NVIDIA Xavier 时,推理时间少于 35 毫秒。此外,他们的延迟优化大型 SqueezeNAS 网络实现了超过 73%的 mIOU 级别,推理时间也少于 100 毫秒。

总体而言,这项工作证明了通过利用 NAS 优化特定任务的模型可以实现显著的性能提升。该研究还将 SquuezeNAS 与最新最先进的架构进行了全面的比较。

显示的结果实现了更快,更准确的模型优化,这些优化后的模型非常适用于计算机视觉的应用领域,例如汽车道路、车道分段和航空影像分析等各种情境。

鉴于使用深度神经网络的芯片和计算平台正在崭露头角,利用 NAS 优化低延迟的重要性将进一步增加。

原文:

https://arxiv.org/abs/1908.01748v1

MoGA:首个移动 GPU-Aware 神经架构搜索

神经架构搜索已成为 AI 领域的一个热门话题,并有可能为未来革命性架构的产生提供创新动力。

学者们已经讨论了移动神经架构设计中的几个关键问题。他们现在推出了第一款移动 GPU-Aware(MoGA)解决方案。在 GPU 上运行网络因其更快的速度和更低的开销而更受青睐。他们的目标是设计一个移动网络,可以最大限度地利用有限资源来实现更好的性能。

他们的工作在类似的延迟限制下优于 MobileNetV3。他们提出的方法 MoGA-A 在 ImageNet 上获得了 75.9%的前 1 精度,MoGA-B 为 75.5%,MoGA-C 则为 75.3%。值得注意的是,MoGA-C 在具有相似 FLOP 和相同数量参数的竞争移动 GPU 延迟方面优于 MobileNetV3。

开发针对目标硬件的架构是非常必要的。当研究人员将移动 GPU 意识应用于最新的神经架构搜索方法时,我们就知道我们处于正确的轨道上。

这项工作向公众展示了未来 AI 移动应用程序可以在更少的计算机资源上完成。此项工作有助于推动研究和应用程序的开发,并为下一代移动视觉应用程序提供动力。

模型及代码:

https://github.com/xiaomi-automl/MoGA

原文:

https://arxiv.org/abs/1908.01314v1

其他爆款论文

Google 发布了高效的 Net-Edge TPU,可用于实时图像的分类:

https://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html

一个包含数千种不同高分辨率彩色图像的数据集,且包含准确,密集,远程的深度测量数据:

https://arxiv.org/abs/1908.00463v1

完全开源的机器人,可用于研究,也可以充当人类助手:

https://arxiv.org/abs/1908.01826

用于大规模照片级图像合成的结构化 3D 数据集:

https://arxiv.org/abs/1908.00222v1

ABD-Net ——敏感且多样化的人员再识别:

https://arxiv.org/abs/1908.01114v1

AI 新闻

计算语言学协会(ACL)2019 年获奖者:

http://www.acl2019.org/EN/winners-of-acl-2019-best-paper-awards.xhtml

NHS 意识到人工智能对医疗的重大潜力,筹备部署国家人工智能实验室:

https://www.bbc.com/news/health-49270325?SThisFB

本周在纽约市推出首个自动驾驶班车服务:

https://www.technologyreview.com/f/614090/new-york-citys-first-self-driving-shuttle-service-launches-today/

专栏作者介绍

Christopher Dossman 是 Wonder Technologies 的首席数据科学家,在北京生活 5 年。他是深度学习系统部署方面的专家,在开发新的 AI 产品方面拥有丰富的经验。除了卓越的工程经验,他还教授了 1000 名学生了解深度学习基础。

LinkedIn:

https://www.linkedin.com/in/christopherdossman/

志愿者介绍

后台回复" 志愿者 " 加入我们

点「在看」的人都变好看了哦

以上内容由"大数据文摘"上传发布 查看原文

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享