- +1
Jeff Dean亲笔盘点谷歌AI 2019:日均2篇论文,纵横16大方向,一文汇集重要开源算法
关注前沿科技 量子位
乾明 边策 十三 郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
又一年,Jeff Dean代表Google AI,总结过去一年AI大趋势。
这是姐夫作为Google AI大总管的例行年度汇报,也是全球AI——乃至前沿技术第一大厂的肌肉展示。
他说,过去的2019年,是非常激动人心的一年。
依旧是学术和应用两开花,开源和新技术同步推进。
从基础研究开始,到技术在新兴领域的应用,再到展望2020。
虽然汇报格式没有变化,但人工智能技术,又往前迈出了一大步。
Jeff Dean总结了16个大方面的AI成果,并透露全年AI论文发表数达754篇,平均每天都有2篇论文发表。涵盖AutoML、机器学习算法、量子计算、感知技术、机器人、医疗AI、AI向善……
桩桩件件,不仅在当前推动了AI作用社会方方面面,而且也是对未来趋势的小小展示。
毫不夸张地说,欲知2019 AI技术进展,看Jeff这篇总结再合适不过;欲知2020 AI会走向何方,看Jeff这篇也能获益良多。
为了方便阅读,我们先整理了一个小目录给你:机器学习算法:理解神经网络中动态训练性质
AutoML:持续关注,实现机器学习自动化
自然语言理解:结合多种方式、任务,提高技术水平
机器感知:对图像、视频、环境更深入理解和感知
机器人技术:自监督方式训练,发布机器人测试基准
量子计算:首次实现量子优越性
AI在其他学科的应用:从苍蝇的脑子到数学,还有化学分子研究和艺术创作
手机AI应用:本地部署的语音、图像识别模型,还有更强的翻译、导航和拍照
健康和医疗:已用于乳腺癌、皮肤病的临床诊断
AI辅助残障人士:用图像识别、语音转写技术造福弱势群体
AI促进社会公益:预告洪水、保护动植物、教小朋友识字学数学,还砸了1个多亿做了20个公益项目
开发者工具打造和造福研究者社区:TensorFlow迎来全面升级
开放11个数据集:从强化学习到自然语言处理,再到图像分割
顶会研究和Google研究的全球扩张:发表大量论文,投入大量资源资助教师、学生和各方面研究人员进行研究
人工智能伦理:推进人工智能在公平、隐私保护、可解释性方面研究进展
展望2020年及以后:深度学习革命将继续重塑我们对计算和计算机的看法。
机器学习算法
2019年,Google在机器学习算法和方法的许多不同领域进行了研究。
一个主要的焦点是理解神经网络中动态训练的性质。
在下面这项研究中,研究人员的实验结果表明,缩放数据并行量可以让模型收敛更快有效。
论文地址:https://arxiv.org/pdf/1811.03600.pdf
与数据并行性相比,模型并行性可以是扩展模型的有效方法。
GPipe是一个可以让模型并行化更加有效的库:
当整个模型的一部分在处理某些数据时,其他部分可以做别的工作,计算不同的数据。
这种pipline方法可以组合在一起,来模拟更有效的batch大小。
GPipe库地址:
https://ai.googleblog.com/2019/03/introducing-gpipe-open-source-library.html
当机器学习模型能够获取原始输入数据,并学习“disentangled”高级表示形式时,它们是非常有效的。
这些表示形式通过用户希望模型能够区分的属性来区分不同种类的示例。
机器学习算法的进步,主要是为了鼓励学习更好的表示法,以此来推广到新的示例、问题及领域。
2019年,Google在不同的背景下研究了这方面的问题:
比如,他们检查了哪些属性影响了从无监督数据中学习的表示,以便更好地理解什么因素能够有助于良好的表示和有效的学习。
博客地址:
https://ai.googleblog.com/2019/04/evaluating-unsupervised-learning-of.html
Google表明可以使用margin分布的统计量来预测泛化差距,有助于了解哪种模型最有效地进行了泛化。
除此之外,还在强化学习的背景下研究了Off-Policy分类,以便更好地理解哪些模型可能泛化得最好。
博客地址:http://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html
研究了为强化学习指定奖励功能的方法,使学习系统可以更直接地从真实目标中进行学习。
博客地址:http://ai.googleblog.com/2019/02/learning-to-generalize-from-sparse-and.html
AutoML
Google在2019年依然持续关注着AutoML。
这种方法可以实现机器学习许多方面的自动化,并且在某些类型的机器学习元决策方面,通常可以取得更好的结果,比如:
Google展示了如何使用神经结构搜索技术,在计算机视觉问题上获得更好的结果,其在ImageNet上的正确率为84.4%,而参数比以前的最佳模型少8倍。
博客地址:http://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html
Google展示了一种神经架构搜索方法,展示了如何找到适合特定硬件加速器的高效模型。从而为移动设备提供高精度、低计算量的运行模型。
博客地址:
http://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html
Google展示了如何将AutoML工作扩展到视频模型领域,如何找到能够实现最先进结果的架构,以及能够匹配手工模型性能的轻量级架构。
结果使计算量减少了50倍。
博客地址:http://ai.googleblog.com/2019/10/video-architecture-search.html
Google开发了用于表格数据的AutoML技术,并合作发布了这项技术,作为Google Cloud AutoML Tables的新产品。
博客地址:
http://ai.googleblog.com/2019/05/an
原标题:《Jeff Dean亲笔盘点谷歌AI 2019:日均2篇论文,纵横16大方向,一文汇集重要开源算法》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。
- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2024 上海东方报业有限公司