澎湃Logo
下载客户端

登录

  • +1

脸书发布手机版机器学习系统,可以给视频加梵高风格

澎湃新闻记者 王心馨
2016-11-09 20:26
来源:澎湃新闻
能见度 >
字号

给你的照片加滤镜已经不稀奇,现在Facebook打算给你的视频也加上艺术风格,并且能让你在手机上就可以轻松完成。

当地时间11月8日,Facebook公司宣布,他们成功开发出一套深度学习系统,可以完全运行在智能手机上,名为Caffe2Go。Caffe2Go的功能在于可以让用户在手机app中拥有新的相机应用,实时在视频中添加艺术元素。Facebook称之为“风格转换”。

Caffe2Go的作者,Facebook科学家贾扬清和彼得·瓦尔达(PeterVajda)在Facebook的Code博客中写道:“现在,我们在移动设备上开发了一个新的深度学习平台,首次实现了实时的捕获、分析,和像素处理——这一最先进的技术只在手上就能实现。”

贾扬清,现为Facebook科学家,曾在Google Brain工作,于今年2月份从谷歌离职,加入Facebook团队。本科和研究生毕业于清华大学,在UC Berkeley获得计算机科学博士学位,在AI领域有数年的研究经历。

据两位作者介绍,Caffe2Go把用于处理图像和视频的人工智能模型压缩100倍,从而使该系统能在iOS和Android设备上高效运行各种深度神经网络。移动设备上,人工智能推断所需时间不及1/20秒,也就是50毫秒;人眨一下眼睛需要1/3秒,即300毫秒。

这也是Caffe2Go最重要的突破。经过60多年的发展,人工智能对于计算机科学产生了深远的影响,但它大部分需要依赖于大型数据中心,这样的局限性让人无法真正使用人工智能的服务。即使有部分人称自己可以做到“实时”用AI处理某物的技术,但实际上仍然有延迟,因为数据必须发送到数据中心,在GPU上运行。

对此,Caffe2Go提出的解决方案是超轻量级模块化框架。贾扬清在博客中说,Caffe2Go确保了用于声明和连接组件的核心架构轻量化,允许多种组件与其连接,包括对于移动设备的专用优化。开发者让系统保留了一个精巧的算法框架,允许工程人员将抽象概念描述成有向无环图(DAG),同时确保没有约束被强加在图中执行节点的输入和输出上。这样一来,Facebook的工程团队能够在不同平台上实现和优化模块,同时可以轻松地连接各种模块。当图像实时输入时,通过硬件功能进行自我实例化可以达到最大处理速度。

尽管Caffe2Go当前的效果还只是像梵高、毕加索的画作,但该技术是Facebook未来人工智能计划中必不可少的一环:让开发者更容易接触到人工智能。

11月2日,Facebook创始人扎克伯格在财报电话会议中表示,Facebook在未来10年中有三个核心重点:连接世界,普及网络;人工智能;虚拟现实和增强现实。

让开发者更容易接触到人工智能,一直是Facebook人工智能实验室推崇的准则。将项目开源,也是Facebook人工智能实验室主任雅恩·乐昆一直提倡的。Caffe2Go一样做到了开源。

“Caffe2是我们的第一个产业级深度学习平台,它可以在服务器CPU、GPU、iOS和安卓四种平台上运行,使用同一种代码。因为我们的模块化设计,这种架构在不同平台上都使用同一种语言,但对每个平台都有优化。”贾扬清和彼得·瓦尔达说。

最后值得一提的是,Facebook未来的人工智能布局。目前,Facebook在机器学习领域里,已经形成了Caffe2Go,Torch研究工具链两个技术核心。据两位开发者透露,未来会打算将Caffe2Go推广到整个Facebook的stack中。

同时,Facebook还将致力于和社区分享软件和设计,从而让自己可以学习更好地利用多种硬件平台和算法设计的特性。

“有了像Caffe2go这样精巧的机器学习系统,我们将致力于为人们带来更赞的人工智能和增强现实体验——让你在拍视频的时候,设备里还有一把梵高的画刷。”贾扬清和彼得·瓦尔达在博客中说。

    澎湃新闻报料:021-962866
    澎湃新闻,未经授权不得转载
    +1
    收藏
    我要举报

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈