Facebook动用五百台摄像机对着你,只为读懂表情

澎湃新闻记者 杨漾

2016-04-14 21:46 来源:澎湃新闻

字号
抱歉!
您的浏览器可能不支持此视频播放器,请用更高版本的浏览器试试!
利用3D技术捕捉人们的运动轨迹,并通过捕捉到的海量运动数据,尝试读懂人们的姿态、表情、动作背后的含义。(00:57)
无论是身在旧金山Fort Mason中心现场的观众,还是蹲守网络直播的科技粉,不少人都表示自己是跪着看完了13日facebook F8开发者大会上“社交虚拟现实”(Social VR)的演示。戴上Oculus Rift虚拟现实头套,便可以抛弃“肉身”和现实世界,在虚拟空间里互动。
演示过后,Oculus 成员、卡耐基梅隆大学的助理教授亚泽尔·谢卡(Yaser Sheikh)介绍了Facebook VR部门为此项技术倾注的努力,其中之一是:在卡内基梅隆大学的实验室里搭建了一个装有500多台摄像机的球形实验室。利用3D技术捕捉人们的运动轨迹,并通过捕捉到的海量运动数据,尝试读懂人们的姿态、表情、动作背后的含义。
这个巨大的全景展示实验室(Panoptic Studio),其实是由20个六边形组成的双层录影棚。研究人员将480台摄像机及额外30台高清摄像机安装在圆形拱璧,从不同角度跟踪位于棚内中心位置的任何人物或对象的动作,不放过任何一个细节。
Panoptic Studio其实是一个由20个六边形组成的双层录影棚
跟踪过程中,这些密密麻麻的摄像机并不需要同时全部打开,这套系统配套的软件,会根据跟踪对象的运动轨迹计算出最佳视角,从而激活对应角度的摄像头进行捕捉。这套系统可以同时捕捉超过10万个跟踪点,并从中挑选出用于重建运动轨迹的点。
这一情景听起来有点像电影和游戏领域采用的动作捕捉技术。电影《指环王》、《阿凡达》、《猩球崛起》,以及《最后生还者》等游戏,都是非常成功的动作捕捉案例。这项技术需要让演员穿上布满小球的紧身服,然后四处走动。通过身上的微型动作捕捉标记,演员们复杂的肢体动作和面部表情被传递到数字角色身上。
Facebook VR部门正利用卡内基梅隆大学的这项技术训练自己的VR社交系统,通过捕捉更多动作细节,来提高系统判断力,从而降低VR社交中对用户“下一步行动”判断的延迟性,使VR社交更为真实自然。在上述卡内基梅隆大学全景实验室,数百个摄像头同时捕捉人们在正常社交状态下的一举一动,而不是像拍电影那样,通过在人身上戴满动作捕捉器来实现。他们甚至找人在棚内玩卧底游戏,以观察人们的一举一动分别传达出什么信息。
他们甚至找人在棚内玩卧底游戏,以观察人们的一举一动分别传达出什么信息
信息传递

在谢卡看来,电影拍摄中采用的动作捕捉技术固然很棒,但那些设备太贵了,普通人无法负担。他希望可以利用尽量低成本的技术和优化的算法,来实现相同的效果。
很显然,Facebook所做的,都是希望进一步消除VR社交与现实生活间的隔阂感,让人们更自然地在虚拟现实环境中与朋友或家庭成员碰面,抑或投身虚拟现实环境中,前往一场音乐会。
谢卡说,要在虚拟现实环境中形成一种真正意义上的“社会存在感”并非易事,Oculus目前所能获取的信息还远远不够。所谓“社会存在感”,被谢尔定义为“你能发自内心地感受到别人意识到你了”。换句话说,这个传递过程是,你知道别人注意到你了,你据此修正自己的行为,而不是戴上头套后的自言自语。
“我们需要新的算法。”谢卡对F8现场观众强调说。毫无悬念,这其中的大部分是开发者。他预计说,随着这项技术的进一步发展,未来将充满想象,孩子们可以借此加深与家庭成员的关系,尽管他们可能居住在地球的两端,求职者则可以在虚拟环境中面试,以模糊化种族与性别特征。
(视频来源:卡内基梅隆大学官网)
责任编辑:李跃群澎湃新闻报料:4009-20-4009   澎湃新闻,未经授权不得转载
关键词 >> Facebook,卡内基梅隆,虚拟现实,社交,澎湃,澎湃新闻

继续阅读

评论(47)

热新闻

澎湃新闻APP下载

客户端下载

热话题

热门推荐

关于澎湃 在澎湃工作 联系我们 版权声明 澎湃广告 友情链接