下载客户端

你准备好用数据“装饰”整个世界了吗？

2024-03-06 16:59

来源：澎湃新闻·澎湃号·湃客

vol.116

夜读

选本好书，让生活松弛有度

前段时间，苹果公司首款头戴式显示设备 Vision Pro 正式在美国开售，价格高达 4795.95 美元。苹果 CEO 库克在财报电话会议上回应道，这款产品包含了大量的技术，是建立在苹果花了多年时间进行的许多创新之上的，所有这些都是由 AI 驱动的，同时，“空间计算系统平台”的概念再次被强调，而关于这一切，空间计算先驱戴维·罗斯早已在《AR改变世界》一书中给出了鲜明的定义：超视-SuperSight。

本文摘录自《AR改变世界》

▲

借助智能眼镜在未来世界实现增强视力，我们一直在憧憬这样的未来。

诚然，在撰写本书时，已有50多家公司正在开发智能眼镜，甚至隐形眼镜，它们能使用光学组合器将显示器嵌入你的视线中。这些公司都在创新，研究如何使他们的产品尽可能轻盈、明亮和引人注目。每家公司都希望创造全天候的展示平台，你永远不会退出，永远被置于混合现实中。但将数字数据投射到全世界将会带来更广泛的选择范围，图1-11展示了智能眼镜所能投射出的4种平面。

图投射出的4种平面

注：视觉增强涵盖了个人智能眼镜与共享、协作数据投影之间的连续统一体。

苹果、谷歌、三星和微软已经在相关领域的科研上进行了投资，并收购了一些公司，以确保可以放入口袋的手机和放于桌面支架上的平板电脑能够“支持”AR体验：只需看向设备，新的现实就会覆盖在屏幕上。

这些显示器的分辨率和真实感不断提升，开发人员的软件工具也在不断改进。这些软件工具旨在帮助公司和黑客制作3D模型、引人注目的游戏和动态购物体验。从我们遛狗时抓到的宝可梦到我们在Instagram和Snap上使用的面部装饰滤镜，消费者越来越容易理解这个超视宇宙，也愿意与之互动。

2020年年中该领域取得了一项大的进步：谷歌现已在搜索结果中提供AR内容。赶快尝试一下吧：搜索鲨鱼，并点击AR图标，一个动画鲨鱼会从你的手机中弹出到你周围的世界！

尽管平板电脑已经很大了，但有些情况会要求更大的增强视窗，比如高端汽车挡风玻璃上、飞机驾驶舱内和“进取”号上的平视显示器。遇到分秒必争的情况，增强显示屏可以减少从信息到行动的时间。

在做出决定之前，没有必要转移视线、浏览其他仪器或屏幕。新款汽车内，你可能已经体验过倒车影像的视觉叠加效果。当你切换到倒挡时，会在监视器上看到两个信息层：实际图像和随着车身移动而变化的图像。组合图像会显示你的转弯半径，因此你不会在停车场蹭到其他车子或者旁边的柱子。

在接下来的几年里，我们逐渐会在摩天大楼的观景平台和高端酒店套房中看到增强视窗，后者可以完善其独具特色的全景视野。眺望整个城市，可以看到建筑物上、公园里和步行路线上都带有名称注释，餐馆和剧院等慈善活动目的地也是如此。一家人不再需要围着一台手机讨论到布莱恩特公园的最佳出行方式及附近的餐馆，相反，你们可以聚集在增强视窗前规划路线，还可以查询哪些餐馆的无麸质菜品最好吃。

下一个可以应用增强视窗的场景是百货商店的橱窗。漫步街头，你看到的不是静止的（或电子版的）人体模型穿着服装，而是多种颜色的同款外套、眼镜、帽子、珠宝等叠加在你身上的影像。

汽车、公共汽车和火车上增添了增强视窗，就意味着车里的人有机会更多地了解路旁的风景。想象一下，当乘坐观光车绕行一座新的城市时，汽车的每个窗户上都设有数据投影，带你参观纪念碑或餐馆。你可以通过眨眼或弹手指的动作将这些地方标记起来，以便返回。亮度高的背景要求亮度高的投影仪，面积较大的平视显示器就变得很方便，因为汽车上的任何人不需要借助特殊的眼镜就可以使用这些显示器。同时，当你点击手机时，它们还可以同步到你的谷歌账户或具体的旅游网站账户上。

超视视窗创造了一种混合现实的体验，并因为其共享性而变得更具吸引力，即其他人可以看到与你看到的相同的增强现实。视窗会存在视差问题，增加层需要定位，并匹配你的最佳视角、眼距和视野。理想情况下，物体直接包含数字信息，因此站在物体周围的任何人都可以看到直接映射在物体上的相同覆盖层。

欢迎来到数据投影的世界。20世纪90年代，当我还是媒体实验室的学生时，我最喜欢的演示物（这说明某些事实，因为彼时的实验室有很多很多的演示物）永远地改变了我对通过信息视觉增强普通物体的想法，我设想了一个具有超视功能的灯泡，即IO灯泡（IO代表输入和输出）。

你走近一张全白色的绘图桌，头顶处是一个白色的灯泡，朝向桌面。没什么不寻常之处。可是当你把一个小的房屋模型放在桌子上时，神奇的事情就发生了：房屋投出四五英寸(26)长的影子，就像清晨阳光投下的影子一样。接下来，你拿起一个看起来像小时钟的东西，并放于桌子表面。你把时钟转到一天中不同的时刻时，会看到房屋周围的阴影也相应地改变了方向和长度：近黄昏时影子较长，中午时则较短。现在你如果拿起另一个看起来像一个小箭头向量的工具，当你把它放在灯泡下面时，会有小束的波浪线投射在房子周围，显示出风的方向。

这很有趣，然后你决定添加另一幢建筑，模拟场景也突然发生了改变。你现在可以看到当两幢建筑形成一个狭窄的间隙时，风洞效应是如何产生的。在我的家乡波士顿，汉考克大厦商业区非常规的平行四边形布局形成了一个危险的风涡，几乎能把穿过科普利广场的人撞倒。观察这两幢建筑，你还可以看到它们的影子是如何相互作用的，当它们间隔太近时，就会变成互相遮盖。你正在与一个动态模拟系统互动，这个模拟系统可以读取建筑物的位置、时钟上显示的具体时间和风的矢量箭头的方向，这是城市规划者们梦寐以求的东西。这感觉就像一个神奇的沙箱(27)。

IO灯泡虽然像普通灯泡一样拥有螺丝插座，但它不是一只普通的灯泡。它能在桌面上创建所谓的“动态结构地图”，并在其下方的房屋模型上渲染效果（见图1-12）。IO灯泡的传感器是放置在投影仪旁边的一个小摄像头，它能够读取建筑模型的位置、时钟上的时间及场景中人的手。通过计算机视觉，灯泡会计算出所有物体的位置作为输入，并生成相应的输出：影子、风矢量线和建筑结构。

图 IO灯泡的效果

注：IO灯泡是普通灯泡概念扩展的产物，其中白炽灯丝被摄像头和投影仪取代。灯泡“观测”外部建筑空间区域，通过摄像头分析空间内的活动，并通过投影仪将视觉信息发射回空间中。

我在媒体实验室担任讲师时，见证了IO灯泡由简单的概念发展为真正的可以展望城市未来的城市规划产品。IO灯泡还被用来规划紧急难民庇护所，制订灾难应对计划，鼓励马萨诸塞州的坎布里奇市等地多用途设施的规划。

例如，为了研究共享乘车和城市自治的影响，媒体实验室的城市科学研究组用最便捷的建筑材料——乐高积木，在MIT附近的肯德尔广场建立了一个显示数据的物理模型，称为CityScope。这个微型城市模型的每个元素都是机器可读的，所以当人们伸手进去并移动东西时，计算机可以构建一个准确的复制品。每当有人改变公园位置或增加住宅楼的高度时，数字版本都会重新计算城市规划者认为重要的指标，然后将这些指标在物理模型上呈现为一系列动画和热图。模型将立即显示策略更改或空间中物理对象重新配置后的结果。例如，减少停车位以提升住房密度，这带来了社区活力的提升、餐馆数量的增加和夜生活的丰富。任何聚集在周围的人都可以移动建筑，建立自行车道，或拆除停车设施，然后评估这对未来城市的可步行性分数、多样性、密度和可持续性的影响。

这种投影增强技术的效果显著，因为人们不需要借助眼镜、经验可以共享、有形的输入和即时的输出紧密地耦合及结果可以直接在环境中呈现出来。人群聚集于模型周围，因此只需移动城市的一些元素，就可以看到该行动所带来的级联效应。

现在让我们来想象一下，如果办公室和家里的每一个旧的普通螺丝灯泡都被同样大小的数据投影仪所取代，这些投影仪几乎可以在任何表面上显示4K分辨率的电影，而且投影还可以不断地倾斜或扭曲以适应该表面的几何形状。有了这些互相重叠的数据投影仪和环境模型，每个表面、每个物体都可以用像素绘制：医院和酒店的地板上有导航提示，会议室和办公室的门上有日程表，餐馆的桌子和吧台上有再次点餐按钮，家里的外套钩上有衣物提示。当然，附近书店的书脊会用动画效果展示作者简介。在遍布投影的环境中，产品包装不需要打印说明，因为包装会摇身变成一张动态画布，上面展示的是个性化的视频。

投射的光线通常位置是固定的，因为灯泡不会到处移动。投影仪越来越便携，甚至可以戴在项链上或装在帽子里。这为用信息描绘世界带来了新的可能性。

媒体实验室的硕士生普拉纳夫·米斯特里（Pranav Mistry）设计了一个类似的系统，叫作SixthSense（见图1-13）。他随身佩戴一个IO灯泡，就像戴着标签机器一样。当他环游世界时，摄像头会探测到他面前的物体，微型投影仪则将信息显示在他面前的物体上。当他举起手时，一块手表会投射在他的手腕上，上面有最新的航空公司登机口和时间表。他演示了购物体验，亚马逊的评级被投射到百货店的商品上，星级排名甚至可以被投射到卫生纸上。

图 SixthSense投影仪的增强效果

注：SixthSense投影仪通过佩戴式投影仪来增强日常生活中的物体。

同理，我和建筑工程师吉拉德·罗森茨魏希（Gilad Rosenzweig）在麻省理工学院魔法建筑课指导的一组学生开发了一种轮床，可以帮助紧急救援人员在复杂建筑中快速找到出路。轮床上配备的数据投影仪将大型箭头投射到地板和墙壁上，引导救援人员找到病人。在返回的路上，投影仪会显示病人的生命体征数据和导航提示。与智能眼镜相比，这种投影的优势在于所有应急人员都共享信息，可以实现行动一致性。

这种路径投影轮床是我最喜欢的AR投影项目之一“魔法手电筒”的放大版。该项目的任务是建立一个有形的工具样机，使一些隐形的物体变得可见。一组学生找到了MIT最近完工的媒体实验室大楼的建筑示意图，这是一些电脑辅助设计（CAD）模型，显示出了大楼中的管道、风管、电线和数百英里(29)长的以太网电缆蜿蜒穿过大楼的墙壁。然后，他们把一个带有建筑信息编码模型的老式手电筒、一个微型投影仪和一个IMU（惯性传感器）组合在一起。这结合了加速度计、陀螺仪和磁强计或指南针，这些组件可以确定你的位置和你指向的位置，是手机和智能眼镜的标准配置。它们之间的相互作用产生了惊人的结果：轻击神奇的手电筒，就能看到墙里面的事物。打开手电筒时，你期待的是看到光亮，你绝不会期待获得X射线般的视觉。

我希望此时你的大脑开始飞速旋转，思考日常世界的表层将如何很快地被添加另一层信息，这些信息直接但有选择地正好投射在日常事物的顶部，并根据其表面做出相应的定位和偏斜、根据你的喜好调整风格。超视可以看到并识别我们面前的东西，然后引导我们的注意力，这给我们带来了一种与世界和彼此互动的新方式。我们可以讲关于吉他的老笑话，可以让遛狗员自主进入我们的房子，在购物时看到排名情况，甚至可以看到围墙里面的场景。这个增强层的来源可以是个人体验（仅在你的眼镜里或手机里），也可以是共享的（在窗户或挡风玻璃等固定表面上），或者直接投射到周围环境中的物体上，以改变我们对世界的认知并影响我们关于任何事情的日常决策。