多现实时空中的新世界——《新媒体的语言》出版20年记

文 / 车琳（《新媒体的语言》译者，策展人）

列夫·马诺维奇（Lev Manovich）的著作《新媒体的语言》（The Language of New Media）最早于2001年由麻省理工学院出版社出版。经过数年的积累与观察，马诺维奇通过邮件订阅小组的分享、SIGGRAPH[1]的主题发言以及网站上的分享讨论，形成了世纪之交时关于新媒体的理论阐述。

新媒体的语言
[俄]列夫·马诺维奇  / 著
车琳 / 翻译
贵州人民出版社 2020-8

马诺维奇学习过电影理论、文学理论和艺术史，从事过新媒体艺术、商业设计工作，也当过程序员和动画设计师。他的实践工作为理论凝聚提供了重要的参照：一方面，《新媒体的语言》并不热衷于预测未来，而是潜心记录当下的时代和变化，由此获得了超越时代的普适性；另一方面，通过数字影像、人机交互界面、超媒体、计算机游戏、合成、动画、远程在场及虚拟世界等新媒体领域的关键词，马诺维奇归纳出新媒体的独有维度和创作范式，进而将计算机文化中的词汇融入新媒体文化语境，使具有生命力的概念在艺术史的语境中生长，赋予了重新解读电影、文学乃至总体文化的契机。

从2001年到2021年，在计算机文化飞速发展的20年间，《新媒体的语言》被译介为15种语言在全球传播。通过横向比较艺术史、文学史、计算机科学史和电影理论，新媒体经由媒介考古的线路，不断生发出新的语言、新的形式和新的美学。在2021年回望2001年，本文试图选取书中的几个关键词，并结合近年来新媒体的样式更新和案例分析，在当代文化语境和时代思潮中再次探讨新媒体的可能性。

数据库形式的外化——从抖音到交互式电影

“数据库”是在《新媒体的语言》出版后的20年来最具有生长性的形式，它从不可见的幕后走入用户的视野，占据了封面、屏幕、服务器网站和手机应用程序的界面，并通过交互类作品成为一种有意义的文化形式。

早在计算机出现之前，数据库就广泛存在于各类文化形态（如百科全书、历史年鉴等）之中，这些由各类集合构成的文本形式，满足着人类洞悉万物的渴望。随着计算机的普及和艺术形式的发展，对艺术片段的截取与重新整合成为后现代的标志之一。拼贴艺术的流行也呈现出数据库的形式——通过收集、分类、排序、呈现，实现对世界的解构与重新结构。数据库的形式还涉及另一个概念——界面，计算机、手机屏幕都是现代化界面的重要体现。马诺维奇分析了计算机界面与传统文化、语言、习俗惯例之间的传承，追溯了从文艺复兴时期的静态图像到电影屏幕上的运动影像，从雷达和电视上的实时图像到计算机屏幕上的实时互动图像，从而将计算机界面纳入视觉艺术史的脉络之中。

在传统媒体中，艺术家是在某种单一媒介中创作，界面等同于作品，或者说，并不存在真正意义上的界面。而在新媒体中，往往具有一个或多个通往多媒体材料数据库的界面。作品的内容和界面分离，为同一数据库创建不同的界面，乃至交互式作品的创作，提供了更多可能。例如，交互电影的制作过程，也是数据库的生成过程：发现序列，建立分类，明确功能，生成含义。而交互电影的体验过程，则是将数据库进行了外化，曾经被否决的剧情、剪掉的片段和舍弃的分支都成为选项，选择与交互都以数据库为基础的。由此而言，交互电影界面所呈现的体验者穿越空间的轨迹，以及通过特定选择而通往故事分支的路径，实际上就是在建构不同的穿越和读取数据库的叙述线。

VR（虚拟现实）视频的拍摄和观看，也可以被看作是数据库形式呈现的一种聚类关系的外化。VR 摄影机一般有排列成一个圆圈的多个镜头，采用共时性全方位信息收集的拍摄方式。不同于传统摄影中的取景，VR摄影对整体现实进行了某一时空的全景采样，为未来观众在头戴式VR设备中的自主观看准备好了数据库资源。每个观众都可以按照个人选择的路径进行观看，形成个体化的观影行为／穿越数据库的叙事路线。

艺术史家潘诺夫斯基（Erwin Panofsky）曾提出，线性透视是现代化时代的“符号形式”，马诺维奇则将数据库称为计算机时代的一个新的符号形式，一种对自身体验和世界体验的全新结构方式。宏大叙事终结，网络世界到来，世界已经成为一个包含图像、文本、声音和各类数据的无限度、无结构的集合；将世界建构为数据库的行为是适当的，似乎也是唯一的选择。

新媒体语言的更新——以尺度为例

马诺维奇在总体文化发展的计算机化过程中提出了五个新媒体法则：数值化呈现、模块化、自动化、多变性和跨码性。[2]其中，他在多变性法则中借鉴了建筑学的“尺度”（Scale）概念。笔者在近两年的观察中发现，“尺度”已经从数量学定义，延伸出一系列跨学科语言：从电影史中画幅、景别、视场角的演变和发展，到2D、3D电影和虚拟现实、增强现实的内容革新，“尺度”不再是一个给定的量词，而是成为一个变量，在视觉艺术中不断衍生，以一种全新的语言方式，进入到新媒体作品的创建和体验过程中。

从地图上的比例尺到游戏世界中的不同比例，“尺度”是计算机文化发展过程中的重要元素。例如，统一媒体样本的不同版本的呈现，包括电脑游戏中不同的视角模式、流媒体服务中可供选择的画质，以及虚拟现实中根据头动或眼动进行的画面实时渲染。在虚拟现实的发展过程中，六自由度（6dof）体验方式、体积捕捉（Volumetric Capture）技术和光场（Light Field）技术的不断成熟，构成了基于房间尺度的虚拟现实（Room-scale VR）体验的基础。与其他媒体不同，基于房间尺度的虚拟现实则提供了一种尺度感，让体验者的感知输入与现实呈现建立起真实的比例关系，从而增强了体验者与对象的连接。通过选项和操作，体验者可以改变对虚拟世界尺度和大小的感知，参与到动态事件的生成过程。比如，苹果公司采用的基于激光雷达技术（LiDAR）形成的深度感知，为重建现场提供了新的便携式记录方式：曾经我们通过拍照片来进行时空留存，现在可以通过3D Scanner等手机应用程序进行现场扫描，输出现场模型，记录下此时此处具有体积信息的三维人物、三维场景和三维空间。在观看／体验阶段，我们可以以缩小的尺度（如30%的模型）在二维屏幕上重访那段时空；也可以用AR的方式，按照1:1的尺度将空间投射到当下，通过身体移动进行重访；或者通过虚拟引擎工具将其转化为虚拟现实空间，通过VR头显重返现场，形成更具沉浸感的经验。

“尺度”的多变性，不仅为创建或记录现实提供了一个重要维度，也为感知和体验现实开放出更多视角和美学可能性。

多现实美学——虚拟现实洞穴

虚拟现实是马诺维奇关注的重要领域，在《新媒体的语言》中，他提到的“虚拟现实洞穴”也为探讨新媒体的美学问题留下了一个待议空间。从柏拉图的“洞穴隐喻”对于富有神秘力量世界的想象，到虚拟现实构建出的具有临场感的虚拟环境，“洞穴”更新了自身的定义，也以技术手段更新着人类的远古渴望。随着虚拟现实技术走入日常，我们不禁思考，在技术创新下不断延伸的虚拟时空，其美学意义何在？

在摄影、电影、虚拟现实发展的技术脉络中，心理外化是一项一以贯之的诉求。从闵斯特伯格（Hugo Münsterberg）在《电影：一次心理学研究》中强调的电影将各种心理功能进行“客体化”的功能，到爱森斯坦（Sergei Eisenstein）对《资本论》的电影化改编，乃至20世纪80年代虚拟现实先驱拉尼尔（Jaron Lanier）提出的虚拟技术带来的“后象征时代”的交流方式，交流不再需要语言或者其他符号。人类戴上虚拟现实头显，就仿佛重返虚拟现实洞穴，告别语言，回归祖先所使用的手势（如混合现实显示器中使用的各类交互手势）、动作（基于各类动作捕捉技术）、表情（基于各类面部捕捉设备和技术）来进行交流。

关于“多现实美学”，可以通过2020年美国圣丹斯电影节推出的虚拟现实作品GO来进行探讨。GO的声音文本选自克劳斯·梅尔茨（Klaus Merz）的小说，讲述了一个中年男人告别日常、通向终极的故事。伴随着旁白，体验者跟随故事的主角踏上身心的远足之旅。空间化的声音伴随着全景式虚拟现实画面，以360度摄影作品、洞穴壁画、多时空叠画等方式呈现。当文学话语以旁白的方式在全景声中铺陈，文学性生发出的想象空间又在虚拟现实中呈现为具象的声音与画面时，体验者通过文学感受生发的个性化想象空间与虚拟现实提供的直观视听空间发生叠化。文学性的心理外化与虚拟现实提供的心理外化形成多重的时空感知，在文学与虚拟现实这两种迥异的艺术语言方式中进行碰撞，生成了一种前所未有的跨媒体体验。

当下，人类在数字现实中的生存时间越来越长，给“复数的现实”带来了进一步的重塑。《新媒体的语言》仿佛一本寓言，开启了新千年计算机文化的脉络，也开启了重新理解现实的契机：当现实成为复数，算法比我们更了解自己，我们将如何认识自己、认识存在？

注  释

[1] SIGGRAPH是由美国计算机协会计算机图形专业组组织的计算机图形学顶级年会。

[2] 数值化呈现是指新媒体对象都是由数字符码构成；模块化是指新媒体所具有的结构特征，表现为媒体元素的离散采样集合特征——新媒体的数值化呈现和模块化结构使得新媒体的创建、操作和访问都具有了自动化的可能；多变性是指新媒体多具有不同版本，且版本数量可以无限增加；跨码是指将一个事物转换成另一种格式，跨码性描述出媒体在计算机化过程中，文化的计算机化进程所实现的文化范畴和文化概念之间的跨码。

（选自《信睿周报》第45期，封面图来自Unsplash @Julius Drost