下载客户端

人工智能重建你看到的东西？

2023-04-23 16:11

来源：澎湃新闻·澎湃号·湃客

原创 Allison Parshall 酷炫脑

Via：un.org

以下为朗读小姐姐全文音频

作者 | Allison Parshall

翻译 | 杜雅兴

审校 | 酷炫脑

朗读 | 胡恩

美工 | Jenny

编辑 | YJ

日本的两位科学家最近将 fMRI 数据与先进的图像生成人工智能相结合，将研究参与者的大脑活动转化为与他们在扫描过程中看到的图像惊人相似的图像。

功能性磁共振成像 (fMRI) 是了解我们思维方式的最先进工具之一。当一个人在 fMRI 扫描仪下完成各种脑力任务时，他们生动的大脑活动图像就可以被fMRI生成。

Via：《人工智能》

以这种方式观察一个人的大脑活动可以让神经科学家了解到一个人在完成任务时哪些大脑区域正在被使用，但他们无法真的了解到此人此刻在想什么或者有什么感觉。几十年来，研究人员一直试图破解该密码。现在，通过使用人工智能来处理这些数字，他们取得了重大进展。日本的两位科学家最近将 fMRI 数据与先进的图像生成人工智能相结合，将研究参与者的大脑活动转化为与他们在扫描过程中看到的图像惊人相似的图像。原始和重新创建的图像都可以在研究人员的网站上看到。

日本大阪大学的神经科学家、也是该研究的作者之一 Yu Takagi 说。“我们可以使用这些技术来构建潜在的脑机接口，”。这样的未来界面有朝一日可以帮助目前无法交流的人，例如表面上看起来没有反应但可能仍有意识的人。该研究最近发表于 2023 年计算机视觉和模式识别会议上。

自 2022 年 12 月该研究作为预印本被发布以来（预印本意味着它尚未经过同行评审或发表），它就在网上引起了轰动。在线评论员甚至将这项技术比作“读心术”。但专家说，这种描述夸大了这项技术的能力。

德克萨斯大学奥斯汀分校的计算神经科学家 Shailee Jain 没有参与这项研究，但她说 “我不认为这是读心术，我认为目前这项技术离真正对患者有用——或被用于坏事还差得很远。但我们一天比一天好。”

这项新研究远非第一个结合人工智能来看大脑活动从而重建人们看到的图像的研究。在 2019 年的一项实验中，日本京都的研究人员使用一种称为深度神经网络的机器学习来重建来自 fMRI 扫描的图像。结果看起来更像是抽象画而不是照片，但人类评委仍然可以将 AI 制作的图像与原始图片准确匹配。

此后，神经科学家继续使用更新更好的 AI 图像生成器开展这项工作。在最近的研究中，研究人员使用了 Stable Diffusion，这是一种来自伦敦初创公司 Stability AI 的所谓扩散模型。Takagi 说”扩散模型，这一类别还包括 DALL-E 2 等图像生成器是“人工智能爆炸的主要特征，” 这些模型通过向训练图像添加噪声来学习。与电视静态一样，噪声会扭曲图像——但以模型开始学习的可预测方式。最终，该模型可以仅从“静态”构建图像。

Stable Diffusion 于 2022 年 8 月向公众进行了发布。它经过了数十亿张照片及其说明的训练。它学会了识别图片中的模式，因此它可以根据命令混合和匹配视觉特征以生成全新的图像。阿姆斯特丹大学的神经科学家 Iris Groen 说“你只要告诉它，‘一只狗在滑板上’，然后它就会在滑板上生成一只狗，”。研究人员“只是采用了那个模型，然后他们说，‘好吧，我们现在可以用一种聪明的方式将它与脑部扫描联系起来吗？’”

Via：《人工智能》

新研究中使用的脑部扫描来自一个研究数据库，该数据库包含一项早期研究的结果，其中八名参与者同意定期使用 fMRI 扫描仪并在一年内查看 10,000 张图像。结果是一个巨大的 fMRI 数据存储库，该数据库存放了人脑（或至少这八位人类参与者的大脑）的视觉中心对看到每幅图像的反应。在最近的研究中，研究人员使用了四位原始参与者的数据。

为了生成重建图像，AI 模型需要处理两种不同类型的信息：图像的低级视觉属性及其高级含义。例如，它不仅仅是蓝色背景下的一个有棱角的细长物体——它是天空中的一架飞机。大脑也处理这两种信息并在不同区域处理它们。为了将大脑扫描和 AI 联系在一起，研究人员使用线性模型将每个处理低级视觉信息的部分配对。他们还对处理高级概念信息的部分进行了同样的处理。

Groen 说“通过基本上将它们相互映射，他们能够生成这些图像，”。然后，人工智能模型可以了解一个人大脑活动中的哪些微妙模式对应于图像的哪些特征。一旦模型能够识别出这些模式，研究人员就会向它提供它以前从未见过的 fMRI 数据，并要求它生成图像以配合它。最后，研究人员可以将生成的图像与原始图像进行比较，以了解模型的表现如何。

作者在研究中展示的许多图像组合看起来惊人地相似。加州大学圣塔芭芭拉分校的计算机科学家 Ambuj Singh 说 “令我感到兴奋的是它的工作原理，不过，这并不意味着科学家们已经弄清楚大脑是如何处理视觉世界的。稳定扩散模型不一定以与大脑相同的方式处理图像，即使它能够产生类似的结果”。作者希望将这些模型与大脑进行比较可以阐明这两个复杂系统的内部运作方式。

尽管这项技术听起来很神奇，但它有很多局限性。每个模型都必须接受和使用一个人的数据。荷兰拉德堡德大学的计算神经科学家 Lynn Le 说， “每个人的大脑真的都不一样，如果你想让 AI 从你的大脑扫描中重建图像，你就必须训练一个自定义模型——为此，科学家需要从你的大脑中获取大量高质量的 fMRI 数据。除非你同意完全静止不动并专注于叮当作响、幽闭恐怖的 MRI 管内的数千张图像，否则现有的 AI 模型都没有足够的数据来开始解码你的大脑活动。

Jain 解释说，即使有了这些数据，AI 模型也只擅长于经过明确训练的任务。一个根据你如何感知图像而训练的模型将无法尝试解码你正在思考的概念——尽管包括 Jain 在内的一些研究团队正在为此构建其他模型。

目前尚不清楚这项技术是否能够重建参与者仅凭想象而非亲眼所见的图像。这种能力对于该技术的许多应用来说都是必要的，例如使用脑机接口来帮助那些不能说话或无法手势的人与世界交流。Jain 说“从神经科学的角度来看，构建解码技术有很多收获，但潜在的好处伴随着潜在的道德困境，随着这些技术的改进，解决这些问题将变得更加重要。她说，该技术目前的局限性“不足以作为对解码的潜在危害掉以轻心的借口”。 “我认为现在是考虑隐私和这项技术的负面用途的时候了，尽管我们可能还没有达到可能发生这种情况的阶段。”

Via：《人工智能》

参考文献（点击滑动查看）

1. Takagi, Y., & Nishimoto, S. (n.d.). High-resolution image reconstruction with latent diffusion models from human brain activity. Biorxiv. https://doi.org/10.1101/2022.11.18.517004

2. Shen, G., Dwivedi, K., Majima, K., Horikawa, T., & Kamitani, Y. (2019c). End-to-End Deep Image Reconstruction From Human Brain Activity. Frontiers in Computational Neuroscience, 13. https://doi.org/10.3389/fncom.2019.00021