eLight·封面 | AI相机实现纯光学选择性成像

随着电子信息产业的飞速发展，数码相机已经被广泛地应用于我们生活中的方方面面。从安全监控到车辆自动驾驶和人脸识别，无处不在的摄像头每时每刻都在不断记录并产生大量的图像数据，它们在为人们的生活带来便利的同时，也引起了对隐私数据安全的关注和担忧。

现有的隐私保护通常使用诸如图像模糊、加密等方法来保护隐私信息。然而，这种方法并没有完全解决隐私泄露的隐患，因为原始的图像是先被拍摄，再由算法加密，所以未加密的信息依然存在被泄露的风险。同时，这些图像处理算法也需要不断消耗计算资源和电力能源。硬件层面上，隐私信息的保护也可以通过改装相机镜头来降低图像质量，从而模糊掉隐私身份信息。然而，这些方法不加选择地降低了所有图像质量，导致其应用场景非常受限。此外，通过对抗攻击手段，原始信息仍然有可能被恢复并泄露。

近期，发表在 eLight 上的一篇题为“To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects”的研究论文提出了一种全新的、由人工智能驱动的相机来实现隐私保护成像。

图1：AI 设计的新型相机只针对特定类别的物体进行成像，同时对其他物体进行全光消除。这种新型相机由多个透射层组成，其结构通过深度学习优化，使得它们最终能够实现只对特定类型的物体进行成像。同样的框架还可以被应用于设计对特定物体进行线性变换的加密相机。通过 3D 打印技术制造相机，并且用太赫兹光波照明的手写数字对其进行测试，成功的测试结果证明了该新型相机的可行性。

来自加州大学洛杉矶分校的 Aydogan Ozcan 教授及其团队基于衍射神经网络设计了一种新型镜头，在不需要任何数字算法处理的情况下，这种相机实现了只对某些特定类型的物体成像，同时完全抹去其他无关物体的信息。

这种新型相机由多个透射层组成，其中每个透射层都包含着成千上万个衍射单元。通过深度学习的训练，每个透射层的结构被不断优化，使得它们最终能够调节透射光场的相位并实现只对特定类型的物体进行成像，同时抹去其他物体。在深度学习优化之后，最终收敛的透射层可以被制造并组装成一台智能相机。当特定的目标物体出现在相机视野里时，相机会拍摄下它们的高质量图像。相反的，当其他非目标物体出现在相机视野中时，它们会在光的传播过程中被抹去，形成无意义、类似于随机噪声的图案。

由于其他非目标物体的特征信息已经随着光的传播和衍射被抹去了，所以它们的原始图像永远不会被相机直接记录。因此，这种新型相机实现了对隐私的最大化保护——因为所有非目标物体的原始的图像信息是无法被恢复的。与此同时，由于非目标物体的信息不会被记录，这种新型相机大大也极大地降低了图像数据存储和传输负担。

该研究团队也通过实验验证了这种新型相机的可行性。他们选择手写数字作为实验物体，并通过训练相机使其只对一种手写数字进行成像。当基于深度学习的训练完成后，该团队使用 3D 打印技术制造并组装出了实际相机，并且用太赫兹光波照明的手写数字对其进行测试。实验的测试结果与预期高度相符：当相机视野中的物体是数字 “2”时，该相机能够有选择性地对其进行成像；而当相机视野中出现其他数字时（比如“0”，“1”……），相机则会将其从图像中抹去，产生低强度的类似噪音的输出图案。此外，该研究团队还在不同的照明条件下测试了他们的相机表现，即使这些测试照明条件从未被包含到深度学习训练中，他们的新型相机依然展示了对各式各样照明条件的鲁棒性。

除了对特定物体进行成像，这种基于人工智能的相机设计方法还可以用来构建对特定物体进行加密的相机，从而提供进一步的隐私保护。在经过深度学习方法优化后，这种加密相机可以直接在光传播过程中为目标物体执行指定的线性变换。只有拥有解码密钥（在这种情下即为逆线性变换）的人才能够解码出目标物体的原始图像。而对于其他非目标物体来说，它们的信息依然被不可逆地抹去了，即使将解码密钥应用于相机拍摄到的图像，也依然只会产生无意义的噪音结果。

除了照明光源之外，该新型相机不需要任何外部电源供给，并且其计算速度等同于光速。因此，这种高速、高能源效率的相机十分适用于各种需要拍摄特定物体、或有隐私保护需求、或需要节约能源的成像系统中。与此同时，该相机的设计思路也将启发对未来新型智能成像系统的设计，大大降低其计算消耗资源和数据传输负担。

该研究由加州纳米系统研究所（CNSI）副主管、加州大学洛杉矶分校电子和计算机工程系 Volgenau 工程创新主席 Aydogan Ozcan 教授，与诺斯罗普-格鲁曼公司特聘讲席教授、加州大学洛杉矶分校加州大学洛杉矶分校电子和计算机工程系太赫兹电子实验室主任 Mona Jarrahi 教授一起领导。这项工作的其他作者包括研究生白璧洁、罗毅、甘天奕、李煜航、赵一帆、Deniz Mengu 和博士后研究员胡竞天，他们均来自于加州大学洛杉矶分校电子和计算机工程系。

| 论文信息 |

Bai, B., Luo, Y., Gan T. et al. To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects. eLight 2, 14 (2022). 

https://doi.org/10.1186/s43593-022-00021-3

阅读原文