他们给机器人装上仿生眼，媲美人眼 | 专访中科院上海微系统所李嘉茂

人类是目前地球上智慧程度最高的生物，

眼睛可以说是大脑最精致的部件。

“而我们这些年来，

一直从事的研究

就是仿制眼睛这个部件

——仿生眼。”

中国科学院上海微系统与信息技术研究所（以下简称中科院上海微系统所）仿生视觉系统实验室主任李嘉茂研究员向上海科技表示。

“中科院上海微系统所团队的仿生眼就是模仿人类的视觉系统以及视觉信息在脑内的处理机制，赋予机器人以人的视觉。”

仿生视觉团队研制的立体显微镜突破可见光显微重建技术，取得了媲美日本某品牌激光共聚焦显微镜的精度，边缘处细节精度优于其商用显微镜，成果发表IEEE测量领域旗舰刊物TIM。

高精度可见光立体显微系统

仿生视觉团队研制了大尺度全范围可见-红外光融合感知仿生鹰眼，在西藏完成了雪山冰川测量的可行性验证。

基于仿生鹰眼的雪山冰川测量验证

通过双目的视差来恢复场景的三维信息

李嘉茂介绍，目前中科院上海微系统所的仿生视觉系统能够实现所有的人类眼球运动，实现双眼协调运动、平滑追踪、视点切换、运动模糊抑制的功能，实现比传统双目视觉更加可靠的机器视觉系统。

“单个相机采集的信息是二维的，

与人的视觉信息处理一样，

中科院上海微系统所可以通过双目的视差

来恢复场景的三维信息。”

中科院上海微系统所实现了很多脑区皮层的算法，涉及空间信息感知、运动信息感知、语义信息感知，空间信息感知包括深度估计、视觉定位、三维重建，运动信息感知包括光流估计、运动分割、目标跟踪，语义信息感知包括图像分类、目标检测、语义分割。也可以像人脑那样多个脑区联动来实现视觉的联合任务，比如语义SLAM、实时立体场景图等等。

搭载跨脑区算法的自主探索移动机器人

特别是在上海市“脑与类脑智能基础转化应用研究”市级科技重大专项的支持下，研制了面向智能机器人的多模态传感、认知、分析和决策闭环的智能系统，机器人可以实现复杂场景的手眼协同抓取、面向未知环境的机器人自主探索和环境重建。

搭载仿生双眼、具备视听融合感知交互能力及决策执行控制功能的“机器头脑”实现手眼协同抓取

基于研究所仿生视觉团队自主可控的仿生双眼技术，研制面向视听多模态融合处理场景的移动机器人专用国产SoC芯片。

李嘉茂介绍，该芯片可在智能机器人系统中实现全脑的功能。

其中，BISP模块类似于脑干可以实现机器人的多种感官同步和时序校准功能，CVPE模块可以完成机器人高精度视觉导航和深度算法的加速，Bino神经加速单元可以通过软件定义实现硬件的灵活配置，支持多种神经网络中的特定加速算子，实现模拟人脑处理的视听觉联合任务中的脑区功能。该芯片可以提升机器人端侧的感知、分析、决策的智能水平。

“我国语音麦克风阵列以及

图像双目视觉等核心算法

均国际领先水平，

未来我国有望继续保持

在视听觉融合领域的算法领先。”

李嘉茂说。

端用芯片可有效支撑在智能硬件终端上进行多通道、高通量数据的实时复杂处理，实现“端”和“云”高效协同。

“端用芯片是复杂算法落地关键路径，

也是保护软成果的主要方式。”

仿生眼领域的科研突破将如何给产业赋能？

将会推动哪些颠覆式变化？

中科院上海微系统所着重解决国家相关重大产业当中的关键性问题。中科院上海微系统所面向半导体行业的上下游，研究了一系列机器人。

“半导体的生产车间都是无尘的，

而且工序与工序之间的物料需要搬运，

有些环节由于物理空间限制，

天车还没有办法完全覆盖，

只能人力去搬运。”

但是，其实在半导体生产的无尘车间里，

人其实是最大的一个污染源。

怎么办？

李嘉茂对这些应用场景进行了深入了解。

在智能制造机器人领域，中科院上海微系统所设计的面向半导体柔性生产的自主搬运机器人，可以很好的解决这个问题，通过实现24小时的在线高效搬运，可大大提高整个自动化生产的运行效率，代替人工在无尘车间天车无法覆盖的区域进行搬运，为企业降低无尘车间的污染提高产线的良品率，提高作业的安全性和效率提供了帮助。

晶圆搬运机器人

传统机器人基本是通过预编程或者固定在某一位置上实现某一特定任务，中科院上海微系统所研发的机器人功能是集信息传感、认知与分析决策一体的。

“所以面向柔性生产需求，基于我们研发的视觉系统可以非常方便地改变原有作业方案。”李嘉茂说。

中科院上海微系统所的仿生视觉系统模仿人眼但超越人眼。立体显微系统可以实现近似于激光共聚焦显微镜的精度，在微小裂纹检测、瑕疵检测等场景上获得了很好的效果；大尺度仿生双眼系统实现了冰川、生态的实时三维动态检测，在智慧城市、智慧安防、智慧生态方面取得了突破。

中科院上海微系统所的仿生双眼融合可见光、红外、紫外可以实现复杂工况的检测，中科院上海微系统所与申通地铁合作研制的轨道交通安全数字孪生系统可以实时检测地铁运行期间的弓网安全、轨行区障碍物等，为地铁的安全运行和维护提供智能保障。

轨道交通数字孪生系统

“作为中国科学院研究团队，

我们是‘国家队’，

实验室最终面向的

是仿生智能视觉感知技术的应用落地，

因此研究机器人感知的基础上，

也致力于他们的行业应用。”

让更多青年科技工作者站上科研舞台

人才，是科技创新的源动力。

近年来，国家高度重视人才工作，在科研人员“减负”方面推出了系列有成效的改革举措，刚刚又推出了开展减轻青年科研人员负担专项行动，惠及了我们科研活动中的多个环节。

8月8日，科技部等五部门发文，正式开启减负行动3.0。这一次减负的主体聚焦于青年科研人员，提供更多的支持，挑大梁、增机会、减考核、保时间、强身心多项举措为青年科技工作者提供很好的发展环境。

“像我们实验室就是一个35岁以下青年科技工作者占比很大的团队，在实验室项目攻关过程中，有不少青年科研人员冲在前面，敢担当、能作为，相信在减负新行动的引领下，能创造更好的舞台让他们潜心攻关，激发创新潜能与活力，为国家科技自力自强做出更多贡献。”李嘉茂表示。

“上海科技”出品，转载请注明来源

企业及专家观点不代表官方立场

作者：祝余

原标题：《他们给机器人装上仿生眼，媲美人眼 | 专访中科院上海微系统所李嘉茂》