灵初智能陈源培：以人类数据为基，构建具身智能灵巧操作通用模型

在具身智能赛道中，如何获取高质量、大规模的交互数据是全球性难题。在日前有澎湃新闻和上海未来产业基金共同举办的逐浪·未来科技演讲中，灵初智能联合创始人陈源培介绍了他们如何基于人类数据打造具身灵巧操作的通用模型。

他们利用自研的灵巧手硬件与完整的数据采集管线，规模化获取真实世界的人类操作数据，并以此训练通用操作基座模型。这一技术路线旨在解决机器人节拍、成功率与精度难以兼得的“不可能三角”，并优先在半结构化的物流场景中实现商业化落地。

以下是演讲全文，略有删减。

行业痛点：数据匮乏与“不可能三角”

大家好，我是灵初智能的联合创始人陈元培，灵初智能是一家做具身灵巧操作通用模型的公司，我们从公司成立第一天开始就瞄准了灵巧手加大脑的赛道，从人类数据出发构建一个通用操作的基座模型。对于机器人的操作，可以分为以下几层：

在非标自动化工业机器人时代，机器人的操作更多是根据设置好了的轨迹点，节拍、准确度会比较高，但泛化能力比较差。如果要在工厂里部署一个新的场景，需要有好几个高级工程师在现场调试三四个月。

随着视觉技术发展，出现一批视觉结合运动拟合（Motion Fitting） 的方案，这个方案可以实现一定程度泛化，但距离真正通用模型仍有明显差距。

最近几年，伴随具身智能兴起，端到端伺服控制路线占据主流。该路线大多依托数据驱动方法，搭配通用型人形执行器，实现一定程度任务泛化。然而节拍、作业成功率与执行精度构成的不可能三角，至今仍是难以调和的难题。

灵初智能非常核心的技术路线，就是依托人类操作数据来解决具身智能的数据难题。去年我们对外展示过通用灵巧操作能力，比如打麻将、叠盒，还有各类物流作业。但在数据规模充分积累之前，这些成果更多只能作为演示效果。具身的核心痛点在于：全球范围内都没有充足的具身交互数据储备。

大语言模型以来的事互联网沉淀的海量文本语料；自动驾驶可以持续回流千万车辆的人类驾驶操作数据；但具身智能需要的数据，是非常少的。

数据路线之争：为何选择人类操作数据？

我把具身训练数据大致分为四类：互联网公开视频数据、真机示教数据、仿真合成数据、人类操作数据。

互联网视频，我们可以从中提取人类动作用于模型训练。这类数据虽然Scaling up能力很好，但短板也非常突出：信噪比极低。能有效提取、可用的高质量样本很少；即便投入巨大算力从海量视频中筛选有效数据，综合成本也远高于自主采集。

仿真路线最大的瓶颈是难以Scaling up，这一点可能和很多人的直觉相悖：大家会认为仿真环境可以无限生成数据，但事实上很多生成的数据未必是我们想要的。举例来说，我们可以生成十万小时的抓取数据，但模型学到的始终局限在抓取任务；面对全新物体、全新作业场景，依旧需要工程师人工调试，还要依靠 Real-to-Sim 完成资产重建、场景搭建，整套流程成本极高，很难走向通用化。

真机数据是质量最高的数据，但我们不可能把世界上的所有场景都搬到数采厂，所以真机数据对于后训练可能有用，但对于真正的预训练来说，数据量是远远不够的。

我们的核心技术路线围绕人类操作数据展开，自创立共处之初便聚焦灵巧手研发。选择灵巧手的核心逻辑是灵巧手与人手的行为鸿沟最小，能够高效利用人类日常行为产生的操作数据。我们自研了全套硬件体系，覆盖灵巧手、数据采集终端，大规模部署采集设备并搭建完整数据链路。基于这套基础设施，今年 4 月我们出首版以人类数据驱动的基座模型框架。

模型创新：双模块闭环与数据对齐

模型分为两大部分：其一为 Psi-R2，属于World Action Model，作为策略网络（Policy），接收实时环境观测，输出机器人动作指令。

其二 Psi-W0，Action-conditioned World Model同样基于人类数据训练的世界模型，差异化在于训练数据集纳入大量失败交互样本。该模块以动作为输入，承担评估、仿真作用。

我们最核心的模型创新，是打通双模块链路，依靠强化学习构建闭环，完成人类操作数据到机器人交互数据的转化。

简单来说：由策略模块 Psi-R2 在 Psi-W0 世界模型内进行推演 Rollout；收集推演产生的成功样本、过滤失败样本，生成增量数据集，持续回流用于模型迭代训练。

Psi-R2是依据视频生成模型基础训练而成，输入维度包含机器人当前状态、视频、语言等信息，输出为机器人动作以及未来状态。

在模型迭代过程中，我们尝试过非常多技术方案，包括各类辅助优化的处理手段。最终我们得到一个核心结论：针对人类演示数据，最关键的是做好输入输出的对齐，也就是尽可能统一人类数据与机器人数据的数据格式。

过去行业内普遍存在一种思路：人类手部关节角度、本体构型和机器人存在差异，视觉形态也不一样，因此两类数据应当做区分处理，不能直接混合使用。但我们的实验发现，很多预处理的小优化方案，在数据规模上来之后，对模型效果的提升其实非常有限。无论是我们自己的论文，还是行业内其他团队的公开工作都可以印证这一点：数据量比较小时，传统的各类优化手段本质上是提升数据利用率，因此效果会比较明显。

但当数据规模提升到我们所用的 10 万小时人类数据这个量级时，很多传统方案的表现，反而不如直接做好人机数据模态对齐带来的收益。这是我们在项目中收获的非常重要的经验。

Psi-W0模型的核心能力，就是把人类演示数据转化为机器人可执行的数据，它可以把任意人类操作轨迹，高质量转化为机器人可用动作。以往的视频生成类模型完全做不到这一点。

举个例子帮助大家理解：人类抓取水杯的运动轨迹，由于人体和机器人本体构型不同、关节角度存在差异，中间会存在固有的偏差。很多时候正是这些偏差，直接导致机器人无法完成任务。行业里普遍认为，正是因为人类数据不是机器人原生数据，数据质量偏低，很难直接拿来训练机器人。

我们的解决思路是：在世界模型内部借助强化学习做微调，把人类演示轨迹向机器人本体做适配校正。最终输出不只是视觉上合理，更关键是输出的动作在物理层面是机器人可执行、可落地的。这也是我们整套模型迭代飞轮的核心。

同时该模型还可以充当数据评估器。有了这套人类机器人数据转换工具，我们就可以用它来评判单条人类演示数据的好坏，也可以用来评估模型本身的性能。它同时具备仿真器的能力。

它和基础世界模型最大的区别在于，训练过程大量引入失败样本。对于世界模型而言，不只是要生成成功的任务轨迹，更重要的是要学会区分成功轨迹与失败轨迹，理解二者之间的差异。基于这一点，我们就可以在模型内部做迭代优化，引导输出向任务成功的方向收敛。

数据采集：轻量化外骨骼与真实场景闭环

以上主要讲模型层面，而整套体系真正的核心，是我们完整的数据采集管线。

我们这套采集方案的核心设计理念，是尽可能少干扰人类正常工作生活，完成数据采集。

过去的数据采集普遍痛点是需要专门的数据采集员来完成采集，很难做到让从业者在真实工作过程中自然采集数据。

而我们的设计思路就是最小化对人的干扰：手套轻量化，不做过多行为约束。这样一来，数据采集成本大幅下降，同时数据质量更高。因为采集对象不是雇佣的专职采集人员，而是真实在岗作业的工作人员，他们的操作流程、作业节奏，完全贴合真实落地场景的业务需求。

和行业很多轻量化手套、UMI 遥操作方案不同，我们采用了外骨骼结构。之所以选择外骨骼，目标是保障人类演示数据的采集精度。

有了硬件采集设备之后，我们完整的数据闭环策略，也就是公司的核心落地战略是：模型训练在公司本地完成，而数据采集、场景铺设放到业务现场。

举个物流场景的落地例子：如果我们要落地某一个物流客户现场，只需要现场数十名工人佩戴我们的手套，完成一段时间的数据采集；采集的数据回流到公司，完成基础模型训练之后，再把模型部署到业务现场。场景部署阶段，仅需要极少量的现场微调数据，就可以完成业务落地。这也是它和传统非标自动化最大的区别。

商业化路径：聚焦物流场景与数据业务

我们把物流作为优先落地场景，是经过理性判断的。家庭场景的任务过于繁杂，目前更多还停留在愿景阶段。举个简单例子，擦桌子这个任务，需要整理桌面杂物，遇到垃圾要丢进垃圾桶，看到手机就不能丢弃，需要另外归置。整个过程需要大量推理能力与多样化操作技能。我个人判断，家庭场景真正规模化落地，10 年之内很难实现。

工业场景也不作为首要切入点。工业大多是封闭场景，比如做插拔、上下料任务，就算部署上百台机器人，收集上万小时数据，也都局限在单一任务，对整体数据闭环的建设增益有限。

而物流场景属于半结构化场景，抓取、扫码、放置流程清晰，实现难度适中；同时场景泛化需求高，业务样本基数大，非常有利于构建完整的数据闭环。

在商业化落地层面，我们主要分为两块：场景落地和数据业务。

数据业务上，今年我们会积极推进数据生态建设，目标构建百万小时级别的高质量可用数据集。可能有人会觉得百万小时并不算大，甚至会追求千万小时级别数据。但真正高质量可用数据，和单纯的数据绝对总量不是一回事。单纯追求数据总时长意义有限，高质量、高多样性的数据才是核心。因此我们会通过自建采集站点，以及和业务方合作的方式完成数据回流，同时开展数据相关业务变现。

产品落地方面，我们已经和多家大客户完成 POC 验证，客户现场已经有多台设备常态化运行，预计今年年底实现小批量放量，后续再逐步拓展海外市场。