01/ 01
章节
封面

OrchTech
协律科技

迈向开放世界的通用具身智能

Orchestrating  Perception · Prediction · Action

协律感知、预测与执行 —— 让机器人与环境、与人协律而行

ORCHTECH / CORE THESIS

通用机器人的终极形态

适应开放世界的基础能力+可持续扩充的技能库

理解环境与物体的随机性,形成鲁棒的感知—动作闭环;再将新技能扩展至更多真实场景。

The Thesis

  • 迈向通用性的能力边界迁移与挑战

    能力边界正在迁移

    01
    从固定走向开放

    固定场景、固定任务 → 开放世界

    02
    从短动作走向长程自主

    短动作执行 → 长程自主任务

    03
    从模仿走向自主决策

    依赖专家数据 → 自主理解、规划和恢复

    端到端模仿学习直接生成动作的范式(如 VLA、WAM),泛化效果仍受训练数据覆盖范围影响,开放、长程任务的可靠性需要在真实扰动中验证。通用基模持续增强的理解、推理与任务组织能力,为机器人系统提供不断升级的通用智能。

  • 协律科技的核心判断:
    • 模型需要理解空间,以及“行动怎样改变世界”,支持预测与规划(Predictor + Planner)。通过与模型、环境的交互,探索可行的动作顺序与空间轨迹,形成持续感知、决策和执行的闭环。
    • 协律的核心能力,是围绕持续进步的通用基模,构建开放场景中的长程移动操作系统。以机器人学与系统经验,组织空间理解、长短期记忆、预测规划与专家技能,贯通从任务意图到鲁棒物理执行的完整链路。
    • 系统能力有两个持续增长的来源:基模升级,以及机器人自身的经验积累。更强基模带来理解、推理与任务组织的能力增量;固定同一基模,通过复用已验证的交互经验、记忆与技能,持续改善任务执行。

Click to reveal core judgment 01

OrchTech Route

协律科技的核心技术路线

围绕持续进步的通用基模,组织空间理解、长短期记忆、预测规划与专家技能

01 · 上层

空间理解

吸收通用基模的理解与推理能力,构建带几何尺度的 3D 场景关系图(Scene Graph);结合短期记忆,持续维护对象状态、任务进度与环境变化。

→
02 · 中层

预测规划

基于 JEPA 的自有模型在潜空间预测动作引起的场景关系变化;结合长期记忆中的交互经验与恢复方法,规划移动操作空间轨迹、编排技能并处理失败。

→
03 · 底层

动作执行

以专家技能(Skills)与控制器满足实时性、精度和接触要求;回传执行结果,将已验证的交互经验沉淀为可复用的记忆与技能。

CORE INTERFACE

以统一信息接口与长短期记忆,贯通空间理解、预测规划与动作执行。

短期记忆维持当前任务状态,长期记忆复用已验证的交互经验与专家技能。

行业趋势

机器人系统 Harness 与世界模型发展脉络

主线一 · ROBOTICS HARNESS

系统架构从更大的端到端动作模型,转向显式的分层分工。

  • 2022
    SayCan · Code as Policies

    语言模型进入机器人决策栈

  • 2025
    Hi Robot · GR00T N1

    双系统成型:慢速语义推理 + 快速动作专家

  • 2026
    Pigey 提出 orchestration gap

    同一冻结 VLA 加入编排器,LIBERO-PRO 12.8% → 53.3%

  • 2026.07
    Gemini Robotics 2

    ER2 语义规划与进度跟踪,VLA 负责执行

主线二 · PREDICTOR + PLANNING

从预测像素、拟合专家数据并直接生成动作,转向预测行动带来的世界变化;动作生成则由 Planner 模块通过与模型交互的最优化计算过程完成。

  • 2022
    LeCun 提出 JEPA

    2018 年图灵奖得主提出:预测表征而非像素

  • 2024.02
    V-JEPA

    把「预测未来像素」替换为「预测未来表征」

  • 2024.11
    DINO-WM

    冻结视觉基座 + latent dynamics,验证 zero-shot planning

  • 2025.06
    V-JEPA 2-AC · 首次真机闭环

    百万小时视频预训练 + 62h 机器人数据

  • 2026.03
    LeWM · 端到端稳定训练

    仅两项 Loss、约 1500 万参数,规划降至 1 秒内

两条主线的完整技术 review 见 Data Room

第一章 · CHAPTER 01

公司团队

模型 × 机器人工程的复合 know-how

在开放场景移动操作与复杂交互规划领域具备系统级顶尖积累。 团队具备贯通 System 0–2 的系统级全栈经验,覆盖底层实时控制、专家技能执行与高层任务推理规划。

真实有人环境作业

办公场景边移动边操作,处理多重接触与扰动

模型 · 复杂环境感知工程 · 复杂多任务

灵巧手精细操作

物体旋转等接触丰富的精细操作

模型 · 接触自适应工程 · 灵巧手闭环控制

跨本体执行

同一策略直接驱动腿式整机完成同类任务

模型 · 跨本体策略工程 · 整机控制

单策略跨物体泛化

同一 policy 推形状、材质、重量各异的物体

模型 · 多物体泛化工程 · 鲁棒接触控制

模型泛化与机器人工程的深度耦合:既能应对变化与扰动、实现跨本体泛化,也能在复杂接触和长程任务中稳定运行。

核心团队

团队现有十余人,成员来自香港科技大学、香港大学、新加坡国立大学等高校,具备华为、小鹏、腾讯等大厂经验。具备感知、理解、规划、控制系统级全栈能力,在开放场景交互式移动操作方面的积累处于业内领先水平。

李玉麟
创始人 · CEO

李玉麟

技术与产品战略总负责人

哈佛访问学者 · 新国立博后 · 港科大博士 · UCSD 硕士

  • 移动操作 · 交互式接触与导航 · 物理仿真器 · 隐空间推理世界模型
  • 20+ 顶刊顶会,一作 7 篇
  • IROS 2025 移动操作最佳论文 · 最佳学生论文提名
陈凯
联合创始人 · CTO

陈凯

机器人总负责 · 技术架构与系统闭环

港科大博士后 & 博士 · 中科院大学硕士 · 戴盟联创 · 小鹏

  • 开放场景定位导航 · 复杂环境感知 · 全身运控 · 整机部署
  • 15+ 顶刊顶会,一作 5 篇
  • 李泽湘教授团队博士后 · 工具使用与灵巧手操作
曹嘉航
联合创始人 · 具身与生成式模型负责人

曹嘉航

具身模型总负责 · JEPA 预测器训练

港大博士 · 港科大硕士 · 上海 AI Lab

  • 世界模型 · 视觉语言操作 · 开放词汇导航 · 认知启发模型
  • 50+ 顶刊顶会(ICLR / NeurIPS / ICML / CVPR / ICRA),Google Scholar 1000+ 引用
  • 2026 腾讯混元人才计划(全国 44 人)
马骏
首席科学家

马 骏

  • 香港科技大学 90 后长聘副教授(4 年 Early Tenure)
  • NUS 博士 · Harvard 博士后 · Berkeley 访问学者
  • 国家级人才计划 · 机器人与自动化系主任 · 智能自动驾驶技术中心主任

港深地区人才密度最高、规模最大的 Robotics & AI Lab

200+ 顶级论文 50+ 博士生 70+ 硕士生 数千万科研经费 多个国家级重点项目 华为 · 理想深度合作

公司是马骏教授唯一绑定的产业转化平台,创始人为其第一位学生。核心团队同门并肩多年,决策与执行同频

第二章 · CHAPTER 02

行业趋势

具身智能行业发展回顾

目前行业核心三条技术路线的演化历史

2022 2025H2 路线1 路线2 路线3 神经网络 大模型的 Scaling language vision VLM language vision 更好的有物理规律的 VLM languagevision VLM languagevisionWorld Observe 逆动力学模型 IDM Action 将大模型的Scaling 引入机器人领域 languagevision本体 VLA Action 模仿学习泛化性被质疑 languagevisionWorld Observe点云···本体 WAM ActionWorld Observe 机器人一直以来的训练架构 planner simulator 仿真 state Motion planningAction Predicting + Planning 是 Robotics 一直以来的训练方式过去瓶颈在 simulator 不够“智能”,Planner 偏“传统” planner JEPA predictor Language vision 拓扑 点云 ···World Observe World Observe Motion planningAction 模仿学习 预测规划

能力增长 · VLM × ROBOTICS

协律的能力增长:基模升级与机器人经验积累

以空间理解、长短期记忆与专家技能,将持续进步的通用智能转化为开放场景中的长程任务能力。

01 · 基模升级

更强基模,带来能力增量

  • 吸收通用基模在空间理解、推理与任务组织上的持续进步。
  • 通过统一接口接入更强基模,复用已有的场景状态、记忆与技能体系。

验证方式:同一系统更换基模,对照任务表现与适配成本。

GPT-6 Astra 与 Fable 系列模型的直接机器人控制完成率、成本及方块入碗测试对比
GPT-6 ASTRA · ROBOCURVE DIRECT ROBOT CONTROL

02 · 机器人经验积累

同一基模,持续改善执行

  • 空间理解与短期记忆:维护几何、对象与任务状态,在环境变化中持续决策。
  • 长期记忆:复用已验证的交互经验、失败恢复方法与任务知识。
  • 专家技能:将意图转为满足实时与精度要求的动作,持续扩展适用范围。

验证方式:固定基模,对照经验积累前后的完成率、人工接管与任务成本。

协律的持续积累:以机器人学与系统经验吸收基模进步,让已验证的物理交互经验持续服务后续任务。

完整分析与测试见 Data Room

三类动作生成范式与玩家分布

海外三类均有顶级机构推进;国内创业公司高度集中在前两类

视频规划

像素 / 图形渲染

01

作为视频规划器与逆动力学模型(IDM)联合使用,由渲染预测的未来视觉状态反推可行动作,常用于灵巧手操作。

WM 作为视频规划器与 IDM 联合生成动作

端到端规划

直接作为规划器

02

依靠大量专家数据覆盖任务分布,端到端生成动作,跳过机器人"感知-预测-规划-执行"闭环系统的中间环节,适用于固定场景固定任务。

WAM/VLA 端到端直接输出动作

预测 + 规划

作为可交互的预测器

03

基于 JEPA 的隐空间状态预测器 + 规划架构,预测器层理解不同动作下交互状态如何演化,规划层基于预测结果规划最优动作并完成闭环执行。

WM 预测器与 Planner 闭环规划

国内多数隐空间世界模型仍以端到端 / RL 监督动作;协律科技依托在开放场景移动操作与复杂交互规划领域的系统级顶尖积累,解耦预测与规划以及动作执行,实现跨场景推演与高频鲁棒执行。

行业内各个研究方向Paper发布趋势

分层(hierarchical)及Predictor+Planning是独立的研究方向,且高速增长

WAM 相关的研究增长迅速,得益于 VLA 创业公司比较多,范式迁移简单,也因此业界声量少。

Predictor + Planning 相关的研究在 LeWM 后快速上涨,但业界声量相对少,主要系相关创业者很少,传导速度有限。

Agentic / Hierarchical

H1 · +69%
Agentic 与分层架构论文发布趋势
共 469 篇

代表演化:Code as Policies → SayCan → VLM + tools → Gemini Robotics 2

Latent-WM / JEPA + Planning

H1 · +544%
Latent-WM、JEPA 与 Planning 论文发布趋势
共 115 篇

代表演化:V-JEPA → V-JEPA 2 → V-JEPA 2-AC → LeWM → JEPA + Planner

VLA

H1 · +493%
VLA 论文发布趋势
共 1,510 篇

代表演化:RT-1 → RT-2 → Open X-Embodiment → OpenVLA → π0 → Gemini Robotics

Pixel / Video WAM

H1 · +2,875%
Pixel 与 Video WAM 论文发布趋势
共 169 篇

代表演化:GR-1 → GR-2 → UniPi → Genie 2 → WorldVLA → DreamZero

数据口径:Google Scholar / arXiv · 2025.01—2026.07

第三章 · CHAPTER 03

技术范式

面向开放世界长程自主移动操作的机器人决策模型

通过空间理解、长短期记忆、预测规划与专家技能,把通用智能转化为鲁棒的物理执行。

空间理解、预测规划与动作执行协同的分层机器人 Harness

场景理解

LAYER 1

世界是什么样,机器人应该做什么

空间理解与短期记忆:结合 VLM 与 3D 观测构建带尺度的场景关系图,持续维护对象状态、任务进度与环境变化。

预测规划

LAYER 2

做了之后会发生什么,据此该走哪条路径

Predictor + Planner:基于 JEPA 预测动作后的场景变化,结合长期记忆中的交互与恢复经验,规划空间轨迹和技能顺序。

动作

LAYER 3

如何以高频、稳定、安全的方式执行

专家技能与反馈:调度技能库与全身控制器,适配物体与本体的接触差异;执行结果用于重规划、技能验证与经验积累。

分层的泛化与积累:同一高层意图可适配不同物体与本体;已验证的交互经验通过长期记忆与技能库复用,支持跨任务、跨场景的持续扩展。

差异化 01

Relation Driven 的表征积累

以 Relation 作为核心世界表征

学什么 · Relation 表征

世界最本质的表征不是像素,也不是把视觉、语言和物理属性全部塞进模型,而是机器人、物体与环境之间的关系。系统从视觉、语言和 3D 信息中提取空间、拓扑、因果、通行和交互关系。

怎么学 · JEPA

让 JEPA 学习这些关系在机器人动作作用下如何变化,再结合预测和规划产生动作。不以专家数据为前提,因此更容易迁移到新的任务、物体和场景。

场景关系表征

以椅子为例

不需要预测椅子移动后的每一个像素,只需要判断

01

椅子是否更靠近桌子

02

移开后通道是否打开

03

当前动作是否让任务更接近完成

既过滤了与决策无关的细节,又保留了规划真正需要的信息,使同一套模型可以跨物体、跨任务和跨场景复用。布料操作中的 topology,就是关系表征已经跑通的一个特例。

差异化 02

面向不同层级的分层协同系统

让不同尺度的问题,在合适的层解决

单体端到端模型

一个网络 · 包办所有尺度
场景理解关系推理几何细节力控制
→

协律 · 分层协同系统

上层 · 粗颗粒

跨任务迁移

任务目标场景关系交互顺序
底层 · 细颗粒

本体相关 · 高频闭环

抓取力度摩擦实时纠偏

✕尺度冲突

长程推理与接触控制,压进一个网络互相拖累

→

✓按尺度分工

上层泛化关系,底层泛化控制

✕误差无缓冲

仿真与现实的接触差异,直接传导为执行失败

→

✓底层吸收 gap

高频闭环解决真实接触差异

✕牵一发动全身

加技能、换本体,任何改动都要整套重训

→

✓各层独立迭代

升级单层即可,无需从头重训

数据体系

面对开放世界无法穷举的任务空间,仿真交互数据是更低成本、更能泛化的路线

数据资产金字塔 仿真交互数据的规模化生成 覆盖广 · 通用性高(低特异性) 场景特异性强 · 专有价值高(高特异性) Tier 1 通用先验 Tier 2 仿真数据 Tier 3 真实场景 通用先验 Prior knowledge 网络场景数据 · 开放具身数据 场景分布与任务模式参考 先验辅助 仿真交互数据 Simulated interaction data 规模化 · 自有 · 可控 自动生成状态转移样本 部署校准 真实场景增量 Real-world increment 部署反馈 · 持续校准 仿真设定 Simulation setup 仿真 Rollout Simulation 结构化数据 Structured data 多样场景 办公室 · 零售 · 医院 布局与物理参数随机化 任务目标 初始状态 · 目标状态 任务约束与难度配置 候选动作 动作类型 · 连续参数 位移 / 旋转 / 接触点 虚线 = 时间推进 · 仿真器直接读取对象状态与接触关系 当前场景 + 执行动作 → 未来场景 Gt 结构化场景表征 对象状态与位姿 接触与交互关系 at 动作类型与参数 交互对象 时间步 Gt+n 演化后场景表征 对象状态真值 接触关系真值 JEPA 训练样本:(Gt, at) 条件预测未来隐状态 z,Gt+n 由仿真器提供监督真值。

模仿学习积累的是示教轨迹,会随任务与本体变更而贬值;关系表征与数据管线可跨物体、跨任务、跨场景复用,是真正随时间复利的资产。

第四章 · CHAPTER 04

商业化路径

最新进展 01 / 05

三层系统的完整自主流程

场景理解、任务与空间轨迹规划、移动操作技能协同运行

0:00 / --:--

仿真闭环验证一句「整理会议室」,从自主进门到整理完成

最新进展 02 / 05

同一框架,不同环境配置

同一套框架、同一条「整理会议室」指令,在不同桌椅布局与物体配置下闭环执行。

0:00 / --:--

多配置仿真验证改变环境配置,保持任务指令与系统框架不变

最新进展 03 / 05

在线可供性:理解如何与物体交互

依据物体拓扑、语义与当前状态在线计算交互方式,适配不同机器人本体。

0:00 / --:--

物体理解与本体约束结合在线选择交互部位、接触方式与可达方案

最新进展 04 / 05

跨本体全身轨迹跟踪

将全身参考轨迹映射到不同机器人本体,验证双臂、躯干与底盘的协同跟踪。

0:00 / --:--

Whole-body Tracking · 仿真验证跨本体的全身运动重定向与轨迹跟踪

最新进展 05 / 05

两类实机平台同步推进

轮式双臂本体与天玑 Luna 同步推进,展示实机形态与运动控制进展。

轮式双臂本体

实机运动演示

0:00 / --:--

天玑 Luna

实机遥操作演示

0:00 / --:--

OrchTech
协律科技

让具身机器人在开放场景中自主完成真实世界需求

附录:两类动作范式的本质区别

从数学本质角度出发

Imitation Learning

代表VLAWAM
核心思想

“看到这个状态,专家当时做了什么?”

假设

状态:st 动作:at

专家轨迹:τ* = (s0, a0, s1, a1, ···)

学习
πθ(at | st)
st → at

使用神经网络学习直接映射关系

VLA 和 WAM 的本质是状态 s 不一样

  • VLA:vision + language
  • WAM:+ 3D、点云、拓扑等
监督

VLA:在 s 状态下,正确答案是 action a*

WAM:在 s 状态下,st+1 会变成什么,以及正确答案是 action a*

Predictor + Planning

代表JEPA + Planning
核心思想

“做什么动作,世界会怎么变化?”
“哪一条路径能达到目标?”

假设

状态:st 动作:at 目标:g

学习
st, g → a*t:t+H

需要有一个 Predictor 进行推理

st → zt → Predictor → zt+1

搜索不同的动作,预测不同后果

a1→ st+1a2→ s′t+1a3→ s″t+1

先判断哪一个 st+1 能达成目标 g,再比较哪一条路径最优

监督

在 s 状态下,输入 a,st+1 会变成什么?

附录:两类动作范式的本质区别

两者的泛化性来源与核心瓶颈

Imitation Learning

泛化性

为什么容易出现“分布外崩溃”?

如果训练集有:

A → B → C → D

模型学会:A → B,B → C,C → D

但实际执行:A → B′

模型并不知道:B′ → C

泛化思路是学习:B′ / B″ / B‴ / B⁗ → C

举例:如果训练集有

  • 推箱子
  • 拿杯子
  • 开抽屉
→

模型做不到

  • 推椅子
关键瓶颈

学习 B′ -> B⁗⁗⁗

“海量数据”

Predictor + Planning

泛化性

模型学会:

A → B

A → C

A → D

但实际执行:

B、C、D 谁最接近 goal

理论上具备前者没有的一项能力:

组合已有知识,产生训练数据中没有的 action sequence

举例:如果训练集有

  • 左推
  • 右推
  • 前推
  • 后推
→

模型预测如何到达目标位置 goal

  • 先左推
  • 再前推
  • 再右推
关键瓶颈

模型能否正确预测未来?

也需要数据,但不需要左侧那么多;
模型理解模糊意图即可,因为 Planning 可以补齐中间状态的 dynamic。

商业化推进路线

以会议室完成开放场景的系统验证,再基于通用能力扩展技能,进入写字楼、餐厅和酒店等服务空间

阶段一 · 0—3 个月

系统级能力验证

以会议室的随机布局和多种操作任务,验证开放世界理解与移动操作的完整闭环

验证范围

陌生布局理解,以及开门、推拉、抓取、放置等移动操作

可扩展性信号

同一系统在不同布局与物体组合中持续完成任务,不依赖固定场景脚本

阶段产出

通用开放世界理解与移动操作底座

阶段二 · 3—6 个月

扩展场景与技能

沿用统一架构,把会议室能力扩展到商业写字楼与更多服务任务

扩展方式

将已验证的交互经验沉淀为长期记忆与可复用技能,扩展任务与场景

资源投入

加强真实交互采集、预测模型训练与技能验证,提升长程任务稳定性

阶段产出

可复用技能库、数据闭环与部署工具链

阶段三 · 6—12 个月

聚焦细分行业商业化

融资后选择需求明确、价值可衡量的细分行业形成标准产品

行业选择

餐厅、酒店等高频服务场景,优先验证客户付费意愿与部署条件

产品化方式

复用通用底座,按行业增加技能与工作流,避免重复搭建整套系统

阶段产出

细分行业解决方案与付费客户试点

阶段四 · 12—24 个月

跨场景规模复制

复用通用能力底座,以配置和增量技能替代从头研发

复制范围

商业写字楼、餐厅、酒店及其他半结构化服务空间

规模杠杆

复用场景表征、交互经验与专家技能,降低新场景的适配与部署成本

阶段产出

标准产品组合与规模化交付体系

附录: 执行本体

概念形态与真机原型

交互执行本体概念形态

概念形态

Concept

原型 · 上下坡

Prototype

原型 · 不平整地面

Prototype

Concept

轮式双臂本体

轮式底盘与双臂统一调度,高度可调,适配办公、商超、家居等空间。

统一调度高度可调近人空间

Performance

整机性能鲁棒稳定

上下坡、不平整地面等移动能力,以及双臂协同操作,均已在真机验证。

上下坡不平整地面双臂协同