飞书原文 · 源修订 15
💡
系统实验室： 以 OpenPI 一类开源 VLA 训练栈为对象，完整走通“数据契约 → 训练 → 评测 → 推理服务 → 控制接口 → 监控 → 失败回流”。重点不是记住命令，而是理解每一层的责任边界与证据。
学习目标
完成本课后，应能阅读 OpenPI 式代码库的数据、模型和推理边界；建立最小可复现训练；验证动作归一化、时间对齐和控制频率；设计离线、回放、shadow 与真机门禁；让一次失败可追溯、可重现、可修复。
1. 系统分层
任何一层都可能让系统“离线正确、真机错误”。实验室要求每层都有独立测试与版本标识。
2. 数据进入模型前经历什么
典型变换包括：episode 切片、图像 resize/crop、语言 tokenization、本体选择、动作坐标转换、动作归一化和 action chunk 构造。训练样本可写为：
读法： 时刻 t 的模型输入由最近 k 步图像、机器人状态和语言指令组成，监督目标是从 t 开始的 H 步动作块。
推导： 单步策略只学习当前状态到当前动作；action chunk 策略把未来 H 步动作联合视为一个监督目标，以减少逐步采样开销并学习短时动作相关性。这里的 t 必须是统一时钟上的物理时刻，而不是各文件中的数组下标。
2.1 时间对齐是因果契约
图像、关节状态和动作常由不同线程、不同频率和不同设备时钟记录。对观测时刻 t_o，应在允许窗口内选择实际生效时间最接近的动作：
读法： 选择时间戳最接近当前观测的动作样本，并要求两者的时间差不超过容许误差 epsilon。
推导： 监督学习假设输入先于其标签对应的物理响应。先按绝对时间差做最近邻匹配，再用 epsilon 拒绝过远样本，可避免把队列延迟、丢帧或时钟漂移误当成策略规律。更严格时还需补偿相机曝光、网络和执行器生效延迟。
验证不能只看数组长度。应把图像、状态、候选动作和真实生效动作画在同一时间轴，并注入已知运动，检查动作方向与物体响应的先后关系。
3. 归一化是部署契约
若训练使用：
读法： 第 j 个动作维度减去训练集均值，再除以该维度标准差，得到归一化动作。
推导： 若动作维度的量纲和数值范围不同，未经缩放的平方误差会被大尺度维度支配。中心化移除位置偏置，除以标准差把各维度变到近似可比尺度；均值和标准差必须按数据版本、本体和动作语义冻结。
部署必须用同一统计量反变换：
读法： 把模型输出乘回训练时的标准差，再加回均值，恢复第 j 个动作维度的物理量。
推导： 从归一化定义两边乘以 sigma_j，再加上 mu_j 即得逆变换。它只有在维度顺序、单位、机器人本体和统计量与训练期完全一致时才是原变换的逆；任何一项错配都可能产生数值合法但物理错误的命令。
对重尾动作常使用分位数缩放。统计量必须跟数据版本、机器人与动作维度绑定。错误的单位、维度顺序或夹爪方向会产生合法张量，却导致危险动作。
4. 最小训练复现
- 锁定代码 commit、容器、预训练权重和数据 manifest。
- 先用极小数据 overfit，确认 loss 能下降且动作可反归一化。
- 固定 batch，验证单卡与多卡的有效 batch 语义。
- 保存随机种子、优化器、学习率、梯度范数和 checkpoint hash。
- 从 checkpoint 在干净环境重建推理，比较固定输入的输出。
5. 动作输出究竟在哪里变成机器人命令
| 边界 | 验证问题 |
|---|---|
| 模型输出 | 连续动作、token、噪声还是 flow state |
| 采样器 | 步数、随机性、温度和数值积分 |
| 反归一化 | 统计量、单位和维度是否一致 |
| 机器人适配器 | 绝对/增量、坐标系、限位与夹爪语义 |
| 控制器 | 频率、插值、只执行 chunk 前几步 |
5.1 坐标变换必须能组成闭环
若模型在相机坐标系中预测末端目标位姿，而控制器需要基座坐标系命令，则：
读法： 基座到目标末端的命令位姿，等于基座到相机的标定变换乘相机到预测末端的位姿。
推导： 齐次变换按路径顺序相乘：先从基座到相机，再从相机到目标末端，就得到基座到目标末端。左右乘顺序、坐标系方向或米与毫米任一错误，都可能保持矩阵形状正确却让机器人向错误方向运动。
5.2 动作块长度隐含控制时间
读法： 一个动作块实际覆盖的时间，等于本次执行的动作步数除以控制频率。
推导： 控制周期为一除以控制频率，连续执行 H_exec 步的总时长就是步数乘周期。模型按 10 Hz 训练而控制器按 20 Hz 回放时，同一动作块的物理持续时间会减半；因此步数、频率和重规划周期必须作为同一个部署契约版本化。
6. 延迟预算
记录 P50/P95/P99：
读法： 端到端延迟等于采集、预处理、推理、后处理、传输和控制器等待时间之和。
推导： 一个动作必须依次经过这些串行阶段才能影响机器人，因此关键路径上的耗时相加。若部分阶段并行，应使用实际时间线上的关键路径而不是机械求和；部署门禁应检查 P95、P99 和最坏抖动，而不只看平均值。
6.1 陈旧动作必须在执行前失效
从观测生成的动作只能在有限时间内代表当前世界。执行第 r 步动作前应满足：
读法： 观测已经过去的时间，加上到动作块第 r 步的预计执行时间，不能超过这条动作计划的有效期。
推导： 动作块越靠后，依赖的观测越陈旧，因此动作年龄不仅包含当前通信与推理延迟，还要加上块内排队时间。超过有效期后继续重试会把旧状态下的正确动作变成新状态下的错误动作，系统应丢弃、重新感知或切换安全控制器。
7. 四级验证路径
- Unit： schema、transform、归一化、采样器和适配器。
- Offline： 损失、动作误差、固定输入输出与 held-out episode。
- Replay/Shadow： 在真实日志上实时运行，不取得控制权。
- Robot： 安全场地、限制动作、人工接管、逐步扩大任务。
离线动作 MSE 只能检查管道，不足以证明闭环成功，因为多峰任务、分布偏移和恢复行为无法由单步误差充分表达。
8. OpenPI 式系统的关键消融
- 冻结相同数据，只更换动作表示或采样步数。
- 冻结模型，只改变 action chunk 执行长度。
- 冻结策略，只改变控制频率与延迟。
- 按数据源、机器人和任务移除，观察跨本体收益。
- 比较原始 checkpoint、目标场景后训练和失败回流后版本。
9. 一次失败怎样成为训练事实
每次线上 episode 绑定 deployment id、model hash、config hash、robot/firmware、数据版本和 monitor 事件。失败进入 triage 后，不只标注“失败”，还要定位阶段、可恢复性、物理严重度、可能根因和所需监督类型。
10. 实验室交付物
实验目标。 用一个小任务走通数据、训练、推理、控制、监控和失败回流，要求任何结果都能从部署 ID 追溯到代码、模型、数据、配置、统计量、机器人和固件。
| 阶段 | 最小操作 | 通过证据 | 故障注入 |
|---|---|---|---|
| 数据契约 | 验证 schema、时间戳、坐标系、单位和动作维度 | 随机样本可视化与 validator 报告 | 交换维度、反转夹爪符号、制造时间错位 |
| 最小训练 | 小数据 overfit，再做独立 held-out episode | loss、反归一化轨迹、seed 与 checkpoint hash | 删除 normalization stats、改变有效 batch |
| 推理重建 | 在干净容器从 manifest 启动服务 | 固定输入输出、依赖锁和模型配置一致 | 改变 crop、tokenizer 或默认配置 |
| 动作适配 | 逐层验证坐标、单位、绝对/增量和限位 | 合成姿态测试与零动作测试 | 毫米/米错配、矩阵顺序颠倒 |
| 实时回放 | 按真实频率跑 replay/shadow | P50/P95/P99、动作年龄和丢弃率 | 网络抖动、超时、重试和 GPU 降频 |
| 受控真机 | 限速、限空间、人工接管、逐级扩大 | 任务结果、峰值力、停止距离和恢复率 | 目标移动、传感器冻结和接触扰动 |
| 失败回流 | 把一次失败固化成数据切片和回归测试 | 事件时间线、根因、修复 commit 与门禁结果 | 回滚模型但保留错误配置，验证是否被发现 |
最小交付包。 episode schema、数据 manifest、训练 manifest、checkpoint、normalization stats、推理镜像、动作适配器测试、延迟报告、shadow 结果、真机记录、部署 manifest 和失败 lineage 缺一不可。
11. 常见失效模式
| 失效模式 | 为什么难发现 | 决定性检查 | 修复 |
|---|---|---|---|
| 训练与部署 crop 不同 | 张量形状相同，离线服务仍能输出 | 保存变换后的像素并逐像素比对 | transform 配置进入 manifest 和哈希 |
| normalization stats 丢失或错本体 | 输出范围看似正常但物理尺度错误 | 归一化再反归一化必须逐维还原 | 统计量与数据、本体、动作 schema 原子打包 |
| 训练 10 Hz，部署 20 Hz | 动作方向正确但时长和速度翻倍 | 比较动作块覆盖秒数而非只比步数 | 频率、执行步数和重规划周期联合版本化 |
| 网络重试执行陈旧动作 | 请求最终成功，服务可用率看起来更高 | 记录观测时间、生成时间和每步执行年龄 | 动作有效期、幂等序号和超时后重新感知 |
| 配置默认值未进入 artifact hash | 同一 checkpoint 在不同环境行为不同 | 干净环境重建并比较完整 resolved config | 冻结解析后配置并纳入部署 manifest |
| 只留成功视频 | 无法重放 monitor、动作和系统上下文 | 随机抽一例失败能否重建完整时间线 | 保存原始观测、动作、monitor、版本和人工操作 |
12. 本课练习
- 画出从 dataset sample 到电机命令的所有坐标与单位变换。
- 设计一个能发现夹爪动作符号相反的单元测试。
- 解释为什么固定输入输出一致仍不能保证闭环可复现。
- 为 P99 推理超时设计 watchdog 和降级动作。
- 把一次“抓取后掉落”拆成数据、策略、控制和监控四层诊断。
论文与工程阅读
| 工作 | 论文或工程事实 | 作者解释 | 课程判断 |
|---|---|---|---|
| OpenPI | 开源仓库提供 π 系列模型、训练配置、数据转换、策略服务和机器人接入示例。 | 项目把模型实现与数据、推理和适配代码放在同一训练栈中。 | 真正的复现单位不是 checkpoint，而是代码、配置、统计量、数据契约和服务接口的整体。 |
| π0 | π0 将预训练视觉语言模型与 flow matching 动作专家结合，生成连续动作块。 | 作者用通用语义表征连接多任务机器人数据和连续控制。 | 部署审计必须同时检查 VLM 输入处理、动作采样过程和 action chunk 的真实控制语义。 |
| FAST | FAST 用频域变换和离散化压缩连续机器人动作，提高自回归动作 token 的效率。 | 作者把高频动作压缩为更易被语言模型建模的 token 序列。 | tokenizer 是部署 artifact；其版本、反解码和动作统计量错配会直接改变物理命令。 |
| Open X-Embodiment / RT-X | 该工作统一多个机构、机器人本体和任务的数据，并训练跨本体策略。 | 作者通过标准化数据格式和本体相关动作空间扩大可迁移经验。 | 跨本体收益依赖 schema 和适配边界，不能把拼接后的张量一致误认为物理语义一致。 |
| DROID | DROID 提供大规模真实机器人操作数据、标准化采集硬件和多场景任务分布。 | 作者强调可扩展采集流程和真实环境多样性。 | 数据规模只有在时间同步、设备标定、失败保留和版本血缘可靠时才会转化为工程收益。 |
| LeRobot | LeRobot 提供机器人数据集、策略训练、评测与硬件接口的开源工具链。 | 项目试图降低复现机器人学习实验和接入硬件的门槛。 | 工具链能减少样板代码，但仍需为每台机器人显式验证坐标、频率、限位、延迟和安全层。 |
13. 交叉阅读
与路线 A 连读。 π0、FAST 和动作生成决定模型输出是什么；G4 追问这些输出经过采样、反归一化和适配后究竟变成什么物理命令。
与路线 E、F 连读。 跨本体数据需要统一 schema，但坐标系、频率、动力学和控制器仍必须在机器人边界显式恢复。
与 G1-G3 连读。 统计评测决定证据是否可信，数据血缘决定能否复现，运行时保障决定模型获得多大部署权限。