程序化任务生成与具身数据

程序化任务生成（procedural task generation）是用可复现的任务规格和随机化配置，批量创建场景、初始状态、交互目标与数据记录的过程。它的价值不只是“生成更多仿真画面”，而是把任务变体、数据分布和验收规则显式化，让每条 episode 都能追溯到生成依据。

从数据工程角度看，生成器接收场景、资产、空间布局、视觉条件和机器人本体等输入，输出任务实例、观测、动作、状态、成功标签以及质量元数据。后续训练和评估消费的是这些有边界、有版本、有 split 归属的 episode，而不是随机数本身。

任务规格先于随机化

一个可复用的生成器应先定义任务规格，再决定哪些字段随机化。最小规格可以包含：

task_id: pick_place_v1
scene_id: kitchen_counter
scene_asset_version: kitchen-assets-2026-01
robot_id: arm7
robot_asset_version: arm7-urdf-3
seed: 18431
observation: [camera.front.rgb, proprioception.joint_position]
action: [arm.joint_position_delta, gripper.opening]
success_condition: object_in_target_region
split: train

其中，task_id 表示任务语义，scene_id 和资产版本表示可复现的环境，robot_id 与本体版本约束运动学和传感器接口。观察和动作定义必须同时声明采样频率、单位、坐标系、延迟以及时间戳语义；否则相同形状的数组仍可能对应不同学习目标。

随机化配置还要成为数据的一等元数据，而不是只留在生成脚本里。例如记录物体类别、尺寸、材质、初始位姿、目标位姿、光照、相机扰动、摩擦参数和碰撞参数。这样可以回答“某条失败轨迹由哪个变体产生”“评估是否见过同一资产”“哪些因素造成成功率下降”等问题。

五类生成维度

场景与资产

场景决定可交互的空间和任务上下文，资产决定物体的几何、材质、语义类别和物理属性。生成时应为资产分配稳定 ID，并保存资产版本、来源和许可信息。训练与评估最好按资产实例或资产族隔离，避免模型只记住某个网格的纹理或尺寸。

空间布局

布局随机化可以改变物体位置、目标区域、障碍物和可达性，但必须服从碰撞、支撑面、工作空间和任务可行性约束。每次生成后保存变换矩阵、参考坐标系和约束检查结果，便于重放以及分析“失败来自规划困难还是标签错误”。

视觉条件

可随机化的视觉因素包括光照方向、色温、材质、纹理、背景、相机位姿、曝光和噪声。视觉随机化应与真实传感器能力对齐：仿真可以产生完美分割或深度真值，但数据中需要区分传感器观测、仿真真值和后处理标签，不能把三者混为一个字段。

机器人本体

本体维度涉及机器人型号、关节限位、夹爪参数、相机安装位姿、控制频率、执行器延迟和噪声。若改变动力学或传感器配置，必须更新本体版本和校准引用。否则同一 task_id 下混入了动作空间不同的轨迹，训练和评估结果难以解释。

Episode 数据契约

任务规格描述“要生成什么”，episode 契约描述“生成了什么以及是否可信”。建议把下列对象绑定在同一条可追溯链上：

任务实例字段

• 身份：task_id、task_instance_id、scene_id、资产版本、本体版本和生成器版本。
• 生成：随机种子、随机化配置哈希、初始状态、目标状态和约束求解结果。
• 观测与动作：相机和本体字段、动作表示、单位、坐标系、控制频率、时间戳及延迟。
• 结果：成功条件、成功状态、失败原因、terminated、truncated 和 episode 边界。
• 质量：缺帧、碰撞穿透、越界、时间不同步、标签完整性、人工抽检和自动验证结果。
• 划分：split、划分规则版本、资产与场景隔离键，避免同一变体泄漏到验证或测试集。

一个 episode 的 success 不能替代质量状态。任务可能成功但相机丢帧，也可能任务失败但轨迹对失败恢复训练有价值；应分别保存任务结果和数据可用性。

生成、处理与验证流程

1. 编译任务规格：校验字段、资产版本、动作空间、成功条件和随机化范围。
2. 采样并约束布局：按 seed 生成初始状态，执行碰撞、可达性、支撑面和目标有效性检查。
3. 运行交互：记录统一时间轴上的 observation、action、state、事件和 episode 边界。
4. 生成标签：保存仿真真值、成功条件和失败原因，并注明标签来源与版本。
5. 质量验证：检查时间、坐标、传感器、物理约束和字段完整性，拒绝或标记不合格 episode。
6. 分配 split：在生成前锁定按场景、资产、布局或任务变体的隔离规则，再写入 train、validation、test。

这一流程可以接入不同仿真器。可先阅读仿真器与具身数据了解观测、动作、记录和真实验证的共性，再参考MuJoCo 与具身数据了解物理状态、控制循环与数据落盘；字段含义可对照具身智能数据术语表。程序化生成器的接口应保持在任务规格和数据契约层，不要把下游数据集绑定到某个引擎的内部对象名。

质量控制与评估

防止任务泄漏

随机划分 episode 不足以形成独立测试集。应根据评估问题选择隔离键：测试新物体时隔离资产实例或类别，测试新布局时隔离空间模板，测试新任务组合时隔离任务图或指令模板。将划分规则版本写入元数据，并在构建数据集时检查 train 与 validation/test 的 ID 交集。

控制资产重复与随机化失控

对资产做规范化 ID、几何或语义去重，检查同一物体的不同文件是否只是纹理或命名变化。对随机化参数记录实际分布和拒绝率：如果约束过滤掉了大多数样本，最终数据分布可能与配置声明不一致。生成报告应至少包含每个变体数量、参数直方图、失败原因和有效 episode 比例。

避免只生成易成功样本

先定义难度轴，再按难度采样或分层评估，例如遮挡程度、目标距离、可达性余量、视觉干扰、动力学扰动和动作延迟。不要只以成功率筛选数据；保留有明确失败原因的困难 episode，并报告成功率、失败类型覆盖率、每个变体的样本数和跨 split 泛化结果。

从仿真质量走向数据集可用性

评估至少分成三层：

• 生成有效性：规格是否完整，布局是否满足约束，episode 边界和标签是否正确。
• 分布覆盖：任务、资产、布局、视觉和本体维度是否达到目标分布，是否存在长尾空洞。
• 下游效用：训练损失之外，检查策略在未见变体上的成功率、失败模式、动作延迟敏感性，以及与少量真实数据的差异。

生成数据还应与真实数据做小规模对照：比较图像统计、深度噪声、动作频率、接触事件和成功条件。仿真成功不等于真实可执行，质量报告需要明确哪些结论只在仿真域内成立。

相关研究与工具

• RoboGen：围绕机器人操作任务的自动任务与场景生成研究入口，适合了解任务组合和生成式扩展的思路。
• RoboVerse：面向多仿真器和多机器人任务的统一环境生态，可用于比较任务接口与数据生成边界。
• Proc4Gem：程序化生成与机器人操作数据相关的研究代码入口，阅读时应核对版本、数据许可和实际输出字段。
• MuJoCo 官方文档：物理模型、仿真步进和传感器接口参考。
• Isaac Lab 官方文档：并行环境、任务配置、传感器和数据记录参考。

这些资料的实现目标和数据格式并不完全相同。落地时应以本项目的数据契约为准，逐项确认输入版本、输出字段、标签语义、许可证和评估协议。

一句话定位

程序化任务生成的核心产物不是随机场景，而是带有规格、版本、时间对齐、质量结果和 split 归属的可追溯 episode；只有这样，规模化仿真数据才适合训练、评估和后续数据集复用。