CuboiLeo / SuperMimic-Reproduced

# SuperMimic-Reproduced
> **English summary.** An independent from-scratch reproduction of *SuperMimic* (arXiv:2610.28480): a learned differentiable world model plus short-horizon BPTT actor-critic for Unitree G1 whole-body motion tracking, built on mjlab / MuJoCo Warp. Includes the data pipeline (LAFAN1, BONES-SEED 129.9k clips), differentiable FK and analytic reward heads, the world model and imagination trainer, torchrun data-parallel training, the Appendix-F benchmark, and an interactive replay viewer. On LAFAN1 it reaches the paper's 0.82 tracking score in 1.66 h on one RTX 5090 (with anchor-relative observations; paper-observation runs are in progress). Documentation is in Chinese; see `docs/` for the paper spec, plan, review log and experiment log.
从零复现论文 **SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model**（arXiv:2610.28480，CoRL 2026）：一个学习得到的可微世界模型 + 短视野 BPTT actor-critic，用于 Unitree G1 人形全身动作跟踪。底座是 mjlab（MuJoCo Warp），固定到 commit `8bb2bc9`；不使用 rsl_rl，世界模型、BPTT 训练器、多 clip 动作库、基于回报的重置采样、评测全部自己实现。
> 状态（2026-10-21）：LAFAN1 上达到论文量级（M3），BONES-SEED 全量数据管线与单卡训练完成，多卡训练已跑通；正式结果正在按论文观测口径重跑（e6/e7）。详见 docs/EXPERIMENTS.md。
## 结果速览
评测协议为论文 Appendix F：每条 clip 从首帧整条确定性播放、无噪声无域随机化，**归一化回报** = Σ每步奖励 / (0.1 × 步数)，1.0 为完美跟踪；"失败" = 训练终止条件触发。
| 实验 | 数据 | 硬件 | 观测口径 | 训练时长 | 评测回报 | 失败 |
|---|---|---|---|---|---|---|
| 论文 Fig. 4a | LAFAN1 40 clip | 1×H100 | 论文 | 1.2 h | 0.82 | – |
| e2 | LAFAN1 40 clip | 1×5090 | **论文** | 1.8 h | 0.56 | 9/40 |
| e3 | LAFAN1 40 clip | 1×5090 | +锚点相对位姿 | 1.66 h / 3.3 h | 0.824 / **0.904** | 5/40 / 3/40 |
| 论文 Table A.8 | BONES-SEED 129.5k clip | 1×H100 | 论文 | 3 h | >0.90 | 25/129,514 |
| e5 | BONES-SEED 129.9k clip | 1×5090 | +锚点相对位姿 | 4.2 h / 5.8 h | 0.934 / 0.935（2000 条子集） | 6/2000 / 5/2000 |
| e6 / e7 | LAFAN1 40 clip | 3×5090 / 1×5090 | **论文** | 进行中 | – | – |
- 世界模型 8 步开环归一化误差 0.0065–0.0099（论文 0.007–0.011）。
- 仿真吞吐 4096 环境约 2×10⁵ env-steps/s（5090）；`torch.compile` 后一次想象 fwd+bwd（批 2048，H=32）0.33 s。
- 四卡数据并行（显式梯度 all-reduce）效率 91%。
**最重要的偏离项**：论文 Table A.1 的策略观测只有 93 维本体项（无状态估计）。按此口径的 e2 评测回报封顶 0.56，根部位置/朝向奖励几乎拿不到；加入 BeyondMimic 式锚点相对观测（goal 组追加 9 维）后 e3 达到 0.904。e3/e5 的数字因此**不与论文同口径**，正式结果以论文口径的 e6/e7 及后续 BONES-SEED 全量 run 为准。
## 文档
| 文件 | 内容 |
|---|---|
| docs/PAPER_SPEC.md | 论文全部数值、公式、协议的逐条转录；"未指明"清单 U1–U20 |
| docs/REPRODUCTION_PLAN.md | 复现计划：目标、环境、设计决策 D1–D20、repo 骨架、分阶段步骤、测试、预算、风险 |
| docs/REVIEW_LOG.md | 计划的自审与两轮对抗审查记录 |
| docs/EXPERIMENTS.md | 实验日志：每个实验的配置、曲线、评测、偏离计划的决定、踩坑记录 |
| 论文原文 | arXiv:2610.28480（不随仓库分发 PDF） |
## 代码结构
 [code] 
## 环境
- Python 3.12，`uv`；torch 2.14.1+cu130、mujoco 3.16、warp 1.18、mjlab `8bb2bc9`（见 `pyproject.toml` 的 `[tool.uv.sources]`）。
- 已验证硬件：机器 A = 1×RTX 5090（驱动 580 开源内核模块）；机器 B = 4×RTX 5090（Threadripper PRO，PCIe，无 NVLink）。
- 系统 `PYTHONPATH` 若带有 ROS 的 python3.10 包会让 pytest 崩溃，所有命令前加 `env -u PYTHONPATH`。
 [code] 
## 数据
- **LAFAN1**（40 条 G1 重定向 CSV，HF `lvhaidong/LAFAN1_Retargeting_Dataset`）→ `data/npz/lafan1/`，2.451 h（论文 2.45 h）。
- **BONES-SEED**（HF `bones-studio/seed`，`g1.t