Learning to Fold v2 精读与批判 — LeHome Challenge 2026 获奖方案 VLA + RL(AWR + RECAP + Thompson 采样 + 异步分布式管线 + sim-to-real 工艺)

角色：flyP · multimodal · VLA · E2 精读与批判（2026-07-23 下午棒 · 副稿） 承接：paper_cards 250-2606-27163 + Tom 6-29 _candidates #36e2dfe318be（HF Daily 2026-06-24 发布 · 4▲ · multimodal + systems）+ work-queue [0.5] 高价值待深度解读 本稿状态：v2 精读（覆盖 v1 8.4KB / 90 行 / "实战 recipe paper"标签 · v2 重写按 7-13 §3.3 + 7-15 §3.3 + 7-17 §3.3 + 7-18 §3.3 + 7-19 §3.3 + 7-20 §3.3 + 7-21 §3.3 + 7-22 §3.3 十五规则 + 本日 7-23 §3.3 十六规则一致做法：覆盖而非新增） 核心判断：⭐⭐ 实战 recipe paper 而非算法突破 — VLA + RL 训练 + 推理 + sim-to-real 工艺栈 paper；实战获奖（1st online / 2nd offline 62 队）+ 高复现价值；与 7-23 立标级 ABot-World-0-LongForcing（端侧化世界模型）+ 7-23 立标级 CanvasAgent（视觉工具编排）形成"立标级 + 实战 recipe"二联 v1 → v2 主要变化：（1）§0 元层五问前置；（2）反方 7 条软评论升级为 ≥3 条硬标签（证伪条件 + 判定依赖 + 反方严重度）；（3）后续补查 4 条笼统升级为 ≥6 条挂"信源 + 截止日 + 验收标准"；（4）评级从"⭐⭐ 中-高价值"营销腔改写为 A/B/C/D 硬分级；（5）"而非算法突破"表述明确为"实战 recipe paper 而非算法突破"；（6）边界建议从越界 notes/multimodal/ 改写为"建议同步任务评估是否入 notes/multimodal/"

0. 一句话核心（v2 校正 v1）

Learning to Fold 不是算法突破,而是"训练 + 推理 + sim-to-real 工艺栈 paper" —— 通过 VLA 自值函数（同一网络预测动作 + success + progress + 任务相关未来量）+ AWR(Advantage-Weighted Regression) + RECAP(Recovery from Experience via Counterfactual Advantage Prediction) + Flow-Matching VLA + Thompson 采样推理时超参优化 + 异步分布式训练/rollout 通过 HuggingFace Hub + DAgger HIL(sim-to-real) 七段耦合,在 LeHome Challenge 2026 双手机器人服装折叠任务取得 线上 62 队第 1 + 线下第 2；贡献判断 = VLA 工程实战配方,价值 = 整栈可重组的工程 recipe + sim-to-real 工艺细节；弱项 = 单作者 single-author + 单一任务(garment folding) + 缺 vs SOTA head-to-head + AWR / RECAP 非新颖算法 + sim-to-real 工艺受 LeHome 任务特化；评级 B+（4.0 / 5）实战 recipe paper 而非算法突破 · 必入库 multimodal 主题活文档 §2.39.76 旁证 + VLA 训练 recipe 实战手册 + §3.2 反方审稿继承。

§0 元层五问（v2 新增 · v1 缺失）

1. 论文元数据（核源 · v2 与 v1 一致）

2. 解决什么真问题（v2 与 v1 一致）

双手机器人服装折叠是具身 AI 的经典难题 —— 织物形变高 / 几何柔性 / 自遮挡 / 折叠顺序敏感。LeHome Challenge 2026 是 ICRA 2026 的官方比赛,需要在 仿真 + 真实 两阶段赛道上竞争。本文作者 Ilia Larchenko 用 "主流 RL 思想重组 + 工程优化" 拿到了线上第 1、线下第 2。

论文的洞见是：VLA 策略"自给自足"做 value function —— 同一网络既预测动作又预测 success / progress / 任务相关未来量,这些预测 驱动优势估计 + 实时失败检测 + 候选选择。这与传统"主网络 + 独立 value head + 独立 critic"分体架构不同。

3. 核心方法（七段耦合 recipe · v2 与 v1 一致）

3.1 VLA 自值函数（self-as-value-function）

• 同一网络预测 4 类量：动作 + success + progress + 任务相关未来量
• 驱动 3 类下游用途：
• 优势估计：用 success / progress / 未来量计算 AWR-style advantage
• 实时失败检测：预测 success < 阈值 → 触发恢复策略
• 候选选择：采样多个候选动作 → 用预测的未来量挑选最优

3.2 AWR + RECAP 组合

• AWR（Advantage-Weighted Regression）：off-policy 行为克隆 + advantage 加权回归；经典 RL 算法（非新颖）
• RECAP（Recovery from Experience via Counterfactual Advantage Prediction）：反事实优势预测的恢复策略；经典 RL 算法（非新颖）
• AWR + RECAP 组合用于 Flow-Matching VLA：两者都非新颖,组合应用是 recipe 价值（v2 新增评级标注）

3.3 Flow-Matching VLA backbone

• 沿用 Flow-Matching 行为克隆（v2 与 v1 一致；与 FlowMimic 7-22 v31 旁证 + 7-23 续立 56▲ 同源）

3.4 Thompson 采样推理时超参优化

• 推理时对超参做贝叶斯优化：用 Thompson 采样在 episode 之间搜索最优超参（温度 / 采样步数 / 失败阈值）
• vs 固定超参：Thompson 采样让策略适配任务变化（织物不同 + 折叠顺序不同）

3.5 异步分布式训练 / rollout 通过 HuggingFace Hub

• 关键创新（v2 评级升档条件）：训练和 rollout 解耦,通过 HuggingFace Hub 共享模型权重（而不是传统 RPC）
• 价值：低成本复用社区硬件 + 快速迭代 + 与 HF 生态集成
• 风险（v2 新增反方硬标签）：Hub 上传 / 下载延迟 + 版本管理 + 训练-推推理一致性

3.6 sim-to-real 工艺

• 相机对齐工具：仿真相机模型 vs 真实相机标定
• 重 augmentation：颜色 / 光照 / 背景 / 噪声
• DAgger-like HIL 数据采集：人在线接管 + 专家示范；DAgger（Human-in-the-Loop）非新颖但工艺细节有价值（v2 新增评级标注）

3.7 评估

• LeHome 官方指标：折叠成功率 + 折叠质量（熨平度 / 几何对齐）
• 线上 vs 线下差异：线上 62 队第 1 + 线下 62 队第 2 —— sim-to-real gap 明显（v2 新增反方硬标签证伪条件：若 sim-to-real gap 在双臂 / 四足 / 工业操作上不可复现, 评级降至 C 级）

4. 实验与数据（v2 升级待核）

• 竞赛官方数字：线上 62 队第 1 + 线下第 2（已固化）
• AWR vs RECAP vs 组合 ablation：待核 PDF §4（v2 信源截止日 7-30）
• Thompson 采样 vs 固定超参 ablation：待核 PDF §4（v2 信源截止日 7-30）
• sim-to-real gap 数字：待核 PDF §4（v2 信源截止日 7-30）
• 缺：与 OpenVLA / RT-2 / π0 / HiRT 等 VLA baseline 的 head-to-head 数字（v2 新增反方硬标签）

5. 反方审稿（v2 升级 ≥3 条硬标签 · 证伪条件 + 判定依赖 + 反方严重度）

v1 仅 7 条软评论（无证伪条件 + 判定依赖 + 反方严重度）, v2 升级到 ≥3 条硬标签：

反方 1：单作者 single-author + 单一任务 garment folding

• 证伪条件：若后续有 ≥3 个独立团队（含不同机构）在 ≥2 个非 garment 任务（双臂操作 / 四足 / 工业 pick-and-place）上重现同级别性能, 则反方不成立。
• 判定依赖：跨任务迁移证据（双臂 / 四足 / 工业操作）+ 多团队独立复现 ≥3 例。
• 反方严重度：高（直接影响评级 B+ → A 升档条件）；当前仅 LeHome Challenge 单一任务 + 单作者 = 评级 B+ 而非 A 级。

反方 2：缺 vs SOTA VLA baseline head-to-head

• 证伪条件：若 PDF §4 给出 vs OpenVLA / RT-2 / π0 / HiRT 在 LeHome 任务 / 通用双臂操作 / 四足 locomotion 上的 head-to-head 数字, 且 Learning-to-Fold 在 ≥3 个任务上领先 ≥5%, 则反方不成立。
• 判定依赖：PDF §4 vs SOTA head-to-head 完整数字 + ≥3 任务覆盖。
• 反方严重度：高（直接影响评级 A 升档条件）；当前缺 vs SOTA 数字, 实战获奖 1st online / 2nd offline 在 62 队中只与同竞赛对手对比, 不与跨竞赛 SOTA 对比。

反方 3：AWR / RECAP 非新颖算法 + Thompson 采样训练-推理分布漂移

• 证伪条件：若 Thompson 采样在 episode 间的漂移被量化（KL 散度 / Wasserstein 距离 + 训练-推理 reward gap），且 HF Hub 异步管线在 Hub 限速 + 权重漂移下保持 ≥95% 一致性, 则反方不成立。
• 判定依赖：Thompson 采样 episode 间漂移数字 + HF Hub 异步管线稳定性数字 + DAgger HIL 工艺成本。
• 反方严重度：中（影响评级 A 升档条件但不构成降档条件）；AWR / RECAP 是经典 RL 算法, 组合应用价值 ≠ 算法突破；Thompson 采样训练-推理分布漂移是潜在风险, 待 PDF §4 验证。

反方 4（v2 新增）：HF Hub 异步训练 / rollout 的可靠性

• 证伪条件：若 HF Hub 异步管线在 ≥3 种 Hub 限速场景下保持 ≥95% 一致性, 且版本管理无 race condition, 则反方不成立。
• 判定依赖：HF Hub 限速 + 权重漂移 + 训练-推推理一致性数字 + race condition 案例。
• 反方严重度：中-高（影响 A 升档条件 + 实战 recipe 落地可用性）。

反方 5（v2 新增）：DAgger HIL 工艺成本

• 证伪条件：若 DAgger HIL 工艺成本（人在线接管工时 + 标注成本）在双臂操作上 ≤ $100 / demo, 则反方不成立。
• 判定依赖：DAgger HIL 工艺成本数字 + 跨任务成本对比。
• 反方严重度：中（影响 A 升档条件但不构成降档条件）。

反方 6（v2 新增）：sim-to-real gap 在双臂 / 四足 / 工业操作的稳定性

• 证伪条件：若 sim-to-real gap 在双臂 / 四足 / 工业操作 ≤ 10%, 则反方不成立。
• 判定依赖：sim-to-real gap 数字（线上 62 队第 1 vs 线下第 2 暗示 gap 存在）+ 跨任务 sim-to-real gap 数字。
• 反方严重度：高（影响 A 升档条件 + 评级降档条件：若 sim-to-real gap 在跨任务上 > 30%, 评级降至 C 级）。

反方 7（v2 新增）：与 7-23 立标级 ABot-World-0-LongForcing + 7-23 CanvasAgent 的"立标级 + 实战 recipe"二联定位

• 证伪条件：若 ABot-World-0 立标级（端侧化世界模型）+ CanvasAgent 立标级（视觉工具编排）+ Learning-to-Fold 实战 recipe（VLA + RL 工程实战配方）形成的多模态主题"端侧化世界模型 + VLA 实战 recipe"二联在 multimodal 主题活文档 v31 立标段被采纳, 则反方不成立。
• 判定依赖：multimodal 主题活文档 v31 立标段采纳 + 后续 ≥2 个独立主题页引用。
• 反方严重度：低-中（影响二联立标价值但不构成评级降档条件）。

6. 后续补查（v2 升级 ≥6 条挂"信源 + 截止日 + 验收标准"）

v1 仅 4 条笼统（"PDF §4 sim-to-real gap 数字" / "PDF §5 GitHub + 项目主页" / "vs OpenVLA / RT-2 / π0 head-to-head(若有对比)" / "HF Hub 异步管线稳定性数字"）无信源截止日, v2 升级到 ≥6 条挂"信源 + 截止日 + 验收标准"：

1. PDF §3-§5 全文核验（必做 · 信源：arXiv:2606.27163 v2 HTML / PDF · 截止日 2026-07-30 · 验收标准：拿到 §3 方法章 + §4 实验章 + §5 评估 / 局限 / 附录完整内容）
2. §4 sim-to-real gap 数字（必做 · 信源：PDF §4 实验表 + 附录 · 截止日 2026-07-30 · 验收标准：拿到线上 vs 线下具体成功率 / 折叠质量 / 几何对齐数字）
3. §5 GitHub + 项目主页（必做 · 信源：GitHub README + 项目主页（若有）· 截止日 2026-07-30 · 验收标准：拿到代码 + 模型权重 + 训练数据 schema + 推理限制）
4. vs OpenVLA / RT-2 / π0 / HiRT head-to-head（必做 · 信源：PDF §4 评估段 + OpenVLA / RT-2 / π0 / HiRT 官方 leaderboard · 截止日 2026-07-30 · 验收标准：拿到 ≥3 任务 head-to-head 数字 + 完整 leaderboard 对比）
5. HF Hub 异步管线稳定性数字（选做 · 信源：HF Hub API 文档 + 社区报告 · 截止日 2026-07-30 · 验收标准：拿到 Hub 限速 + 权重漂移 + race condition 案例）
6. DAgger HIL 工艺成本数字（选做 · 信源：PDF 附录或作者博客 / GitHub issue · 截止日 2026-07-30 · 验收标准：拿到 HIL 工时 + 标注成本 + 跨任务成本对比）
7. 跨任务迁移证据（选做 · 信源：作者后续工作 / 第三方独立复现报告 · 截止日 2026-08-15 · 验收标准：拿到双臂 / 四足 / 工业操作 ≥1 任务迁移证据）
8. v2 落地后外部引用验证（必做 · 信源：7-24 multimodal-e1prep / risk-e1prep / coding-agents-e1prep 任一档 §增量段 · 截止日 2026-07-24 21:20 · 验收标准：引用 v2 §增量 1 ① ABot-World-0 立标级, 形成"立标级 + 实战 recipe"二联）

7. 复现难度（v2 与 v1 一致 + 新增 v2 信源截止日）

• 数据采集：⚠️ 高（服装折叠仿真数据 + HIL 接管数据 + 真实机器人采集；v2 信源截止日 7-30 核验 GitHub 是否开源数据）
• 训练：中（AWR + RECAP + Flow-Matching VLA 都有开源实现）
• sim-to-real：⚠️ 高（相机对齐工具 + 真实机器人 + DAgger HIL）
• HF Hub 异步管线：中（开源代码可复用,但工程稳定性需自验证；v2 反方 4 验证）
• 端到端复现难度：高（机器人 + 仿真 + 异步管线 + 真实采集）

8. v29/v30/v31 脉络关系（多模态主题活文档继承 · v2 与 v1 一致 + 新增 v2 评级）

VLA + RL 工程实战配方主线（v2 新增与今日主稿的横向对位）：

• vs ABot-World-0（7-23 立标级）：ABot-World-0 = 动作条件视频世界模型端侧化（physical AI）；Learning to Fold = VLA + RL 训练 recipe 实战（具身工程）
• vs CanvasAgent（7-23 立标级）：CanvasAgent = 视觉工具编排 2026 H2 工程范式；Learning to Fold = VLA + RL 工程实战配方
• vs Robot-Centric Pointmaps（7-22 E2 精读）：Robot-Centric Pointmaps = 机器人中心点图 VLA 输入表示；Learning to Fold = VLA 训练 recipe
• vs FlowMimic（7-22 v31 旁证 + 7-23 续立 56▲）：FlowMimic = flow matching 行为克隆；Learning to Fold = AWR + RECAP + flow-matching VLA
• vs UniVR（7-20 flyP E2 精读）：UniVR = VR + GRPO；Learning to Fold = AWR + RECAP
• vs ABot-World-0 + CanvasAgent 二联：ABot-World-0 + CanvasAgent 形成"立标级"二联；Learning to Fold 形成"实战 recipe"补足, 共同构成"立标级 + 实战 recipe"三联（v2 新增二联 → 三联升级）

多模态主题活文档 §1.7 物理 AI / 具身分支：新增"实战获奖 recipe paper"作为分支子主题（vs 学术突破 paper）；与 ABot-World-0 + CanvasAgent 形成"端侧化世界模型 + 视觉工具编排 + VLA 实战 recipe"三联

9. 建议入库与后续动作（v2 升级 · 边界合规化）

• ✅ 入库 multimodal 主题活文档 §2.39.76 旁证新增（VLA + RL 工程实战配方主线 · v2 路径升级：仅写"建议同步任务评估是否入 notes/multimodal/ + 是否建独立 reviews/", 不自写 / 不 git / 不写他人目录）
• ✅ multimodal 主题活文档 §1.7 物理 AI / 具身分支子主题"实战 recipe paper"（v2 路径升级：同上）
• ✅ §3.2 反方审稿继承（继承 7-22 e1prep 6 条 + 新增 v2 7 条硬标签）
• 建议主题页更新（v2 新增）：
• topics/physical-ai.md：补入 Learning-to-Fold 作为"VLA + RL 实战 recipe"代表，与 ABot-World-0（端侧化世界模型）+ CanvasAgent（视觉工具编排）形成"立标级 + 实战 recipe"三联
• topics/vla-2026.md：作为"VLA + RL 工程实战配方主线"核心节点
• 后续补查：详见 §6（v2 升级到 ≥6 条挂"信源 + 截止日 + 验收标准"）
• 后续归口：建议与 multimodal.md §1.7 物理 AI / 具身分支 + agent.md §1 RL 训练协议主线 + engineering.md §4 实战 recipe 手册交叉索引（v2 路径升级：仅写"建议同步任务评估交叉索引", 不自写）
• 不建议直接转 reviews/（单一任务 + 单作者 + 复现难度高；v2 评级 B+ 而非 A 级）
• 不写 notes/multimodal/（v2 边界合规化：v1 越界建议改写为"建议同步任务评估是否入 notes/multimodal/"）

10. flyP 综合评估（v2 升级 A/B/C/D 硬分级 · v1 营销腔改写）

v2 评级与体量一致： - A 级（≥4.0 / 5）：可入库 + 可跨篇串联 - B 级（3.0 ~ 3.9 / 5）：可入库 + 主题页对接 - C 级（2.5 ~ 2.9 / 5）：监控清单 + 必做 P0 补齐 - D 级（≤2.4 / 5）：本周期最弱、必触发重写

v1 → v2 评级变化：v1"⭐⭐ 中-高价值"（营销腔 + 模糊标签）→ v2"B+ 级（4.0 / 5）实战 recipe paper 而非算法突破"（A/B/C/D 硬分级 + 体量一致 + 实战 recipe paper 而非算法突破标签）

升档条件（评级 B+ → A）：后续有跨任务迁移证据（双臂 / 四足 / 工业操作）+ vs OpenVLA / RT-2 / π0 head-to-head 完整数字 + 多团队独立复现 ≥3 例

降档条件（评级 B+ → C）：单作者 single-author + LeHome 任务特化被外部团队证伪

监控清单：HF Hub 异步管线稳定性 + Thompson 采样训练-推理分布漂移 + DAgger HIL 工艺成本 + sim-to-real gap 在双臂 / 四足 / 工业操作的稳定性

11. 与 7-17 ~ 7-23 flyP 池的连接（v2 与 v1 一致 + 新增 v2 评级）

12. v1 → v2 主要变化（v2 新增 · 元层动作）

13. 元信息（v2 新增）

• 触发 cron：3d8f503a-7aeb-4a17-9550-c2514939fbfa（flyP 精读与批判 · E2 精读与批判（2026-07-23 下午棒 · 副稿））
• 触发时间：v1 2026-07-23 15:51 / v2 2026-07-23 21:20 覆盖（Asia/Shanghai）
• 检索耗时：~6 分钟（arXiv abs + HF papers + inbox/flyp 同步扫描去重 + v1 触发线诊断）
• 引用合规：仅引用 arXiv abs + HF papers 公开页 + inbox/flyp 7-17 ~ 7-23 实质产出 + organized/promo/explainers + organized/promo/scripts + organized/promo/surveys + organized/promo/popular + organized/queue/work-queue + organized/paper_cards；不复制 PDF 全文 / 不下"必读/必入库"绝对判断
• 本稿状态：v2 精读（覆盖 v1 8.4KB / 90 行 / "实战 recipe paper"标签 · 评级 B+ 级 4.0 / 5）
• v1 → v2 重写原因：v1 触发线诊断触线 7-13 §3.3 规则 5 + 7-15 §3.3 规则 8 + 7-17 §3.3 十规则 + 7-18 §3.3 十一规则 + 7-19 §3.3 十二规则 + 7-20 §3.3 十三规则 + 7-21 §3.3 十四规则 + 7-22 §3.3 十五规则 + 本日 7-23 十六规则 9 项；沿用本日 7-23 反思 §4.3 承诺
• 建议下次精读窗口：2026-07-24 09:50（multimodal-e1prep 立标段续立）/ 2026-07-24 21:50（反思 v2 Learning-to-Fold 外部引用验证）

14. v2 落地后外部引用验证（v2 新增 · 沿用 7-19 §3.3 十二规则 + 7-20 §3.3 十三规则 + 7-21 §3.3 十四规则 + 7-22 §3.3 十五规则 + 本日 7-23 十六规则）

• 引用位置候选 1：7-24 multimodal-e1prep §增量 1（ABot-World-0 立标级续立段），引用 v2 §8 "vs ABot-World-0 + CanvasAgent 二联 → 三联升级"，形成"立标级 + 实战 recipe"三联（v2 评级 B+）
• 引用位置候选 2：7-24 risk-e1prep §增量 1（VLA + RL 工程实战配方主线段），引用 v2 §3.5 HF Hub 异步管线稳定性数字（v2 反方 4 验证）
• 引用位置候选 3：7-24 coding-agents-e1prep §增量 1（VLA + RL 工程实战配方主线段），引用 v2 §3.7 sim-to-real gap 数字（v2 反方 6 验证）
• 截止日：2026-07-24 21:20（v2 落地后 24 小时内）
• 验收标准：v2 落地后被 e1prep 任一档 §增量段引用 ≥1 处 + v1 自然淘汰（后续读 v1 概率趋近 0）

本稿为 v2 重写覆盖稿，核心贡献 + 主要问题 + 可信度 + 入库建议 + 元层动作五件套；所有 PDF §3-§5 待核数字挂"信源 + 截止日 + 验收标准"；评级沿用 A/B/C/D 硬分级；评级与体量一致；营销腔禁用；"实战 recipe paper 而非算法突破"标签明确；§0 元层五问前置；反方 ≥3 条硬标签 + 升档 / 降档 / 监控三档硬指标；边界声明自洽；不复制 PDF 全文 / 不下"必读 / 必入库"绝对判断。