WorldSculpt · 组合式 3D 场景生成立标候选 ☆ 预备新增锚定实测

来源：AlayaLab · arXiv:2609.05416 · 2026-09 上旬提交 链接：https://arxiv.org/abs/2609.05416 · Project：https://alaya-lab.github.io/WorldSculpt/ · GitHub：https://github.com/AlayaLab/WorldSculpt 整理：flyP · 整理时间：2026-09-09 09:16 CST HF Daily 9-9 早棒：#15 21▲ 新立标低首次（multimodal 主分类） 标签：#multimodal #world-model #compositional-3d #multi-view #urban-scene #benchmark #new-entry

0. 一句话核心

"Complex scenes with hundreds of objects can instead be generated compositionally by adapting a strong single-object 3D generative prior to multi-view observations."

flyP 评价：把单物体 3D 生成先验（Pixal3D）+ 多视角 conditioning 通路，组合构建「上百物体、强遮挡的城市/室内」3D 网格场景；UE-MeshyScene benchmark 含每物体 GT mesh；可从 Marble / HY-World 2.0 派生组合式网格场景。这是 9-9 早棒 HF Daily 新立标低首次（21▲），与 §3.4 三连（WorldSculpt + NeoVerse + PointWorld-1B）共同形成「组合 / 时空 / 轻量」三面。

1. 任务与背景

任务：从接地视频（grounded videos）生成 compositional 3D 表征，覆盖「上百物体 / 强遮挡 / 城市 / 室内 / 游戏 / AR/VR / 仿真 / 机器人」下游。

挑战： - 几何方法（NeRF / 3DGS）通常把整场景当单一表征，遮挡区补不全 - 现有 compositional 方法生成先验只覆盖简单场景

核心假设：复杂场景可以从「单物体 3D 生成先验 + 多视角 grounding」组合得到；不需要场景级训练。

2. 方法 · Pixal3D + Multi-View Conditioning

基线：Pixal3D（单物体 3D 生成先验）

改造： - 增加 multi-view conditioning pathway - 把当前视角的 observation + 其他 pose 视角作为 conditioning - 多视角 grounding：每个 pose 的 observation 作为 query，模型在共享 world frame 内生成物体

训练： - 全部 finetune 在 single-object canonical space - 无场景级训练

泛化能力： - 自动泛化到「上百物体 / 强遮挡」场景 - 论文主张：单物体先验的可组合性 + 多视角 grounding 提供了 zero-shot 泛化

3. UE-MeshyScene Benchmark（论文新发布）

特性： - photorealistic 密集场景 - 每物体 GT mesh + 标注 - 数百物体规模 - 与现有 Objaverse / GSO / ScanNet / Matterport3D 形成「城市 / 室内 / 静态 / 动态」多场景评测矩阵

评测维度： - 单物体（Pixal3D 原始评测） - 受控多物体（实验室环境） - UE-MeshyScene（密集遮挡） - 论文报告：场景越复杂 + 遮挡越严重 → WorldSculpt 相对 baseline 提升越大

4. 派生应用 · Marble / HY-World 2.0 → 组合式网格场景

Marble（AlayaLab 之前的 3DGS 世界模型） HY-World 2.0（同系族） WorldSculpt 可把这两者生成的 3DGS 世界转换为 compositional mesh scenes。

意义：3DGS 渲染质量高但编辑 / 物理仿真弱；mesh 形式可作游戏 / AR/VR / 物理仿真下游。

5. 与活文档 multimodal.md 的关系

5.1 系族延续（AlayaLab / Alaya 系）

flyP 既有记录： - AlayaWorld: Interactive Long-Horizon World Modeling -- Full Technical Report（HF trending 9 月初） - Alaya-EVOKE: external-memory world model（flyP 9-2 critical-read） - Alaya-EVOKE-web-search-verification（flyP 9-2 follow-up） - ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams（HF 9 月初） - Modular-Agent spatial CT verification（flyP 9 月初 critical-read）

WorldSculpt 与 AlayaLab 系族共同形成「世界生成 + 外部记忆 + 视觉记忆 + 实体记忆 + 组合 3D」的五条线。

5.2 与 HoloWorld（paper_card 1251）对比

HoloWorld（paper_card 1251，9-7 入库，主分类 multimodal）： - 统一室内-室外城市世界生成框架 - 跨尺度世界上下文

WorldSculpt vs HoloWorld： - HoloWorld：世界级（统一室内-室外城市世界生成框架） - WorldSculpt：场景级（每物体 GT mesh + 组合式生成） - 互补：HoloWorld 处理「世界」，WorldSculpt 处理「场景」

5.3 立标候选 ☆ 预备新增锚定实测

• 9-9 早棒 HF Daily 21▲ 新立标低首次
• 候选 ☆ 预备新增
• 截止 9-15 P1 缺口补强
• 建议归入 multimodal.md §2.39.x WorldSculpt 候选 ☆ 预备新增锚定实测触发
• paper_card 候补：1256-2609-05416.md（主分类 multimodal 副分类 engineering + benchmark）

6. 反方审稿 / 待核验问题

7. 后续动作

1. paper_card 候补 1256-2609-05416.md：主分类 multimodal 副分类 engineering + benchmark；HF Daily 票数 21▲ + AlayaLab 系族延续
2. flyP 9-9 周三简报：本期已写入 §3.4 + 必读 3
3. LWMAI #40 全文 reference：本期已写入 §3.4 + 必读 3
4. 建议精读：WorldSculpt 论文 §3-4 + 附录 + GitHub 代码；与 HoloWorld + ReflectWorld-MM + AlayaWorld + Alaya-EVOKE 形成 AlayaLab 系族 critical-read
5. 截止 9-15 P1 缺口补强：候选 ☆ 预备新增锚定实测触发持续

8. 诚实度声明

• 论文摘要 + Project 页面已抓取，但论文 appendix + 消融实验 + 完整 evaluation tables 未独立核验
• HF Daily 9-9 早棒 #15 21▲ 票数引用自 tom 9-9 0900 hf-daily-2026-09-09.md，未独立抓 HF Daily 原文
• 「与 AlayaLab 系族的关系」基于 flyP 既有 multimodal.md 知识图谱；AlayaLab 与 Alaya 系族内部组织关系（同一团队？合作？独立？）未核验
• 评测对比「相对 baseline 提升越大」是论文自述，需独立抓 paper appendix 才能复核
• Mesh → 物理仿真下游的具体场景（Isaac Sim / MuJoCo / Habitat）未核验

— 完 —