4DCodeBench：动态场景逆向图形中的 Agent 基准测试

一句话结论

4DCodeBench 通过让 Agent 将动态视频重建为可执行图形程序，首次系统性地评估了模型在 4D 逆向图形（空间 + 时间）上的代码生成能力，揭示了当前顶级模型「静态重建强、动态建模弱」的关键短板。

让 AI Agent 理解并程序化地重建真实世界的动态场景——这件事本质上横跨了 Computer Vision、Graphics 和 Programming 三界，长期缺乏统一基准。

具体痛点：

4DCodeBench 的核心价值：把「理解视频中的物理动态」问题，转化为「生成可执行图形程序来复现该动态」问题——这是一个既考验视觉感知、又考验物理建模、还考验代码生成的综合任务。

Agent 输入：一段视频（真实拍摄或合成） Agent 输出：一个图形程序（Graphics Program），运行后能复现原视频中的动态场景

两类场景：

真实视频（Real-world）：人工策划的真实拍摄视频，涵盖变形（deformation）、流体（fluid flow）、断裂（fracture）等物理现象
合成场景（Synthetic）：程序生成的带精确 ground-truth 的测试场景

物理现象覆盖：

⚠️ 原文未明确：具体评价指标的计算方式、合成场景数量、真实视频集规模均有待补充。

论文对前沿模型进行了广泛基准测试，核心结论：

「强大的静态重建能力尚不能可靠地转化为复杂动态场景的重建」

这意味着：即便模型在静态 3D 重建任务上表现优异（如 Nerf、Gaussian Splatting 类方法），在需要理解物体运动规律并用代码表达的场景下，仍有显著能力差距。

⚠️ 原文未明确：具体测试样本数量、各模型绝对分数（%）、各物理现象的细分性能数据未在 abstract 页披露。

合成场景覆盖了变形、流体、断裂三大类，测试 Agent 在未见过的物理现象上的泛化能力。

⚠️ 原文未明确 以下信息，需读取 PDF 全文方能确认：

VLA / 机器人规划：如果 Agent 需要理解物理世界并生成控制程序（如机器人抓取、装配任务），4D 动态理解是核心瓶颈——当前模型的这个能力普遍不足
数字孪生 / 仿真数据生成：用视频自动生成物理仿真程序，可大幅降低仿真数据的人工标注成本
游戏 / 影视资产生成：给定一段视频，自动生成可复现该动态的图形资产程序
评测启发：工程团队在评估 VLM 是否胜任「视觉理解 → 动作执行」闭环时，4DCodeBench 类型任务比传统 VQA 更具区分度

方向	代表工作	与 4DCodeBench 的关系
静态 3D 重建	NeRF, Gaussian Splatting, DUSt3R	4DCodeBench 要求在静态基础上加入时序动态
Video Understanding	Action Recognition, VideoQA	4DCodeBench 要求生成程序，而不仅是识别或问答
Code Generation Benchmark	HumanEval, MBPP, LiveCodeBench	4DCodeBench 输出为图形程序，而非文本/算法程序
Inverse Graphics	Inverse Graphics Networks（以往工作）	4DCodeBench 以 Agent + 代码生成为媒介，而非可微渲染
Physical Simulation	NVIDIA Omniverse, PyBullet	4DCodeBench 评测的是「AI 生成模拟器」而非使用现成模拟器

核心差异：过往工作多以「使用现成模拟器」来验证物理理解，而 4DCodeBench 要求 Agent 自己写模拟器——这要求更深层次的物理规律抽象能力。

⚠️ 本解读基于 arXiv abstract + paper_card 撰写，关键实验数据（具体模型分数、样本量、评估指标公式）需阅读 PDF 全文方可确认。