calesthio/OpenMontage · 上手攻略

  • 仓库:calesthio/OpenMontage
  • 链接:https://github.com/calesthio/OpenMontage
  • 分类:agent / multimodal
  • 作者:Jay
  • 更新:2026-07-12

是什么

OpenMontage 是全球首个开源 Agentic 视频制作系统——把 AI 编程助手(Claude Code、Cursor、Copilot、Windsurf、Codex 等)变成完整的视频制作工作室。用户用自然语言描述需求,Agent 自主完成从研究、剧本、资产生成、剪辑到最终合成的全流程。

它不是简单的"图生视频"工具。OpenMontage 真正厉害的地方在于:Agent 可以构建真实视频——从免费素材库和开放档案中检索实际运动片段、编辑时间线、渲染成品。12 条流水线、52 个工具、500+ Agent Skills,覆盖图像动画和真实视频两条完全不同的制作路径。

解决什么问题

传统视频制作流程需要专业软件(Premiere、After Effects、DaVinci Resolve)、专业技能和多轮人工操作,成本极高。OpenMontage 让任何人只需向 AI 描述想法,就能在几分钟内获得完整视频。其制作成本低得惊人:示例作品最低 $0.02(纯文字档案视频)、最高 $1.33(Pixar 风格动画短片)。

同时,它解决了一个关键问题:AI 编程助手不知道"怎么做视频"——OpenMontage 通过结构化流水线(pipeline manifests)和阶段导演技能(stage director skills)来约束 AI 的视频制作行为,避免 AI 胡乱生成。

快速安装

# 1. 前提条件
# - Python 3.10+
# - FFmpeg:brew install ffmpeg 或 sudo apt install ffmpeg
# - Node.js 18+
# - 一个 AI 编程助手(Claude Code / Cursor / Copilot / Windsurf / Codex)

# 2. 克隆并设置
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

# 3. 在 AI 编程助手中打开项目
# 以 Claude Code 为例:
claude
# 然后输入:
"Make a 60-second animated explainer about how neural networks learn"

核心用法

Backlot:实时制作看板

OpenMontage 有一个独特的 Backlot 实时看板功能,可视化整个制作流程:

python -m backlot open                          # 打开项目库
python -m backlot open <project-id>             # 打开特定项目的实时看板
python scripts/backlot_simulate_run.py          # 观看模拟制作流程(无项目时)

看板会自动展示:脚本页面、场景卡(带资产生成进度和质量分数)、每一笔花费和供应商决策。创意门控(Creative Gates) 在每个场景的资产生成前暂停,等待用户审批后再继续渲染。

推荐提示词示例

动画风格(Ghibli 等):

"Make a 60-second animated explainer about how neural networks learn"

真实素材纪录片:

"Make a 75-second documentary montage about city life in the rain.
Use real footage from free archives."

参考视频驱动(粘贴 YouTube/本地视频 URL):

"Here's a YouTube Short I love. Make me something like this,
but about quantum computing."

AI 产品广告:

"Make a product ad for a neural interface device.
Use only one API key (OpenAI)."

流水线系统

每个视频制作都必须经过流水线系统(禁止跳过):

  1. 选择流水线(12 种,从 pipeline_defs/ 目录中选择)
  2. 预检(Preflight):发现可用工具,呈现能力菜单
  3. 阶段执行:每个阶段前先阅读阶段导演技能(skills/pipelines/*/-director.md)
  4. 质量门控:每个阶段后暂停等待人工审批

⚠️ 不要跳过流水线系统直接调用 API!OpenMontage 的智能在技能文件(skills/)中,而非即兴代码。

Layer 3 Skills:质量的关键

每个工具都有一个对应的 Layer 3 Skill 文件(.agents/skills/),包含: - 供应商特定的 Prompt 优化参数 - 模型参数调优建议 - 输出质量技巧

调用任何工具前必须先阅读对应的 Layer 3 Skill——这是高质量输出的关键。

创意门控(Creative Gates)机制

OpenMontage 在每个场景资产生成前会自动暂停,等待用户审批:

  • 显示该场景的所有候选资产(prompt、参数、预计成本)
  • 用户确认后再调用付费 API
  • 防止"先斩后奏"的高额账单风险

Replay Run 功能可在完成后回放整个制作时间线,可视化每一帧的生成决策。

依赖的 API 服务

OpenMontage 支持多个 AI 视频/图像生成服务商。典型的供应商包括(详见 PROVIDERS.md):

供应商 用途 备注
fal.ai 视频生成(Kling v3) 示例成本 $1.33
OpenAI GPT-Image-1 图像生成 $0.69 产品广告示例
Google Veo 运动片段 "SIGNAL FROM TOMORROW" 示例
Remotion 视频合成与动画 主体渲染引擎

典型适用场景

  • AI 主题动画短片:教程、解释视频、概念可视化(例:60 秒神经网络学习动画)
  • 社交媒体短视频:TikTok/Shorts/Reels 快速批量生产,单视频成本 $0.15–$1.33
  • 真实素材纪录片:从免费视频档案库构建叙事视频,支持 YouTube/本地视频参考风格迁移
  • 产品演示 / 广告:低成本 AI 视频制作,单 API key 即可完成(示例 $0.69)
  • Ghibli/动漫风格动画:基于 FLUX 图像 + Remotion 相机运动(zoom/pan/Ken Burns),12 张图像生成流畅动画
  • YouTube 专题内容:从零开始构建长视频,Agent 自动处理研究→剧本→素材→合成全流程

视频参考分析工作流

当你提供一个参考视频时,OpenMontage 会执行:

  1. 视频分析(skills/meta/video-reference-analyst.md):提取字幕、节奏、场景、关键帧和风格
  2. 能力审计:对照用户可用工具评估制作可行性
  3. 概念呈现:生成 2–3 个差异化的改编方案(不是复制,而是风格迁移)
  4. 成本预估:在资产生成前给出诚实报价

成本参考:

示例作品 时长 总成本
"The Library at Alexandria" 70s $0.02
"Afternoon in Candyland" ~60s $0.15
"VOID — Neural Interface" ~30s $0.69
"THE LAST BANANA" 60s $1.33
"SIGNAL FROM TOMORROW" 长片 约 $10+

坑与注意

  1. AI 编程助手是必须的:OpenMontage 不能独立运行——它本质上是一套技能和流水线定义,需要 Claude Code 等工具来读取和执行。
  2. API 费用会快速累积:虽然单次成本低,但高质量视频涉及多个 API 调用(图像生成、视频生成、TTS、音乐、渲染),全流程批量制作需要留意账单。
  3. 视频生成质量依赖服务商:动画路径(Remotion + FLUX)质量稳定;真实素材路径受限于版权素材库质量。
  4. GPU 资源需求:Remotion 渲染和视频生成需要一定 GPU 算力。
  5. 国内网络环境:fal.ai、OpenAI 等服务商在国内访问可能受限,需要代理或 API 中转。

与同类对比

项目 类型 成本 自动化程度 特色
OpenMontage Agentic 视频制作系统 $0.02–$10+ 全流程自动化 500+ Skills、流水线架构
Runway Gen-3 文字/图像生视频 按次计费 API 调用 专业级视频生成
Pika AI 视频生成 订阅制 独立工具 轻量快速
Sora OpenAI 视频生成 订阅制 独立工具 高质量但闭源
Remotion 代码驱动视频 开源免费 需编程 Lambda/帧精确控制
FFmpeg + AI 传统工作流 开源免费 手工制作、灵活但慢

OpenMontage 的核心差异在于以 AI 编程助手为大脑、用流水线 Skill 为约束,实现真正的端到端 Agentic 视频生产,而非简单的"一次 API 调用"。

一句话推荐结论

OpenMontage 把"花 $1.33 做 Pixar 动画"和"让 AI 自己决定用什么工具"变成现实——不是玩具,是真正的视频制作系统,适合想用 AI 规模化生产视频内容的团队。