worldbench/awesome-ai-auto-research · 上手攻略

  • 仓库：worldbench/awesome-ai-auto-research
  • 链接：https://github.com/worldbench/awesome-ai-auto-research
  • 分类：ai
  • 作者：Jay
  • 更新：2026-10-22

一句话结论

这是一个 MIT 许可的 awesome-list 型资料库（不是可运行的软件），用 4 阶段 / 8 环节的框架把「AI 参与科研全生命周期」的方法、基准和工具盘成一张 500 行量级的检索表；做 AI-for-Science 选题、写 related work、找可复现基线时值得当索引用，但所有条目必须回原文核，不能当二手结论直接引。

一、它是什么

仓库由 WorldBench 团队维护，对应综述论文《AI for Auto-Research: Roadmap & User Guide》（arXiv:2605.18661，v2 为 2026-07-20，许可 CC BY 4.0）。仓库本体极轻：整个 git 树只有 README.md（约 175 KB）、一个 535 字节的 index.html 跳转页、docs/assets/ 下 11 张 PNG，以及 MIT LICENSE。没有 SDK、没有 CLI、没有 requirements。

内容分两层：

  1. README 主表：12 个顶级章节。第 1–11 节是论文表（Model | Paper | Venue | Website | GitHub），第 12 节「Tools & GitHub Repos」是可直接上手的开源仓库清单。
  2. 项目页 https://worldbench.github.io/awesome-ai-auto-research：同一份数据的可视化版，带可搜索的「Paper Collection」分阶段清单和 Paper2X 产物展廊。

框架本身是仓库最值钱的部分：把研究生命周期划成 4 个认识论阶段 / 8 个环节——Creation（Idea Generation、Literature Review、Coding & Experiments、Tables & Figures）、Writing（Paper Writing）、Validation（Peer Review、Rebuttal & Revision）、Dissemination（Paper2X：海报/幻灯/视频/社媒/项目页/交互 agent）。

二、解决什么问题

它解决的是「这个方向最近半年有什么、谁做了、能不能跑」这类信息差。论文提出的核心判断是能力—诚信落差：AI 已经很擅长产出「像研究成果的产物」，但很不擅长验证这些产物的真实性。论文里的具体锚点：全自动系统生成一篇论文最低可到约 15 美元，但即使前沿 LLM 在科学压力下仍会编造结果、漏掉隐藏错误、无法可靠判断新颖性；研究代码类基准上的天花板报告在 37–39% 区间；LLM-as-Judge 与人类互评一致性大致在 ρ=0.42 对 ρ=0.41 这个量级，也就是说「机器评审 ≈ 人类评审」只在相关系数层面成立。

作者给出的五条中心结论是：结构化任务收益最大；产物生成快于科学验证；人机共治是最可信的落地形态；有效系统收敛到 exploration + execution + verification 三层架构；AI 使用是治理问题而非检测问题。

三、快速上手

没有安装流程，只有「获取」：

# 1) 克隆到本地做全文检索（仓库很小，秒级完成）
git clone --depth 1 https://github.com/worldbench/awesome-ai-auto-research.git
cd awesome-ai-auto-research

# 2) 只取表格本体，管道给任意工具
grep -n '^| `' README.md | head -50

# 3) 抽某个阶段的全部条目（例如 Code Generation）
sed -n '/^### Code Generation/,/^### Paper-to-Code/p' README.md

# 4) 抽出全部 arXiv 编号做二次检索
grep -o 'arxiv.org/abs/[0-9.]*' README.md | sort -u > arxiv_ids.txt
wc -l arxiv_ids.txt        # 实测 465

# 5) 拿第 12 节的工具清单（25 条），这是能真正 clone 下去跑的部分
sed -n '/^# 12\./,$p' README.md | grep -o 'https://github.com/[A-Za-z0-9_.-]*/[A-Za-z0-9_.-]*' | sort -u

# 6) 查项目页的可搜索清单（比 README 好用）
#    https://worldbench.github.io/awesome-ai-auto-research

要引用论文，README 给了现成 BibTeX（@article{survey-ai-auto-research, ... journal = {arXiv preprint arXiv:2605.18661}}），直接复制即可。

四、核心用法

用法 A：按阶段检索论文。 第 1–11 节每个三级标题对应一个技术子类，表内按时间正序排列，Venue 列区分 ICLR/ACL/NeurIPS/ICML 等正刊与 arXiv 预印本。例如「代码生成」一节从 SWE-bench、SWE-agent、OpenHands 一路排到 SWE-bench Pro、SWE-EVO；「论文转代码」一节从 ReproAgent、DeepRepro 到 FunSearch、SciCode、PaperBench、PaperCoder。

用法 B：把第 12 节当工具目录。 这一节是全仓库最「工程可落地」的部分，按 Curated Lists / Idea Generation / Literature Review / Coding & Experiments / Peer Review 分组，例如 paper-qa（PaperQA2）、local-deep-research、gpt-researcher、storm、Paper2Code、RD-Agent、MLAgentBench、SWE-bench、karpathy/autoresearch（README 描述其可做到「过夜约 12 次实验/小时」）、ai-peer-review、openreviewer。注意 lune-mcp-server 需要 API key。

用法 C：看 Paper2X 展廊当参考样例。 项目页展览区放着用 GPT-5.5、NotebookLM、Claude Opus 4.7、Manus 1.6 自动生成的 4 套幻灯（11–28 页，均提供 .pptx 下载），以及 9 张 AI 生成海报（6 竖 3 横，Gemini Pro、Qwen-Image-2.0、Claude Opus 4.7、SenseNova-U1、GPT-5.5、Seedream 4.0）。这是仓库自证「Paper2Poster 类工具确实能跑通」的实物证据，也可以直接当排版参考。

用法 D：喂给 LLM 当检索上下文。 README 结构规整、字段统一，适合整段丢给模型做「这个方向有哪些方法」的问答，或接 Semantic Scholar / arXiv API 做二次扩展。仓库 README 明确挂了 PR's Welcome 徽章，贡献方式就是提 PR 加行。

五、典型适用场景

  • 写 related work / 综述前的文献扫描：按阶段 + Venue 快速摸清一个子方向的代表工作。
  • AI-for-Science 方向选点：第 1 节 Idea Generation 与第 10 节社会批判视角一起看，能同时看到「怎么做」和「争议在哪」。
  • 找可复现基线：第 12 节的工具清单大多带 GitHub 与 star 徽章，是筛实验代码的现成入口。
  • 审稿/回应时判断某类 AI 辅助的成熟度：论文里的分阶段评测口径（哪些任务已达标、哪些只到 37–39%）可作引用依据。
  • 不建议：把清单当综述直接引用，或据此断言某方法 SOTA——清单只覆盖作者检索截止日前的公开工作，且不排序。

六、坑与注意（8 条）

  1. 现象：README 的 Background、Five Central Findings、Exhibition 三节在源码中被 <!-- --> 整段注释掉，目录里却仍保留对应锚点。影响：从目录点「0. Background」会跳到空处，而这五中心结论恰恰是全文最该读的部分，实际只存在于项目页。修复：直接读项目页 worldbench.github.io/awesome-ai-auto-research，或读 arXiv 论文正文的 §7.3–7.4。

  2. 现象：6 条无 arXiv 编号的条目（ResearchTown、Jagged Technological Frontier、The AI Deskilling Paradox、METR 长任务测量、Scholarly Paper Review 综述、Nature 的「Expand Scientists' Impact」等）套用 arXiv-2500.00000 / arXiv-2600.00000 占位徽章。影响：把徽章当论文编号引用会指向不存在的 arXiv 页面。修复：这类条目的真实链接是 Venue 页面（PMLR、Nature、CACM、ScienceDirect、Informs），务必按 Venue 列跳转。

  3. 现象：论文、README、项目页的统计口径互不相同——项目页标称「250+ Papers Surveyed」，其分阶段清单 S1 43 / S2 62 / S3 54 / S4 42 / S5 32 / S6 55 / S7 17 / S8 38（合计 343 个方法条目），而 README 表格按模型行统计约 502 行、唯一 arXiv 链接 465 个。影响：任何「收录了多少篇」的说法都对不上，引用具体数字时极易被挑错。修复：不要写「收录 250 篇」，改为描述性表述「覆盖 8 个环节、500 行量级条目」。

  4. 现象：时间口径不同。arXiv v2 摘要称「through June 2026」，v1 摘要提到「截至 2026 年 4 月」，项目页写「updated: October 11, 2026」，而 README 底部标「Last updated: 2026-10-11」；仓库在 2026-10-22 仍有新提交（加入 NatureBench 官方资源、DAS 项目页链接、AutoSci 仓库快照）。影响：README 底部的日期落后于实际提交，读者可能以为仓库已停更。修复：以 commit 历史为准，本稿核验时 HEAD 为 09b343c（2026-10-22 05:19:33Z）。

  5. 现象：该仓库本质是资料索引，不提供任何统一 SDK、CLI 或可执行安装流程。影响：把它当「AI 自动科研工具」下载安装会落空，也容易在介绍材料里被归错类。修复：定位为「阅读清单 + 工具目录」，真要跑工具请跳到第 12 节指向的具体仓库。

  6. 现象：仓库卡记 561 stars，GitHub API 实时值 562（fork 54、open issue 1，为「Revise LitLLM citation and add links」，2026-10-16 创建）。影响：star 数字随时浮动，硬写具体数值必然过期。修复：文中只说「约 560 stars」，或标注采集时点。

  7. 现象：多数条目的 GitHub 与 Website 列为 -，方法名也与论文正式标题不完全一致（例如论文《Paper2Code: Automating Code Generation from Scientific Papers》条目名为 PaperCoder）。影响：按方法名去 GitHub 搜可能搜不到，或搜到同名不同项目。修复：以论文标题或 arXiv 编号为检索键，GitHub 列有值时再点进去。

  8. 现象：论文自己给出的天花板数字是分阶段、分评测口径的（研究代码 37–39%、评审相关性 ρ=0.42 vs 人类 0.41、LLM-Judge 存在正向/长度/权威/自偏置与提示注入脆弱性），README 表格里的数字则多来自各原论文自报。影响：把榜单数字当统一评测下的横向排名会失真。修复：引用任何具体数字时带上原始评测出处，跨条目比较前先确认 baseline、base model、human-in-the-loop 假设是否一致——论文 §7.2.4 明确点名「跨系统比较困难」。

七、与同类对比

  • vs. Awesome-Deep-Research（DavidZWZ）：后者聚焦检索/深度研究 agent 本身，范围窄一档，且不含表格、图、同行评审、rebuttal 与 Paper2X 这几个下游环节。覆盖面本仓库更全。
  • vs. Awesome-AI-Scientist-Papers / awesome-autoresearch / Awesome-Auto-Research-Tools：这几家更聚焦「AI Scientist 类系统」或纯工具目录，条目少但深度集中。本仓库第 9 节（End-to-End Systems）收录了 Agentic Scientist、AI-Scientist-v3、Agent Laboratory、AgentRxiv、ARIS 等，但整体仍是按生命周期铺开而非只做自动科研系统。
  • vs. 传统 survey 论文（如 LLM4SR、AI4Research、From Automation to Autonomy）：本仓库对应论文的独特之处是它把「评估口径本身」当研究对象——讨论专家评估 vs LLM-as-Judge vs 执行落地评测的各自失效模式，并给出 practitioner playbook 与阶段化验证检查点，而非只做分类枚举。项目页 Paper Collection 的分阶段可搜索清单也比纯 PDF 表格好用得多。
  • vs. 自建检索：优势是框架和字段统一、跨阶段可比；劣势是覆盖截止到 2026 年 10 月且不含 2024 年以前的奠基工作、也不含化学/生物/材料等领域的多数湿实验系统（论文 §7.4.6 明确承认跨领域泛化未解决）。当需要领域纵深时仍需回到专业数据库。

八、局限性（诚实声明）

  • 本稿核验于 2026-10-22，来源限于 GitHub 仓库页与 API、raw README、项目页、arXiv HTML 全文与一次交叉检索；未 clone 仓库、未运行其中任何代码（该仓库本身也无代码可运行）。
  • 论文仅在 arXiv 预印本状态，未见同行评审收录记录；README 顶部的 BibTeX 也自述为 arXiv preprint，引用时需注明。
  • 第 12 节工具清单里各仓库的实际可运行状态、依赖版本、许可证兼容性未逐一核验，本稿不为其可用性背书。
  • 论文正文中的数字（37–39% 上限、ρ=0.42、15 美元/篇等）取自 arXiv HTML 全文，但未逐一回溯到各自被引论文的实验设置，跨条目横向比较请自行确认口径。
  • 项目页标注为 CC BY-SA 4.0，仓库代码为 MIT，两者授权不同，转用材料时需分别处理。