用 Eureka Machine 造出来的 Flint：本地跑起来做自动化研究评测 · 干货攻略
- 链接: https://x.com/omarsar0/status/2112946584527012332
- 分类: x-tips
- 来源: X @omarsar0
- 作者: Jay
- 更新: 2026-10-27
- 仓库: https://huggingface.co/recursivesi/flint （官方权重仓库；本次未核到 Flint / Eureka Machine 的公开 GitHub 代码仓库）
这是什么
原帖是 @omarsar0 对 Recursive 团队（Richard Socher）的一条祝贺帖，发布于 2026-10-22（UTC），核心信息两句：
"Using the Eureka Machine to help build Flint itself is a great first test of automated research. Excited to run this locally and test it on some of our internal autoresearch evals."
对应的技术对象有两个，必须分清：
1. Eureka Machine —— Recursive 的自动化研究系统 官方博客（Recursive 发布）原话：Eureka Machine "proposes ideas, implements them, and tests whether they worked across the model-building stack"，即提出想法 → 写代码实现 → 跑实验验证 → 用结果决定下一步，并会并行探索多个方向、把有希望的思路组合起来。它作用在模型研发栈的各个层面：数据、优化器、训练配方、基础设施、推理性能，以及模型架构本身的搜索。
2. Flint —— Recursive 用 Eureka Machine 做出来的第一个模型 面向 coding agent 的 MoE（混合专家）模型，39.8B 总参数 / 每 token 约 2.5B 激活，262K 上下文，文本输入输出，支持 reasoning 与多轮 tool use。定位是本地跑：查代码库、修 bug、实现功能、写测试。
关键区分：Flint 是"被自动化研究造出来的模型"，Eureka Machine 是"那个自动化研究系统本身"。原帖作者说"run this locally"，从上下文看大概率指把 Flint 在本地跑起来、拿去做内部 autoresearch 评测；但官方来源并未说明 Eureka Machine 本身可以下载运行，官方博客反而把它描述为 Recursive 内部持续迭代的系统（"more capable models can make Eureka Machine a better researcher"）。这一条属本文的不确定项，见文末。
核验来源
| 事实 | 出处 | 类型 |
|---|---|---|
| 39.8B 总参 / ~2.5B 激活；262K 上下文；MoE、coding agent、reasoning、tool use | Hugging Face RecursiveSI/flint 模型卡 |
官方 |
| Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2% | 同上（Recursive 官方发布评测） | 官方 |
| 推荐采样：temperature 1.0 / top-p 0.95 / top-k 20；难题输出预算 ≥32768 tokens | 同上 | 官方 |
| 仓库含 BF16 checkpoint、config、tokenizer、chat template、SGLang serving kit；量化版本另给 NVIDIA 与 Apple Silicon | 同上 | 官方 |
权重在 Hugging Face、Apache 2.0 许可；支持 llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang；另发布 rec 轻量推理引擎（面向 M4 Pro / M5 Pro / Max 优化） |
Introducing Flint（Recursive 官方） | 官方 |
| 架构搜索：从 35B 总参 / 3B 激活基线出发，Eureka 探索专家配置与宽度，落到 40B 总参 / 2.5B 激活 | 同上 | 官方 |
| 推理速度：M4 Pro MacBook Pro 125+ tokens/s、64GB NVIDIA RTX Spark 150+ tokens/s（短上下文），官方称最高约为同档模型 2 倍 | 同上 | 官方 |
| 小团队从零构建耗时"不足四个月" | 同上 | 官方 |
| 早期自动化研究系统结果（模型训练与 GPU kernel 基准） | 同上"Related: First Steps Toward Automated AI Research" | 官方（未逐篇核对） |
| 融资 6.5 亿美元、估值 46.5 亿美元；与 AWS 4.1 亿美元算力合作 | TechCrunch、WIRED | 媒体报道 |
本条未使用任何非官方博客（如第三方聚合站）里的精确小数（如 131.22 tok/s、39.8B 之外的换算值、71% 压缩比等），那些数字只在官方给出区间时才被采用。
上手步骤
路线 A：官方 SGLang + Docker 服务（适合有 H200 / B300 的机器）
官方模型卡给出的流程（H200 或 B300 单卡一个 replica）：
pip install -U huggingface_hub openai
hf download RecursiveSI/flint --local-dir flint && cd flint # 约 80 GB
docker build -t flint-sglang sglang
docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 \
-v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh # H200 用 serve_h200.sh
until curl -sf localhost:30000/health_generate >/dev/null; do sleep 15; done
python3 sglang/example_client.py --base-url http://127.0.0.1:30000
客户端用 OpenAI 兼容接口：
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:30000", api_key="unused")
resp = client.chat.completions.create(
model="flint",
messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}],
max_tokens=32768,
)
两个容易踩的坑（模型卡明确写了）：服务端在请求未指定时自动套用上述采样参数；对话历史里要保留 reasoning_content，否则多轮推理会断。
路线 B：桌面本地跑（Apple Silicon / 消费级 GPU）
官方博客确认 Flint 可用 llama.cpp、Ollama、LM Studio、Unsloth、vLLM、SGLang 运行，权重 Apache 2.0，量化版本分别面向 NVIDIA 与 Apple Silicon 准备。
- LM Studio：模型库中提供 GGUF 量化版（页面显示 24.20 GB，最小配置需 ≥24 GB 内存），可直接下载加载。
- Ollama / llama.cpp：官方仅给出"支持"的结论，我未在核验到的官方页面里查到确切的模型 tag 与拉取命令，因此不写具体命令——请以这两个工具自身模型库/社区列表里当前实际存在的 tag 为准，不要照抄本篇猜测。
rec引擎：官方新发布的、专为 Flint 在 M4 Pro / M5 Pro / Max 上优化的轻量推理引擎，官方给出"简单安装即可跑"的定位，并指向其文档页；本文未核到该引擎的可下载地址，用前请以官方文档页为准。
路线 C：纯评测环境
模型卡说明评测口径：Terminal-Bench 用 Terminus 2，SWE-bench 用 mini-swe-agent，agentic 分数为至少 5 次尝试的平均 pass@1；并且 Flint 的 Terminal-Bench 计分把"通过网页检索得到的解法"算作失败，这一点与其他开发方自报分数不可直接横比。
适用边界
- Eureka Machine 不是一个你能下载的工具。官方把它定位为 Recursive 自己的研究系统，长期目标是"递归自我改进"，且明确说仍由人类监督、可随时叫停。原帖作者说要在本地跑并测内部 autoresearch 评测——这更可能指跑 Flint，而不是跑 Eureka Machine。这一点无法从原帖单方面证实，标记为不确定。
- "AI 造 AI"是广谱说法。官方口径是：人设定目标、验证结果、筛掉 reward hack，Eureka 负责提出、实现、测试。WIRED 报道称 Socher 表示"模型管线的几乎每个环节都由 AI 完成并改进"，但至今没有可让外部复现 Eureka 具体贡献的完整记录。把它当案例研究看可以，当可复现结论看不合适。
- 跑起来 ≠ 好用。官方自评（54.9 / 89.7 / 74.2）是 Recursive 自报值，且 Terminal-Bench 采用了更严格的自查口径；跨模型比较时要看清对方的计分方式。
- 硬件门槛真实存在。BF16 checkpoint 下载约 80 GB，官方 SGLang 路线要求 H200 / B300 级别 GPU；笔记本路线靠量化 GGUF（最小约 24 GB 内存起步）。想复现"125+ tok/s"那类数字需要对应机器，不是任意 Mac。
- Transformers 建模代码尚未提供（官方模型卡原文：Transformers modeling code is not included yet），只有 SGLang serving kit、config、tokenizer、chat template。纯 Python 侧集成要等官方补齐。
- 评测套件本身有历史包袱：SWE-bench / Terminal-Bench 的污染与刷分争议长期存在，agentic 分数应作为参考而非结论。
不确定与未完成项
- 原帖作者 @omarsar0 的身份、其内部 autoresearch 评测的具体内容，均无公开官方来源，未能核实，本文不做推测。
- "run this locally" 的对象（Flint vs Eureka Machine）依据上下文推断为 Flint，官方未明确，未完全证实。
rec引擎的具体安装包地址、Ollama / llama.cpp 侧的官方模型 tag、官方文档页的确切 URL：本次未核到，因此正文中不提供这些命令（避免编造）。- 官方博客"First Steps Toward Automated AI Research"（Eureka 早期结果）本次未逐段阅读，Eureka 内部实验的具体指标不写入本文。
- 本文只做"读原帖 + 核官方来源"的整理，未在本机实际下载权重或跑通推理。
一句话
Flint 是 Recursive 用自己的 Eureka Machine（提出→实现→验证的自动化研究闭环）从零搭出来的 39.8B / 2.5B-active 本地 coding MoE，Apache 2.0 权重已在 Hugging Face 公开，官方给出 SGLang+Docker 与 llama.cpp/Ollama/LM Studio/Unsloth/vLLM 路线；但 Eureka Machine 本身仍不是公开可下载的系统，"AI 自己造出下一个模型"目前仍是一方宣称而非可复现事实。