Recursive Flint：40B MoE 本地编码模型，Eureka Machine 自动化研究的第一个产物 · 干货攻略

  • 链接: https://x.com/omarsar0/status/2112947912137122135
  • 分类: x-tips
  • 来源: X @omarsar0（引述 Richard Socher 与 Recursive 官方发布）
  • 作者: Jay
  • 更新: 2026-10-22
  • 仓库: https://huggingface.co/RecursiveSI/flint （模型权重，Apache 2.0）｜ https://github.com/recursive-oss/rec （官方本地推理引擎 rec）

这是什么

@omarsar0 这条推的核心判断是：「对自动化 AI 研究保持乐观，自改进 AI 的早期迹象已经出现」，并把证据指向 Recursive 的第一个模型 Flint：

Flint is the first model from @recursive_si. Their Eureka Machine contributed to nearly every part of the stack, from data and training recipes to the inference kernels.

Flint 是 Recursive Superintelligence（Richard Socher 领衔）发布的开源权重本地编码模型：MoE（混合专家）架构，总参数量 39.8B，每 token 激活约 2.5B（含输出头；激活主体约 2.2B，官方代号 "40B-A2.5B"），上下文配置 262,144 token，文本输入输出，支持 reasoning 与多轮工具调用，权重以 Apache 2.0 协议发布在 Hugging Face。

真正值得写进日报的点不是"又一个 MoE"，而是它是怎么被造出来的：Recursive 称其自动化研究系统 Eureka Machine 参与了从数据、训练配方、架构、量化到推理内核的几乎整个栈，"a small team of people and agents built it from scratch in under four months"。架构搜索的起点是一个 35B 总参 / 3B 激活的基线，Eureka Machine 探索不同专家配置与宽度后落在 40B 总参 / 2.5B 激活这个组合上。

官方发布的性能口径（来自官方博客与模型卡）：

  • SWE-bench Verified 74.2%、Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%
  • 采样参数统一为 temperature 1.0 / top-p 0.95 / top-k 20；agentic 分数为至少 5 次尝试的平均 pass@1
  • 推理速度：优化引擎下 M4 Pro MacBook Pro 短上下文 125+ tok/s，64GB NVIDIA RTX Spark 150+ tok/s，官方称为同级别模型的 2 倍速、比 25–40B 稠密模型快 5 倍以上

⚠️ 一个必须记住的口径差异：SWE-bench Pro v2 的 89.7% 是 Recursive 自己测的（模型卡用 † 标记），官方明确说该成绩"不可与公开 SWE-Bench Pro 直接比较"；Terminal-Bench 官方评测把"通过联网检索得到的答案"计为失败，第三方开发者自报成绩通常不做同样处理。跨来源对比时这两条要打问号。

原推配的那张图是官方基准图的一角：标题为 "Quality and decode speed on M4 Pro · 48 GiB unified memory · decode speed as normalized AUC through 128K input context"，横轴是 128K 上下文下的归一化解码速度 AUC，纵轴是 6 项基准平均分（%），图例包含 "Flint 40B total · ~2B active" 与 "Frontier with Flint / Frontier without Flint" 的对照。注意图里用的口径是 约 2B active（对应激活主体 ~2.2B），与"2.5B 含输出头"是同一件事的不同记法。

核验来源

只采信官方一手出处，媒体转述不作为数字来源：

  • 原始推文（本次条目指定的唯一材料）：https://x.com/omarsar0/status/2112947912137122135 —— 引用的对象是 https://x.com/RichardSocher/status/2112944385415426249
  • 官方发布博客：https://recursive.com/updates/introducing-recursive-flint —— 架构搜索过程、速度口径、采样参数、支持框架清单
  • 官方模型卡：https://huggingface.co/RecursiveSI/flint —— 完整规格表、评测数字、许可、SGLang 部署步骤、已知限制
  • 官方推理引擎仓库：https://github.com/recursive-oss/rec —— 安装命令、硬件要求、CLI 用法
  • 官方文档：https://docs.recursive.com/getting-started

架构细节（模型卡原文）：decoder-only MoE Transformer，49 层 = 2 层稠密 + 47 层 MoE；每个 MoE 层 256 个路由专家、每 token 选 6 个，外加一个常驻共享专家；注意力为 35 个滑动窗口层 + 14 个全注意力层，滑动窗口 513 token；32 个 query head / 4 个 KV head，head dim 128；RoPE 只作用于滑动窗口层；词表 150,144；知识截止 2026 年 6 月。

上手步骤

路线 A：Apple Silicon 本地跑（官方 rec 引擎，主推路径）

rec 是 Recursive 为 Flint 自研的本地推理引擎，官方称在 M4 Pro 上比 llama.cpp 快 1.4–2.6×（M4 Pro 48GB、4-bit 权重、1K–252K 上下文、1024 输出 token、每档 5 次运行、不计 prefill）。

硬件门槛（官方 README）：Apple Silicon Mac，M4 Pro / M5 Pro / M5 Max，至少 48GB 统一内存，约 30GB 空闲磁盘。

# 安装（装到 ~/.local/bin）
curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bash

# 自检硬件与安装
rec doctor

# 推荐：拉起 pi harness（官方首选）
rec launch pi
# 或 OpenCode
rec launch opencode

# 只想先下模型
rec pull

rec 暴露 OpenAI 兼容接口，base url 为 http://127.0.0.1:11500/v1，模型名 flint，API key 用 rec auth token 取：

rec serve   # 看到 "flint is ready." 即可
curl -fsS http://127.0.0.1:11500/v1/chat/completions \
  -H "Authorization: Bearer $(rec auth token)" \
  -H 'Content-Type: application/json' \
  -d '{"model":"flint","messages":[{"role":"user","content":"Say hello."}],"max_tokens":128}'

常用命令：rec status / rec stop / rec exec pi install npm:PACKAGE / rec update / rec uninstall。rec 针对单会话优化，多路并发需另看官方文档。

路线 B：Hugging Face + SGLang 自建服务（B300 / H200）

模型卡给出的唯一官方服务化路径（注意：仓库暂未包含 Transformers 建模代码）：

pip install -U huggingface_hub openai
hf download RecursiveSI/flint --local-dir flint && cd flint   # 约 80 GB
docker build -t flint-sglang sglang
docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 \
  -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh   # H200: serve_h200.sh
until curl -sf localhost:30000/health_generate >/dev/null; do sleep 15; done      # 进度: docker logs -f flint
python3 sglang/example_client.py --base-url http://localhost:30000/v1

Python 客户端：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:30000/v1", api_key="unused")
response = client.chat.completions.create(
    model="flint",
    messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}],
    max_tokens=32768,
)
print(response.choices[0].message.content)

路线 C：其它框架

官方博客点名支持 llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang，并说明 4-bit 量化变体分别为 NVIDIA 与 Apple Silicon 运行时单独准备。这一条只有"支持清单"级别的官方表述，本次未逐个核实各框架的具体命令（已超本次允许的读取预算），落地前请以各框架社区仓库与官方模型卡更新为准。

生成参数

模型卡推荐：temperature 1.0、top-p 0.95、top-k 20；难问题输出预算至少 32768 token（含 reasoning）。服务端在请求未指定时会自动套用这些采样设置。支持 OpenAI 兼容 tool calls，使用 checkpoint 自带 chat template，并在多轮历史中保留返回的 reasoning_content。prompt 与 output 共享同一个上下文窗口。

适用边界

适合：本地/内网离线编码；数据不出机器的隐私场景；不想付 API 费的持续使用；在 M4 Pro / M5 Pro/Max（48GB+）或 B300/H200 上跑 agentic 编码（读代码库、修 bug、实现功能、写测试）；给 pi / OpenCode 这类 harness 提供低延迟后端。

不适合 / 需要注意：

  1. 硬件门槛高。rec 路线要求 48GB 统一内存的 Apple Silicon 或 ≥30GB 磁盘；Hugging Face 原始 BF16 checkpoint 约 80GB，服务化路线要 B300 或 H200 单卡级别。这不是"随便一台笔记本"能跑的方案。
  2. 262K 上下文是容量上限，不是质量保证。模型卡原文：长推理会拉高延迟，并可能在答案完成前耗尽输出预算；不同 checkpoint 精度和推理运行时结果会变，要按自己打算部署的那一份实测。
  3. 基准对比有水分。SWE-bench Pro v2 89.7% 是自测值；Terminal-Bench 的联网检索答案被官方计为失败，与开发者自报口径不一致。跨模型横比请只用同一评测设置下的数字。
  4. 模型卡自己列明的风险：SFT 含安全样本，但模型仍可能输出错误或有害内容、错误代码或不当工具调用；工具型应用必须自行设置权限与执行边界，结构化 tool-call 语法并不能阻止模型选错动作。生成的代码要先测试再合入。
  5. rec 是单会话优化，并发多 agent 场景另寻方案。
  6. "自动化 AI 研究"目前是官方的自我叙述。Eureka Machine 的贡献链条（架构、量化、推理内核）有官方博客描述，但"自改进"是否成立、收益有多大，外部尚无独立复现。本条目只陈述官方口径，不做延伸判断。

一句话带走

Flint 的新闻价值不在"又一个 40B 模型"，而在于 Recursive 把 Eureka Machine 这套"提出方案 → 实现 → 验证 → 决定下一步"的自动化研究循环真的接进了模型研发的每一个环节，并在四个月内交付了一个 Apache 2.0、可本地跑到 125+ tok/s 的开源编码模型。想尝鲜，48GB Apple Silicon 上 curl … install.sh | bash 后 rec launch pi 是目前官方支持最顺的一条路。