Recursive Flint（40B-A2.5B）· 本地跑 coding 模型的干货攻略

  • 原帖：https://x.com/svpino/status/2112946818913067163
  • 来源 X 账号：@svpino
  • 仓库：https://github.com/recursive-oss/rec （官方本地推理引擎 rec；模型权重 https://huggingface.co/RecursiveSI/flint ）
  • 分类：x-tips
  • 作者：Jay
  • 更新：2026-10-23

一、这是什么

原帖推荐的是 Recursive Flint：一家由 Richard Socher 创办的 AI 公司 Recursive Superintelligence 于 2026 年 10 月 21 日发布的首个开源权重模型，定位是「在本地硬件上跑得动的 coding agent 模型」。

官方博客与模型卡给出的口径（Recursive Flint，40B-A2.5B）：

  • 架构：decoder-only MoE Transformer，总参数 39.8B，每 token 激活约 2.5B（含 output head；激活主体约 2.2B）。49 层 = 2 层 dense + 47 层 MoE；每 MoE 层 256 个 routed experts，per token 选 6 个，外加 1 个常驻 shared expert。
  • 注意力：35 层 sliding-window（513 token）+ 14 层 full-attention；32 query heads / 4 KV heads，head dim 128；滑窗层用 RoPE，全注意力层无位置编码。
  • 词表 150,144；纯文本输入输出；知识截止 2026 年 6 月。
  • 能力：支持 reasoning、多轮 tool use（OpenAI 兼容的 tool call 格式）。
  • 许可证：Apache 2.0，权重直接放在 Hugging Face（RecursiveSI/flint）。

一句话概括：用 MoE 的稀疏激活把「40B 的容量」压到「2.5B 的算力」，换取在 48GB 级消费级设备上的本地 coding agent 速度。

⚠️ 数字口径提醒：原帖说「512K context」，官方两处口径并不完全一致——模型卡写 262,144 tokens（含输入与生成）的 context 配置，官方博客写「支持最高 512k 上下文」并建议实际使用保持在 256k 以内。写方案时按 256k 规划更稳妥。

二、核验来源

本文所有数字均来自官方一手材料，未采用社交媒体的二手转述：

结论 出处
39.8B 总参 / ~2.5B 激活 / 49 层 / 256 experts 选 6 / 262,144 context 配置 / Apache 2.0 / Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2% 官方模型卡 https://huggingface.co/RecursiveSI/flint（README.md）
「最高 512k 上下文、建议 256k 内」、采样参数 temperature 1.0 / top-p 0.95 / top-k 20、Eureka Machine 参与架构与量化搜索、lm_head 量化到 4bit 并用 16bit 自蒸馏、NVFP4 与 16bit 差距 ≤0.7 分、支持 llama.cpp / Ollama / Unsloth / LM Studio / vLLM / SGLang、发布 rec 引擎 官方博客 https://www.recursive.com/updates/introducing-recursive-flint
SGLang 起服务脚本（serve_b300.sh / serve_h200.sh）、Docker 命令、hf download 约 80GB、推荐 max_tokens ≥ 32768、需保留 reasoning_content 进历史 官方模型卡 Getting started 段

关于原帖里的速度数字：原帖写「125 tokens/sec on an M4」。官方博客的确给出 125+ tokens/sec（M4 Pro MacBook Pro）与 150+ tokens/sec（64GB NVIDIA RTX Spark），但同时限定三点：① 用的是 Recursive 自研优化引擎 rec（含 M4/M5 上的 Metal megakernel 融合 decode 前向）；② 短上下文下的数字；③ 图表里的「平均速度」是整段 128k 会话的平均值。原帖把它简化成了「M4」，实际是 M4 Pro 起步，且不代表长上下文表现。

benchmark 数字的自证边界（官方模型卡自己写明）：Flint 的成绩由 Recursive 自测（标 †），对比模型多为开发者自报；Terminal-Bench 采用 Terminus 2、允许联网，但通过检索得到的解法计为失败，SWE-bench 使用 mini-swe-agent 且不联网，不同评测设置不完全可比。

三、上手步骤

路线 A：Mac 本地跑（对应原帖场景，推荐）

  1. 拿权重：https://huggingface.co/RecursiveSI/flint （BF16 约 80GB）；本地跑建议用官方量化变体或社区 GGUF（如 unsloth/flint-GGUF、RecursiveSI/flint-int4-gguf、lmstudio-community/flint-GGUF），以及 Apple Silicon 专用 MLX/量化仓库。NVIDIA 与 Apple Silicon 的量化版「另行准备」，不在主仓库里。
  2. 选运行时：官方博客列出 llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang 全都支持；官方另开源了轻量推理引擎 rec（https://github.com/recursive-oss/rec），专门针对 M4 Pro / M5 Pro/Max 优化，125+ tok/s 的官方数字出自这套引擎。
  3. 安装 rec：具体步骤以官方文档为准 —— https://docs.recursive.com/getting-started（官方文档里有 setup 与示例）。本文不臆造该引擎的命令行参数，请以该文档为唯一出处。
  4. 拉起客户端：Flint 提供 OpenAI 兼容接口，可直接接 OpenCode、Pi 等本地 coding 客户端；官方博客提到可免费试用（OpenRouter 侧发布期免费，属官方博客与转载报道口径，需自行核实当期政策）。

路线 B：单卡 B300 / H200 用官方 SGLang 包起服务（模型卡给的是原厂命令）

pip install -U huggingface_hub openai
hf download RecursiveSI/flint --local-dir flint && cd flint   # 约 80 GB
docker build -t flint-sglang sglang
docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 \
  -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh   # H200 用 serve_h200.sh
until curl -sf localhost:30000/health_generate >/dev/null; do sleep 15; done
python3 sglang/example_client.py --base-url http://localhost:30000/v1

客户端调用（模型卡原例）：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:30000/v1", api_key="unused")
resp = client.chat.completions.create(
    model="flint",
    messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}],
    max_tokens=32768,
)

接入时的三个硬性配置（模型卡原文）

  • 采样：temperature 1.0、top-p 0.95、top-k 20；难题输出预算 ≥ 32768 token（含 reasoning）。
  • 上下文：prompt 与 output 共享同一个 context window，长会话要自行留出生成空间。
  • 历史保留：使用 checkpoint 自带的 chat template，并把返回的 reasoning_content 一起存进会话历史，否则多轮质量会掉。

四、适用边界

适合

  • 代码库不外传、离线可用的需求：敏感代码、内部仓库、air-gapped 环境。
  • 想在消费级硬件（48GB 级 Apple Silicon / 48GB 显存级 NVIDIA GPU）上跑 MoE 级 coding 模型的个人与小团队。
  • 需要 OpenAI 兼容 API（tool call + reasoning），想接 OpenCode、Pi、自研 agent 的开发者。

不适合 / 注意

  • 模型卡明说 Transformers 建模代码尚未提供（"Transformers modeling code is not included yet"），本仓库含 BF16 checkpoint、config、tokenizer、chat template 与 SGLang serving kit；纯 HF transformers 管线这条路暂时不通。
  • 容量 ≠ 质量：262k 是上限配置，不是全长度均匀准确率保证（官方原话）。
  • 长 reasoning 会烧预算，可能没答完就耗尽 output token。
  • 稠密强模型仍更强：Flint 在 Terminal-Bench 2.1 上 54.9，官方对比里 27B 稠密模型为 73.0。Flint 的卖点是「同级别里更快」，不是「绝对最强」。
  • 上下文实测要打折：125+ tok/s 是短上下文、专用引擎下的官方数字；128k 长会话的平均速度明显更低（官方图表按整段会话统计）。
  • Benchmark 口径不完全可比，厂商自测 vs 开发者自报混用，跨模型横向对比时务必核对评测设置。
  • 安全：官方强调工具调用应用需自建权限与执行边界，结构化 tool-call 语法不阻止模型做出错误或危险动作；生成的代码必须人工审阅后再落地。

五、待确认项

  • 原帖提到的具体「M4」是 M4 Pro 还是基础款 M4：官方只给了 M4 Pro 的 125+ tok/s，基础款 M4 无官方数字。
  • rec 引擎的完整安装命令、Ollama/LM Studio 的具体模型标签名，本文未引用（未从官方文档读到，模型卡也未给出），请以 https://docs.recursive.com/getting-started 与各运行时当日模型列表为准。
  • 「OpenRouter 发布期免费」来自官方博客之外的报道口径，未在官方博客正文中核实，暂不作为事实。