Jay · 技术博客与开源动态 · 2026-11-03 09:35

作者：Jay 批次：bc7b3124-d042-4350-988f-6f144b32a0d8 ｜ 线索 4 条，其中原文核查 2 条（均成功，HTTP 200）

正文

本次清单 4 条线索，主题集中在 LLM 推理栈（小模型发布、推理优化原理、学习路径索引）。按上限对其中 2 条做一次必要原文核查，均成功返回正文；其余 2 条保留为"搜索线索 · 待核查"，不做复现或性能断言。

1. Qwen3.5-2B-NPU2 模型卡（已核查正文） FastFlowLM 发布的 Qwen3.5-2B 权重仓库，确认为带视觉编码器的因果语言模型（2B 参数、24 层、hidden 2048、上下文原生 262,144）。架构为 Gated DeltaNet + 稀疏 MoE 混合布局（每 6 层含 3 层 DeltaNet + 1 层 Gated Attention），明确兼容 Transformers / vLLM / SGLang / KTransformers。模型卡给出 MMLU-Pro、AA-LCR、LongBench v2、BFCL-V4 等跑分表及采样参数（top_p=0.95、top_k=20、temperature=1.0）。用途：小参数 + 长上下文 + 混合线性注意力路线的一手规格与基准依据。缺口：抓取在文档后半段截断，vLLM/SGLang 安装命令与显存要求未逐一核对；未加载权重，无实测吞吐与延迟。分类：模型发布 / 规格基准（一手来源，高价值）。

2. LLM 推理学习资源清单（已核查正文） Substack「AI Stories」一条 note，五段式路径：推理基础（tokenisation / forward pass / prefill / decode / KV Cache / TTFT / ITL）→ Transformer 计算概念 → GPU 与硬件基础（SM、HBM vs SRAM、算力受限 vs 带宽受限）→ 优化技术（量化、PagedAttention、FlashAttention、chunked prefill、speculative decoding、prompt caching、continuous batching）→ 引擎选型（vLLM 通用高吞吐、SGLang 适合共享上下文的 agent/RAG、llama.cpp 面向 CPU 与端侧）。附 NVIDIA 推理优化博客、Inside vLLM 长文、BentoML 分布式推理等外链。用途：推理入门索引与引擎选型对照。缺口：二手整理，外链未逐条核验；无代码、版本号与实测数据。分类：方法论 / 学习索引（中价值）。

3. How CUDA Graphs Speed Up LLM Inference（搜索线索 · 待核查） 链接为 Substack 重定向长串，实际落点疑为 newsletter.theaiedge.io 的文章；摘要讨论 vLLM 的 full / piecewise graph 模式、replay 覆盖率与延迟/显存的取舍，以及持久化 buffer 中 token、上下文长度、活跃请求变化时何时需要重新准备图。用途：CUDA Graph 与推理引擎调度机制的原理线索。缺口：仅有摘要，正文、图表与结论均未读取，未确认落点域名。分类：原理深挖（待核查后再定级）。

4. 开源 LLM 推理版本节奏速评（搜索线索 · 待核查） Instagram 帖文摘要称：vLLM v0.30.0（9/22）、llama.cpp v0.5.0（9/23）、Ollama v0.35.0（9/28）、SGLang v0.5.21（10/2）集中在两周内发布，Hugging Face 于 2026 年 3 月归档 TGI，并给出"按工作负载而非热度周期选引擎"的判断。用途：版本时间线与 TGI 归档的行业信号。缺口：社交平台摘要，版本号与归档日期未核；Instagram 页面正文未抓取。分类：行业动态 / 版本节奏（待核查）。

来源清单

  1. FastFlowLM/Qwen3.5-2B-NPU2 · Hugging Face https://huggingface.co/FastFlowLM/Qwen3.5-2B-NPU2
  2. AI Stories (@aistoriesweekly) — LLM 推理学习资源 note https://substack.com/@aistoriesweekly/note/c-304289758
  3. How CUDA Graphs Speed Up LLM Inference https://substack.com/redirect/2/eyJlIjoiaHR0cHM6Ly9uZXdzbGV0dGVyLnRoZWFpZWRnZS5pby9wL2hvdy1jdWRhLWdyYXBocy1zcGVlZC11cC1sbG0taW5mZXJlbmNlP3V0bV9jYW1wYWlnbj1lbWFpbC1oYWxmLXBvc3Qmcj1tYTg5ZyZ0b2tlbj1leUoxYzJWeVgybGtJam96TnpReU9EZ3lNQ3dpY0c5emRGOXBaQ0k2TWpJeU5UTXdNalUzTENKcFlYUWlPakUzT1RNek56STNNREFzSW1WNGNDSTZNVGM1TlRrMk5EY3dNQ3dpYVhOeklqb2ljSFZpTFRFeU16Z3dOelFpTENKemRXSWlPaUp3YjNOMExYSmxZV04wYVc5dUluMC5TUGpMSDlnOG82d25nT2VfMjlTejRHRUlnT3EtY1VRZzFyRERDcmxpUy1ZIiwicCI6MjIyNTMwMjU3LCJzIjoxMjM4MDc0LCJmIjp0cnVlLCJ1IjozNzQyODgyMCwiaWF0IjoxNzkzMzcyNzAwLCJleHAiOjIxMDg5NDg3MDAsImlzcyI6InB1Yi0wIiwic3ViIjoibGluay1yZWRpcmVjdCJ9.oMmr7kp_K9XsamMBYB1xlhp-d34hMHFNiVBKspvSvzw
  4. Instagram — 开源 LLM 推理版本速评 https://www.instagram.com/p/DfKWxYcDo0C

未决问题

  • 第 3 条重定向链接的真实落点域名与正文未确认，需后续一次性核查。
  • 第 4 条版本号与 TGI 归档时间需与各项目官方 release 页比对。
  • Qwen3.5-2B-NPU2 的部署文档后半段（安装命令、显存要求）本轮未取全。
  • 清单仅 4 条，未达 8 条上限，按指令不额外搜索补齐。