2026-10-13 Jay CSDN/Substack 高频研究草稿
检索范围: CSDN 高价值技术分享 + Substack AI research newsletter 检索时间: 2026-10-13 08:20 (UTC+8) 本实例: Jay
一、CSDN 高价值条目
1. vLLM 源码调试技巧 v0.8.5
评价: ⭐⭐⭐⭐
类型: 源码调试 / 环境配置
版本: v0.8.5
工程价值: 高——记录了源码级调试流程，使用 uv 创建环境 vllm_debug，包含 clone 源码后可编辑模式安装的具体步骤，适合需要修改调度器 / PagedAttention 源码的工程师。
涉及命令:
uv create vllm_debug
# clone vllm 源码后
cd vllm && uv pip install -e .
可复现性: 高，步骤清晰
建议分类: inference-engineering / vllm / 源码调试
2. vLLM V1 源码学习（基于 0.8.2）
评价: ⭐⭐⭐⭐
类型: 源码架构分析
版本: v0.8.2
工程价值: 高——覆盖 vLLM V1 四大核心变化：①优化的执行循环和 API Server、②简单灵活的调度器、③零开销前缀缓存、④张量并行推理清晰架构。是系统理解 vLLM V1 架构演进的入门级源码导读。
建议分类: inference-engineering / vllm / 架构分析
3. vLLM 源码可编辑模式安装与调试记录
评价: ⭐⭐⭐⭐
类型: 环境配置 / 源码调试
平台: AutoDL 环境
工程价值: 高——专注于 AutoDL 环境的 vLLM 源码可编辑模式安装（uv pip install -e .），解决了源码修改后无需重装即可调试的工程痛点，对自研 patch 场景有直接参考价值。
建议分类: inference-engineering / vllm / 环境配置
4. vLLM v1 源码阅读: 整体流程梳理（详细 debug）
评价: ⭐⭐⭐⭐
类型: 源码流程分析
工程价值: 高——离线推理的模块设计源码级讲解，从用户 prompt 输入 → 模型输出返回的完整流程 debug，是理解 vLLM 请求生命周期（调度 → prefill → decode → 输出）的核心文献。
建议分类: inference-engineering / vllm / 源码流程
5. SGLang vs vLLM vs TGI 2026 推理框架横评
评价: ⭐⭐⭐⭐
类型: 框架横评 / 工程选型
涉及版本: vLLM ≥0.8, SGLang ≥0.4.3, TGI
工程价值: 高——涵盖三大框架实测横评，包含 Rust 后端、Flash Attention-2 集成、Prefill 动态分块（避免 OOM）、投机解码（Speculative Decoding）、量化命令等具体技术细节。
关键结论:
- TGI: Rust 后端 + Flash Attention-2 + 量化开箱即用 (--quantize bitsandbytes)
- SGLang: RadixAttention 前缀缓存 + 结构化输出 (xGrammar)
- vLLM: PagedAttention + 连续批处理
建议分类: inference-engineering / sglang / vllm / 选型
6. SGLang 与 vLLM 推理框架性能横评——阿里云函数计算
评价: ⭐⭐⭐⭐⭐（含实测数据）
类型: 性能基准测试 / 选型
测试环境: Ada 系列 GPU, NAS 通用性能型存储, evalscope 压测工具
实测版本: SGLang v0.4.6.post2-cu124, vLLM v0.8.5
核心数据:
- TTFT: SGLang 优于 vLLM 15%~50%
- TPOT: SGLang 优于 vLLM 约 10%
- 吞吐量: SGLang 优于 vLLM 约 10%
- 启动速度: SGLang 快约 30%（但均在分钟级别）
- Qwen-QWQ-32B-AWQ: 单卡 ~35 tokens/s，双卡 ~50 tokens/s，建议最大并发 ≤5
建议分类: inference-engineering / sglang / vllm / benchmark
7. vLLM 生态集成实战：从 PagedAttention 到 Ollama/SGLang 部署选型
评价: ⭐⭐⭐
类型: 框架选型 / 部署指南
发布日期: 2026-09-19
工程价值: 中高——对 vLLM、LMDeploy、Ollama、Llama.cpp、XInference、OpenLLM 等框架进行生态级梳理，适合综合选型参考。
建议分类: inference-engineering / vllm / 生态 / 选型
8. 大模型推理加速：2026年6-8月重要论文与进展
评价: ⭐⭐⭐⭐
类型: 论文综述 / 推理工程
时间覆盖: 2026年6-8月
工程价值: 高——覆盖近期重要论文：TurboQuant (Google 2026)、Lynx (SIGCOMM 2026)、DASH-KV (ACL 2026 Findings)、FreqDepthKV、Mercury 2、FlashDLM (ICLR 2026)、ZipServ (ASPLOS 2026)、BlockPilot (阿里巴巴 AMAP, arXiv:2606.31315)、Speculative Speculative Decoding (ICLR 2026, FlashAttention 作者 Tri Dao 参与)。
建议分类: inference-engineering / kv-cache / 论文 / arxiv
二、Substack 高价值条目
1. The AI Agents Stack: LLM to Production (2026 Edition)
作者/机构: The AI Engineer
可信度: 高——专业 AI 工程 newsletter
核心洞察:
- Agent stack ≠ LLM stack：Agent 需要状态管理、工具协议、持久化记忆、自主推理循环、实时护栏
- Guardrails 从 LLM 护栏演变为 Agent 行为授权层（工具调用授权、速率限制、执行验证）
- Layer 1 (Models): 每日数亿请求，Cursor 路由 Claude/GPT-5/自研微调模型
- Layer 2 (Protocols & Tools): MCP 服务器连接编辑器、终端、文件系统、Git
- Layer 3 (Memory): 代码库感知检索 + 重排，精准召回相关文件而非全库
建议分类: agent / stack-2026 / mcp / production
2. The 2026 AI Agent Stack, Drawn from Scratch
作者: Eric Roby
可信度: 高——工程视角实操
核心洞察:
- 生产 Agent 很少使用单一模型：Model Routing 模式（分类/路由用小模型，困难推理用前沿模型）可显著降低成本同时保持质量
- RouteLLM 研究验证了路由模式的价值
- 六层 + 两轨架构：Models → Protocols → Memory → Orchestration → Eval → Guardrails（显式），加 AI Engineering + Safety 两条隐式轨道
- Agent stack 治理的是"模型与真实世界之间发生的事情"（工具、记忆、编排、评估），与 LLM stack（GPU、批处理、量化、vLLM/Ollama 路由）有本质区别
建议分类: agent / stack-2026 / model-routing
3. What is inference engineering? Deepdive
作者: Gergely Orosz (Pragmatic Engineer)
可信度: 高——知名软件工程 newsletter，专注于 Big Tech 实操
核心洞察:
- 2026 年 AI 无处不在 = inference 无处不在
- Inference engineering 的核心挑战：从"单次推理"到"持续推理服务"——需要处理：流量峰值、模型版本管理、延迟 SLO、成本控制、多租户隔离
- Big Tech 已在内部建立专职 inference engineering 团队
建议分类: inference-engineering / production / career
4. Announcing: The Physics & Engineering of Frontier LLM Inference (2026 Edition) — 10 Part Series
作者: Ken Huang / DistributedApps.ai
可信度: 中高
核心洞察:
- 系列预告：2026 版 10 章系列，深入解析 Memory Wall、95% Decode Test-Time Compute、Megawatt MoE 架构、Extreme Quantization
- 核心论点：主流"vLLM 启动即用"认知在生产规模下存在系统性失败风险
- 当 Agent 进行一分钟复杂推理时，Serving 引擎执行的不是大规模矩阵乘法，而是数千次单 token 生成遍历（算术强度崩塌 → HBM 传输成为瓶颈）
后续行动: 建议跟踪该系列发布，第一篇预计 2026 年 9 月 4 日前
建议分类: inference-engineering / kv-cache / moe / quantization
5. Deep|LLM 2026: From Illusion of Model Stagnation to Large-Scale Real-World Agent Deployment
作者: FundaAI
可信度: 中高
核心洞察:
- 市场不是"泡沫破裂"而是"从模型中心投机阶段向 Agent 驱动阶段转型"
- 关键转变：瓶颈从 per-inference FLOPS → 系统级持续执行能力（并发会话管理、长生命周期 Agent）
- 2026 年领先 AI 模型提供商收入持续加速
建议分类: agent / market / production
6. OWASP Top 10 Agents & AI Vulnerabilities (2026 Cheat Sheet)
作者: Alex Ewerlöf
可信度: 高——OWASP 官方关联
核心洞察:
- 保持 LLM 调用无状态化；Agent 长期记忆需严格验证
- 将 LLM 视为 hostile user，Agent 工具函数置于 API Gateway / Rate Limiter / IAM 边界后
- LLM = 非确定性文本预测引擎；Agent = LLM + while 循环 + API 访问权限
- 数据泄露风险：输出置信度评分 + 人工审核机制
建议分类: security / agent / owasp / production
三、综合选型建议（vLLM vs SGLang）
| 维度 | vLLM | SGLang |
|---|---|---|
| 核心优势 | 高吞吐量、低延迟、OpenAI 兼容 API 完善 | RadixAttention 前缀缓存、DSL 编程模型、结构化输出 |
| 适用场景 | 高并发单轮推理、生产 API | 多轮对话、结构化输出、Agent 流程、DeepSeek/Qwen MLA 架构 |
| 多轮对话 | KV Cache 复用弱 | RadixAttention 复用效率提升 3-5x |
| 量化支持 | AWQ/GPTQ/FP8 KV/INT4 | AWQ/INT4（0.4.3+） |
| 生产成熟度 | 最高（HuggingFace TGI / NVIDIA Triton / Ray Serve 集成） | 快速追赶（LangGraph / AutoGen 推荐后端） |
| 版本基准 | v0.8.5（2026 主流） | v0.4.6.post2-cu124（2026 主流） |
| 混合策略 | 用 SGLang 做复杂提示预处理，vLLM 做高效批量解码 | — |
四、建议写入路径
写入路径: /shared/research-kb/inbox/jay/2026-10-13-jay-csdn-substack-inference-stack-highfreq.md
草稿状态: ✅ 已写入
是否需要精读: - vLLM V1 源码学习 & 调试技巧 → 需要精读源码对应模块 - 阿里云实测横评 → 需要核验 evalscope 命令和压测配置 - OWASP Agent 安全清单 → 需要审稿确认最新条目 - Ken Huang 10 章系列 → 跟踪发布
建议主题页更新:
- inference-engineering: 增加 vLLM v0.8.5 调试 SOP
- agent-stack-2026: 增加六层架构图（Models → Protocols → Memory → Orchestration → Eval → Guardrails）
- security: 更新 OWASP Agent Top 10（2026 版）