Jay 工程筛选报告 · 2026-10-12 下午（14:50 CST）

本次主题：LLM Inference 工程实践 · Agent Stack · KV Cache 优化 · GPU 黑盒实测

检索范围：GitHub Trending · Substack AI Engineering · arXiv cs.LG/cs.SE · Tavily 深度搜索

候选条目汇总

#	条目	来源	工程含金量	保留/丢弃
1	`morluto/rea` (119k★) — Agent逆向工程	GitHub Trending	⚠️ 新兴工具，非生产推理	丢弃：演示/实验性质，无可复现推理部署步骤
2	`lyogavin/airllm` (36k★) — 4GB GPU跑70B	GitHub Trending	✅ 保留	分层推理压缩，有具体硬件要求和命令示例
3	"Physics & Engineering of Frontier LLM Inference" 10-Part Series	Substack/Ken Huang	✅ 保留	系统级推理物理分析，decode batch asymmetry，Memory Wall，95% decode shift
4	"The AI Agents Stack: LLM to Production (2026)"	Substack/TheAIEngineer	✅ 保留	Agent基础设施栈结构，guardrail从LLM→Agent discipline的演进
5	RoofLang (arXiv:2609.12551)	arXiv	✅ 保留	AI-driven LLM inference系统架构DSL，kernel agent+profiling反馈环
6	"Position: LLM Serving Needs Mathematical Optimization" (arXiv:2605.01280v1)	arXiv	✅ 保留	请求路由+DP load balancing的数学优化框架，最坏case分析
7	"Fluid-Guided Online Scheduling with Memory Constraints" (arXiv:2504.11320)	arXiv	✅ 保留	WAIT算法，KV cache eviction的调度理论，vLLM recomputation默认行为
8	Workload-Router-Pool Architecture (arXiv:2603.21354v2)	arXiv	✅ 保留	vLLM Semantic Router项目，model drift detection，3σ触发自动流量重平衡
9	GPU Black Box for LLM Inference (Medium, Apr 2026)	Web/Tavily	✅ 保留	真实TFLOPS曲线：batch=1仅5 TFLOPS vs batch=4096达峰值；torch.profiler + Perfetto
10	"LLM Inference Optimization: Cut Cost & Latency"	Web/Morph	✅ 保留	三层优化矩阵（model/system/application），量化+连续批处理+PagedAttention+投机解码叠加可降80%成本
11	KV Cache Optimization for LLMs 2026 Engineering Guide	Web/DigitalApplied	✅ 保留	vLLM PagedAttention启动命令，block-size配置(16/32)，GPU内存碎片化实测数据
12	Spheron Inference Engineering Guide 2026	Web/Spheron	✅ 保留	TensorRT-LLM编译流程(30-90分钟)，FP8/INT4量化，spot实例40-60%成本降低
13	AI Engineering Insider Substack	Substack	⚠️ 丢弃：付费墙+综述性质	无具体命令/源码
14	"How I'd Learn AI Engineering in 2026"	Substack/Louis Bouchard	⚠️ 丢弃：学习路径非工程实践	无可复现步骤

精筛条目详细评估

保留条目 2：`lyogavin/airllm`

保留理由：单GPU 4GB运行70B模型，有分层推理压缩技术文档，包含硬件要求和实现路径。 丢弃理由：无具体命令序列，非生产级推理引擎，属实验性压缩技术。

保留条目 3：Ken Huang「Physics & Engineering of Frontier LLM Inference」系列

来源：kenhuangus.substack.com，DistributedApps.ai 核心洞察： - 95% Decode Shift：agent reasoning任务中单token生成pass占绝对多数，compute-to-memory ratio处于理论最低点 - Memory Wall：HBM带宽饱和问题，tensor core 90%+时间空闲等待weight跨HBM总线 - Megawatt MoE架构与极端量化的系统级拆解 - 10篇系列，预计首篇2026-09-04后发布

可信度判断：中等 — Substack技术专栏，有具体数据但需核验原论文 后续行动：系列发布后精读并核验论文引用

保留条目 4：「The AI Agents Stack: LLM to Production (2026)」

来源：theaiengineer.substack.com，2026-03-11 核心洞察： - Agent guardrail从LLM到Agent discipline的演进：2024年=输入/输出过滤 → 2026年=工具调用授权+速率限制+行为验证 - 明确区分chatbot基础设施 vs agent基础设施（状态管理、工具访问协议、跨会话记忆、自主推理循环）

可信度判断：高 — 工程实践总结，具体技术区分清晰 后续行动：归档参考，更新Agent Stack主题页

保留条目 5：RoofLang (arXiv:2609.12551)

来源：https://arxiv.org/html/2609.12551 核心贡献：AI-driven LLM inference系统架构DSL - Kernel agents + 递归自改进(RSI)闭合优化循环 - SGLang暴露profiling工具和agent-facing developer skills - KDA-Pilot围绕task contracts + correctness gates + profiling evidence组织kernel优化

可信度判断：高 — arXiv学术论文 需要精读：是，需代码核验

保留条目 6：Position Paper (arXiv:2605.01280v1)

来源：https://arxiv.org/html/2605.01280v1 核心贡献：LLM Serving需要数学优化而非仅heuristics - 请求路由和DP load balancing问题形式化 - 整数规划公式和最坏case保证（Ω(√(B log G)) scaling） - 证明即使对抗性请求序列也能降低平均不平衡度

可信度判断：高 — arXiv Position Paper，有严格数学证明 需要精读：是，核验整数规划公式

保留条目 7：WAIT Algorithm (arXiv:2504.11320)

来源：https://arxiv.org/html/2504.11320 核心贡献：Fluid dynamics近似 + WAIT算法 - vLLM recomputation为默认行为（而不是swap to CPU/SSD） - KV cache cap计算：Llama-2-7B FP16时每个token 0.5 MiB - 近似1.37×10^5 tokens的KV cache cap（80GB A100）

可信度判断：高 — 有具体硬件参数和计算 需要精读：是，核验KV cache计算公式

保留条目 8：vLLM Semantic Router (arXiv:2603.21354v2)

来源：https://arxiv.org/html/2603.21354v2 核心贡献：Workload-Router-Pool Architecture - Silent drift detection：3σ偏差触发自动流量重平衡 - 生产级model update质量回归检测（2026-03有实际incident） - Session-aware KV-cache管理和model cascading

可信度判断：高 — vLLM开源项目相关工程论文 需要精读：归档参考

保留条目 9：GPU Black Box for LLM Inference (Medium, Apr 2026)

来源：https://medium.com/@imrannaz326/i-opened-the-gpu-black-box-for-llm-inference-heres-what-i-found-0463f22e11aa 核心实测数据：

batch=1  → 5 TFLOPS（理论125 TFLOPS的4%）
batch=4096 → 峰值TFLOPS
→ 优化核心：减少HBM管道数据移动

可复现步骤： - torch.profiler on actual workload - Perfetto trace export → ui.perfetto.dev - 实用建议：batch=1单请求不要测GPU利用率

可信度判断：中高 — 具体实测数据，需自己跑torch.profiler验证

保留条目 10：Morph LLM Inference Optimization

来源：https://www.morphllm.com/llm-inference-optimization 核心数据： | 优化层 | 典型收益 | |--------|---------| | 量化 (INT4/FP8) | 2-4x内存，~50%成本 | | 连续批处理 | 3-10x吞吐量 | | PagedAttention (vLLM/SGLang) | 最高24x吞吐量 | | 投机解码 | 2-5x延迟降低 |

三层叠加降80%成本。

可信度判断：中高 — 工程经验数据，需结合具体硬件验证

保留条目 11：DigitalApplied KV Cache Engineering Guide

来源：https://www.digitalapplied.com/blog/kv-cache-optimization-techniques-2026-engineering-guide 核心命令：

python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.1-70B-Instruct \
  --gpu-memory-utilization 0.90 \
  --max-model-len 32768 \
  --kv-cache-dtype auto

关键参数：block-size 16或32 tokens（大多数workload推荐） GPU内存碎片化：无PagedAttention时浪费30-50%可用VRAM

可信度判断：高 — 具体vLLM命令+参数解释

保留条目 12：Spheron Inference Engineering Guide 2026

来源：https://www.spheron.network/blog/inference-engineering-guide-2026 关键数据： - TensorRT-LLM编译：30-90分钟/模型/GPU类型 - FP8/INT4量化降低内存带宽和成本 - Spot实例：40-60%成本降低vs按需实例 - vLLM vs TensorRT-LLM选择依据：延迟关键的生产部署选TensorRT-LLM；工程时间有限选vLLM

可信度判断：中高 — 工程实践总结，具体数值需结合实际环境

丢弃条目说明

条目	丢弃理由
`morluto/rea`	实验性逆向工程工具，非生产推理；无具体部署命令
AI Engineering Insider	付费墙+综述，无可复现步骤
"How I'd Learn AI Engineering"	学习路径非工程实践，无命令/源码/错误日志
V2EX热门话题	当日无工程实践相关内容（多数为社会/生活话题）

分类标签

LLM-Inference KV-Cache PagedAttention Mathematical-Optimization Agent-Stack TensorRT-LLM vLLM GPU-Profiling Production-Engineering arXiv RoofLang WAIT-Algorithm Semantic-Router

建议写入路径

✅ 实际写入：/shared/research-kb/inbox/jay/2026-10-12-jay-afternoon-engineering-filter.md

后续行动

需要精读/核验： 1. RoofLang论文（arXiv:2609.12551）→ 代码核验 2. Position Paper（arXiv:2605.01280）→ 整数规划公式核验 3. WAIT Algorithm（arXiv:2504.11320）→ KV cache计算公式核验 4. Ken Huang Substack系列 → 发布后精读

需要审稿：否

主题页更新建议： - LLM Inference工程主题页：补充 RoofLang + WAIT algorithm + vLLM Semantic Router - Agent Stack主题页：补充 Agent guardrail discipline演进（2024→2026）

Jay · 2026-10-12 14:50 CST · 工程二次筛选第3轮