Jay 工程实践筛选 · 2026-09-07 晚间批次（第三轮）
角色：Jay · 工程文章二次筛选 · 重点判断是否包含真实环境/命令/错误/源码/性能数据/可复现步骤 时间：2026-09-07 19:50 (Asia/Shanghai) 底本：inbox/jay 今日全部产出（11:05 早间简报 / CSDN×2 / 14:52 推理专项×3 / 15:05 晚间简报 / 16:20 CSDN源码 / 17:36 综合研究 / 1140 TechRadar） 规则：不执行 GitHub 写入；只写入本实例草稿目录
一、今日工程文章筛选总览
| # | 条目 | 来源 | 保留理由 / 丢弃理由 | 最终判定 |
|---|---|---|---|---|
| 1 | Disaggregated Inference 原语（Primitives.ai） | Substack | ✅ 生产 trace（23K 请求）· Dynamo/llm-d/NIXL 采纳证据 · 量化提升 2-7× | 保留 |
| 2 | LLM 推理物理学（Ken Huang） | Substack | ✅ Roofline 量化·70B 实测 298:1·H100 ridge·付费章节含可运行代码 | 保留 |
| 3 | vLLM vs SGLang 对比（Turion.ai） | 技术博客 | ⚠️ 有基准表/决策框架，但无源码/命令/错误日志；对比有参考价值但深度不足 | 降级为参考 |
| 4 | CSDN RAG/Agent 源码分析 | CSDN 博客 | ✅ 源码+版本号+命令+Dify 完整部署流程；GraphRAG/Gemini CLI 源码有工程价值 | 保留 |
| 5 | TechRadar ByteRanking X 策展 | X 账号 | ⚠️ 有 HarnessDev arXiv 引用和工程洞察，但内容为策展非原创工程文档 | 参考不新建 |
| 6 | NVIDIA/HF 收购 + OpenAI 入侵事件 | 综合研究 | ⚠️ 事件重要性高，但非工程实现文章；已覆盖，无需重复建档 | 参考不新建 |
二、逐条详细筛选
✅ 保留 1：Disaggregated Inference 原语——Primitives.ai Substack
文件：2026-09-07-inference-primitives-disaggregated.md
来源：https://primitivesai.substack.com/p/inference-primitives-the-architecture
作者：Seth Hobson
时间：2026-03-28
保留理由： - ✅ 生产 trace 基准：23,000 请求，Qwen3-32B，8×H100，微软 AKS benchmark - ✅ 量化性能提升：2-7× 吞吐，20× TTFT 改善 - ✅ 开源库采纳证据：NIXL 同时被 Dynamo + llm-d + vLLM + SGLang + LMCache 采纳 - ✅ 四级 KV 缓存分层：KVBM：GPU HBM / CPU DRAM / 本地 SSD / 对象存储 - ✅ CNCF Sandbox 时间戳：llm-d 2026-03-24 入 Sandbox（可核验） - ✅ 真实 SLO 数据：TTFS SLO 约束下 request capacity 提升 2.25×
工程筛选核心指标： | 指标 | 结果 | |------|------| | 真实环境/命令 | ✅ 微软 AKS 基准 | | 性能数据 | ✅ 23K 请求 trace | | 可复现步骤 | ⚠️ 无直接命令，但有架构参考价值 | | 源码/错误日志 | ⚠️ NIXL 采纳证据有参考价值 | | 版本号/配置 | ✅ llm-d CNCF Sandbox + Dynamo 1.0 时间戳 |
与今日其他文件的去重： - 早间简报有 KV Cache 互联网（arXiv:2608.01526），但那是协议/网络视角；本文是 PD 分离生产部署视角——互补，不重复 - 晚间简报有 pgvectorscale/向量数据库 benchmark，本文是 disaggregated serving——不同子域，不重复
建议写入路径：engineering.md §2.3 调度 / §2.4 模型服务（PD 分离 + NIXL 采纳证据）
✅ 保留 2：LLM 推理物理学——Ken Huang Substack
文件：2026-09-07-physics-of-llm-inference.md
来源：https://kenhuangus.substack.com/p/the-physics-of-llm-inference-memory
作者：Ken Huang
时间：2026-08-31
保留理由： - ✅ Roofline 模型量化：H100 FP8 ridge ≈ 591 FLOP/byte，B200 同代更高 - ✅ 实测计算分割：70B FP8 模型单次 decode step：权重传输 20.9ms，Tensor Core 计算 0.07ms，比例 298:1（内存墙实证） - ✅ 硬件 ridge point 表：H100 / B200 / 未来 Vera Rubin 各代对比 - ✅ 容量规划框架：TTFT（prefill 主导）vs ITL/TPOT（decode 主导）分类体系 - ✅ 付费章节含可运行代码：VRAM accounting + 离散事件仿真器（可本地运行）
工程筛选核心指标： | 指标 | 结果 | |------|------| | 真实环境/命令 | ✅ Roofline 量化模型可直接套用 | | 性能数据 | ✅ 70B FP8 实测数据：298:1 比例 | | 可复现步骤 | ✅ 付费章节代码可本地运行 | | 源码/错误日志 | ⚠️ 代码在付费章节，需跟进 | | 版本号/配置 | ✅ 具体 GPU 型号+数值（H100/B200/Vera Rubin）|
重要警示（HPA 陷阱）：
HPA 配置只看 CPU 使用率，LLM 推理瓶颈永远在 GPU 显存和 PCIe 带宽；
并发请求把显存打到 98% 时，HPA 因 CPU 正常而毫无反应。
→ 这是一个真实生产陷阱，值得纳入 engineering.md 的"推理工程常见错误"章节。
与今日其他文件的去重： - 早间简报有 Ken Huang Roofline Model 预告（来自 engineering-e1prep），本文是完整章节——互补，不重复 - 晚间简报有"KV Cache 正在变成互联网级内容分发问题"，本文是 GPU 物理层视角——互补，不重复
建议写入路径：engineering.md §2.5 推理工程学科化（GPU 内存墙量化子轴）+ engineering.md HPA 陷阱警示
⚠️ 降级 3：vLLM vs SGLang 对比（Turion.ai）
文件：2026-09-07-inference-engine-comparison.md
来源：https://turion.ai/2026/04/30/vllm-vs-sglang
时间：2026-04-30
筛选判定：降级为参考，不新建独立工程条目
保留部分（有价值）： - ✅ 并发压力测试数据（50 并发请求） - ✅ 基准测试表格（Qwen3-32B / Llama3 场景） - ✅ 决策框架：按上下文长度/并发量/硬件配置三维决策
缺失部分（不足以新建工程条目）： - ❌ 无源码/命令/错误日志 - ❌ 无真实复现步骤 - ❌ 原文 URL 无完整标题（需二次验证） - ❌ 发布于 2026-04-30，数据已偏旧（2026-09 已有阿里云实测数据：SGLang 0.4.6 vs vLLM 0.8.5）
降级理由：同日晚间简报已有阿里云官方 SGLang vs vLLM 实测（Qwen-QWQ-32B-AWQ），数据更权威且含具体命令和配置。Turion.ai 数据作为参考补充，不新建文件。
建议：在 engineering.md §2.4 模型服务中引用时标注"参考补充，以阿里云官方数据为准"。
✅ 保留 4：CSDN RAG/Agent 源码分析
文件：2026-09-07-csdn-rag-agent-sourcecode.md
筛选判定：保留，但有条件
高价值子条目（满足工程筛选标准）：
保留 4a：Dify v0.6.9 源码部署 + 核心表结构
- ✅ 完整部署命令：Docker Compose 中间件+业务服务分离
- ✅ 版本明确：Python 3.11/3.12、Node.js v18+、Dify v0.6.9
- ✅ 真实组件：PostgreSQL、Redis、Weaviate、dify-sandbox、dify-plugin-daemon、Squid
- ✅ 表结构分析：核心表 ER 图
- ✅ 错误处理：gcc 版本兼容性、PostgreSQL 初始化常见问题
- → ⭐⭐⭐⭐⭐ 可直接复用
保留 4b：Dify 混合检索源码解析
- ✅ 源码片段：
DataPostProcessor类、WeightRerankRunner加权重排 - ✅ 算法细节：TF-IDF + 余弦相似度混合计算
- ✅ 配置解析：
reranking_mode: WEIGHTED_SCORE - → ⭐⭐⭐⭐⭐ 源码级参考
保留 4c：Gemini CLI 源码分析（自定义 Agent 开发指南）
- ✅ 源码片段：
AgentDefinition接口、CodebaseInvestigatorAgent、executeTurn - ✅ 版本：TypeScript 源码，2026-01-13 最新
- ✅ 三层设计：循环检测服务（LoopDetectionService）
- → ⭐⭐⭐⭐ 协议/工具调用层参考
低价值子条目（不满足筛选标准）： - ❌ GraphRAG 详细分析：代码片段较少，架构解析为主——降级为参考 - ❌ Deep Searcher 实现逻辑：项目背景清晰，但工程价值待验证——待核实 GitHub
建议写入路径：
- Dify 部署 → engineering.md §2.4 模型服务 / Dify 专题页
- Dify 检索源码 → engineering.md §2.8 RAG 范式 / Dify 源码解读专题
- Gemini CLI → engineering.md §2.7 Agentic Eng / MCP 协议关联
三、今日工程文件质量评级
| 评级 | 条目 | 核心价值 |
|---|---|---|
| 🟢 优质（可直接入工程知识库） | Disaggregated Primitives（Primitives.ai） | 微软 AKS 23K 生产 trace + NIXL 采纳证据 |
| 🟢 优质（可直接入工程知识库） | LLM 推理物理学（Ken Huang） | 70B 实测 298:1 + Roofline 量化 + HPA 陷阱 |
| 🟢 优质（可直接入工程知识库） | CSDN Dify 部署 + 检索源码 | 完整命令链 + 版本号 + 表结构 + 源码片段 |
| 🟡 参考（补充，不新建） | vLLM vs SGLang（Turion.ai） | 决策框架有参考，但数据偏旧 |
| 🟡 参考（补充，不新建） | TechRadar ByteRanking | HarnessDev arXiv 有价值，但内容为策展 |
| 🔴 参考（已有更优覆盖） | NVIDIA/HF 收购、OpenAI 入侵事件 | 事件重要性高，但非工程实现 |
四、建议纳入 engineering.md 知识库的具体条目
🔴 高优先级（今日新增，直接锚入）
条目 A：PD 分离 Serving 生产证据（Primitives.ai）
- 锚入位置：engineering.md §2.3 调度 或 §2.4 模型服务
- 内容要点：微软 AKS 23K 请求 trace；Dynamo + llm-d 双路径；NIXL 采纳证据；TTFT SLO 约束下 2.25× capacity 提升
- 关联已有条目：早间简报 KV Cache 互联网（arXiv:2608.01526）是网络协议视角，本文是生产部署视角
条目 B：GPU 内存墙量化 + HPA 陷阱（Ken Huang）
- 锚入位置：engineering.md §2.5 推理工程学科化
- 内容要点：H100 FP8 ridge ≈ 591 FLOP/byte；70B decode step 298:1 计算/内存比；HPA 陷阱警示
- 关联已有条目：早间简报 Roofline Model 预告是来源引用，本文是完整章节
条目 C：Dify v0.6.9 部署命令链 + 检索源码
- 锚入位置：engineering.md §2.4 模型服务（Dify 专题）
- 内容要点：Docker Compose 完整部署；6 大服务组件；表结构；混合检索加权重排源码
🟡 中优先级（参考跟进）
条目 D：vLLM vs SGLang 决策框架（参考补充） - 标注：已有阿里云官方实测数据（Qwen-QWQ-32B-AWQ），本文作为历史参考
条目 E：HarnessDev 自进化 Agent Harness（TechRadar ByteRanking） - 跟进：arXiv:2609.01437 原文；ByteDance Seed GitHub 仓库 - 意义：Agent 构建自己的 harness，是 agentic engineering 新方向
五、候选草稿（如需写入）
如需将上述条目写入知识库，建议文件路径：
# 高优先级工程锚入草稿
/shared/research-kb/inbox/jay/2026-09-07T1950-jay-engineering-filter.md ← 本文件
# 建议以引用方式纳入 engineering.md 的内容：
# 1. Primitives.ai PD 分离 trace → engineering.md §2.3/§2.4
# 2. Ken Huang 推理物理学 + HPA 陷阱 → engineering.md §2.5
# 3. Dify v0.6.9 部署命令链 → engineering.md §2.4
六、今日筛选结论
本次筛选判定： - 🟢 3 条保留：Disaggregated Primitives / LLM 推理物理学 / CSDN Dify 源码 - 🟡 2 条降级参考：vLLM vs SGLang（数据偏旧）/ TechRadar（策展非原创） - 🔴 0 条完全丢弃
本轮新增工程知识库锚入建议： 1. PD 分离 serving 生产证据（23K trace + NIXL 采纳） 2. GPU 内存墙量化 + HPA 陷阱 3. Dify v0.6.9 完整部署命令链
后续跟进项： - [ ] HarnessDev arXiv:2609.01437 原文 + ByteDance Seed GitHub 核验 - [ ] Ken Huang 付费章节代码可运行性验证 - [ ] llm-d CNCF Sandbox 时间戳核验（2026-03-24）