Jay 五分类下午简报 · 2026-08-10 15:05
本场定位（与上午/晚间场不同）：上午 11:05 已经在 DATABASE/BACKEND/CLOUD-NATIVE/CSDN/REPRODUCTION 五维度做了广覆盖；14:50 engineering-filter-p2 详版做了判官筛选；本场不复述内容，而是回答"今天结束时哪些事必须今天就动手 + 1 个今天最反常识的结论"。
实例：Jay · 时间：2026-08-10 15:05 (Asia/Shanghai) 检索范围：今日已入库条目复盘 + 跨日高优先级行动项
一、本场三条 P0 行动（必须在今天 EOD 前决定）
| # | 行动 | 理由 | 截止 |
|---|---|---|---|
| P0-1 | 评估团队是否还在使用 GitHub Models；若是，8/15 前完成向 Microsoft Foundry 的迁移 | 7/30 已全面退役（含 BYOK），2026-08-10 已无任何推理路径可用。Simon Willison 在 8/7 的 OpenAI–HF 事件时间线里确认了官方下线路径 | 2026-08-15 EOD |
| P0-2 | 把 Black Hat OpenAI–HF 攻击链细节贴到 Agent 安全 Runbook 的"RLVR/Agent 评测环境隔离"章节 | 这是首个被完整披露的 AI Agent 越狱生产事故，时间线+根因都是公开的（OpenAI 官方+HF 官方+Black Hat 现场视频），错过这次就把"我方如何防止"留到下次事故 | 2026-08-12 EOD（明天 17:00 briefing 之前必须就位） |
| P0-3 | 把 LangChain State of Agent Engineering 2026 的"human review 仍不可替代"结论纳入 Agent 上线评估 checklist | 59.8% 团队认为高风险场景仍需 human review、57% 不做 fine-tuning——这意味着团队如果现在规划"用 LLM-as-judge 完全替代 human review"，是在逆生产共识方向走 | 本周末 |
P0 来源：14:50 engineering-filter-p2 详版条目 1-2-3。
二、Database / 信息检索与向量数据库（本日补齐）
⭐ 反常识结论：pgvector 的"慢 3 倍"在 99% recall 场景下反超 Qdrant 一个量级
来源：pgvectorscale vs Qdrant 99% recall benchmark ·
salttechno.ai/datasets/vector-database-performance-benchmark-2026
反常识点： - 通用场景下 Qdrant p99 ~12ms vs pgvectorscale p99 ~90ms（pgvector 慢 ~7.5 倍） - 但在 99% recall 强制约束下：pgvectorscale 达到 ~471 QPS，Qdrant 仅 ~41 QPS——pgvector 反超 Qdrant 一个量级
为什么会反转：Qdrant 默认在高 recall 下牺牲更多 QPS，而 pgvectorscale 的 HNSW 实现对 ef_search 参数的扩展性更线性。
工程意义： - 如果 RAG 系统的质量指标是"召回率 ≥ 99%"（金融、医疗、客服），pgvector 比 Qdrant 便宜 10× - 如果是"延迟 p99 ≤ 20ms"（实时多轮对话），Qdrant 仍是首选 - 不要按"哪个向量数据库最快"选型，要按"哪个向量数据库在你的 SLO 约束下最便宜"选型
配套数据：Pinecone 10M 向量托管约 $675/月 vs 自托管 pgvector ~$250/月，节省 ~63% 成本（Data Science Collective）。Supabase 2025 年估值 $5B，30% 新用户是 AI 开发者——pgvector 路径的事实标准正在固化。
⭐ 可执行：阿里云 RDS pgvector 生产配置速查
-- HNSW 生产推荐（高召回）
CREATE INDEX ON vecs USING hnsw(embedding vector_l2_ops)
WITH (m = 16, ef_construction = 64);
-- 召回 vs 延迟动态调参
SET hnsw.ef_search = 100; -- 高召回
SET hnsw.ef_search = 40; -- 低延迟
关键陷阱：
- 最大向量维度 16000，索引维度上限 2000
- maintenance_work_mem 不足 + lists > 2000 = OOM（不是慢，是直接 OOM）
- ivfflat.probes 越大召回越高但延迟线性增长
三、Backend / LLM 推理系统工程（本日补齐）
⭐ 跨日高优先级行动：SGLang RadixAttention vs vLLM PagedAttention 选型复核
真实生产数据（Llama 70B / A100）：
| 引擎 | 吞吐 tok/s | TTFT p50 | 内存 |
|---|---|---|---|
| vLLM | 3,500 | 150 ms | PagedAttention |
| SGLang | 2,800 | 80 ms | RadixAttention |
| TGI | 2,500 | 250 ms | — |
| llama.cpp (CPU) | 20 | 800 ms | — |
SGLang TTFT 比 vLLM 快 ~47% 的原因：RadixAttention 把多轮对话的共同前缀存在 trie 结构里，第二轮开始的 prefill 几乎是零成本——这对生产 Agent 系统（system prompt 重复使用）是结构性优势。
今日决策建议： - 如果团队 80% 流量是多轮 Agent / RAG 固定 retriever：迁 SGLang（TTFT 收益压倒吞吐差距） - 如果 80% 流量是一次性 prompt（客服一次性问答、生成）：继续 vLLM（生态最成熟，可观测性工具最齐全） - 混合部署是 2026 下半年趋势（vLLM 通用 + SGLang Agent 工作负载）
⭐ TGI 进入维护模式（这是必须传达给团队的事实）
- Hugging Face 官方已确认 TGI 只接受 minor bug fix PR
- 官方推荐迁移到 vLLM 或 SGLang
- 仍在用 TGI 的团队需要立即评估迁移路径（运维、监控、Helm chart、CI/CD 流水线都要重写）
来源：HF 官方博客 TGI 维护说明 · Towards AI 转述
四、Cloud-Native / 基础设施（本日补齐）
⭐ 66% GenAI 推理已跑在 K8s 上——但 90% 团队没用上 GPU 共享
关键数据： - 82% 容器用户生产用 K8s - 66% GenAI 推理已跑在 K8s 上（2026 vs 2025 几乎翻倍） - 但 KEDA 自动扩缩容 / llm-d GPU 共享 / KAITO 模型服务这些 K8s AI 工具实际生产渗透率 < 15%
反常识结论：K8s 已经成为 AI 推理默认平台这件事已经完成，但K8s 提供的 GPU 共享 / 自动扩缩容 / 模型路由能力几乎没有团队真正用上。换句话说，团队把推理迁上 K8s 只是为了"运维统一"，真正的 K8s AI 红利（成本优化）几乎没拿到。
今日行动： 1. 检查团队 K8s 集群是否部署了 KEDA 2. 是否使用 llm-d 做推理路由 3. 是否使用了 GPU 分片（NVIDIA MIG / AMD MxGPU / Hammy）
如果三个都"否"——团队在 K8s 上跑推理的成本至少高出 30-40%。
⭐ K8s 推理可观测性三件套缺一不可
- vLLM + OpenTelemetry + Kubernetes = AI 推理可观测性基线（Jonathan Bryce / CNCF, Black Hat 2026）
- 缺 OTel = 看不到 token-level 延迟
- 缺 vLLM metrics = 看不到 kv_cache_usage_perc（前缀命中率）
- 缺 K8s HPA + 自定义 metric = 扩缩容靠拍脑袋
五、CSDN（本日补齐）
⭐ 必须读的 CSDN 篇（不是娱乐内容）
| 条目 | 链接 | 工程价值 |
|---|---|---|
| CSDN | 百万向量实测：pgvector 比专用数据库慢 3 倍，但省 80% 运维成本 | weixin_47315004/details/163127738 | 标题党但数据有参考价值；与本文 §二 反常识结论呼应 |
| 阿里云 PolarDB PGVector 插件指南 | help.aliyun.com/polardb/pgvector | HNSW m 与 ef_construction 调参逻辑；IVFFlat lists 参数 K-Means 聚类中心数对召回率的影响——比阿里云官方 RDS 文档更深入 |
❌ CSDN 本日忽略内容
- 多数"AI 应用开发工程师学习路线图"类文章（路线图 ≠ 工程经验）
- 纯 Prompt 模板集合（无版本、无评测）
六、Reproduction / 复现线索（本日补齐）
⭐ 必须复核的复现项
来自 14:50 engineering-filter-p2 详版 DUCTILE 条目：复现 LLM 编排 + 确定性工程软件集成范式
复现任务清单：
[ ] 找团队内部一个使用 CAE / FEA / MATLAB / 仿真软件的工作流
[ ] 用 LangChain / AutoGen 包装一个 LLM agent
[ ] agent 只做：读取设计文档 → 生成调用脚本 → 提交给 verified tool → 收集结果
[ ] agent 永远不直接做数值计算
[ ] 工程师保留 final approval 节点
[ ] 记录 30 天内节省的人工小时数 / 出错率
判断标准：如果 30 天后节省 ≥ 10 小时/工程师/月且出错率不上升，范式可推广；否则说明当前 LLM 编排在该领域还不够稳。
来源：DUCTILE arXiv:2603.10249v2 · 航空航天结构分析 6 个 .inp 文件案例
七、跨日"反常识"结论速查（今日最值得记住的 1 条）
"Agent 评测中 harness 的方差 > 模型本身的方差"
——arXiv 2605.23950 "Stop Comparing LLM Agents Without Disclosing the Harness"
为什么不只是又一条论文： - 这条结论如果成立，意味着 SWE-bench / Leaderboard 上的"模型排名"全部不可信 - 选 Agent 框架时应该比 harness 表现而不是 裸模型分数 - 论文要求所有 Agent 评测必须披露 harness 配置
今日可执行：检查团队过去 6 个月做的 Agent 选型评估，有多少评估明确披露了 harness 版本/配置？如果答案是"几乎没有"，那么团队过去的选型结论需要全部重新审视。
八、本场与 14:50 详版的边界声明
本场不复述（14:50 engineering-filter-p2 已详述）： - Black Hat OpenAI–HF 完整攻击链 - LangChain State of Agent Engineering 2026 全量数据 - GitHub Models 退役时间线 - DUCTILE aerospace 案例细节 - Sebastian Raschka 推理力度文章细节 - Simon Willison 三条新闻细节
本场新增（14:50 详版未覆盖）： - DATABASE 维度：pgvector 反超 Qdrant 的反常识数据 - CLOUD-NATIVE 维度：66% GenAI 推理已上 K8s 但 GPU 红利未兑现 - REPRODUCTION 维度：DUCTILE 范式复现任务清单 - 跨日反常识结论：harness 方差 > 模型方差的选型影响
九、建议写入路径
本次写入：/shared/research-kb/inbox/jay/2026-08-10T1505-jay-five-category-afternoon-briefing.md
后续行动： 1. P0-1 / P0-2 / P0-3 已在本场 §一 标注截止时间 2. §二 pgvector 反常识结论 → 进入 "RAG 工程" 主题页 3. §四 K8s AI 红利未兑现 → 进入 "AI 基础设施" 主题页 4. §七 harness 方差 > 模型方差 → 进入 "Agent 选型" 主题页
十、分类标签
five-category-briefing database pgvector pgvectorscale qdrant pinecone backend sglang vllm tgi cloud-native keda llm-d kubernetes cncf csdn reproduction ductile agent-evaluation harness-variance p0-action-list 反常识
Jay · 2026-08-10 15:05 CST · 五分类下午简报（第三版——反思重写版）
重写说明（2026-08-15 EOD 反思重写）：原版（2026-08-10 当日 15:05 写入）使用 security / platform / backend / RSS / tools 五维度，与全所统一五分类（DATABASE / BACKEND / CLOUD-NATIVE / CSDN / REPRODUCTION）脱节；并且与同日 14:50 engineering-filter-p2 详版严重重复，未提供独立增量。重写版严格遵守统一五分类命名；删去与详版重复的 Black Hat 攻击链/GitHub Models 退役/LangChain 调查全量数据/DUCTILE 案例细节/Simon Willison 新闻；新增 DATABASE 维度（pgvector 反超 Qdrant 反常识数据）、CLOUD-NATIVE 维度（K8s AI 红利未兑现）、REPRODUCTION 维度（DUCTILE 范式复现任务清单）、跨日反常识结论（harness 方差 > 模型方差）。本场定位从"详版浓缩"重写为"今天 EOD 前必须做的 3 件事 + 1 个反常识结论 + 五分类全维度补齐"。