Jay · 五分类简报 · 2026-08-19 晚间版

实例：Jay | 检索范围：arXiv / Tavily / X(Twitter) / Substack / GitHub / HuggingFace | 截至：2026-08-19 13:05 UTC

📂 database

🔥 高价值条目

1. pgvector vs 专用向量 DB：2026 选型决策框架 - 来源：Tavily 综合多源 benchmark（Alphacorp / Firecrawl / Salt Techno / Actian） - 原文：https://alphacorp.ai/blog/best-vector-databases-for-rag-2026-top-7-picks - 核心数据（1M 向量 / 1536 dim）： | DB | p50 | p99 | QPS | |---|---|---|---| | Qdrant OSS | 4ms | 25ms | ~1,200 | | Redis OSS | 5ms | 20ms | ~1,500 | | Milvus | 6ms | 35ms | ~800 | | pgvector | 18ms | 90ms | ~500 | - 关键判断： - <50M 向量 + 已有 PostgreSQL：pgvector + pgvectorscale 仍是首选（零新增服务，ACID 保证） - 50M+：Qdrant（过滤查询优秀）或 Milvus（分布式水平扩展） - Pinecone：无运维企业级 RAG，但成本最高 - 2026 新变数：PostgreSQL 17 + pgvectorscale 0.2 使 pgvector 在 20M 向量内几乎追平专用 DB - 评价：⭐⭐⭐⭐ | 可信度：综合 benchmark，需注意各 benchmark 口径差异（Actian 有评测方法论批判文章值得一读）| 建议：选型参考 - 标签：database vector-db pgvector qdrant benchmark 2026

2. Actian：向量 DB benchmark 制造的性能危机 - 来源：Actian 官方博客（利益相关但批评深刻） - 原文：https://www.actian.com/blog/databases/how-to-evaluate-vector-databases-in-2026 - 核心观点： - GitHub 上"vector database benchmark"仓库大多由厂商自建，展示自己优势为客观对比 - 真正有意义的 5 项生产测试：Recall 准确率、过滤查询性能、并发 QPS、p99 尾延迟、 embedding 模型共置开销 - 2026 趋势：集成平台（PostgreSQL + pgvector / Actian VectorAI DB）> 专用向量孤岛 - 评价：⭐⭐⭐⭐ | 可信度：厂商文章但方法论批评有价值 | 建议：选型时必读 benchmark 批判章节 - 标签：database vector-db benchmark methodology 2026

⚙️ backend

🔥 高价值条目

1. vLLM vs SGLang 2026 生产决策边界：前缀共享率 > 60% 是分水岭 - 来源：Tavily 综合（Spheron / Atomic Chat / Yotta Labs / Deploybase / LeetLLM） - 原文：https://www.spheron.network/blog/vllm-vs-sglang-2026 - 核心数据（H100 / Llama 3.3 70B / FP8）：

共享前缀负载（>60% 前缀重叠）： | 指标 | SGLang | vLLM | 差异 | |---|---|---|---| | 吞吐 | ~2,050 tok/s | ~2,010 tok/s | +2% | | TTFT（1 请求） | ~42ms | ~45ms | -3ms | | TTFT（100 并发） | ~710ms | ~740ms | -30ms |

独立前缀负载（无共享）： | 指标 | SGLang | vLLM | 差异 | |---|---|---|---| | 吞吐 | ~1,920 tok/s | ~1,850 tok/s | +4% | | 每 token 延迟 | ~20ms | ~20ms | ~0 |

成本分析（H100 SXM5，每百万 token 成本）： | 配置 | 有效 tok/s | 成本/$1M token | |---|---|---| | vLLM (APC off) | 1,850 | $0.61 | | vLLM (APC on) | 2,100 | $0.54 | | SGLang | 2,550 | $0.44 | | SGLang + DeepSeek V3 | — | 3.1x faster than vLLM |

  • 决策树：
  • 前缀共享 > 60%（RAG、长 system prompt、多轮对话、Tool definitions）：→ SGLang（RadixAttention 优势）
  • 前缀基本独立（独立 batch 处理）：→ vLLM（差异 < 5%，vLLM 生态更广）
  • DeepSeek V3 系列：→ SGLang 独家（MLA + Multi-Token Prediction + EAGLE 投机解码）
  • Blackwell / 编译优化优先：→ vLLM（TGI 支持更广）
  • 评价：⭐⭐⭐⭐⭐ | 可信度：多源 benchmark 收敛，生产决策价值高 | 建议：精读原文决策树部分
  • 标签：backend inference-engineering vLLM SGLang benchmark production 2026

2. A2A 协议一周年：150+ 组织，已进入主要云平台 - 来源：PRNewswire / Linux Foundation（2026-04-09） - 原文：https://www.prnewswire.com/news-releases/a2a-protocol-surpasses-150-organizations-lands-in-major-cloud-platforms-and-sees-enterprise-production-use-in-first-year-302737641.html - 核心里程碑： - 150+ 组织支持（A2A 项目由 Linux Foundation 托管） - 深度集成：Google Cloud / Microsoft Azure / AWS 均已支持 - 实际生产案例：Salesforce Agentforce、SAP Joule、ServiceNow Now Assist 均将 A2A 作为 agent 间互操作层 - 配套安全规范正在制定（agent 冒充、信任边界数据泄露、级联攻击、审计追踪） - MCP vs A2A 分工（2026 已清晰）： - MCP = 单 agent → 工具/数据源（agent-to-tool） - A2A = 多 agent 协调（agent-to-agent），跨团队/供应商 - ACP/UCP = 商业交易层 - 评价：⭐⭐⭐⭐ | 可信度：高（Linux Foundation 官方发布）| 建议：纳入 Agent 架构主题页 - 标签：backend agent A2A MCP protocol enterprise 2026

3. 在线 KV Cache 调度：arXiv 新工作 + Awesome 资源库 - 来源：arXiv 2502.07115 / GitHub jjiantong/Awesome-KV-Cache-Optimization - 原文：https://arxiv.org/abs/2502.07115 - 核心研究： - Online Scheduling for LLM Inference with KV Cache Constraints — 首个将 KV cache 约束建模为在线调度问题的形式化工作，提出 α-protection greedy 算法处理 cache 溢出时的 eviction - Fluid-Guided Online Scheduling with Memory Constraints（arXiv 2504.11320v4）— 在 A100 80GB / Llama-2-7B 上用 Vidur 模拟器验证，相比 vLLM 默认策略显著降低 prefill 阻塞 - HotPrefix（新发布）— 热力感知 KV cache 准入与复用调度，前缀共享场景下进一步提升 cache 命中率 - Awesome-KV-Cache-Optimization 资源库： - 378 stars，持续更新，ACL 2026 论文 MegaScale / LoRAFusion 均在列 - 分类清晰：Prefill-Decode 分离 / KV-cache 驱逐策略 / 分层缓存 / 前缀共享 - 评价：⭐⭐⭐⭐ | 可信度：arXiv peer-reviewed + 社区维护 | 建议：KV cache 调度方向精读 - 标签：backend llm-inference kv-cache scheduling arxiv 2026

☁️ cloud-native

🔥 高价值条目

1. K8s + LLM 推理：2026 生产部署成熟度报告 - 来源：综合多源（Tavily 搜索） - 现状判断： - vLLM/SGLang 均已提供官方 K8s 部署 guide（Helm chart + kubectl 示例） - 主要挑战：GPU 调度（NVIDIA GPU Operator / MIG 分割策略）、HPA 自动扩缩容（当前基于请求队列深度而非真实 GPU 利用率）、KV cache 跨 Pod 共享（仍在实验阶段） - TokenFlow / FlexPipe（EuroSys 2026）均在探索无服务器 GPU 集群上的 LLM 推理管道重构 - 2026 部署范式： - Deployment + HPA（基于 custom metrics，需要 prometheus-adapter 或 KEDA） - GPU Node Pools + nodeSelector + tolerations - Ingress → vLLM/SGLang Service → RBAC 控制 - 监控：DCGM Exporter + Prometheus + Grafana（GPU 利用率可观测） - 评价：⭐⭐⭐ | 可信度：综合工程实践 | 建议：vLLM K8s 部署文档 / SGLang Kubernetes guide 精读 - 标签：cloud-native kubernetes llm-inference deployment 2026

📝 csdn

🔥 高价值条目

1. CSDN vLLM OOM 排障清单（今晨工程筛选已覆盖，更新版） - 来源：Sector88（已记录） - 关键高价值命令： ```bash # 查看 KV cache 使用 curl http://vllm:8000/metrics | grep kv_cache

# A100 80GB + Llama-70B AWQ 推荐配置 --gpu-memory-utilization=0.92 \ --max-model-len=8192 \ --max-num-seqs=64 \ --enable-chunked-prefill \ --download-dir=/model_cache `` - 评价：⭐⭐⭐⭐ | 可信度：生产验证 | 建议：纳入推理工程 runbook - 标签：csdninference-engineeringvllmoomproduction`

2. vLLM vs SGLang vs LMDeploy vs TGI：CSDN 友好对比（2026-08 更新） - 来源：AIMultiple / Yotta Labs（中文技术社区广泛转载） - 判断共识（多源收敛）： - 推理引擎选择不看 peak benchmark，而看 workload shape - SGLang 的 compressed finite state machine 使 JSON/XML 生成速度提升 3x（constrained decoding） - LMDeploy 冷启动最快（适合 CLI / serverless / edge），但生产生态最弱 - TGI 在高负载下最先饱和，不推荐高并发场景 - 评价：⭐⭐⭐ | 可信度：多源综合 | 建议：工程选型参考，但需对照英文原文验证 - 标签：csdn inference-engineering vllm sglang lmdeploy tgi

🔬 reproduction

🔥 高价值条目

1. Bench360 推理引擎可复现性研究 - 来源：arXiv 2605.19537 - 原文：https://arxiv.org/html/2605.19537v2 - 核心发现： - 主流引擎版本（截至 2026-01）：vLLM 0.10.2 / SGLang 0.5.2 / LMDeploy 0.10.1 / TGI - 不同推理后端对模型输出有显著可测影响，同一模型在不同 engine 上生成分布差异显著 - 意味着：论文报告的评估结果需注明推理引擎版本，否则不可复现 - 可复现性价值： - 为 benchmark 规范建立基线（引擎版本锁定） - 指导研究复现实验设计 - 评价：⭐⭐⭐⭐⭐ | 可信度：学术 benchmark，版本明确 | 建议：精读，纳入 reproduction 规范 - 标签：reproduction inference-engineering benchmark reproducibility arxiv

2. AIConfigurator：跨引擎推理配置自动优化 - 来源：arXiv 2601.06288，NVIDIA 主导 - 核心贡献： - 推理配置空间（tensor/pipeline parallelism + CUDA graph + KV-cache fraction + max tokens）爆炸，人工调优成本高 - 方法：CPU 建模（将推理拆解为 GEMM/attention/communication/memory 可分析基元），30 秒内完成跨 TRT-LLM / vLLM / SGLang 最优配置搜索 - 关键数据：Qwen3-32B 提升 40%，DeepSeek-V3（MoE）提升 50% - 可复现性： - GitHub 有代码，CPU 模拟无需真实 GPU - 支持多引擎配置比较，适合学术 reproduction - 评价：⭐⭐⭐⭐⭐ | 可信度：NVIDIA 主导，多框架验证 | 建议：精读 + 复现测试 - 标签：reproduction inference-engineering nvidia optimization arxiv

3. Awesome-KV-Cache-Optimization（持续追踪） - 来源：GitHub jjiantong（378 stars，持续更新） - 原文：https://github.com/jjiantong/Awesome-KV-Cache-Optimization - 追踪状态： - ACL 2026 论文 MegaScale-Omni / LoRAFusion / FlexPipe 均已收录 - HotPrefix 为新发现条目（前缀热力感知调度），值得优先阅读 - 评价：⭐⭐⭐⭐ | 可信度：社区维护，学术来源可查 | 建议：每周跟进 - 标签：reproduction kv-cache awesome github llm-inference

📋 本次简报汇总

分类 高价值条目数 重点条目
database 2 pgvector 2026 选型框架 / benchmark 方法论批判
backend 3 vLLM vs SGLang 决策边界 / A2A 一周年 / KV cache 调度 arXiv
cloud-native 1 K8s + LLM 推理生产部署成熟度
csdn 2 vLLM OOM 命令 / 多引擎对比共识
reproduction 3 Bench360 可复现性 / AIConfigurator / Awesome-KV-Cache

建议写入路径： /shared/research-kb/inbox/jay/2026-08-19T2105-jay-five-category-evening-briefing.md

后续行动建议： 1. vLLM vs SGLang 决策树 → 纳入 Agent 工程选型主题页 2. A2A 协议一周年里程碑 → 纳入 Agent 协议生态主题页 3. HotPrefix → 纳入 KV cache 调度精读队列 4. pgvector vs 专用 DB → 纳入 Vector DB 选型主题页（替代已有过时数据）