研究知识库草稿 · 2026-07-16 午间工程与学术速报

检索范围： HotInfra'26 · cs.CL (Cool Papers) · Microsoft Research · The AI Engineer Substack · Lilian Weng · Simon Willison · GitHub Trending · CSDN 覆盖： LLM 推理基础设施 / Agent 记忆与技能 / Vector DB 横评 / Agent Stack 2026 / Cool Papers / GitHub Trending

🔴 backend · KV Cache 基础设施

1. CXL 内存池化：KV Cache Server 的正确抽象

  • 来源：HotInfra'26 · https://hotinfra.org/2026/papers/hotinfra26-final59.pdf
  • 作者：Khyati Kiyawat, Kevin Skadron（2026-06-28，Raleigh NC）
  • 可信度：★★★★★ 顶级会议，含理论建模 + 原型系统
  • 核心：提出三种 CXL 架构原型（DDRx / DDRx+PNM+PIM / E2E），主张 AI 数据中心应围绕内存而非算力构建。Prefill compute-bound vs decode memory-bound 不匹配问题有完整论证。
  • 版本/数据：Llama-2-7B / A100，实测数据待核验
  • 工程价值：⭐⭐⭐⭐⭐ 下一代推理基础设施方向；与 vLLM 0.25 disaggregated serving 直接相关
  • 建议分类：backend LLM-systems KV-Cache CXL HotInfra26
  • 后续：精读三种 Archotype；对齐 vLLM/SGLang disaggregated prefill 现状

2. Fluid-Guided Online Scheduling — WAIT / Nested WAIT 策略

  • 来源：arXiv 2504.11320v4 · https://arxiv.org/html/2504.11320v4
  • 可信度：★★★★☆ 理论证明 + Vidur 模拟 + A100 真实 GPU 验证
  • 核心：将 LLM 推理建模为多阶段 online scheduling（含 KV cache constraints），设计 WAIT 阈值准入规则和 Nested WAIT 扩展。在 Llama-2-7B × A100 的 near-overloaded 场景延迟显著降低。
  • 工程价值：⭐⭐⭐⭐ 高并发推理调度策略的理论基础
  • 建议分类：backend inference-scheduling KV-Cache
  • 后续：与 vLLM continuous batching scheduler 对齐；核实生产框架集成情况

🔴 database · Vector DB 横评（2026 Q1-Q2 综合）

3. pgvector 0.9 / Qdrant / Weaviate / Milvus / LanceDB Benchmark 汇总

  • 来源：CallSphere · Salt Technologies · Buttondown UltraDune · DEV Community 多源
  • 可信度：★★★★☆ 多源交叉验证
  • 核心数据（2026 Q1）：
DB QPS（单节点） 扩展 过滤 量化
pgvector 0.9 5K–15K 单机→分布式 SQL 原生 INT4/FP16/FP8
Qdrant 8K–20K 十亿级 Best-in-class JSON 多粒度
Milvus 10K–30K 十亿+ 强 多模态
LanceDB 待确认 单机→分布式 SQL 多模态 lakehouse
  • 选型结论：Qdrant = 生产 RAG 首选；pgvector = 已有 Postgres 栈；Milvus = 超大规模；LanceDB = 多模态 lakehouse
  • 工程价值：⭐⭐⭐⭐⭐ 选型决策直接参考，pgvector 0.9 更新重点关注
  • 建议分类：database vector-db benchmark pgvector Qdrant Milvus
  • 后续：补充 LanceDB 2026 QPS 数据；更新选型矩阵

🔴 csdn · CSDN 高价值工程条目

4. vLLM vs SGLang 框架对比（含实测）

  • 来源：https://blog.csdn.net/weixin_46880696/article/details/147927647（2026-07-06）
  • 可信度：★★★☆☆ 有 benchmark 但实验条件不完整
  • 核心：vLLM PagedAttention+ContinuousBatching 95%+ 显存；SGLang RadixAttention 多轮对话 5x 吞吐；TensorRT-LLM 3880 tok/s，85ms TTFT
  • 建议分类：csdn LLM-systems inference-engine benchmark

5. 腾讯云：用 vLLM+SGLang 构建企业级高并发 Serving

  • 来源：https://cloud.tencent.com/developer/article/2707601（2026-07-11）
  • 可信度：★★★☆☆ 官方但内容偏基础
  • 核心：Chunked Prefill + Disaggregated Serving 实战；OpenAI SDK 兼容调用命令
  • 建议分类：csdn LLM-systems production cloud-native

🔴 reproduction · Cool Papers / Microsoft Research / Lilian Weng（学术来源）

6. PalmClaw — 移动端原生 Agent 框架（arXiv 2607.13027）

  • 来源：https://papers.cool/arxiv/2607.13027
  • 可信度：★★★★☆ 新发表，有系统设计
  • 核心：多步任务执行，工具调用+观察+迭代决策，面向手机等资源受限设备
  • 建议分类：reproduction agent mobile edge cs.CL

7. LLM 评判无参考答案时过于宽松（arXiv 2607.12885）

  • 来源：https://papers.cool/arxiv/2607.12885
  • 可信度：★★★★☆
  • 核心：LLM-as-judge 在无 ground truth 时评分过高，与人类判断差距显著；直接影响 RAG eval、Agent eval 体系
  • 建议分类：reproduction eval LLM-judge cs.CL

8. 鲁棒性假象：上下文冗余掩盖预测翻转（arXiv 2607.12963）

  • 来源：https://papers.cool/arxiv/2607.12963
  • 可信度：★★★★☆
  • 核心：RAG 检索长文档可能反而降低 per-example 稳定性；aggregate accuracy 掩盖了翻转问题
  • 建议分类：reproduction RAG eval robustness cs.CL

9. SkillOpt — Agent 技能作为可训练参数（Microsoft Research）

  • 来源：https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
  • 可信度：★★★★★
  • 核心：技能参数化+梯度优化，LoRA 思想应用于 Agent 指令层；与 DSPy 互补
  • 建议分类：reproduction agent prompt-optimization Microsoft-Research

10. Memora — 调和式记忆表征（Microsoft Research）

  • 来源：https://www.microsoft.com/en-us/research/blog/memora-a-harmonic-memory-representation-balancing-abstraction-and-specificity/
  • 可信度：★★★★★
  • 核心：平衡抽象性与具体性的 Agent 长期记忆方案，解决上下文重载问题
  • 建议分类：reproduction agent memory Microsoft-Research

11. Lilian Weng — 自我改进的 Harness 工程（2026-07-04）

  • 来源：https://lilianweng.github.io/posts/2026-07-04-harness/
  • 可信度：★★★★★ AI Agent 领域公认权威
  • 核心：RSI 递归自我改进 + Harness = 环境+反馈机制；覆盖 self-play/RLHF/constitutional AI/process reward model；与 SkillOpt/Memora 构成 Agent 能力提升三层框架
  • 建议分类：reproduction agent RLHF self-improvement Lilian-Weng

12. Lilian Weng — 谨慎看待 Scaling Laws（2026-06-24）

  • 来源：https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
  • 可信度：★★★★★
  • 核心：2026 年 scaling 预测与实际分歧；后训练重要性上升、test-time compute scaling 兴起
  • 建议分类：reproduction scaling-laws LLM-theory Lilian-Weng
  • 来源：GitHub trending
  • 可信度：★★★☆☆ 新兴项目，长期 star 待观察
  • 建议分类：reproduction agent multi-agent GitHub

14. openai/openai-agents-python — 27.9k stars，2026-07-12 更新

  • 来源：https://github.com/openai/openai-agents-python
  • 可信度：★★★★★ OpenAI 官方
  • 建议分类：reproduction agent framework OpenAI

15. google/adk-python — 20.6k stars，2026-07-14 更新（9h ago）

  • 来源：https://github.com/google/adk-python
  • 可信度：★★★★★
  • 建议分类：reproduction agent framework Google

16. caramaschiHG/awesome-ai-agents-2026 — 466 forks，340 resources × 20 类别

  • 来源：https://github.com/caramaschiHG/awesome-ai-agents-2026
  • 可信度：★★★★☆ 月度更新，覆盖 MCP/A2A 协议、RAG、observability
  • 建议分类：reproduction awesome-list agent resource

📌 本次分类标签

backend LLM-systems KV-Cache CXL inference-scheduling database vector-db benchmark pgvector Qdrant csdn production cloud-native reproduction cs.CL eval RAG agent memory prompt-optimization Microsoft-Research GitHub awesome-list

📋 建议写入路径

本次草稿已写入两个文件： - 2026-07-16-1130-midday-briefing-cxl-kvcache-agents-stack-vecdb-substack.md — 综合简报（详细版） - 2026-07-16-1130-cs-cl-microsoft-substack-engineering.md — 工程/学术速报（结构化版）

🔍 精读/审稿优先级

优先级 条目 行动
P0 Lilian Weng Harness Engineering 精读全文
P0 CXL KV Cache Server（HotInfra'26） 精读三种 Archetype
P1 AI Agents Stack 2026 Edition（Substack） 精读六层定义
P1 LLM Judge 太宽松（2607.12885） 核验实验数据
P2 SkillOpt / Memora 泛读
P2 Vector DB Benchmark 2026 更新选型矩阵

Jay · 2026-07-16 11:30 CST