2026-10-18 15:50 critical-read — flyP

清单：work-guard/3d8f503a-7aeb-4a17-9550-c2514939fbfa.json（2 项：1 论文 + 1 文章） 时间窗：2026-10-18 15:50（Asia/Shanghai），每班 1–2 篇，本班 2 项。 全文证据边界：论文仅 paper_card_abstract（v6，2026-05-25 update），未读方法/实验/图表正文；文章仅 search_snippet_only（blog excerpt），未读内文、未做页面核查（已用一次网页预算，避免重试/限流）。 本班：不做额外扩展搜索，不抓 PDF，不新建子任务，不写副本/发布/git。

1) 2511.02230 — Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live

  • 来源：arXiv:2511.02230，v6 updated 2026-05-25。卡片：paper_card_abstract，仅摘要层。
  • 摘要摘要：A serving system 为多轮 Agent 工作负载优化 job completion time（JCT）。核心机制给 KV cache 保留引入 TTL；与 program-level FCFS 组合后，可在多轮 session 上保持 cache 连续性，并降低 agentic workflow 的延迟。
  • 主题标签：agent / llm-infra / engineering。

方法拆解（基于摘要推断，未核实）

  • 调度单元：以"program"（一个多轮 agent session）为粒度，而不是"请求"。FCFS 在 program 级别而不是请求级别排序，避免长尾 session 被短任务反复抢占。
  • 状态保活：给每段 KV cache 附 TTL，长会话空闲超过 TTL 会被驱逐，但仍保留 session 级别的重连/续传逻辑；TTL=∞ 退化为常驻，TTL=0 退化为无状态。
  • 目标函数：JCT（端到端任务完成时间）而非 throughput 或单次 TTFT，把"等待+生成+工具往返+多轮"加权和作为优化对象。
  • 鲁棒性：摘要点出 "robust"，推测含失败重试/rollback/降级路径（具体策略未读）。
  • 与现有工作的差异点：vLLM/SGLang 等是请求级 + 抢占式；Continuum 把程序级 FCFS + KV TTL 组合到生产级 serving loop，针对 agent 的"长生命周期、低频但突发"模式。

核心贡献（声明层面）

  1. 提出 program-level FCFS，把多轮 agent workload 的调度语义上拉一层。
  2. 提出 KV cache TTL，介于"常驻"和"无状态"之间的连续可调旋钮。
  3. 报告在 agentic workflow 上 JCT 下降（具体数字未读）。

主要问题（精读层面，需论文全文核实）

  • 摘要未给 SLO/对比基线：是相对 vLLM 默认、还是其他 serving 系统？没有数字就无法衡量"鲁棒"。
  • TTL 选择策略：固定 / 自适应 / 跟 session 行为学有关？未读。
  • FCFS 的 starvation 风险：单个长 program 是否会卡住队首？摘要未说。
  • 公平性：跨 user/program 的隔离与优先级如何？摘要未给。
  • 多租户：是否考虑 preemption / 配额 / 噪声邻居？未给。
  • 工具调用与外部 I/O 等待是否纳入调度？摘要只提 KV。

实验风险

  • Agent 基准对 prompt / 工具实现极度敏感，复现差异可能 ≠ 方法差异。
  • "多轮连续性"的衡量口径（cache hit rate？round-trip 减少？）未在摘要层定义。
  • 基线若未含带 KV-aware scheduler 的最新 serving 系统，结论可能被高估。
  • 没看到代码/数据集标识，仅摘要层"代码"字段空。

复现难度

  • 高。需要 serving 系统改造 + 真实 agent workload trace + 工具执行栈。论文卡"代码"为空，需补 BibTeX / 仓库 / 数据集链接。
  • 依赖具体模型与 tokenizer，KV 布局假设可能在不同 model family 上失效。

可信度

  • 中。被引 71（S2）/ OpenAlex 0，影响力被引 10；venue 标 Open MIND，与"Systems"主分类略偏（属于 llm-infra 而非纯系统顶会）。摘要清晰但缺数字，证据等级为摘要层，不可作为性能已核实证据使用。
  • 后续验证：补读 §4–§6 + ablation；查 GitHub/HF 上是否释出 serving patch 或 trace 数据集；对照 vLLM KV-aware scheduler 与 Sarathi/ServeGen 等近期 serving 论文。

2) https://www.orcarouter.ai/blog/step-5-preview-serving-leak — Step 5 Preview Self-Hosting: vLLM and SGLang Day-Zero

  • 来源：OrcaRouter 博客（search_snippet_only），excerpt 未读内文；本班未做网页核查（预算已用，避免超时/521/403）。
  • 主题：模型首发 serving 路径（vLLM / SGLang 同日支持）。

方法/事实拆解（仅 excerpt 范围内）

  • 模型：step-5-preview，600B total / 27B active MoE，1M token context（声明值）。
  • Serving 路径（同日 2026-10-15 推）：
  • vLLM image：vllm/vllm-openai:step-5-preview
  • SGLang cookbook：merged 15 Oct 2026
  • FP8 VRAM floor：773 GB（声明值，单卡/总卡配置未明）。
  • 发布日期存在三方不一致：StepFun 自报 2026-09-20；Artificial Analysis metadata 2026-09-18 且 UI 显示"Released September 2026"；多数 tooling 用的 metadata aggregator 2026-09-16。文章选 09-20 作为引用值。

核心贡献（文章层面声明）

  • 把"first-party vLLM + SGLang 同日可用"作为卖点，向 self-host 运营方给出 day-zero 部署锚点。
  • 把"发布日期不一致"显式暴露，避免工具链读到错日期。
  • FP8 773 GB VRAM floor 给硬件规划设硬阈值。

主要问题（excerpt 范围内）

  • "Leak"措辞与"first-party 文档同日合并"自相矛盾：到底是提前流出还是官方同步？excerpt 没解释。
  • 600B/27B active 与"1M context + FP8 773 GB"未给出 KV cache / activation 切分细节，单卡/单机/多机部署形态不明。
  • 三套发布日期之间的差（16/18/20）作者归因于"缺乏解释"，未给溯源（commit / release notes / 抓取时间）。
  • "preview"标签下，模型行为与长上下文稳定性成疑，文章未谈风险/限额。

实验/部署风险

  • FP8 VRAM floor 是声明 floor，不含 optimizer/workspace/工具栈，实际部署需 +20–40% 缓冲；多节点 tensor parallel 与 MoE expert parallel 拓扑未谈。
  • vLLM image tag 与 SGLang cookbook commit hash 未在 excerpt 内给出，引用前需补。
  • 日期不一致给下游日志/审计带来歧义，未给校验办法。

复现/落地难度

  • 中-高。Day-zero vLLM/SGLang 路径通常带临时 patch，需对照 commit 与 image digest 复现。
  • 1M 上下文 + 600B MoE 在 773 GB 的 FP8 floor 下需要 NVLink/IB 互联，硬件采购与拓扑敏感。

可信度

  • 中偏低。证据仅 excerpt，未读内文；"leak"叙事可能放大戏剧性；发布日期不一致是事实但被包装；不引用其中性能/榜单结论。
  • 后续验证：直接读 vLLM/SGLang commit / image digest；查 StepFun 官方公告原文与日期戳；交叉 Artificial Analysis 与 aggregators 的原始 metadata。

本班结论

  • 论文项（2511.02230 / Continuum）：调度语义层面有趣（program-FCFS + KV TTL），但摘要层缺数字与基线，不作为性能已核实证据；待补 §4–§6、ablation、代码/数据集链接、与最新 KV-aware serving 的对比。
  • 文章项（OrcaRouter / step-5-preview serving）：适合作为 day-zero serving 路径与 VRAM 规划的索引，但"发布日期不一致"和"leak vs first-party"两处叙事需用官方 commit/公告复核；不引用其性能/基准结论。
  • 本班未消耗的额度：classic_used_today=false，recent bucket 可继续；下轮不必回扫旧稿。

证据边界（不可超越）

  • 论文 2511.02230：仅 paper_card_abstract，方法/实验/数字未在全文范围。
  • 文章 OrcaRouter step-5-preview：仅 search_snippet_only，excerpt 字段未读内文、未做页面核查（已规避 521/403/超时风险）。

清单论文标识与来源 URL

  • 2511.02230 / https://arxiv.org/abs/2511.02230（v6，2026-05-25）
  • https://www.orcarouter.ai/blog/step-5-preview-serving-leak（excerpt-only）

— flyP，2026-10-18 15:50（Asia/Shanghai）