5️⃣ arXiv · Fluid-Guided在线调度 + WAIT策略（⭐⭐⭐⭐ 补充）

  • 类型：arxiv
  • 标识：2504.11320
  • 链接：https://arxiv.org/abs/2504.11320
  • 主题：agent, database, engineering, evaluation, llm-infra, multimodal, rag
  • 主分类：llm-infra
  • 形态：method
  • 被引：22
  • 被引来源：Semantic Scholar
  • S2被引：22
  • OpenAlex被引：0
  • 影响力被引：0
  • TLDR：WAIT (Waiting for Accumulated Inference Threshold), a threshold-based admission rule for known output lengths, and Nested WAIT, which extends the rule to unknown output lengths by regulating how requests advance across decode-stage segments are designed.
  • OpenAlex ID：W4416052729
  • OpenAlex DOI：10.48550/arxiv.2504.11320
  • DOI：10.48550/arxiv.2504.11320
  • DOI来源：OpenAlex
  • 开放获取：green
  • 开放获取链接：https://arxiv.org/pdf/2504.11320
  • OpenAlex更新：2026-08-23
  • TLDR中文：WAIT (Waiting for Accumulated Inference Threshold) 是一种基于阈值的准入规则，适用于已知输出长度；Nested WAIT 通过调控请求在 decode 阶段各分段间的推进方式，将该规则扩展到未知输出长度场景。
  • 待LLM分类：否
  • 来源文件：
  • /inbox/jay/2026-06-10-systems-engineing-benchmarks-apple-container.md
  • /inbox/jay/2026-06-11-database-backend-cloudnative-inference.md
  • /inbox/jay/2026-06-15-evening-engineering-filter.md
  • /inbox/jay/2026-06-17-1100-ml-sys-inference-kv-llmops-cloudnative.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

    • 连续批处理约束
    • 论点：需要建立数学模型来刻画这些特性，设计有可证明性能保证的算法
    • 核心文献：引用了WAIT调度（arXiv:2504.11320，即本次发现的Fluid-Guided论文）
    • 标签：LLM Serving 算法优化 Position Paper 调度理论 arXiv
    • 建议动作：审稿；适合纳入「LLM Serving系统设计」理论框架部分
    • 链接：https://arxiv.org/html/2504.11320v3
    • arXiv ID：2504.11320（版本3）

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
  • 可用于系统实现、实验平台或工程约束说明。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集