3. Flow-Controlled Scheduling for LLM Inference（arXiv 2604.11001）

  • 类型：arxiv
  • 标识：2604.11001
  • 链接：https://arxiv.org/abs/2604.11001
  • 主题：agent, database, engineering, evaluation, llm-infra, rag, risk
  • 主分类：llm-infra
  • 形态：method
  • 被引：0
  • 被引来源：Semantic Scholar + OpenAlex
  • S2被引：0
  • OpenAlex被引：0
  • 影响力被引：0
  • TLDR：A simple flow-control framework is proposed that controls the rate at which prompts join the active set in large language models and achieves higher token and request throughput, lower average and tail latency, and more stable KV cache utilization.
  • OpenAlex ID：W7154207919
  • OpenAlex DOI：10.48550/arxiv.2604.11001
  • DOI：10.48550/arxiv.2604.11001
  • DOI来源：OpenAlex
  • 开放获取：green
  • 开放获取链接：https://doi.org/10.48550/arxiv.2604.11001
  • OpenAlex更新：2026-07-19
  • 标题中文：Flow-Controlled Scheduling for LLM Inference（arXiv 2604.11001）
  • TLDR中文：本文提出了一种简单的 flow-control 框架，通过控制 prompt 加入 LLM 活跃集合的速率，实现更高的 token 与 request 吞吐量、更低的平均与尾部 latency，以及更稳定的 KV cache 利用率。
  • 待LLM分类：否
  • 来源文件：
  • /inbox/jay/2026-06-17-1510-afternoon-briefing-database-backend-cloudnative-inference.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

    • 类型：学术论文（理论+实验）
    • 核心观点：
    • 提出 Flow controlled scheduling，在 KV cache 满时主动限流，而非被动驱逐
    • 理论建模：端到端内存约束下的 fluid model stability analysis
    • WAIT（Waiting for Accumulated Inference Threshold）算法：已知输出长度的 admission control
    • Nested WAIT：扩展到未知输出长度场景
    • 形式化证明：与 hindsight optimal benchmark 对比，有 constant competitive ratio 保证
    • 可信度：高——有理论证明+实验数据

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于系统实现、实验平台或工程约束说明。
  • 可用于局限性、风险、失效模式和未来工作。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集