条目 E-NF1:Albireo — 突破 Amdahl 定律的 LLM 推理张量并行调度

  • 类型:arxiv
  • 标识:2606.01927
  • 链接:https://arxiv.org/abs/2606.01927
  • 主题:agent, engineering, evaluation, llm-infra, rag, risk
  • 主分类:llm-infra
  • 形态:method
  • 被引:0
  • 被引来源:Semantic Scholar + OpenAlex
  • S2被引:0
  • OpenAlex被引:0
  • 影响力被引:0
  • TLDR:Albireo is presented, a parallel inference system that raises the attainable TP degree t by shrinking the non-scalable portion via overlap of scheduling and I/O with compute and sequence-parallel sampling, without changing model architectures.
  • OpenAlex ID:W7163149329
  • OpenAlex DOI:10.48550/arxiv.2606.01927
  • DOI:10.48550/arxiv.2606.01927
  • DOI来源:OpenAlex
  • 开放获取:green
  • 开放获取链接:https://doi.org/10.48550/arxiv.2606.01927
  • OpenAlex更新:2026-07-19
  • TLDR中文:介绍 Albireo,一种并行推理系统:通过调度与 I/O 与计算及序列并行采样的重叠来压缩不可扩展部分,从而提高可达到的 TP 度 t,且不改变模型架构。
  • 待LLM分类:否
  • 来源文件
  • /inbox/jay/2026-06-15-2350-engineering-filter-round4.md
  • [S2 enrich]
  • [OpenAlex backfill]

可复用信息

  • RTP-LLM:阿里推理引擎工业部署数据 | arXiv 2605.29639 | ✅ 高 | ⭐⭐⭐ | 丢弃 — 与 Albireo 工业数据重叠,早间/下午批次可能已覆盖
  • CloudAI vLLM vs SGLang 2026 对比 | CloudAI | ✅ 中 | ⭐⭐⭐ | 丢弃 — 今天已收录类似实测数据(Reddit SGLang vs vLLM)
  • Terminal-Bench 2.1 排行榜 | MorphLLM | ✅ 中 | ⭐⭐ | 丢弃 — 评测榜单性质,工程洞察少
  • Mamba-3 / Attention to Mamba 蒸馏 | arXiv | ✅ 高 | ⭐⭐⭐ | 丢弃 — 早间批次已收录类似架构内容

  • 来源:arXiv:2606.01927 | https://arxiv.org/html/2606.01927
  • 核心工程发现
  • 问题定义:张量并行(TP) scaling 服从 Amdahl 定律——TP 度增大时跨 GPU 集合通信和不可并行部分导致吞吐量亚线性增长。但增大 TP 度同时改善内存效率、降低 KV-cache 换出率。存在一个经验最优 TP 度 t_e

写作用途

  • 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
  • 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
  • 可用于系统实现、实验平台或工程约束说明。
  • 可用于局限性、风险、失效模式和未来工作。

待补齐

  • BibTeX / 正式引用格式
  • 方法与实验设置细节
  • 与现有工作的差异点
  • 是否有代码和数据集