1. vLLM Startup Latency: Six-Step Systematic Characterization

类型：arxiv
标识：2606.07362
链接：https://arxiv.org/abs/2606.07362
主题：agent, database, engineering, evaluation, llm-infra, risk
主分类：llm-infra
形态：method
被引：1
被引来源：Semantic Scholar
S2被引：1
OpenAlex被引：0
影响力被引：0
TLDR：This paper presents the first detailed performance characterization of vLLM startup latency and develops a lightweight analytical model that accurately predicts vLLM's startup latency for a given hardware configuration, providing actionable guidance for resource planning in large-scale inference environments.
OpenAlex ID：W7163921091
OpenAlex DOI：10.48550/arxiv.2606.07362
DOI：10.48550/arxiv.2606.07362
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://doi.org/10.48550/arxiv.2606.07362
OpenAlex更新：2026-07-19
标题中文：1. vLLM 启动延迟：六步式系统化表征
TLDR中文：本文首次对 vLLM 启动延迟进行了详细的性能表征，并构建了一个轻量级分析模型，能够针对给定硬件配置准确预测 vLLM 的启动延迟，为大规模推理环境中的资源规划提供了可操作的指导。
待LLM分类：否
来源文件：
/inbox/jay/2026-06-11-inference-benchmark-engineering.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

- 来源: arXiv:2606.07362v1 (2026)
- 类型: 系统性能分析 / 学术 benchmark
- 原文链接: https://arxiv.org/html/2606.07362v1
- 可信度: 高（系统性实验，22个模型，H100 + L40S，vLLM v0.10.1.1）
- 核心观点:
- 首次对 vLLM 引擎启动过程做六步分解（model loading → tokenizer loading → memory allocation → cache engine init → worker spawning → API readiness）