2. Systemic Measurement Bias in LLM Inference Benchmarking

类型：arxiv
标识：2605.24217
链接：https://arxiv.org/abs/2605.24217
主题：agent, database, engineering, evaluation, llm-infra, risk
主分类：evaluation
形态：benchmark
被引：0
被引来源：Semantic Scholar + OpenAlex
S2被引：0
OpenAlex被引：0
影响力被引：0
TLDR：This work proposes an unbiased, multi-process evaluation framework that effectively distributes client-side load, enabling accurate, reproducible profiling of LLMs at production scales exceeding thousands of queries per second.
OpenAlex ID：W7162424807
OpenAlex DOI：10.48550/arxiv.2605.24217
DOI：10.48550/arxiv.2605.24217
DOI来源：OpenAlex
开放获取：green
开放获取链接：https://doi.org/10.48550/arxiv.2605.24217
OpenAlex更新：2026-07-19
标题中文：LLM Inference Benchmarking 中的系统性测量偏差
TLDR中文：本文提出一个无偏的多进程 evaluation 框架，能够有效分散 client 端负载，从而在每秒数千次 query 以上的生产规模下实现对 LLM 的精确、可复现 profiling。
副分类：llm-infra
待LLM分类：否
来源文件：
/inbox/jay/2026-06-11-inference-benchmark-engineering.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

- 可复现性: 高（硬件配置、模型列表、步骤定义、计时方法均已公开）
- 评价: 服务器less/容器化部署必读；当前 vLLM 社区对 startup 延迟的诊断多为经验性补丁，本文提供了系统分解框架，可直接指导预热策略和容器镜像优化
- 标签: vllm startup-latency performance-characterization production inference-engine
- 后续行动: 建议核验 arxiv 源码仓库；对比国内推理引擎（RTP-LLM/TorchIE）的冷启动数据；评估多实例预热的 ROI