RTP-LLM 是一个面向工业级 LLM 部署的高性能推理引擎，已在 Alibaba Group 成功部署，服务超过 1 亿用户，通过集成设计解决根本性瓶颈。RTP-LLM is presented, a high-performance inference engine for industrial-scale LLM deployment, successfully deployed across Alibaba Group serving over 100 million users, and addresses fundamental bottlenecks through integrated design.
论文
1 张论文卡片 · LLM 基础设施 · 应用落地
1️⃣ RTP-LLM · 阿里巴巴工业级推理引擎 — arXiv:2605.29639（⭐⭐⭐⭐⭐ 必读）