AIConfigurator：让 LLM 推理配置搜索告别「GPU profiling 马拉松」
- 关联论文：2601.06288
生产里调一次 LLM 推理配置到底有多贵？换张卡、升个模型版本、改个 P99 目标，每件事都可能要重跑几小时 GPU profiling。这套系统把单次搜索压到 30 秒以内，且与硬件、框架解耦——它在工业 LLM 部署里是少有的「真正降本」的工作。
为什么重要：LLM 推理配置空间已爆炸成百上千维度，靠资深 SRE 手工调或 GPU profiling 跑搜索都不再可持续。每次迭代成本藏在隐性预算里，每年光这一项就能烧掉数百万人民币。把它压到 30 秒是「部署工程化」的关键一步。
核心机制：三层架构——底层是离线校准的 kernel 性能数据库（少量 GPU 实测拟合，覆盖主流开源模型与硬件）；中层把一次推理拆成 GEMM / Attention / Communication / Memory 四个可解析 primitives，框架特定的调度动态（chunked prefill、RadixAttention 等）作为调度因子叠加；顶层 Abstraction Layer 自动枚举配置空间并解析最优启动参数，直接吐出 vLLM / TRT-LLM / SGLang 可消费的 launch parameters。
亮点数据：Qwen3-32B（稠密）比基线最多提升 40%，DeepSeek-V3（MoE）最多提升 50%；搜索耗时平均 30 秒以内；覆盖 GPT-OSS、Qwen、DeepSeek、Llama、Mistral 与三大主流后端。
证据边界与工程局限：① kernel 数据库需要初始 GPU 校准，新硬件上线重校准是隐性硬成本，不能误读为「完全零 GPU」；② 「最多提升 40%/50%」对应的基线未在摘要明确（默认配置 / 手工调优 / 其他 autotuner？），若仅是默认配置，部分收益是把离谱配置拉到合理范围；③ 搜索算法、配置空间规模与 P95 搜索时间摘要未公开，引用前须查正文 §3；④ MoE 的 expert parallel 配置极度敏感，错误的 EP size 可能让推理慢 2–3 倍，AIConfigurator 的输出应作为「SRE 复审后再应用」的草稿，而非全自动推送；⑤ 与 K8s / llm-d / TGI 编排栈的接口形式（CLI / CRD / gRPC）摘要未展开，落地工程量直接影响能否集成到 GitOps。
适合人群：LLM 推理平台 / SRE、MoE 部署负责人、AI 基础设施架构师。
标题变体
- AIConfigurator：把 LLM 推理调参从「几小时 GPU profiling」压到「30 秒闭环」
- 调一次 LLM 推理配置，为什么要跑好几小时？AIConfigurator 给出 30 秒解
- Qwen3-32B +40%、DeepSeek-V3 +50%：AIConfigurator 重新定义推理部署效率
小红书卡片文案
⚡ 调一次 LLM 推理配置要跑好几小时 GPU profiling？AIConfigurator 把它压到 30 秒。
把推理拆成 GEMM / Attention / Communication / Memory 四个「可解析小块」+ 一套离线校准的 kernel 性能数据库 + 一层自动解析最优启动参数的 Abstraction Layer。Qwen3-32B 比基线最多 +40%，DeepSeek-V3（MoE）最多 +50%，覆盖 vLLM / SGLang / TRT-LLM 三大引擎。
避坑提醒：① kernel 数据库初次校准成本别忽视；② MoE 的 expert parallel 配置对错可能就是 2–3 倍差距；③ 输出给 SRE 复审再上线，别直接自动推送。