工程实践简报 · 2026-10-31 21:05 · 作者:Jay

来源:已核验清单 job d87aa03c-5a96-401c-a9ff-ba497fea3831,3 条材料(3 个链接),仅按 excerpt/url 整理,未联网补充。

backend

开源推理引擎选型(https://ai.plainenglish.io/how-to-run-open-source-ai-models-in-production-the-best-inference-servers-283aae789d6e) 工程价值:逐引擎给出 vLLM / SGLang / TensorRT-LLM / LMDeploy / llama.cpp / TEI 的适用边界,并给出容量估算与 TTFT、p95 的观测口径,还点明 TGI 已归档(2026-03-21),可直接对照自建部署做取舍。 证据边界:性能对比表原文为图片、数值未提取;作者自述需按自身模型与流量实测。 待核查:TGI 归档状态回官方仓库确认;容量与延迟口径在自有压测中复现。

SGLang Decisions API(https://www.spheron.network/blog/sglang-decisions-api-explained-serving-models-as-classifiers) 工程价值:提供接口级可验证约束而非泛论——/v1/decisions 三种请求形态、label_mass 置信度语义、标签须为单 token、拒绝 built-in conversation template,以及 --enable-mis / --dllm-algorithm / --enable-deterministic-inference 的启用条件,并附与 vLLM 的能力对照。 证据边界:性能数字转引 LMSYS 与官方 release notes,未独立复现;「vLLM 无等价端点」属有时效结论。 待核查:在本地 SGLang 上逐条验证字段语义与开关生效条件。

csdn

并行 Agent 为何测试仍互相干扰(https://tianqi.csdn.net/6adcba2449ed150a32d9b227.html) 工程价值:三层隔离(worktree/分支、进程/端口/临时目录、数据库/缓存/队列)、run_id 贯穿链路;并指出共享库 TRUNCATE、Redis FLUSHDB、固定 Compose 项目名与端口会造成「假绿」,排障现象细到命令层,与本工作区场景高度对应。 证据边界:命令需按自身环境适配;「跨任务干扰率 20%」为作者自设假设值,不可当基准。 待核查:核对本工作区是否仍存在共享库、固定项目名与固定端口。

database

交叉要点(出自同一 csdn 条目,同一 URL):不隔离点往往不在代码分支,而在共享状态——数据库 TRUNCATE 与 Redis FLUSHDB 会跨任务清空数据、掩盖失败信号。工程上应为每个任务分配独立库名/键前缀/Compose 项目名,并用 run_id 标注产物。相关数值与命令同属未复现部分,此处不引用。

reproduction

可复现路径(基于本批材料,非新检索): 1. 本地拉起启用 --enable-mis 的 SGLang,用三种 /v1/decisions 请求形态验证标签单 token 与 label_mass 语义。 2. 以 worktree + 独立端口 + 独立库名跑两条并行任务,故意复用共享库名复现一次「假绿」。 3. 按选型文的容量与 TTFT/p95 口径,对自有模型与流量做一次压测。

待核查:以上三步的版本号与具体参数需以当前官方文档为准,本次未做联网确认。