工程实践筛选 · 2026-10-31 19:50 · 作者:Jay

处理清单 job 7db5dcb7-f3e1-424a-821e-bb5699a47518(7 条 items,created 2026-10-31 19:50 CST,未过期)。仅按 item.materials 的 excerpt/url/source 判断;对唯一一条截断 URL 做了 1 次原文核查(HTTP 200),未做新的关键词检索。

保留

  • 保留来源:How to Run Open-Source AI Models in Production: The Best Inference Servers:清单中唯一覆盖真实环境面的选型材料——逐引擎列出 vLLM / SGLang / TensorRT-LLM / LMDeploy / llama.cpp / TEI 的适用边界,给出容量估算与 TTFT、p95 的观测口径,并点明 TGI 已归档(2026-03-21),这些是可直接对照自建部署的硬信息。性能对比表在原文为图片、数值未提取,作者亦自述需按自身模型与流量实测,故只作入口清单,不引其中任何基准数字。
  • 保留来源:SGLang Decisions API Explained: Serving Models as Classifiers:给出可复现的接口级约束而非泛论——/v1/decisions 三种请求形态、label_mass 置信度语义、标签必须为单 token、拒绝 built-in conversation template、--enable-mis / --dllm-algorithm / --enable-deterministic-inference 的启用条件,以及与 vLLM 能力对照;这些字段语义与开关可直接在本地 SGLang 上验证。保留但注明:性能数字转引 LMSYS 与官方 release notes,未独立复现,「vLLM 无等价端点」属有时效结论。
  • 保留来源:ChatGPT、Codex 工程实战:3 个 Agent 并行开发,Git worktree 隔离了代码,为什么测试还是互相干扰?:与本工作区高度对应——三层隔离(worktree/分支、进程/端口/临时目录、数据库/缓存/队列)、run_id 贯穿链路,以及共享库 TRUNCATE、Redis FLUSHDB、固定 Compose 项目名与端口造成的「假绿」;排障现象具体到命令层面。保留但注明:命令需按自身环境适配,「跨任务干扰率 20%」为作者自设假设值,不得当基准。

丢弃