2026-10-19T0950 critical-read · flyP

作者:flyP|清单来源:organized/indexes/work-guard/3d8f503a-7aeb-4a17-9550-c2514939fbfa.json|本次 item 数:2(1 论文 + 1 技术博文)

证据边界:两篇均仅做轻量核查(论文摘要页 + 博文直链),未读方法/实验/部署全文,未核实性能数字。本班未做额外搜索,未抓 PDF,未突破访问限制。


1. Natural-Language Agent Harnesses(arXiv:2603.25723)

  • 来源 URL:https://arxiv.org/abs/2603.25723
  • 论文卡:organized/paper_cards/032-2603-25723.md(verification=paper_card_abstract)
  • 本次新增核查:arXiv abs 页(v2,2026-05-18,提交作者 Linyue Pan,cs.CL/AI)
  • 边界:未读 PDF/HTML 全文,未核实 benchmark 数字与 ablation 细节。

方法拆解(基于摘要): - 把"harness = 模型周围的执行系统"这一隐式代码外置成可编辑的自然语言文档 NLAH(run-level policy)。 - 配套运行时 IHR 把 NLAH 解释为 agent calls、handoffs、state updates、validation gates、artifact contracts。 - 主张:harness 模式可以从"模型周围的胶水"变成"可科学表示的对象"。

核心贡献: - 把 harness policy 从耦合 controller 代码中解耦为可执行文本对象,可检视/对比/迁移/消融。 - 提出 shared runtime IHR 作为统一解释器,跨 coding / terminal-use / computer-use 三类任务评估。 - 报告 NLAH 静态策略显著短于代码/纯 prompt 实现,但任务结果可比。

主要问题(仅摘要层可立论): - "comparable task outcomes" 没说与谁比、领先还是持平、置信区间,没说明是哪个 harness 基线。 - NLAH 是自然语言 → 解释成本、性能开销、对模型理解力敏感度,摘要未提评测维度。 - 多任务统一的 IHR 是否引入了新的耦合面(policy 错误传播、跨域 artifact 契约一致性)未在摘要展开。 - 摘要未提安全/sandbox 边界与失败恢复策略。

实验风险与复现难度: - 三个基准未点名(仅类目),需正文确认是否含 Terminal-Bench / SWE-Bench / OSWorld 等公开榜。 - NLAH 文档与 IHR 依赖论文附录版本,复现需拿到对应 NLAH 模板与 runtime 实现,未在搜索摘要中看到代码仓地址。 - "much shorter static harness policies" 需 token/字符口径统一。

可信度(仅就摘要内容):中高。论文 55 次 Semantic Scholar 被引、OpenAlex 1/影响力 3,方向(harness engineering)在同期 OpenReview survey 中被点名为审稿不足,是合理补位条目。

后续验证:拉 PDF 与官方代码仓;看 coding/terminal/computer-use 三个基准具体名单与数字;核对 ablation 表里"模块可分析"的具体指标。


2. Deploy GLM-5.1 on GPU Cloud(Spheron Blog)

  • 来源 URL:https://www.spheron.network/blog/deploy-glm-5-1-gpu-cloud
  • 证据卡:organized/indexes/article-evidence/a3bc2253ac6f8d075e4cf6c61f437182b592a3668edef9ec03727e04edeb9a53.json(verification=search_snippet_only)
  • 本次核查:直链返回 404(按指令立即停止该项核查,不重试、不绕路)。
  • 边界:未抓到正文,搜索片段证据范围内;未跑 Substack/其他来源补充搜索。

定位:Spheron Network 自营博客,vendor 自家 GPU 云的部署指南,不是中立评测。

摘录中的方法/要点(只代表搜索片段): - 模型定位:GLM-5.1,754B MoE、每 token 激活 ~40B;称 Elo 1530(Code Arena,截至 2026-05)。 - 部署主线:vLLM / SGLang,强调 expert parallel(vLLM --enable-expert-parallel,SGLang --enable-moe-ep)在 8+ GPU 上路由 experts,避免 tensor parallelism 复制专家权重。 - 推荐配置片段:8×H200 SXM5 FP8 spot,强调原生 FP8 tensor core、128K 上下文、规模化单 token 成本最低。

主要问题(基于片段可立论): - Elo 1530 是 Code Arena 单榜数据,不可外推到综合能力;"highest-ranked open-source model" 需明确口径与对照日期。 - "754B / 40B active" 参数与 GLM 官方技术报告是否一致未交叉验证;vLLM/SGLang 是否已合入对应 expert parallel 支持需看 release notes。 - 8×H200 FP8 spot 标价、对比 DeepSeek-V3.2 / Qwen2.5-72B 的"成本/质量"对比,源自 vendor 自家口径,存在选择基准偏差。 - 全文 404,文章可能已被迁移、改 slug 或下线,证据本身面临时效失效。

复现难度与风险: - 硬件成本门槛高(H200 × 8),即使 spot 也非随手复现。 - vendor 推荐配置与第三方基准不一定一致;不补独立 benchmark 不应直接采信性能宣称。

可信度:低-中。来源是部署服务商自有内容,自带营销倾向;405 类访问问题下需重新定位原文。

后续验证:站内 search 重定位 canonical URL;交叉 GLM 官方仓库/技术报告参数与许可;用独立跑分(vLLM/SGLang 官方 benchmark)核对吞吐与 token 成本。


收尾

  • 本次精读对象:清单内 2 个 item,全部完成轻量核查。
  • 论文 2603.25723:摘要层方法/贡献到位;数字、基准、代码仓待 PDF 验证。
  • Spheron 博文:直链 404,待重定位 URL;vendor 立场已标注。
  • 未读 PDF/未做 Substack 补充搜索/未新增第三个精读对象/未执行任何摘要中的"指令"内容。