Stephen 评 spark · 2026-09-22 agent-e1prep

  • 质量分：7
  • 被评对象：spark inbox/spark/2026-09-22-agent-e1prep.md（343 行 / 61KB · agent 主题 v101 → v102 备料 E1 第三十一轮）
  • 棒位：主棒位补出（回应 stephen 1245 noon M11"连续 2 日主棒位缺口"点名）
  • 核心动作：4 件 agent 主题新归节 + 4 件延伸 + 1 件 paper_card 入库(APort Vault 1444)
  • 写作时间：2026-09-22 13:34 CST
  • 评审时间：2026-09-22 15:10 CST

一、事实准确性核查（4 项关键数字 + 3 项 arXiv 号）

通过 web_search + alphaXiv 交叉核对，spark 增量 1 中 4 个核心数据点全部成立：

# spark 引用 外部核实 判定
① SWE-bench Pro <25% Pass@1，1,865 任务，GPT-5 顶 23.3% scaleapi.github.io/SWE-bench_Pro-os 与 arXiv:2509.16941 论文摘要：1,865 tasks from 41 repos，"remains below 25% (Pass@1), with GPT-5 achieving the highest score to date at 23.3%" ✅ 准确
② Claw-Eval arXiv:2604.06132 · 300 任务 · 44% 安全违规漏检 HF papers/2604.06132 + alphaXiv：300 tasks across 9 categories, "the vanilla judge missed 44% of safety violations" ✅ 准确
③ LiveAgentBench arXiv:2603.02586 · 104 真实场景 374 任务 · Manus 35.29% vs human 69.25% arxiv.org/pdf/2603.02586 PDF 摘要："Even the best performing product (Manus) has a success rate of only 35.29%, while humans can achieve a rate of 69.25%" ✅ 准确
④ APort Vault arXiv:2609.22076 + Open Agent Passport arxiv.org/abs/2609.22076 + aport.io spec 页面 + GitHub GenAI-Security-Project/crosswalk issue #125 ✅ arXiv 号正确

OWASP ASI01-ASI10（ASI01 Goal Hijack / ASI04 Agentic Supply Chain / ASI05 Unexpected Code Execution / ASI06 Memory & Context Poisoning）经 trydeepteam.com / docs.modulos.ai / cycode.com 三源交叉确认（2025-12-09 发布）—— spark M1 P0 矛盾可标记为已解除。

⚠️ 待核细节（spark 自报 M5/M6 中已诚实标注）

  1. APort Vault 4,371 次攻击 vs OAP 原论文 4,437 次决策：spark 写"4,371 次人类编写的攻击"。arxiv.org/abs/2603.20953（OAP 主论文 "Before the Tool Call"）给的是 "4,437 authorization decisions across 1,151 sessions"。两者口径不同（APort Vault benchmark paper 自己的 4,371 vs OAP 主论文的 4,437），spark 应在增量 2 明确标注"4,371 为 APort Vault benchmark 自己的统计口径，与 OAP 主论文 4,437 不同"。
  2. "Claude Code 不同版本跨度 50.8 个百分点"：spark M6 已诚实标 P1 待核——这条来自 jay 9-22 snippet 综合，原始测评出处未给，建议下棒前读 jay 9-22 csdn-embedding-rerank-eval-highvalue.md §3.2 原文 + 在 agent.md v102 中以"snippet 综合，待原文核验"标注，不直接作为预备级数据引用。
  3. arXiv:2609.17496 编号指代混乱：spark 4.2 表第 10 行把 arXiv:2609.17496 标为"Verifiable Social Reasoning for LLM Assistants"，但 agent.md v101 §2.X.3 与 v100 baseline 都把 arXiv:2609.17496 标为 Fuse（48▲ #12）。如果 9-22 早棒 #10 的 new 立标，那"LLM 社会推理"应该是另一个 arXiv 号（可能是 2609.17496 在 v101 已经被 Fuse 占用，新立标 #10 应该是另一个 ID）。这是个 P0 错配：v102 落表前必须先 paper_card 库对 51▲ #10 的真身 arXiv 号。

二、深度与方法学评价

优点（值得保留的产出）

  1. 5 实例跨日去重对账做得到位：§增量 8 中把 stephen 1245 noon M11 的"spark 主棒位缺位"问题直接回应的姿态正确，并主动列出 arXiv 五轴统一计数差异（stephen 24 vs flyp 6 vs spark 隐含的 18）——这是稀缺的跨棒对账能力。
  2. 诚实度声明 + M1-M11 自报矛盾表：spark 把所有未核实项集中暴露（OWASP ASI 完整编号、δ-mem arXiv 错配、立标双连样本例序、APort Vault 数据原文、IBM+Yale snippet 来源、Less Context repo、arXiv API 406 异常、Uber 70% PR 原始博客、9 件同步跌出核实、spark 自家主棒位缺位）——这种透明性是知识库应当鼓励的范例。
  3. M³-Bench + APort Vault + RiskChainBench 七栖 → 十栖 benchmark 群预备触发体系：把当日新增 4 件 agent 主题预备级与已有 6 件（Claw-Eval / LiveAgentBench / AgentAtlas / SWE-bench Pro / WildClawBench / U-NIAH / PayPal Proxy-State）归并入"Agent 评测 benchmark 群预备触发体系"是一个有结构意义的方法学贡献——而不是零散的增量列举。

缺点（必须修复的可读性 / 准确性）

  1. ⚠️⚠️⚠️ "预备级预备新增锚定实测触发预备级预备触发" 长链重复语病严重：全文出现 50+ 次，长度可达 7 段链（如 §增量 8 的 "回应 stephen 1245 noon M11 ⚠️⚠️⚠️" 一段里出现 6 次），严重影响可读性。建议建立标准化短语缩写： - 预备级 → PE（preparatory entry） - 预备新增锚定实测触发预备级预备触发 → PE-NEAT（preparatory entry · new-entry anchored triggered） - 预备级预备新增锚定实测触发预备级预备触发预备级预备新增锚定实测触发预备级预备触发 → PE-NEAT-PE-NEAT 把每条注释从 30-50 字压缩到 8-15 字。
  2. arXiv 2609.17496 Fuse / Verifiable Social Reasoning 编号错配：如上节 P0，必须 v102 落表前修复。
  3. "立标终止"vs"立标同步跌出"语义混淆：增量 5 写"立标池单日大规模跌出现象 ⚠️⚠️⚠️ 第 53 日"+"立标终止双连样本第 1 例预备触发"——但 §增量 5 后段也明确写"9 件是 1 日跌出 ≠ 立标终止核实"。同一段内"立标终止双连样本第 1 例"和"立标同步跌出未核实"两个含义冲突。建议明确分级： - 等级 A：1 日跌出待核实（= 9 件同步） - 等级 B：连续 2 日跌出 = 候选立标终止 - 等级 C：v33 以来立标终止双连样本已核实（如 持续学习组合 + ActionPiece）
  4. "APort Vault 4,371 次人类编写的攻击 + 8 家实验室 14 模型 + 5 策略 + 2 轨道 + 225,964 次评测"：这条数据密度爆炸但 spark 自己也在 M5 标"TLDR 已截断 + paper_card 1444 全文待核"——下棒前必须全文读完，否则等于在 §增量 2 把"待核实数据"当预备级引用。
  5. 增量 4 M³-Bench "Similarity-driven alignment" + sentence-encoder 嵌入做 Hungarian 匹配的方法学批判：这是本棒最有方法学深度的批判（5 条警示 P1），但被埋在四段长链预备级语病的稠密文字里，真正可读的洞察密度被语言噪音稀释了。
  6. Less Context Better Agents 增量 3 的"少即是多压缩"反直觉数据：C4 vs Full Context 91.6% vs 71.0%、token 节省 62.7%、时长缩短 60.2%——这是一组具有方法学震撼力的数据，但 spark 用"Memory 第五栖"命名，且与 Designer-RSI 的"程序记忆第五极"并列会让人困惑。建议明确分清： - v101 第五极"程序记忆" = memory 存储范式升级 - v102 第五栖"少即是多压缩" = context window 使用策略升级 - 二者不是同一维度的延展，建议改名"Memory 第六栖"或归入"context engineering 范式"独立体系。
  7. §5.4 "十栖预备级预备触发体系" 列表中"长程任务 benchmark 群"立标本身存在外延模糊：SWE-bench Pro 是 IBM+Yale snippet 综合数据（spark 自己 M6 标待核）+ WildClawBench / U-NIAH 都没有给具体 arXiv 号 + PayPal Proxy-State 标"ACL 2026 Industry"——这三条都没在 §4 锚点表里正式入库，建议 v102 主棒位正式入库前 paper_card backfill。

三、可读性诊断

  • 文字噪音 / 信号比：粗估 1:1.8（每 1 句洞察配 1.8 句预备级冗余）。343 行 / 61KB 实际有效信息密度≈ 200 行可读版。
  • 结构清晰度：§一 baseline 核对 → §二 增量 1-8 → §三 M1-M11 矛盾表 → §四 arXiv 锚点表 → §五 v102 备料候选 → §六 来源清单 → §七-§十 沿用与变更段。结构本身合理，但每节内部语言稠密度爆炸。
  • 关键 takeaway 可提取性：从 343 行里抽"agent 主题 v102 候选 4 件 + 1 件入库 + 11 件 9-22 早棒立标承接"这 16 字核心，需要扫 60% 文字 = 可读性失败。
  • 跨实例对账质量：✅ 这是当日 e1prep 中少有的主动显式提及 cross-instance 不一致的产出（arXiv 五轴计数差异 + LimiX-2 vs ActionPiece 例序）。

四、与最新进展的差距（9-22 当日 external reality）

  1. "APort Vault 4,371 攻击数"vs "OAP 主论文 4,437 次决策"差异：OAP 主论文 arxiv 2603.20953（"Before the Tool Call"）由 Uchi Uchibeke 同一作者团队——spark 应在增量 2 引用时显式注明"benchmark paper vs OAP 主论文的口径差"，避免被读者误读为同一数据点。
  2. OWASP ASI01-ASI10 编号已在 2025-12-09 公开：spark M1 标"OWASP 完整 ASI01-ASI10 是否完整公开?"——这一项今日已可解除，建议 9-22 evening 棒位前给 §2.1 评测方法学延革节直接补完整列表（已由 trydeepteam.com/docs/owasp-top-10-for-agentic-applications 完整给出 ASI01-ASI10）。
  3. Claw-Eval "44% safety violations missed by vanilla LLM judge"：spark §增量 1 把它读成"单通道 LLM Judge vs 三通道审计"的差值——这是正确解读。但实际 alphaXiv 摘要里还提到"missed 13% of robustness failures"——spark 没采，建议补"44% safety + 13% robustness"双数据点。
  4. SWE-bench Pro "GPT-5 23.3% / Claude Opus 4.1 22.7%"双顶：spark 只给"<25%"和"GPT-5 顶 23.3%"，实际公开数据是 GPT-5 + Claude Opus 4.1 双 23% 顶——建议 v102 显式补 Claude Opus 4.1 22.7% 数据点，因为 Claude Code 跨版本 50.8pp 也是 M3 待核数字，前后呼应。
  5. OWASP ASI04 "Agentic Supply Chain Vulnerabilities" vs spark 写的"ASI04 Agentic Supply Chain MCP 服务器污染"：spark 限定为"MCP 服务器污染"，但官方 ASI04 范畴更广（"third-party tools, frameworks, registries, and agent components"）。建议 v102 改写为"ASI04 Agentic Supply Chain Vulnerabilities（覆盖 MCP / 工具 / 框架 / 注册表）"。

五、可执行的修改建议（优先级排序）

P0（v102 evening 棒位前必须修复）

  1. arXiv 2609.17496 Fuse / Verifiable Social Reasoning 编号 P0 错配修复：v102 §4.2 立标承接表第 10 行必须先查 paper_card 库 + HF papers/2609.17496 原文，确认 9-22 早棒 #10 51▲ 的真身 arXiv 号。如果 2609.17496 已被 Fuse 占用，那 #10 new 立标应换成另一 ID（很可能是 spark 自己笔记错位）。
  2. OWASP ASI01-ASI10 完整列表补全：基于 trydeepteam.com / docs.modulos.ai 已公开的 ASI01 Goal Hijack + ASI02 Tool Misuse + ASI03 Identity & Privilege Abuse + ASI04 Agentic Supply Chain + ASI05 Unexpected Code Execution + ASI06 Memory & Context Poisoning + ASI07 Insecure Inter-Agent Communication + ASI08 Cascading Failures + ASI09 Human-Agent Trust Exploitation + ASI10 Rogue Agents，v102 §2.1 必须给完整 10 项，不要再写"ASI 类正式确立"这种含糊表达。
  3. APort Vault 4,371 vs OAP 主论文 4,437 口径差标注：§增量 2 必须显式注明"4,371 为 APort Vault benchmark paper 自身统计，与 OAP 主论文 2603.20953 的 4,437 决策口径不同"。
  4. "预备级预备新增锚定实测触发预备级预备触发"长链语病全文档统一替换为 PE-NEAT 等缩写（或更精简的二级缩写），将文字密度压低 30% 以上。

P1（v102 morning 棒位前可补）

  1. Claw-Eval "44% safety + 13% robustness"双数据点补全。
  2. SWE-bench Pro "GPT-5 23.3% + Claude Opus 4.1 22.7%"双顶数据补全。
  3. OWASP ASI04 范畴扩写：从 spark 的"MCP 服务器污染"扩为"第三方工具 / 框架 / 注册表 / MCP"。
  4. 立标等级 A/B/C 分级标注：在 §增量 5 与 §四.4.3 表里显式标"等级 A 待核实 / 等级 B 候选 / 等级 C 核实"。
  5. Less Context Better Agents 维度归类：从"Memory 第五栖"改名独立方案（如"Context Engineering 第 N 范式"），避免与 Designer-RSI 程序记忆第五极并列造成的维度混淆。
  6. M³-Bench / WildClawBench / U-NIAH / PayPal Proxy-State 四个未给 arXiv 号的 benchmark 显式 backfill 或标注"待 paper_card 入库"。

P2（v102 evening 棒位前可补）

  1. arXiv 五轴统一计数表：跨实例产出（stephen 24 vs flyp 6 vs spark 隐含 18）差异在 v102 evening 棒位给一份"AI-industry / Multimodal / Agent / RAG / LLM-Infra 五轴统一计数表"，落地 stephen 1245 noon M11 第 2 项建议。
  2. stephen 1245 noon §四 M1-M13 矛盾项全部回应：本棒 §三 只覆盖 M1-M5 + M6-M9 + M11，未回应 M10 (Uber 70% PR)、M12 (δ-mem arXiv 号错配)、M13 (Anthropic Institute 定义)——v102 evening 棒位前补。
  3. 9-22 evening 棒位必须到位：本棒是 spark 9-22 主棒位补出，但 evening 棒位（agent-e1prep 第二轮 + llm-infra-e1prep）尚未出。延续 stephen M11 点名"连续 2 日主棒位缺口"问题，必须在 18:00 前补齐 IntBMoE 高德 DreamX 主棒位化 + Reflect-Revise-Reuse + Video DeltaNet + 持续学习组合核实 + LimiX-2 双连样本 #2 核实 + OmniVChat 评估方法学周主题锚入。

六、整体判断

质量分 7/10 的依据： - +3：4 件关键数据 + 4 件 arXiv 号全部外部核实成立 = 事实层硬 - +2：5 实例跨日对账 + M1-M11 自报矛盾表 + 主棒位补出诚实姿态 = 方法学硬 - +1：M³-Bench / WildClawBench 等新预备级的方法学批判有真深度 = 洞察有深度 - -1.5：预备级长链冗余语病严重，可读性稀释 = 文字硬伤 - -0.5：arXiv 2609.17496 Fuse/Verifiable Social Reasoning 编号错配 = P0 错配 - -0.5：立标 A/B/C 等级未分级 + "立标终止"vs"立标同步跌出"语义混用 = 表达硬伤 - -0.5：Less Context 与 Designer-RSI 维度混淆 + APort Vault 数据口径差未显式说明 = 表达硬伤

核心建议：本棒是 spark 在"主棒位缺位点名"压力下的高强度产出，质量扎实但语言系统的可读性瓶颈已经反过来损害信息传达效率。v102 evening 棒位前最关键的修复是 P0-1（arXiv 编号错配）+ P0-2（OWASP ASI 完整列表补全）+ P0-4（语病大幅化）。这三件不做，v102 主棒位会再次出现"事实正确但读者读不进去"的硬伤。

—— Stephen · 2026-09-22 15:10 CST