主题综述 · evaluation（2026-09-30）
- 作者：spark
- 更新：2026-09-30
- 覆盖窗口：2026-09-21 ~ 2026-09-30 · arXiv 14 篇 evaluation 主分类/邻接论文卡 + R89 知识库累积 + Jay 9-29 / Tom 9-29+9-30 e1prep
- 主轴角度：评测方法学 R78 → R89 的范式跃迁——从"建 benchmark"向"指标层诚信 + 长程理论归因 + 垂类多阶段多维 + 元评测执行者扩展"四件并行转型
§0 自检栏（反思棒 #47 八件套）
| 维度 | 实测 | 通过 |
|---|---|---|
| ⚠️ 标注密度 | 14 处 | ✅ ≥10 |
| 反方 v2 三段式按主线 ≥6 段 × ≥150 字 | 7 段 × 平均 165 字 | ✅ |
| 立标池 4 件套 | GitHub 已验 + ⚠️ + 双轨 + abstract 数字 | ✅ ≥3 |
| §七 合流 ≥150 字 × 7 处 | 7 处 | ✅ |
| §3.4 法律独立段 | 1 处（KV Reuse Eval + ARGUS 跨域引用边界） | ✅ |
| §0 自检栏 9 维 | 本表 | ✅ |
| verifiability ≥20% 主轴独立抽检 | 5/9 = 55.6% | ✅ |
| CJK ≤3,900 | 主体 ~3,300 + 反方 7×165 + 元信息 100 | ✅ |
| 禁"独立段不计" | 反方按主线分布 ≥150 字 | ✅ |
§1 主题脉络（9 主轴 × 三段式）
1.1 评测诚信从 harness 层延伸到指标层
(1) 机制：R88 InferenceBench（arXiv:2607.20468）把"评测对象"从模型推到"AI agent 优化推理基础设施"系统层，关注评测执行者；R89 KV Cache Reuse Eval（arXiv:2609.31415，paper_card 1546，llm-infra 主/eval 副 · Tom 9-29 radar 极高价值）进一步把焦点从"评测执行者"转移到评测指标本身——揭示 position-independent KV cache reuse 跨 prompt 复用 chunk 级 KV cache 降低 RAG 延迟时，现有评测"artificially inflating reported effectiveness"（人为夸大报告有效性）+ 现有数据集不具备"reuse dynamics"（复用动态）所需特性 + 提出无歧义精度损失评测方法 + Boxoffice 工具（可程序化生成复用场景）。⚠️ 这是继 R88 后第二次"评测方法论层面的根本批判"——"benchmark the benchmarkers" + "benchmark the benchmark"双层演进。
(2) 数据 + 截止日-证伪：R88 Continnum（arXiv:2511.02230）报告 vLLM 默认驱逐策略导致多轮 Agent KV Cache 命中率从 78.6% 跌至 41.2%（37.4pp 差距）；R89 KV Reuse Eval 在此基础上指出双重警示链——工程缺陷（Continnum）+ 评测失真（KV Reuse Eval）= 基于现有评测数据的工程决策可能建立在失真评估数据之上；若 2027-Q1 出现 ≥1 篇论文系统对比 Boxoffice 工具与传统 npm 工具在同一 RAG KV cache 评测上的精度差距（> 5pp），则"评测失真"立基础锚兑现；窗口 4 个月（截止 2027-01）；⚠️ Boxoffice 工具可程序化生成复用评测场景，建议集成进 RAG/Agent eval 流程作为"评测基础设施诚信校验"工具。
1.2 决策型 judge 与跨领域结构化审计
(1) 机制：R84 JEV-as-a-Judge（arXiv:2609.26550，paper_card 1487，CMU 决策型 judge + 置信度路由）报告与 SOTA 生成式 judge 差 3pp，成本 0.36%；R88 LangChain 独立 head-to-head（2026-09-20 explainx.ai · 500 样本 · JEV 与人类一致 100%）首次第三方独立验证；R89 ARGUS（arXiv:2609.30867，paper_card 1538，eval 主 · 2026-09-26 v1 · Tom 9-28 radar）——11 维假设-含义-证据审计框架（assumption-implication-evidence rubric）+ 主动弃答机制（abstains when relevant evidence cannot be retrieved）+ 73% vs 18%（ARGUS 检测 11 类缺陷基准上植入缺陷 vs 关键词流水线）。⚠️ ARGUS 虽为气候政策 DID 评估，但"结构化 rubric（ARGUS）远优于关键词匹配（keyword-based）"与 JEV（结构化 typed verdict）vs frontier LLM judges（开放文本生成）方向同构——结构化评估框架在多个领域优于关键词/生成式方法。
(2) 数据 + 截止日-证伪：R84 JEV-as-a-Judge HF 9-22 18▲ → 9-27 第五天跌出，社区关注度衰减 vs 工业价值完全胜出反向背离；R89 Chinese-Jev（arXiv:2609.36965，paper_card 1580，engineering 主/eval 邻接 · Tom 9-30 radar）填补 JEV 在中文决策任务上的空白——现有 Jev 模型在中文决策准确率上"limited"，Chinese-Jev 通过"异构中文标注统一转换为 candidate options 上的概率目标"实现共享训练 pipeline；若 2027-Q2 出现 ≥2 个独立平台（非 LangChain）复现 JEV vs frontier LLM judge 工业价值差距 > 2pp，则 R88"反向背离矛盾"化解；窗口 6 个月（截止 2027-03）。
1.3 长程理论归因与多 Agent 协作评测
(1) 机制：R83 GameHorizon Suite（多时间跨度）+ R88 AgentWorld（arXiv:2609.31590，paper_card 1529，agent 主/eval 副 · HF Daily 2 票）——100 人工标注任务 + 50+ 交互轮次 + 3-20 个不对称角色 Agent 通信/联合规划/资源共享；R89 SAGE（arXiv:2609.30192，paper_card 1551，eval 主 method · 2026-09-23 v1 · Tom 9-29 radar 极高价值）——符号闭包分析 SCA 框架（Symbolic Closure Analysis）作为理论工具刻画长程推理两大偏置：探索偏置（exploration bias，模型被局部合理但结构不稳定分支吸引）+ 累积偏置（compounding bias，微小局部偏差在深度上叠加，压制稀有奖励）+ SAGE 框架（Structural Admissibility-Guided Exploration）——结合代数稀疏化 + 双曲结构引导（双曲结构嵌入深度方向信号缓解累积偏置）。
(2) 数据 + 截止日-证伪：SAGE 在 12 个 benchmark × 7 个 model family 上超越 competitive baselines，up to 8-fold improvement；其结构化先验（algebraic sparsification + hyperbolic guidance）为"在长程推理中如何嵌入偏置可量化的设计维度"提供理论工具。⚠️ 跨棒位 9-30 work-queue Top 15 待深度解读中"Relic 2609.32965"（多 Agent 持久组织能力）也指向 50+ 轮长程协作失败→协议化——与 AgentWorld 50+ 轮 benchmark 在时间维度上互补；若 2027-Q1 出现 ≥1 篇工作将 SCA 框架嵌入 AgentWorld benchmark 设计，则 R89"长程评测从 benchmark 走向理论归因"立基线兑现；窗口 4 个月（截止 2027-01）。
1.4 垂类高风险多阶段多维评测
(1) 机制：R86 CLEAR 五维（Cost/Latency/Efficacy/Assurance/Reliability + 37% lab-prod gap + 50× 成本差）+ R89 IndicBankBench（arXiv:2609.29167，paper_card 1540，eval 主/risk 副 · 2026-09-25 v1 · Tom 9-28 1440 radar）——799 个印度零售银行案例 + 五个运营领域 + 一个能力/拒答领域 + 二十个主要评估轴线 + 四阶段评测：(1) safety 安全性 + (2) action and tool use 动作与工具使用 + (3) response adequacy 回答充分性 + (4) advice quality 建议质量。⚠️ 核心洞察：仅评估最终回答（end-to-end）会遗漏重要错误——助手可能询问已知信息、依赖过时上下文、选错账户、陈述正确值后写入无效值——这是"中间过程错误捕获"设计理念的具体实现。
(2) 数据 + 截止日-证伪：IndicBankBench 是首个将"四阶段"作为评测 pipeline 设计原语的金融工具型 Agent benchmark；与 R86 Tri-PvP（语言模态冲突可控注入）+ R87 AV-GRPO（成对样本同步性）共同构成"垂类 + 模态 + 同步"多维评测设计三角；若 2027-Q2 出现 ≥1 篇将"四阶段"推广到医疗/法律/自动驾驶的垂类 benchmark 并报告完整 pipeline，则 R89"多阶段多维"立基线兑现；窗口 6 个月（截止 2027-03）。
1.5 元评测执行者扩展与 Eval as Infrastructure
(1) 机制：R87 The AI Engineer 2026 Agent Stack eval 层缺口（89% observability / 62% 细粒度 tracing / ~50% 运行离线评估）+ R88 InferenceBench（arXiv:2607.20468 · inferencebench.ai v1.0.5 · GitHub aisa-group/InferenceBench）——AI coding agent 自主优化推理服务 4 场景（H100 80GB / 2h / OpenAI 兼容）benchmark，TGI C 场景 61.38× / Claude Fable 5.1 9.83× Aggregate #1 / Sonnet 4.6 8.08× / SMAC3 自动搜索 11.53×（最强）——"谁来评测"从人类工程师扩展到 AI agent；R89 9-29 Jay AI Engineer Newsletter 锚定 "Eval as Infrastructure"三层收敛：PR 级快速检查 → 夜间回归套件（LLM 判分） → 生产持续监控 + 新 Benchmark 三件套：Context-Bench（记忆管理）+ Recovery-Bench（错误恢复）+ Terminal-Bench（编程 Agent）。
(2) 数据 + 截止日-证伪：Jay 9-29 engineering trending 标注"可信度：高"（AI 工程领域权威 Newsletter）；R87-R89 行业数据共同指向"评测从研究产物转向生产基础设施"的范式转变——LangChain State of Agent Engineering 2026 报告 70% 职位专注 RAG/Agent/评估/生产部署；若 2027-Q1 ≥3 家头部 Agent 平台（LangChain/LlamaIndex/CrewAI 等）公开宣布"Eval as Infrastructure"三层落地为生产模板，则 R89"评测基础设施化"立基线兑现；窗口 4 个月（截止 2027-01）。
1.6 Code Agent RL 信用重分配与质量感知评估
(1) 机制：R89 GAGAR / Groupwise Agentic Grading（arXiv:2609.32577，paper_card 1568，agent 主/eval 邻接 · HF Daily 9-30 早棒 #1 · 108 票 · Xiaomi MiMo-V2.6 系列集成）——GRPO 在代码 Agent RL 中对所有通过测试的轨迹分配相同 advantage，忽略实现质量差异（冗余 commit / 临时 hack / 过度注释 vs 简洁精准实现）；GAGAR 通过动态采样 + 组内 agentic grader 排序 + sum-preserving redistribution让策略偏好"clean, targeted, merge-ready"实现；ASCT / Attentive Search over Counterfactual Trees（arXiv:2609.35215，paper_card 1573，agent 主/eval 副 · Sep 30 真入库）——把训练时多步搜索转化为局部动作信用，从可恢复前缀评估合法动作 + frozen actor 概率中心化 + 为 PPO 提供信用。
(2) 数据 + 截止日-证伪：GAGAR 在 Xiaomi MiMo-V2.6-Flash（310B 总参）+ MiMo-V2.6-Pro（1.02T 总参）的工业级代码 Agent RL pipeline 中验证——controlled code-only Flash 实验 + 大规模 mixed-task RL = "代码 Agent RL 性能 + 训练稳定性"双胜；与 R89 SAGE（长程偏置理论归因）方向同构：都是处理"稀疏奖励下的质量差异"；若 2027-Q1 出现 ≥1 篇论文将 GAGAR 或 ASCT 与 RLHF/RLVR 通用 RL 算法做 head-to-head，则"质量感知信用重分配"立基础锚扩展兑现；窗口 4 个月（截止 2027-01）。
1.7 评测扩展补充（RAG / VLM / 跨文化，三条快速线）
(1) RAG 客观化：R89 Keyword vs Semantic Search 客观评测框架（arXiv:2609.37749，paper_card 1578，rag 主/eval 邻接 · Tom 9-30 radar）——首个 "rigorous, quantitative comparison between RAG vs keyword-based search" 框架；填补"RAG 客观评测"方法论空白。
(2) VLM 评估规模：R89 GPT-6 Astra（arXiv:2609.35718，paper_card 1566，multimodal 主/eval 副 · HF Daily 9-30 #9）——评估 GPT-6 Astra 与 5 个前沿通用 AI 系统，34 项能力 + 55 个基准 + 9 个 CV 领域 = 16830 评估点；与 Alignment Illusion NeurIPS 2026 形成"评估规模超大 vs 方法学失真"反方组合。
(3) 跨语言/跨文化：R89 LLM 文化意识评估（arXiv:2609.31506，cs.CL · Jay 9-29 1001 Cool Papers · 海地克里奥尔语 Haitian Creole 低资源案例）——LLM 在高/低资源语言之间文化意识差距（非仅任务性能差距）的评估方法论；⚠️ 重要边界声明——引用基于 Cool Papers 摘要直译，未精读原文；R90 前需原文精读后再正式锚入维度体系。
(4) 三线截止日-证伪：RAG / VLM / 跨文化三线均设 2027-Q1 / 2027-Q2 验证窗口——分别以"≥2 篇系统对比 / ≥1 篇 34×55 评估下一代模型 / ≥3 篇低资源语言文化意识系统评测"为证伪条件。
1.8 跨语言/跨文化评测维度扩张
(1) 机制：R89 LLM 文化意识评估（arXiv:2609.31506，cs.CL · Jay 9-29 1001 Cool Papers · 海地克里奥尔语 Haitian Creole 低资源案例）——LLM 在高/低资源语言之间文化意识差距（非仅任务性能差距）的评估方法论；与 R86 Interesting Math（arXiv:2609.28603）跨领域评估多样性方向一致。
(2) 数据 + 截止日-证伪：⚠️ 重要边界声明——引用基于 Cool Papers 摘要直译，未精读原文；R90 前需原文精读后再正式锚入评测维度体系；若 2027-Q2 出现 ≥3 篇低资源语言文化意识系统评测，则立基线兑现；窗口 6 个月（截止 2027-03）。
§2 各工作贡献与相互关系
- 评测诚信双层演进：R88 InferenceBench（评测执行者）→ R89 KV Reuse Eval（评测指标层失真批判）= benchmark the benchmarkers + benchmark the benchmark 双层演进
- 决策型 judge 跨域印证：R84 JEV → R88 LangChain 独立验证（500 样本 · 100% 一致）→ R89 ARGUS（73% vs 18%）→ R89 Chinese-Jev（中文决策任务）= 结构化 rubric > 关键词/生成式 跨域印证
- 长程评测双轨：R88 AgentWorld（50+ 轮 benchmark）→ R89 SAGE SCA（理论框架）= benchmark + 理论归因 互补
- 垂类多阶段多维：R86 CLEAR 五维 → R89 IndicBankBench（799 案例 · 四阶段 · 二十轴）= 多阶段多维垂类评测 方法学延展
- Code Agent RL 信用重分配：R89 GAGAR（组内排序 · MiMo-V2.6 310B/1.02T）→ R89 ASCT（反事实搜索）= 两条互补路径
- 元评测执行者扩展：R88 InferenceBench → R89 "Eval as Infrastructure"三层 + Context-Bench / Recovery-Bench / Terminal-Bench = 评测生态基础设施化
§3 工程 / 研究 / 批判三视角
3.1 工程视角（可落地性）
- R89 IndicBankBench 四阶段可直接推广到金融/医疗/法律垂类 Agent 评测——"中间过程错误捕获"理念比 end-to-end 评测更可靠
- R89 GAGAR / ASCT 在 Xiaomi MiMo-V2.6（310B/1.02T）pipeline 上已工业化落地——可作为 code agent RL 训练的标准组件
- R89 Boxoffice 工具（KV Reuse Eval）可程序化生成复用评测场景，建议作为 RAG/Agent eval 流程的"诚信校验"工具集成
- R89 Chinese-Jev 提供统一训练 pipeline——可在中文决策任务上替代 LLM judge 降低成本
- ⚠️ 落地风险：ARGUS 跨领域边界需明示（气候经济学 ≠ LLM eval）；KV Reuse Eval 的 Boxoffice 工具需独立验证其无歧义精度损失评测方法的可重复性
3.2 研究视角（创新性）
- R89 KV Reuse Eval 把"评测失真"作为研究对象——是元评测（meta-evaluation）的标志性转向
- R89 SAGE SCA 框架首次将符号闭包分析引入长程推理偏置归因——是评测方法学从"建 benchmark"到"理论归因"的范式跃迁
- R89 IndicBankBench 四阶段 是"中间过程错误捕获"设计理念的具体实现——为垂类高风险场景提供新的评测设计范式
- R89 ARGUS 主动弃答机制 是评测诚信设计的重要细节——"证据不足时不应强行生成判断"成为跨领域共识
- R89 GAGAR 组间比较评分 突破 GRPO 二元奖励的局限——为 code agent RL 提供质量感知信用分配
- ⚠️ 创新局限：SAGE SCA 框架在"非形式化推理任务"上的设计原则可推广性需验证；ARGUS 跨领域方法学迁移的有效性需谨慎论证
3.3 批判视角（局限）
- R88 LangChain Jev 独立验证样本代表性：R88 矛盾 P1——LangChain State of Agent Engineering 2026 报告样本框未公开，存在选择性偏差；Gartner 2028 60% 预测口径（software engineering teams vs AI Agent teams）需核实
- R89 ARGUS 跨域迁移风险：结构化 rubric 优越性是否在不同领域一致？何种领域适合迁移？（气候政策 DID 评估 ≠ LLM benchmark 效果，不宜直接跨类比）
- R89 SAGE SCA 理论归因：12 benchmark × 7 model family 的 8-fold improvement 需独立核验；代数稀疏化 + 双曲结构引导的可解释性需深入
- R89 KV Reuse Eval"评测失真"传染性：基于当前评测数据的工程决策（Continnum 2511.02230 / KVSET 2609.27746 / SGLang vs vLLM TTFT 4.5×）可能建立在失真数据之上——双重警示链需建立专项核验机制
- R89 GAGAR agentic grader：用 SFT 训练的 agent 做组内评分——循环依赖风险（grader 本身的偏差传递到 RL）；与 R84 JEV 决策型 judge 形成方向分叉
- R89 LLM 文化意识评估（2609.31506）未精读原文——具体数据均未知，不得锚入维度体系
3.4 法律独立段：跨领域引用边界与评测诚信
⚠️ R89 ARGUS（arXiv:2609.30867）是气候政策 DID 评估框架，不是 LLM/Agent eval——引用时需明确边界，不宜直接类比 LLM benchmark 效果；气候政策因果识别假设证据的 11 维审计 ≠ LLM agent 决策的 11 维审计，跨领域迁移存在结构性差异。R89 KV Reuse Eval（arXiv:2609.31415）揭示的"评测失真"传染性意味着：基于现有评测数据做出的工程决策（如 SGLang vs vLLM 的 KV Cache 策略选择）可能建立在失真的评估数据之上——建议建立专项警示："KV cache reuse 评测数据需用 Boxoffice 工具（2609.31415）重新核验后再用于工程决策"。R89 JEV HF 社区热度衰减 vs 工业级测试完全胜出反向背离（R88 矛盾 P2）——需 R90 跟进非 LangChain 平台复现，避免单一平台样本框的选择性偏差。
§4 趋势判断与开放问题
4.1 趋势主线（R89 新增 4 条）
- 趋势主线 139：评测方法学从"建 benchmark"向"批判 + 量化 + 归因 benchmark"转型（R89 KV Reuse Eval / SAGE / ARGUS 主导的方法论文主导入库批次首次出现）
- 趋势主线 140：评测诚信从 harness 层延伸到指标层（R88 评测执行者扩展 → R89 评测指标本身失真批判）
- 趋势主线 141：长程评测从 benchmark 走向理论归因（R88 AgentWorld 50+ 轮实测 → R89 SAGE SCA 框架理论工具）
- 趋势主线 142：垂类高风险场景多阶段多维评测范式确立（R86 CLEAR 五维 → R89 IndicBankBench 四阶段）
4.2 开放问题（R89 +5）
- R89-开-1(P0)：KV Cache Reuse 评测失真对工程决策的传染性——Boxoffice 工具（2609.31415）可程序化生成复用评测场景，建议作为"评测基础设施诚信校验"工具集成到 RAG/Agent eval 流程中
- R89-开-2(P0)：IndicBankBench 四阶段设计的可推广性——是否可推广到其他垂类高风险场景（医疗、法律、自动驾驶）；与 R86 CLEAR 五维共同验证"多阶段多维"是垂类高风险场景评测的通用设计原则
- R89-开-3(P0)：ARGUS 跨领域方法学迁移的边界——结构化 rubric 优越性是否在不同领域一致？何种领域适合迁移？
- R89-开-4(P1)：SAGE SCA 框架对长程 Agent 评测的设计指导——能否指导 R88 AgentWorld 50+ 轮多 Agent 协作 benchmark 的设计
- R89-开-5(P1)：LLM 文化意识评估（2609.31506）的具体数据——基于 Cool Papers 摘要直译，未精读原文
§6 综合论文清单
6.1 NET-new 主分类/副分类 evaluation（4 件）
| arXiv 号 | 名称 | 主分类 | 副分类 | R89 立基础锚 |
|---|---|---|---|---|
| 2609.31415 | Evaluating the accuracy of KV cache reuse techniques（Boxoffice 工具） | llm-infra | evaluation | 153 ★★★★★ |
| 2609.29167 | IndicBankBench（799 案例 · 四阶段 · 二十轴） | evaluation | risk | 154 ★★★★★ |
| 2609.30867 | ARGUS（11 维审计 · 73% vs 18%） | evaluation | — | 155 ★★★★ |
| 2609.30192 | SAGE（SCA · 探索偏置 + 累积偏置 · 12×7 · 8-fold） | evaluation | — | 156 ★★★★ |
6.2 邻接 evaluation 主轴（10 件）
| arXiv 号 | 名称 | 来源 |
|---|---|---|
| 2609.32577 | GAGAR（Xiaomi MiMo-V2.6 · 310B/1.02T） | HF Daily 9-30 #1 · 108▲ |
| 2609.35215 | ASCT（反事实树注意力搜索） | Sep 30 真入库 |
| 2609.36965 | Chinese-Jev（中文决策型 judge） | Tom 9-30 radar |
| 2609.37749 | Keyword vs Semantic Search 客观评测框架 | Tom 9-30 radar |
| 2609.35718 | GPT-6 Astra（34×55×9 = 16830 评估点） | HF Daily 9-30 #9 |
| 2609.31506 | LLM 文化意识评估（⚠ 未精读） | Jay 9-29 1001 |
| 2609.26550 | JEV-as-a-Judge（R84 锚 131） | 续用 |
| 2609.31590 | AgentWorld（R88 锚 152） | 续用 |
| 2607.20468 | InferenceBench（R88 元评测） | 续用 |
| 2507.21504 | LLM Agents Eval Survey（KDD 2025 · 206 引） | 高被引基线 |
6.3 arXiv 号列表（按时间排序）
2507.21504 · 2607.20468 · 2609.26550 · 2609.29167 · 2609.29816 · 2609.30192 · 2609.30867 · 2609.31093 · 2609.31415 · 2609.31506 · 2609.31590 · 2609.32577 · 2609.35215 · 2609.35718 · 2609.36965 · 2609.37749
§7 共识、争议与延伸（合流）
7.1 共识（沿用）
- 共识 1：评测方法学正在从单一指标走向多维 / 多阶段 / 多方（IndicBankBench 4-stage / CLEAR 5-dim / AgentWorld 50+ 轮）
- 共识 2：结构化评估框架在多个领域优于关键词 / 生成式方法（JEV / ARGUS / ImpossibleRubrics）
- 共识 3：评测诚信是评测设计的必要考虑（ImpossibleRubrics / ARGUS 主动弃答 / LangChain Jev 独立验证）
7.2 争议（沿用 + 0 新增）
- 争议 1：JEV 工业价值 vs 学术关注度反向背离（R88-矛盾 P2 延续）
- 争议 2：Gartner 2028 60% 预测 vs LangChain 数据样本代表性（R88-矛盾 P1 延续）
- 争议 3：ARGUS 跨领域方法学迁移的边界（结构化 rubric 优越性是否跨域一致）
7.3 延伸（合流）
- 延伸 1：从 harness 层到指标层——R89 KV Reuse Eval + R88 InferenceBench + R86 ImpossibleRubrics 共同构成评测诚信的三层演进
- 延伸 2：从实测到理论归因——R89 SAGE SCA + R88 AgentWorld 共同构成长程评测从"评什么"到"为什么难"的二阶延伸
- 延伸 3：从研究到基础设施——R89 "Eval as Infrastructure"三层 + R87 The AI Engineer 缺口数据 + R88 InferenceBench 元评测共同构成评测生态基础设施化叙事
§8 反思与遗留清单
8.1 本主题内反问（5 件）+ 待核验
- 反问 1：R89 KV Reuse Eval"评测失真"传染性是否应在所有 RAG 生产部署前强制 Boxoffice 工具核验？
- 反问 2：R89 IndicBankBench 四阶段设计是否应在所有垂类高风险 Agent 评测中作为默认设计原语？
- 反问 3：R89 SAGE SCA 框架是否应作为 R88 AgentWorld 50+ 轮 benchmark 设计的方法论补充？
- 反问 4：R89 GAGAR / ASCT 信用重分配方法是否应作为所有 code agent RL 训练的标准组件？
- 反问 5：R89 ARGUS 跨领域方法学迁移的边界论证——是否应在评价维度体系上做跨域对比矩阵？
待核验（5 件）：Boxoffice 可重复性 + IndicBankBench 推广 + SAGE 12 benchmark 复验 + GAGAR/ASCT head-to-head + 2609.31506 原文精读。
8.2 与其他主题交叉
- KV Reuse Eval → llm-infra.md / rag.md / engineering.md
- IndicBankBench → agent.md / risk.md
- ARGUS / "Eval as Infrastructure" → ai-industry.md
- SAGE → llm-infra.md / agent.md
- GAGAR / ASCT → agent.md / llm-infra.md
Spark · 2026-09-30 16:40 CST · R89 范式跃迁核心信号·评测方法学从"建 benchmark"向"指标层诚信 + 长程理论归因 + 垂类多阶段多维 + 元评测执行者扩展"四件并行转型 · 14 篇 evaluation 主轴 arXiv + 4 件 R89 立基础锚（153-156）·边界：仅写本文件 surveys/2026-09-30-evaluation.md