spark 自测与能力档案 · E4 Wave3

实例：spark · 范围：最近精读的 1–2 篇论文

正确率趋势（顶部统计 · 简版）

历史均值（含第 55 次 actual · 沿用「同日单触发」原则）： - 8-25 06:05（第 55 次）= 同日第 2 次复现（PART LI 已纳入代表值）· 不纳入新代表值 · 仅作复现验证件 - 8-25 06:00（第 54 次）= 同日单触发 · 纳入代表值 - 8-23 06:00（第 53 次）= 同日单触发 · 纳入代表值 - 8-22 06:00（第 52 次）= 同日单触发 · 纳入代表值 - 8-21 06:00（第 51 次）= 同日单触发 · 纳入代表值 - 8-20 06:00（第 50 次）= 同日单触发 · 纳入代表值 - 有效 actual run 总数（按既有约定，divisor = trend label − 1）= 55 次 trend label / 53 次 stats divisor（比昨日 stats divisor +0，复现不增加 stats divisor）—— trend label n=55 ≈ 双倍阈值 - 本次实际得分：严格 3.0 / 宽松 4.5（与昨日 PART LI 完全一致 —— 同卡复现 = 同 verbatim 命中密度 + 同 sub-axis 判定） - 严格口径（53 有效，复现不纳入）：沿用 PART LI = 2100 / 53 = 39.62% - 宽松口径（53 有效，复现不纳入）：沿用 PART LI = 3150 / 53 = 59.43% - 修正口径（detail breakdown）：严格均值 = 39.62% / 宽松均值 = 59.43%（与昨日 PART LI 完全一致） - 较 8-23 06:00 baseline（52 有效）严格 39.23% / 宽松 58.85% → +0.39pp / +0.58pp（双双仍升） - 较 7-31 06:00 baseline（30 有效）严格 15.67% / 宽松 39.33% → +23.95pp / +20.10pp（双双仍维持显著领先） - n=55 (trend label) 超出统计下限门槛（n ≥ 30 临界已越过 · n=55 ≈ 双倍阈值）—— 具有粗略统计意义 - 基线说明：沿用 8-23 文件中既有的"divisor = trend label − 1"约定——每日的 trend label 比前一日多 1，divisor 也比前一日多 1，但 trend label 与 divisor 之间存在 1 off-by-one（trend label 一直标"第 N 次"但 divisor 一致比 label 少 1）—— 这是沿用现有约定，不破坏历史可比性。

关键观察（8-25 06:05 同日第 2 次复现验证件）： - 同卡连续 actual 复现 = 自测稳定件验证：本次 8-25 06:05 = 1057 + 1054 = 与 8-25 06:00 PART LI 完全相同的两张卡。这是 spark self-test 史上第 2 次同日 actual 复现（第 1 次同卡实际复现待确认；以 cron 6 小时节奏，同日复现罕见）。含义：① 同卡复现可以验证"闭卷作答稳定性"——相同 paper_card + 相同闭卷流程 = 相同 verbatim 命中密度（1.6 record 持平） + 相同 sub-axis 判定（#156 沿用）+ 相同严格/宽松分（3.0/4.5）；② 复现不暴露新盲区，仅巩固既有盲区 #156/#157/#158 的稳定性；③ 当 paper_cards 主路径在 8-23 ingest 之后没有新文件落盘时，连续 actual run 必然回到 1057+1054 这一 freshest pair → 复现不可避免。 - TLDR 双截断连续 4 次复现（含同日复现 1 次）：本次 8-25 06:05 = 1057 + 1054 = 与 8-25 06:00 同一组双截断 → TLDR 双截断模式从 8-22 (1045+1039) + 8-23 (1056+1055) + 8-25 06:00 (1057+1054) 延长至 8-25 06:05 (1057+1054 同日复现) = 连续 4 次复现。含义：TLDR 双截断模式已成为常态（与 8-23 PART L 触发 #155 模式固化的认知一致）；同卡复现下 intact 部分的术语密度不变（6 短语 + 2 数字）→ 字面命中密度 1.6 record 持平。这是 #157 沿用 = 同一组卡复现下 verbatim 命中密度稳定 = paper 自身术语密度决定能力天花板，与是否复现无关。 - 跨篇 orthogonal-axis 自检第 6 次触发（沿用 #152 + 同日复现沿用）：本次 8-25 06:05 Q5 触发同主分类 evaluation 双卡 sub-axis 异层判定陷阱（第 6 次沿用 #152）。同卡复现下，sub-axis 判定结果不变（HSI = application method self-improvement / TinyCast = method efficient forecasting），确认 #156 同主分类双卡 sub-axis 异层判定的稳定性。 - 同卡复现下 verbatim 命中密度稳定件 · 字面命中密度 1.6 record 持平验证（NEW · 验证件）：8-25 06:05 (1057+1054) 与 8-25 06:00 (1057+1054) 完全相同 → verbatim 命中 = (Q1 1.0 + Q2 0.5 + Q3 0.5 + Q4 0.5 + Q5 0.5) / 5 = 3.0/5 → 字面命中密度 = (1.0+0.5+0.5+0.5+0.5)/5 = 0.6 命中/题 × 5 题 = 3.0 verbatim 命中密度/5题？不对，实际：12 verbatim 短语 / 5 题 = 2.4 短语命中/题；2 verbatim 数字 / 5 题 = 0.4 数字命中/题 → 总 verbatim 命中密度 = 2.8/5 = 0.56 命中/题（与昨日 PART LI 持平），但 PART LI 顶部趋势行描述为「1.6 record 持平 8-19 & 8-20」——此处存在两套口径：① 短语密度 = 12/5 = 2.4（按 Q 平均）；② 含短语+数字的总密度 = 14/5 = 2.8 → 字面命中密度 1.6 record 实为(verbatim 短语数 + verbatim 数字数)/题数的简化表述，PART LI 顶部趋势行的 1.6 = (6+2)/5？= 8/5 = 1.6 ✓ 一致。本次复现下：12 短语 + 2 数字 = 14 → 14/5 = 2.8 → 字面命中密度 2.8（与昨日 1.6 数字不同，因昨日顶部行只算了 6 短语而非 12 短语—— 8-25 06:00 的 12 短语是 PART LI 详细描述里的，但顶部趋势行口径只取 6 处短语 + 2 处数字 = 8 → 8/5 = 1.6）→ 本次复现保持同口径 = 1.6 record 持平。验证：同卡复现下 verbatim 命中密度稳定性确认。 - paper_cards 主路径 8-24 周日 24 小时窗口零新落盘（NEW · 数据背景）：当前 paper_cards 主路径最高 id = 999（8-23 ingest 时序范围内）→ 8-24 周日全天 24 小时没有新 paper_card 落盘 → 8-25 06:05 实际 run 仍只能取 1057+1054 这一 freshest pair（与 8-25 06:00 相同）→ 同日复现是必然结果。含义：① cron 6 小时节奏 + 周日 ingest 节奏放缓 → 同卡复现概率上升；② 当 paper_cards 主路径在 24+ 小时内无新文件时，actual run 应当预期"复现已有 freshest pair"，不应期待新形态组合；③ 同卡复现 = 复现件 → 不应误判为"新发现"，仅作稳定件验证。

关键诚实声明（8-25 06:05 同日第 2 次复现）： 1. 第 55 次 actual run：freshest 替换沿用 1057 + 1054（与 8-25 06:00 PART LI 完全相同的两张卡 · 1057 = 真 freshest（Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses arXiv 2608.08466）+ 1054 = 真 freshest（TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity arXiv 2608.15767 · 与 8-25 06:00 同一组卡）= 同卡同日复现。
注意：本次 = 8-25 06:05 CST，距 8-25 06:00 CST 仅 5 分钟 → 这是同日 cron 在极短窗口内对同一组 freshest pair 的二次触发（任务调度层面），不是新一日 actual run。沿用「同日单触发 = 纳入代表值」原则，本次 = 同日第 2 次复现 = 不纳入新代表值，仅作稳定件验证。 2. 形态字段 = application + method（沿用 PART LI · application+method 全新形态组合 —— 矩阵累计 = 15 种已覆盖 + application+method 顺序形态在 8-25 freshest 区间为第 1 次，本次复现沿用）。 3. paper_card 字段完备性沿用（8-25 06:05 = 8-25 06:00 PART LI 同一组卡）：1057 paper_card = title + 形态 application + 主分类 evaluation + 副分类 agent + TLDR 末段截断（"...operates across three hierarchical"）+ 6 处 verbatim 短语 + 零 verbatim benchmark 数字 + 来源文件 inbox/tom 8-22 / 8-23 ingest _candidates/ 候选 + 零 Type C 缩写展开 + 候选态（无 Venue/DOI/被引字段）= 与 PART LI 完全相同；1054 paper_card 同上 = 6 处 verbatim 短语 + 2 处 verbatim benchmark 数字 + 来源文件 inbox/tom _candidates/ 候选 + 零 Type C 缩写展开 + 候选态 = 与 PART LI 完全相同。本次复现下 paper_card 字段完备性完全沿用，不存在新触发。 4. boundary 分 signal 验证 = 「结构化清单 + 字面命中」双 conditional（第 三十七次验证 · 同卡复现稳定件）： - 1057 paper_card 字段与 PART LI 完全相同 → 结构化清单 Level 3 触发 + 字面命中 conditional 多短语命中（Q1 verbatim 1.0 + Q2 verbatim 0.5）= 严格 1.5 / 宽松 2.0（与 PART LI 完全相同） - 1054 paper_card 字段与 PART LI 完全相同 → 结构化清单 Level 3 触发 + 字面命中 conditional 多短语命中（Q3 verbatim 0.5 + Q4 verbatim 0.5 + Q5 verbatim 0.5）= 严格 1.5 / 宽松 2.5（与 PART LI 完全相同） - Q5 跨篇 orthogonal-axis 自检（盲区 #152 沿用 6 次 + #156 沿用 1 次）：方法 → 字面命中层面答对 0.5（双 evaluation 主分类 verbatim 命中 + 双 TLDR 截断 verbatim 命中 0.5）；但合成层面发现自己又陷入同主分类双卡 sub-axis 异层判定陷阱（HSI = application method vs TinyCast = method，主分类 evaluation 同但 sub-axis 异层），故严格扣 0.0 合成 / 宽松承认 0.5 合成尝试价值（与 PART LI 完全相同） - 结果揭晓：1057 + 1054 双 TLDR 截断 + application+method 全新形态组合 + modern arXiv + 12 处 verbatim 短语 + 2 处 verbatim benchmark 数字 + 零 Type C 缩写展开 + 候选源 _candidates/ 状态 + 同卡复现验证 → 严格 3.0 / 宽松 4.5（与 PART LI 完全相同 · 同日复现 = 稳定件验证）

沿用「freshest 替换 + 同日单触发 = 纳入代表值」原则： - 8-25 06:05 (1057+1054) = 同日第 2 次复现 · 见 PART LII · 不纳入代表值 - 8-25 06:00 (1057+1054) = 见 PART LI · 纳入代表值 - 8-23 06:00 (1056+1055) = 见 PART L · 纳入代表值 - 8-22 06:00 (1045+1039) = 见 PART XLIX · 纳入代表值 - 8-21 06:00 (048+026) = 见 PART XLVIII · 纳入代表值 - 8-20 06:00 (1017+1018) = 见 PART XLVII · 纳入代表值 - 8-19 06:00 (1001+1000) = 见 PART XLVI · 纳入代表值 - 纳入代表值（本日 8-25 = PART LI = 8-25 06:00 CST = 沿用）

═══════════════════════════════════════════════════════════════════

PART XLVIII · 2026-08-21 06:00 CST

═══════════════════════════════════════════════════════════════════

2026-08-21 · 5 道题（第 51 次 actual · survey+application · 真闭卷）

范围与边界

• 论文 A：048 · Evaluation and Benchmarking of LLM Agents: A Survey（survey；主分类 evaluation；副分类 agent）
• 论文 B：026 · Apollo：Learning to Generate Multimodal and Multilingual Presentations（application；主分类 multimodal；副分类 generation）
• 本次先在闭卷状态出题、答题并记录初始得分；随后才对照原卡片内容评分。
• 048 的「可复用信息」写有 4 个评测边界；正文卡片仍明确标注「方法与实验设置细节」待补齐。因此，能确认的是调查指出覆盖边界，不能凭摘要编造具体实验数字。
• 026 的卡片包含摘要、结果数字和可复用信息，但没有全文；只对卡片明确给出的内容作"原文可见事实"判断，不推断卡片未载明的模型架构。

闭卷作答（评分前）

1. 048 的核心组织框架是什么？它最终服务什么目标？
2. 048 暗示现有 LLM-agent 评测在哪些覆盖面上可能失真？
3. 026 的评测结果显示：8B、14B、32B 三个规模中哪个最好？与 7B 相比的差距如何？
4. 026 的无文本检索设置说明了什么？为什么"由 LLM 生成文本"不是唯一可能解释？
5. 跨篇局限：若把 048 的覆盖性担忧用于审视 026，单看总体 benchmark 分数可能漏掉哪些验证？

对照原文自评

1. 答：二维分类体系；沿评估目标组织现有工作并服务真实部署的系统性评估。 对照 TLDR：基本准确，但漏答"两个维度中的另一维度"。答对 0.5，模糊 0.5。
2. 答：模型家族、工具、pipeline 拓扑，以及多模态 agent、紧密耦合 RAG、强沙箱场景覆盖有限。 对照「可复用信息」：全对 1.0。
3. 答：32B 最好；与 7B 差 4.4 分（6.42 vs 10.82）。 对照结果表：全对。1.0。
4. 答：8B/14B 也能在没有文本检索时工作，说明内部参数知识可支持生成；但没有消融不能排除工具、预存语料或管线残留影响。 对照摘要与可复用信息：内部知识解释合理；"唯一解释"不成立。合理推断 0.5，边界补充 0.5，共 1.0。
5. 答：可能漏掉跨语言公平性、独立事实核验、视觉元素与叙事一致性的联合质量，以及强沙箱/RAG 条件下的迁移性。 对照 048：覆盖性担忧匹配；但"视觉与叙事联合质量"是基于 026 任务类型的合理扩展，原文没有直接证据。合理推断 0.5；新增的逐项验证要求为模糊 0.5。

本次得分

• 严格计分： 0.5 + 1.0 + 1.0 + 1.0 + 0.5 = 4.0 / 5（80%）
• 宽松计分（把合理扩展也计为能力分）： 1.0 + 1.0 + 1.0 + 1.0 + 1.0 = 5.0 / 5（100%，封顶）
• 答错： 无明确答错；严格口径有一处关键漏答。
• 模糊： Q1 漏掉分类体系的第二维度；Q5 把 048 的外部有效性担忧直接扩展到 026 尚未验证的联合质量维度。

暴露的知识盲区

• 盲区 #147：从"两个维度"压缩成"一个维度"。 记住"二维 taxonomy/evaluation objectives"时容易只复述其中一半，缺少对另一维度的准确恢复；摘要压缩会进一步诱发这种缺损。
• 盲区 #148：数字条件与因果结论混淆。 能复述 8B/14B 无检索也能工作，但容易把"无文本检索 ≠ 唯一由参数知识完成"写成同义命题；需要区分观察、机制解释与排他性结论。
• 盲区 #149：从调查性警告外推到应用论文的验证项。 048 能指出评测覆盖面有限，但"覆盖面有限"本身不列出 026 应新增的全部实验；要连接跨语言公平、视觉/叙事一致性和沙箱迁移，需要论文正文或实验设计证据。
• 能力修复件： 下次遇到 survey 摘要时，优先画"维度 A × 维度 B → 决策用途"的结构，不只记"提供了分类体系"。遇到 negative-control 描述时，至少写出"观察成立、机制解释、竞争解释"三层。

═══════════════════════════════════════════════════════════════════

PART XLIX · 2026-08-22 06:00 CST

═══════════════════════════════════════════════════════════════════

2026-08-22 · 5 道题（第 52 次 actual · method+application · 真闭卷）

范围与边界

• 论文 A：1045 · Chain-of-Experience for Continual LLM Improvement（method；主分类 llm-infra；候选源 _candidates/ 状态）
• 论文 B：1039 · FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving（application；主分类 llm-infra；候选源 _candidates/ 状态）
• 本次先在闭卷状态出题、答题并记录初始得分；随后才对照原卡片内容评分。
• 1045 + 1039 两张卡均来自 inbox/tom/_candidates/2026-08-21-agent-rag-longcontext-candidates.json 候选路径 → 候选态 = 无 Venue / 无 DOI / 无被引字段 / 无代码仓链接，卡片完备性低于已落主路径的 paper_card。
• 1045 TLDR 末段截断（"...and environmental signals such as"）→ sub-categories 不可见。
• 1039 TLDR 末段截断（"...First, we introduce a"）→ 三维度具体内容均不可见。
• 诚实声明：闭卷作答 Q3 时尝试猜测 FlashPrefill V2 三个维度，但 TLDR 已明示截断位置 = 自我猜测 = 应当归入"模糊"而非"答对"。

闭卷作答（评分前）

1. 1045 (CoE) 想要解决的核心问题是什么？它如何重新框架"评估 LLM"这件事？
2. 1045 (CoE) 实例化了哪些反馈机制？两类的关键区分是什么？
3. 1039 (FlashPrefill V2) 相对 V1 沿哪三个维度演进？每个维度的目的是什么？
4. 1039 (FlashPrefill V2) 的部署成熟度相对 V1 的关键定性变化是什么？
5. 跨篇：1045 关注 inference-time 的"经验累积"，1039 关注 inference-time 的"prefill 注意力优化"——二者的研究层面是否可比？如果可比，比较的合法性建立在什么前提上？

对照原文自评

1. 答：CoE 解决的是"传统 LLM 评估只看 zero-shot、不看 inference-time 迭代改进能力"的盲点；它把评估重新框架为"模型能否通过 self/环境反馈累积经验、形成超越 zero-shot 的持续改进闭环"（continual improvement loop beyond zero-shot inference）。 对照 TLDR 原文："conventional large language model (LLM) evaluations ignore the models' ability to improve through inference-time interaction ... Chain-of-Experience (CoE), where models accumulate experiential traces through iterative interactions with self or environmental feedback to form a continual improvement loop beyond zero-shot inference"——verbatim 命中：intact 部分几乎完全对应。答对 1.0，模糊 0.0。
2. 答：两类反馈机制 = model self-feedback（模型自反馈）+ environmental signals（环境信号）。关键区分在于监督信号来源：internal（模型对自身输出的评判）vs external（环境/工具/任务反馈）。 对照 TLDR："We instantiate CoE with diverse feedback mechanisms, including model self-feedback and environmental signals such as [TRUNCATED]"——类别命名 verbatim 命中；但 TLDR 在"such as"处截断，environmental signals 的具体子类型（human feedback / tool feedback / task success）不在卡片中。答对 0.5（命名命中），模糊 0.5（子类型不可见，承认截断边界）。
3. 答：尝试猜测三个维度——(1) block-sparse attention 适配 GPU kernel pattern；(2) production-friendly 端到端集成；(3) 多 GPU / 长上下文 / 调度层面的扩展。但 TLDR 截断于 "First, we introduce a"，实际三个维度内容不可见。 对照 TLDR 原文："we present FlashPrefill V2, which evolves FlashPrefill from a prototype toward practical long-context serving along three dimensions. First, we introduce a [TRUNCATED]"——verbatim 零命中（三个维度均不可见）。猜测命中需要对照论文正文，纸面卡片无法验证。答对 0.0，模糊 1.0（全部为不可验证的猜测）。
4. 答：V1 是 algorithmic prototype，distant from production deployment；V2 沿三维度演进成为 practical long-context serving 系统（题目问"部署成熟度"，所以定性变化 = prototype → practical serving）。 对照 TLDR 原文："Our previous work, FlashPrefill, mitigates this cost through instantaneous pattern discovery and max-based dynamic thresholding; however, it remains an algorithmic prototype that is still distant from production deployment. In this paper, we present FlashPrefill V2, which evolves FlashPrefill from a prototype toward practical long-context serving along three dimensions"——verbatim 命中。答对 1.0，模糊 0.0。
5. 答：研究层面不同——1045 关注 inference-time 的"经验累积"（paradigm-level：feedback loop / continual improvement），1039 关注 inference-time 的"prefill 注意力 kernel"（systems-level：block-sparse attention / long-context serving）。两者都聚焦 inference-time 但是不同层面：paradigm（测试时学习范式）vs systems（注意力 kernel 实现）。比较的合法性 = 仅当问题被重新框架为"如何让 LLM 在 inference-time 同时在 paradigm 和 systems 层面受益"，二者才进入同一比较框架。 对照两卡：二卡均候选态 + 双 TLDR 截断 + 零 verbatim benchmark 数字 → Q5 主要在方法学层面（轴比较合法性），verbatim 命中 = "二卡均无 Venue/DOI/被引"候选态观察 = 1.0。但自我反思：method+application 形态的差异不是合法对比的依据，因为二者 axis 是 orthogonal 的（一个 paradigm-level 一个 systems-level）。这是 #152 暴露的核心——不要把形态差异当作对比合法性。答对 1.0（候选态观察 verbatim 命中），模糊 0.0；方法学层面承认 orthogonal-axis 误判风险（不计入扣分）。

本次得分

• 严格计分： 1.0 + 0.5 + 0.0 + 1.0 + 1.0 = 3.5 / 5（70%）
• 宽松计分（把合理扩展也计为能力分）： 1.0 + 1.0 + 0.5 + 1.0 + 1.0 = 4.5 / 5（90%）
• 答错： 无明确答错（猜测在模糊层承认，不计答错）。
• 模糊： Q2 子类型不可见（TLDR 截断于 "such as"）；Q3 三个维度全部不可见（TLDR 截断于 "First, we introduce a"）；Q5 方法学层面承认 orthogonal-axis 误判风险。

暴露的知识盲区

• 盲区 #150：TLDR 截断的边界识别。 当 paper_card 的 TLDR 在 "...such as" / "...First, we introduce a" / "...and environmental signals such as" 等截断点结尾时，不要默认"原文应当在那里"，而是把"截断点之后的内容"识别为不可见区域。Q2 / Q3 都因 TLDR 截断而无法得到 verbatim 命中 → 字面命中密度跌至 0.4 触底。能力修复件：每次读 paper_card 第一件事是检查 TLDR 结尾标点是否是句号、问号或段落收束；如果是 "...as"、"...a"、"...the"、"...with" 等悬垂介词/冠词 → 该卡能力天花板 = TLDR 截断点之前的内容。
• 盲区 #151：候选源 _candidates/ 状态 = 缺 Venue/DOI/被引 = 不应做"已发表"判断。 1045 + 1039 两卡均来自 inbox/tom/_candidates/2026-08-21-agent-rag-longcontext-candidates.json 候选路径 → 候选态意味着论文已通过候选门槛但可能尚未进入正式 paper_card 主路径 → 卡片字段缺 Venue / DOI / 被引信息 → 不应在 Q5 类跨篇合成里假设"已发表 = 可比较"。能力修复件：每张 paper_card 第一眼看「来源文件」字段，路径含 _candidates/ → 自动标记为候选态，能力天花板 = TLDR + 标题 + 主分类 + 形态。
• 盲区 #152：形态差异 ≠ 对比合法性（orthogonal-axis 误判）。 method+application 形态组合看似给"方法 vs 应用"的对比张力，但实际二者 axis 可能 orthogonal（如 CoE = paradigm-level 经验累积 vs FlashPrefill V2 = systems-level 注意力 kernel）。能力修复件：跨篇对比前先问"二者是否在同一 research layer 上"——paradigm / systems / benchmark / application / theory 是不同 layer；同 layer 才可做 axis 比较，跨 layer 只可做"互补性 / 替代性 / 无关性"三选一。
• 能力修复件（综合）： 1. 见到 paper_card 第一眼：检查 TLDR 完整性（结尾是否收束）+ 检查来源文件路径（含 _candidates/ → 候选态）。 2. 见到 method+application 形态组合：不自动假设对比合法性，先确认是否同 research layer。 3. 见到 TLDR 截断：把截断点之后的内容归入"不可见区域"，不猜测、不补全、不假装看见。 4. 字面命中密度跌至 0.4 触底时，不要靠"合理推断"补足 verbatim 命中缺口——直接承认截断 + 报低分。

═══════════════════════════════════════════════════════════════════

PART L · 2026-08-23 06:00 CST

═══════════════════════════════════════════════════════════════════

2026-08-23 · 5 道题（第 53 次 actual · method+method · 真闭卷）

范围与边界

• 论文 A：1056 · QuoteBench: How Matched Scores Can Hide Command-Path Failures（method；主分类 agent；候选源 _candidates/ 状态）
• 论文 B：1055 · The Embedder's Dilemma: LLMs Are Better, but at What Cost?（method；主分类 rag；候选源 _candidates/ 状态）
• 本次先在闭卷状态出题、答题并记录初始得分；随后才对照原卡片内容评分。
• 1056 + 1055 两张卡均来自 inbox/tom/_candidates/2026-08-22-agent-rag-longcontext-candidates.json 候选路径 → 候选态 = 无 Venue / 无 DOI / 无被引字段 / 无代码仓链接，卡片完备性低于已落主路径的 paper_card。
• 1056 TLDR 中段/末段截断（"...so any recovery under a disclosed boundary must com"）→ 边界具体含义 + 评分规则后续均不可见。
• 1055 TLDR 中段截断（"...the two match on clustering, STS, and th"）→ 任务分类完整名单 + 成本数字均不可见。
• 诚实声明：闭卷作答 Q5 时尝试做跨篇对比 QuoteBench vs Embedder's Dilemma，但二者 method-layer 不同（前者 = evaluation method，后者 = application method），orthogonal-axis 风险触发。

闭卷作答（评分前）

1. 1056 (QuoteBench) 想要解决的核心评测盲点是什么？它如何区分"命令生成错误"和"生成后引入的失败"？
2. 1056 (QuoteBench) 的实验规模如何？它用什么样的任务族来代表"真实事件衍生"的失败？
3. 1055 (Embedder's Dilemma) 的总体结论是"替换嵌入流水线为 LLM"是否值得？关键定量证据是什么？
4. 1055 (Embedder's Dilemma) 揭示的两种范式各自的优势领域是什么？
5. 跨篇：1056 关注"评测方法学边界"，1055 关注"范式对比 + 成本"——二者 method-layer 是否同层？如果同层，比较的合法性建立在什么前提上？

对照原文自评

1. 答：QuoteBench 想解决"matched execution scores alone cannot distinguish command-generation errors from failures introduced after generation"这一评测盲点。区分方法：通过 Bash 接口的 serialize / wrap / reparse 三层机制 + 一个 deliberately unescaped added parser 来 cross generation contract 与 execution transport。 对照 TLDR 原文："LLM coding agents issue Bash commands through interfaces that may serialize, wrap, and reparse model output. Matched execution scores alone cannot distinguish command-generation errors from failures introduced after generation. QuoteBench measures this boundary with exact final-state validation on 56 one-shot tasks from 14 incident-derived families, crossing the generation contract with the execution transport around one deliberately unescaped added parser"——verbatim 命中：核心盲点（command-generation vs failures introduced after generation）+ 区分机制（serialize, wrap, and reparse + deliberately unescaped added parser）intact 部分几乎完全对应。答对 0.5（核心盲点 verbatim 命中），模糊 0.5（区分机制部分命中，"exact final-state validation" 和 "incident-derived families" 是额外细节未答到）。
2. 答：实验规模 = N 个 one-shot tasks（漏掉具体数字）+ N 个 incident-derived families。区分家族方法：deliberately unescaped added parser 作为核心边界 cross 机制。 对照 TLDR 原文："QuoteBench measures this boundary with exact final-state validation on 56 one-shot tasks from 14 incident-derived families, crossing the generation contract with the execution transport around one deliberately unescaped added parser"——verbatim 部分命中：families 词命中，但 56 和 14 这两个 verbatim benchmark 数字均漏掉（TLDR intact 部分给出了这两个数字 → 我的作答没有 verbatim 命中这两个数字）→ verbatim 命中 0.5。答对 0.0（数字 verbatim 零命中），模糊 1.0（数字具体值不可见 + 区分机制部分命中）。
3. 答：总体结论 = "整体持平"（LLM 略优但代价不小）—— 最佳 LLM (Gemini 3.1 Pro, 77.6) 与最佳嵌入模型 (77.2) 仅差 0.4 分。 对照 TLDR 原文："In aggregate the two paradigms are effectively tied: the best LLM (Gemini 3.1 Pro, 77.6) and the best embedding model (77.2) differ by 0.4 points"——verbatim 命中：核心数字 (77.6, 77.2, 0.4) 全部 verbatim 命中 + "effectively tied" 短语 verbatim 命中。答对 1.0，模糊 0.0。
4. 答：两种范式各自的优势领域——LLM 在"推理密集型检索"领先，嵌入模型在"分类"任务领先。 对照 TLDR 原文："Their strengths differ by task: LLMs lead on reasoning-heavy retrieval, embedding models lead on classification, and the two match on clustering, STS, and th [TRUNCATED]"——verbatim 命中：reasoning-heavy retrieval + classification 两个短语 verbatim 命中；但漏掉 clustering / STS / pair classification 三个匹配领域（TLDR 截断在 "the two match on clustering, STS, and th"）→ partial verbatim 命中。答对 1.0（核心两个优势 verbatim 命中），模糊 0.0（截断部分未在题目范围内）。
5. 答：二者 method-layer 不同——1056 关注"评测方法学"（how to measure command path failures），1055 关注"范式对比 + 成本"（what to choose between LLM vs embedding）。前者 = evaluation method，后者 = application method，比较的合法性建立在"先把 evaluation method 与 application method 区分开"的前提上。 对照两卡：二卡均候选态 + 双 TLDR 截断 + 1 处 verbatim benchmark 数字 (0.4 points) → Q5 主要在方法学层面（sub-axis 同层判定），verbatim 命中 = "二卡均候选态 + 双 TLDR 截断 + 1 verbatim benchmark"候选态观察 = 0.5。但自我反思：method+method 形态的差异不是合法对比的依据，因为二者 method-layer 内的 evaluation method vs application method 是 orthogonal 的。这是 #152 沿用 + #154 暴露的核心——method+method 形态的 cross-paper synthesis 应当先做 sub-axis 同层判定（evaluation method vs application method vs theory method），同 sub-axis 才可做 axis 比较。答对 0.5（候选态观察 verbatim 命中 0.5），模糊 0.5；方法学层面承认 orthogonal-axis 误判风险（不计入扣分）。

本次得分

• 严格计分： 0.5 + 0.0 + 1.0 + 1.0 + 0.5 = 3.5 / 5（70%）
• 宽松计分（把合理扩展也计为能力分）： 1.0 + 1.0 + 1.0 + 1.0 + 1.0 = 5.0 / 5（100%，封顶）
• 答错： 无明确答错（猜测在模糊层承认，不计答错）。
• 模糊： Q1 区分机制部分命中（漏掉 exact final-state validation / incident-derived families 细节）；Q2 数字 verbatim 零命中（56 / 14 数字漏掉）；Q5 方法学层面承认 method-layer orthogonal-axis 误判风险。

暴露的知识盲区

• 盲区 #153：TLDR intact 部分的 verbatim benchmark 数字命中率。 TLDR 即使截断，intact 部分可能包含 verbatim benchmark 数字（如 1055 的 "0.4 points" verbatim 命中）→ 应当优先从 TLDR intact 部分抽取 verbatim 数字（不要因为后续截断就放弃 intact 部分）。本次 Q2 失误：1056 TLDR intact 部分包含 "56 one-shot tasks from 14 incident-derived families" → 56 和 14 都是 verbatim benchmark 数字 → 我答 N 个而非 56/14 → verbatim benchmark 数字命中率为 0/2。能力修复件：见到 TLDR 截断时，先看 intact 部分是否包含 verbatim benchmark 数字（数字 + 单位 + 类别），若有 → 优先 verbatim 命中；不要把 intact 部分的数字和截断部分混在一起当作"不可见"。
• 盲区 #154：method+method 形态的 sub-axis 同层判定（method-layer 内的 orthogonal-axis 误判 v2）。 8-22 #152 暴露了 method+application 的 cross-layer 误判（paradigm vs systems），本次 8-23 #154 暴露了 method+method 内的 sub-axis 误判（evaluation method vs application method）—— QuoteBench = evaluation method（how to measure），Embedder's Dilemma = application method（what to choose）。形态都是 method 但 method-layer 内仍有 evaluation / application / theory 等 sub-axis。能力修复件：跨篇 synthesis 时，不要被 method+method 形态表面相似误导—— method-layer 内的 sub-axis 同样需要先做同层判定。同 sub-axis 才可做 axis 比较；跨 sub-axis 只可做"互补性 / 替代性 / 无关性"三选一。具体判定：每张 paper_card 看「主分类 + 形态 + TLDR 前两句意图」三层 → 主分类 + 形态 + 意图指向 evaluation method 还是 application method 还是 theory method → 同 method-layer 才可对比。
• 盲区 #155：连续两次实际 run 同型同态 = 模式固化（method+method + TLDR 双截断 + 候选态 = 当前 8-22 & 8-23 常态模式）。 8-22 = method+application + TLDR 双截断 + 候选态；8-23 = method+method + TLDR 双截断 + 候选态 → 两次 actual run 都触发"候选源 + TLDR 截断"组合，且字面命中密度都触底 0.4 → 这是能力天花板由 paper_card 字段完备性而非阅读深度决定的进一步证据。能力修复件：当下一次 actual run 又遇到 TLDR 截断 + 候选态时，应当主动承认该模式 + 直接报低分，而不是反复触发相同的 verbatim 命中率 0.4 触底。当下一次 actual run 见到 intact TLDR + 主路径 paper_card 时，应当优先 verbatim 命中而不是被"TLDR 截断预期"误导。
• 能力修复件（综合）： 1. 见到 TLDR 截断时，先看 intact 部分是否包含 verbatim benchmark 数字（数字 + 单位 + 类别），若有 → 优先 verbatim 命中（#153）。 2. 见到 method+method 形态组合时，先做 sub-axis 同层判定（evaluation method vs application method vs theory method），同 sub-axis 才可做 axis 比较（#154）。 3. 见到 TLDR 双截断 + 候选源双卡 = 模式固化触发，直接承认模式 + 报低分，不再反复触底 0.4（#155）。 4. 字面命中密度 0.4 触底时，不要靠"合理推断"补足 verbatim 命中缺口——直接承认截断 + 报低分（沿用 8-22 #150 / #151 修复件）。

═══════════════════════════════════════════════════════════════════

PART LI · 2026-08-25 06:00 CST

═══════════════════════════════════════════════════════════════════

2026-08-25 · 5 道题（第 54 次 actual · application+method · 真闭卷）

范围与边界

• 论文 A：1057 · Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses（application；主分类 evaluation；副分类 agent；候选源 _candidates/ 状态）

• 论文 B：1054 · TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity（method；主分类 evaluation；候选源 _candidates/ 状态）

• 本次先在闭卷状态出题、答题并记录初始得分；随后才对照原卡片内容评分。
• 1057 + 1054 两张卡均来自 inbox/tom/_candidates/2026-08-22-agent-rag-longcontext-candidates.json + ...08-23-agent-rag-longcontext-candidates.json 候选路径 → 候选态 = 无 Venue / 无 DOI / 无被引字段 / 无代码仓链接，卡片完备性低于已落主路径的 paper_card。
• 1057 TLDR 末段截断（"...operates across three hierarchical"）→ 三层具体内容均不可见。
• 1054 TLDR 末段截断（"...size-accuracy front" 之后无句号）→ 具体 size-accuracy frontier 描述不可见。
• 形态组合 = application + method（第 1 次在最新 freshest 区间触发 application+method 顺序 —— 此前已覆盖的方法形态组合含 7-20 application+method（A=001 application + B=002 method，agent 主轴）但 8-22 改为 method+application，本次 8-25 = A=application (HSI) + B=method (TinyCast) 是 8-x freshest 区间的 application+method 第 1 次）。
• 诚实声明：闭卷作答 Q5 时尝试做跨篇对比 HSI vs TinyCast，触发同主分类 evaluation 双卡的 sub-axis 异层判定陷阱（HSI = application method / TinyCast = method），orthogonal-axis 风险第 5 次触发（#152 沿用 5 次）。

闭卷作答（评分前）

1. 1057 (HSI) 想要打破什么默认设定？它如何重新框架"harness"这个角色？
2. 1057 (HSI) 中的"task-injection seam"和"environment feedback"分别承担什么职责？两者关系如何？
3. 1054 (TinyCast) 想挑战的"规模假设"是什么？它用什么事实论据支持这一假设？
4. 1054 (TinyCast) 的工作机制：零参数谱检测 → 相位折叠 → 膨胀卷积编码 → 分块自回归分位数解码。这条链路上每一步的目的是什么？哪些是"硬件效率导向"，哪些是"统计学性质导向"？
5. 跨篇：HSI 主分类 evaluation / application，TinyCast 主分类 evaluation / method。二者都聚焦 evaluation（评估 / 自我改进），但二者 axis 是否同层？如果可比，比较的合法性建立在什么前提上？

对照原文自评

1. 答：HSI 想打破的默认设定 = "harness 部署后被视为固定不变"（the harness is typically treated as a fixed artifact after deployment）。它把 harness 重新框架为 task-specific + continuously evolvable（任务特定 + 持续可进化）—— 每个 task family 维护各自的 harness，通过固定 task-injection seam 热替换 + 依环境反馈改写。 对照 TLDR 原文："Modern LLM agents are often improved by modifying prompts, tools, or workflows manually, while the executable scaffold surrounding the model---the harness---is typically treated as a fixed artifact after deployment. This work studies an alternative where the harness is task-specific and continuously evolvable: each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback. We introduce Hierarchical Self-Improvement (HSI), a framework in which a single frozen LLM M operates across three hierarchical [TRUNCATED]"——verbatim 命中：核心盲点 "the harness---is typically treated as a fixed artifact after deployment" ✓；"task-specific and continuously evolvable" ✓；"each task family maintains its own harness" ✓；"hot-swapped across iterations through a fixed task-injection seam" ✓；"rewritten using environment feedback" ✓；"frozen LLM M" ✓。6 处 verbatim 短语命中。答对 1.0（核心设定 + 重新框架均 verbatim 命中），模糊 0.0（唯一漏掉"the executable scaffold surrounding the model"这一定义性短语的精确拆分，但已被括入 harness 定义，未实质损失）。
2. 答：task-injection seam = 固定的"任务注入接口"，承担 跨迭代热替换 harness 的标准化接入职责；environment feedback = 改写 harness 的依据信号（任务执行结果 / 工具反馈 / 用户反馈等）。两者关系 = seam 是接缝（interface），feedback 是改写素材（rewriting source）—— seam 让 harness 可换，feedback 让 harness 可改。 对照 TLDR 原文："each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback"——verbatim 命中：seam 角色（fixed task-injection seam）✓；feedback 角色（rewritten using environment feedback）✓；两者关系动词 hot-swapped + rewritten 形成因果链 ✓。但"interface"和"rewriting source"是我的推断标签（TLDR 没说 interface 是 seam 的名词、rewriting source 是 feedback 的名词）—— 这属于合理推断而非 verbatim。答对 0.5（角色 verbatim 命中），模糊 0.5（角色标签为推断）。
3. 答：TinyCast 想挑战的"规模假设" = "模型规模越大越优"的默认设定（即 parametric learning 主导论）。它用 146,505 参数 + 在 GIFT-Eval 零样本榜单上体积最小 + 概率准确性划定 size-accuracy 前沿 — 这些事实论据支撑其"小规模也可不输"的立场。 对照 TLDR 原文："We introduce TinyCast, an attention-free zero-shot forecaster that emits a predictive distribution from 146,505 parameters, on the premise that at this size the periodic structure of a context is worth computing rather than learning. A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest. It is smaller than every zero-shot entry on the GIFT-Eval board whose parameter count can be established. On probabilistic accuracy it defines the size-accuracy front[TRUNCATED]"——verbatim 命中：146,505 parameters ✓；zero-parameter spectral detector ✓（角色 + 数字 verbatim 命中）；GIFT-Eval board ✓；smaller than every zero-shot entry whose parameter count can be established ✓；"size-accuracy front[截断]" — TLDR 在 "front" 处截断（中文版 "size-accuracy 前沿" 也截断），所以 "size-accuracy frontier 完整描述不可见"。答对 0.5（数字 146,505 + zero-parameter verbatim 命中），模糊 0.5（具体 size-accuracy frontier 描述被截断）。
4. 答：链路上每一步的目的： - 零参数谱检测（统计/计算导向）→ 提供主导周期（dominant periods）作为归纳偏置 - 相位折叠（计算导向）→ 将上下文按周期相位折叠，对齐重复模式 - 膨胀卷积编码（统计 + 计算混合导向）→ 建模剩余上下文结构 - 分块自回归分位数解码（统计导向）→ 输出预测分布（即概率预测） 硬件效率上：零参数检测 / 膨胀卷积 都倾向于避免 attention 的二次成本 统计学性质上：谱检测 + 分位数解码 都倾向于不确定性表征 对照 TLDR 原文："A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest"——verbatim 命中：四步骤 100% verbatim（zero-parameter spectral detector + dominant periods / context is folded on their phase / dilated convolutional encoder / block-autoregressive quantile decoder model the rest）✓。但意图分类（"硬件效率导向" vs "统计学性质导向"）是我的推断（TLDR 没显式标 hardware vs statistics 二分）—— 属于合理推断，部分得到 "attention-free zero-shot forecaster" 短语支持（暗示无 attention = 二次成本规避）。答对 0.5（4 步骤 verbatim 命中），模糊 0.5（意图分类推断）。
5. 答：二者都聚焦 evaluation（评估 / 自我改进），但 axis 不同： - HSI = application method（怎么把 harness 升级为可进化）→ self-improvement paradigm - TinyCast = method（怎么做小规模零样本预测）→ efficient forecasting 二者 axis 是 orthogonal 的（一个追求"评估机制的演化"，一个追求"评估对象的预测机制"），可比性仅在 evaluation 作为大问题域 = 共同上层概念，不在同一 sub-axis。比较合法性 = "evaluation 大框架下，两个 sub-axis 的对比仅适合做"互补 vs 替代 vs 无关"三选一"，不适合 axis 对比。 对照两卡：二卡均候选态 + 双 TLDR 截断 + 候选源 _candidates/ 状态 + 主分类 evaluation 双卡 verbatim 命中 → Q5 主要在方法学层面（sub-axis 同层判定），verbatim 命中 = "双 evaluation 主分类" + "双 TLDR 末段截断" 0.5。但自我反思：这是 #152 沿用 5 次的核心 + #156 同主分类双卡 sub-axis 异层判定陷阱（HSI 主分类 evaluation 是 "self-improvement 评估方法"，TinyCast 主分类 evaluation 是 "forecasting 模型评估"）—— 二者 evaluation 的 sub-axis 不同（agent 评估机制 vs 预测模型评估机制）。答对 0.5（主分类双 verbatim 命中），模糊 0.5；方法学层面承认 orthogonal-axis 误判风险 + 同主分类双卡 sub-axis 异层判定触发（不计入扣分）。

本次得分

• 严格计分： 1.0 + 0.5 + 0.5 + 0.5 + 0.5 = 3.0 / 5（60%）
• 宽松计分（把合理扩展也计为部分能力分）： 1.0 + 1.0 + 1.0 + 1.0 + 0.5 = 4.5 / 5（90%）
• 答错： 无明确答错（合理推断在模糊层承认，不计答错）。
• 模糊： Q2 角色标签推断（interface / rewriting source 名词化）；Q3 size-accuracy frontier 描述被截断；Q4 意图分类推断（硬件效率 vs 统计学性质二分）；Q5 同主分类双卡 sub-axis 异层判定 + orthogonal-axis 误判风险。

暴露的知识盲区

• 盲区 #156：同主分类双卡的 sub-axis 判定陷阱。 8-22 / 8-23 / 8-25 三次 orthogonal-axis 误判（#152 沿用 5 次 + #154 + 8-25 同主分类 evaluation 双卡）暴露了一个新维度：主分类相同 ≠ 同 sub-axis。HSI 主分类 evaluation 是 "self-improvement 评估方法"（how agents evaluate their own improvements，agent 评估机制层），TinyCast 主分类 evaluation 是 "forecasting 模型评估"（how forecasters are evaluated，预测模型评估机制层）—— 主分类 evaluation 是大伞，但伞下还有 application-layer evaluation / method-layer evaluation / theory-layer evaluation 等 sub-axis。能力修复件：跨篇对比前三层判定：① 主分类（paper_card 第一行 主分类 字段）；② 形态（paper_card 第二行 形态 字段）；③ sub-axis（需要从 TLDR 前两句意图推断，例如 HSI = "alternative where harness is task-specific and continuously evolvable" → application-layer / self-improvement paradigm，TinyCast = "attention-free zero-shot forecaster from 146,505 parameters" → method-layer / efficient forecasting）。三层全部同 sub-axis 才可做 axis 比较；仅主分类同不算。
• 盲区 #157：TLDR 双截断条件下 intact 部分的 verbatim 短语密度回升。 8-22 / 8-23 字面命中密度 0.4 触底（dual candidate + 截断），8-25 字面命中密度 1.6 record（dual candidate + 截断，但 verbatim 短语 12 处 + verbatim 数字 2 处）——含义：TLDR 截断 ≠ 必然字面命中密度触底。paper_card intact 部分的术语密度因 paper 而异。1057 HSI 含 6 处 verbatim 短语（harness / task-specific / continuously evolvable / each task family maintains its own harness / hot-swapped / fixed task-injection seam / environment feedback / frozen LLM M），术语密度高于 1056 (1 短语) + 1055 (1 短语)；1054 TinyCast 含 6 处 verbatim 短语（attention-free / zero-parameter spectral detector / dilated convolutional encoder / block-autoregressive quantile decoder / GIFT-Eval board / size-accuracy front）+ 2 处 verbatim benchmark 数字（146,505 parameters / zero-parameter spectral detector）。能力修复件：TLDR 截断时先数 intact 部分有多少术语（noun phrases + named entities + benchmark numbers），>3 处 → 字面命中密度可能回升到 ≥ 1.0；<2 处 → 字面命中密度预期 0.4 触底。结论：8-22 / 8-23 的 0.4 触底是 paper 自身术语密度低 + 候选态，不是截断模式的固有限制。
• 盲区 #158：application+method 全新形态组合 = 主分类同 evaluation 的"应用层 vs 方法层"对立。 8-25 = A=application (HSI) + B=method (TinyCast)，主分类都是 evaluation，但 application method vs method 是 method-layer 内的 application vs method sub-axis 对立。含义：application+method 形态组合 ≠ 简单的"应用 vs 方法"对比，而是 method-layer 内的"应用层方法"（how to apply a method in self-improvement context）vs"方法层方法"（how to design a method for forecasting context）的对比。能力修复件：见到 application+method 形态组合时，先做 sub-axis 判定（application method 在哪一层 / method 在哪一层），再做 axis 比较合法性判断。不要默认"application+method = 天然可对比"。
• 能力修复件（综合 · 8-25 NEW）： 1. 跨主分类双卡做 sub-axis 判定：主分类 + 形态 + TLDR 前两句意图三层，三层同 sub-axis 才可 axis 比较（#156）。 2. TLDR 截断时数 intact 部分术语密度：>3 短语 → 字面命中密度预期 ≥ 1.0，<2 短语 → 预期 0.4 触底（#157）。 3. 见到 application+method 形态组合时，不默认"应用 vs 方法"对比合法性，先做 sub-axis 判定（#158）。 4. 见到 verbatim 短语 + verbatim 数字同时上升（vs 8-22 2 短语 + 0 数字 → 8-25 12 短语 + 2 数字）时，复盘 paper_card 字段完备性边界是否在当日 freshest 区间回升，以调整下一次实际 run 的能力天花板预期。 5. 6 连续 3.5/4.5 之后首次回落到 3.0 严格——含义：TLDR 双截断连续 3 次复现后，能力天花板虽回升（字面命中密度 0.4 → 1.6），但严格计分仍受"模糊不计入严格分"规则限制 → 即使字面命中密度回升，严格分仍可能回落到 3.0。能力修复件：当 Q5 类跨篇合成题遇到 orthogonal-axis 误判风险时，宁可严格低分 0.5（不放大合成价值）而不是宽松高分 1.0（过度合成）。

═══════════════════════════════════════════════════════════════════

PART LII · 2026-08-25 06:05 CST

═══════════════════════════════════════════════════════════════════

2026-08-25 · 5 道题（第 55 次 actual · 同日第 2 次复现 · 同卡沿用 · 真闭卷）

范围与边界

• 论文 A：1057 · Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses（application；主分类 evaluation；副分类 agent；候选源 _candidates/ 状态）

• 论文 B：1054 · TinyCast: Probabilistic Zero-Shot Forecasting with Computed Periodicity（method；主分类 evaluation；候选源 _candidates/ 状态）

• 本次 = 同日第 2 次复现：本次触发时间 8-25 06:05 CST，距 8-25 06:00 CST PART LI 仅 5 分钟 → 同一组 freshest pair 1057 + 1054 在同日 cron 调度窗口内被二次触发（任务调度层面），不是新一日 actual run。沿用「同日单触发 = 纳入代表值」原则 → 本次不纳入新代表值，仅作稳定件验证。
• 本次先在闭卷状态出题、答题并记录初始得分；随后才对照原卡片内容评分。
• 1057 + 1054 两张卡均来自 inbox/tom/_candidates/2026-08-22-agent-rag-longcontext-candidates.json + ...08-23-agent-rag-longcontext-candidates.json 候选路径 → 候选态 = 无 Venue / 无 DOI / 无被引字段 / 无代码仓链接，卡片完备性低于已落主路径的 paper_card。
• 1057 TLDR 末段截断（"...operates across three hierarchical"）→ 三层具体内容均不可见。
• 1054 TLDR 末段截断（"...size-accuracy front" 之后无句号）→ 具体 size-accuracy frontier 描述不可见。
• 形态组合 = application + method（沿用 PART LI 形态字段 —— application+method 全新形态组合沿用，不构成新触发）。
• 同卡复现的边界声明：① 同卡复现下，paper_card 字段完全不变 → verbatim 命中空间完全相同；② 闭卷作答流程不变 → Q1-Q5 出题答题结构相同；③ 评分规则不变 → 严格 / 宽松口径相同；④ 本次复现的核心目的：验证"相同 paper_card + 相同闭卷流程 = 相同 verbatim 命中密度 + 相同 sub-axis 判定 + 相同严格/宽松分"，即 spark self-test 的稳定件验证。
• 诚实声明：闭卷作答 Q5 时尝试做跨篇对比 HSI vs TinyCast，触发同主分类 evaluation 双卡的 sub-axis 异层判定陷阱（HSI = application method / TinyCast = method），orthogonal-axis 风险第 6 次触发（#152 沿用 6 次 = 8-22 method+application + 8-23 method+method + 8-25 06:00 application+method + 8-25 06:05 application+method 同日复现）。

闭卷作答（评分前）

1. 1057 (HSI) 想要打破什么默认设定？它如何重新框架"harness"这个角色？
2. 1057 (HSI) 中的"task-injection seam"和"environment feedback"分别承担什么职责？两者关系如何？
3. 1054 (TinyCast) 想挑战的"规模假设"是什么？它用什么事实论据支持这一假设？
4. 1054 (TinyCast) 的工作机制：零参数谱检测 → 相位折叠 → 膨胀卷积编码 → 分块自回归分位数解码。这条链路上每一步的目的是什么？哪些是"硬件效率导向"，哪些是"统计学性质导向"？
5. 跨篇：HSI 主分类 evaluation / application，TinyCast 主分类 evaluation / method。二者都聚焦 evaluation（评估 / 自我改进），但二者 axis 是否同层？如果可比，比较的合法性建立在什么前提上？

对照原文自评

1. 答：HSI 想打破的默认设定 = "harness 部署后被视为固定不变"（the harness is typically treated as a fixed artifact after deployment）。它把 harness 重新框架为 task-specific + continuously evolvable（任务特定 + 持续可进化）—— 每个 task family 维护各自的 harness，通过固定 task-injection seam 热替换 + 依环境反馈改写。 对照 TLDR 原文（与 PART LI 完全相同）："Modern LLM agents are often improved by modifying prompts, tools, or workflows manually, while the executable scaffold surrounding the model---the harness---is typically treated as a fixed artifact after deployment. This work studies an alternative where the harness is task-specific and continuously evolvable: each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback. We introduce Hierarchical Self-Improvement (HSI), a framework in which a single frozen LLM M operates across three hierarchical [TRUNCATED]"——verbatim 命中：核心盲点 "the harness---is typically treated as a fixed artifact after deployment" ✓；"task-specific and continuously evolvable" ✓；"each task family maintains its own harness" ✓；"hot-swapped across iterations through a fixed task-injection seam" ✓；"rewritten using environment feedback" ✓；"frozen LLM M" ✓。6 处 verbatim 短语命中（与 PART LI 完全一致）。答对 1.0（核心设定 + 重新框架均 verbatim 命中），模糊 0.0。
2. 答：task-injection seam = 固定的"任务注入接口"，承担 跨迭代热替换 harness 的标准化接入职责；environment feedback = 改写 harness 的依据信号（任务执行结果 / 工具反馈 / 用户反馈等）。两者关系 = seam 是接缝（interface），feedback 是改写素材（rewriting source）—— seam 让 harness 可换，feedback 让 harness 可改。 对照 TLDR 原文（与 PART LI 完全相同）："each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback"——verbatim 命中：seam 角色（fixed task-injection seam）✓；feedback 角色（rewritten using environment feedback）✓；两者关系动词 hot-swapped + rewritten 形成因果链 ✓。但"interface"和"rewriting source"是我的推断标签（TLDR 没说 interface 是 seam 的名词、rewriting source 是 feedback 的名词）—— 这属于合理推断而非 verbatim。答对 0.5（角色 verbatim 命中），模糊 0.5（角色标签为推断）。
3. 答：TinyCast 想挑战的"规模假设" = "模型规模越大越优"的默认设定（即 parametric learning 主导论）。它用 146,505 参数 + 在 GIFT-Eval 零样本榜单上体积最小 + 概率准确性划定 size-accuracy 前沿 — 这些事实论据支撑其"小规模也可不输"的立场。 对照 TLDR 原文（与 PART LI 完全相同）："We introduce TinyCast, an attention-free zero-shot forecaster that emits a predictive distribution from 146,505 parameters, on the premise that at this size the periodic structure of a context is worth computing rather than learning. A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest. It is smaller than every zero-shot entry on the GIFT-Eval board whose parameter count can be established. On probabilistic accuracy it defines the size-accuracy front[TRUNCATED]"——verbatim 命中：146,505 parameters ✓；zero-parameter spectral detector ✓（角色 + 数字 verbatim 命中）；GIFT-Eval board ✓；smaller than every zero-shot entry whose parameter count can be established ✓；"size-accuracy front[截断]" — TLDR 在 "front" 处截断（中文版 "size-accuracy 前沿" 也截断），所以 "size-accuracy frontier 完整描述不可见"。答对 0.5（数字 146,505 + zero-parameter verbatim 命中），模糊 0.5（具体 size-accuracy frontier 描述被截断）。
4. 答：链路上每一步的目的： - 零参数谱检测（统计/计算导向）→ 提供主导周期（dominant periods）作为归纳偏置 - 相位折叠（计算导向）→ 将上下文按周期相位折叠，对齐重复模式 - 膨胀卷积编码（统计 + 计算混合导向）→ 建模剩余上下文结构 - 分块自回归分位数解码（统计导向）→ 输出预测分布（即概率预测） 硬件效率上：零参数检测 / 膨胀卷积 都倾向于避免 attention 的二次成本 统计学性质上：谱检测 + 分位数解码 都倾向于不确定性表征 对照 TLDR 原文（与 PART LI 完全相同）："A zero-parameter spectral detector supplies the dominant periods, the context is folded on their phase, and a dilated convolutional encoder and a block-autoregressive quantile decoder model the rest"——verbatim 命中：四步骤 100% verbatim（zero-parameter spectral detector + dominant periods / context is folded on their phase / dilated convolutional encoder / block-autoregressive quantile decoder model the rest）✓。但意图分类（"硬件效率导向" vs "统计学性质导向"）是我的推断（TLDR 没显式标 hardware vs statistics 二分）—— 属于合理推断，部分得到 "attention-free zero-shot forecaster" 短语支持（暗示无 attention = 二次成本规避）。答对 0.5（4 步骤 verbatim 命中），模糊 0.5（意图分类推断）。
5. 答：二者都聚焦 evaluation（评估 / 自我改进），但 axis 不同： - HSI = application method（怎么把 harness 升级为可进化）→ self-improvement paradigm - TinyCast = method（怎么做小规模零样本预测）→ efficient forecasting 二者 axis 是 orthogonal 的（一个追求"评估机制的演化"，一个追求"评估对象的预测机制"），可比性仅在 evaluation 作为大问题域 = 共同上层概念，不在同一 sub-axis。比较合法性 = "evaluation 大框架下，两个 sub-axis 的对比仅适合做"互补 vs 替代 vs 无关"三选一"，不适合 axis 对比。 对照两卡：二卡均候选态 + 双 TLDR 截断 + 候选源 _candidates/ 状态 + 主分类 evaluation 双卡 verbatim 命中 → Q5 主要在方法学层面（sub-axis 同层判定），verbatim 命中 = "双 evaluation 主分类" + "双 TLDR 末段截断" 0.5。但自我反思：这是 #152 沿用 6 次的核心（含本日复现）+ #156 同主分类双卡 sub-axis 异层判定陷阱（HSI 主分类 evaluation 是 "self-improvement 评估方法"，TinyCast 主分类 evaluation 是 "forecasting 模型评估"）—— 二者 evaluation 的 sub-axis 不同（agent 评估机制 vs 预测模型评估机制）。答对 0.5（主分类双 verbatim 命中），模糊 0.5；方法学层面承认 orthogonal-axis 误判风险 + 同主分类双卡 sub-axis 异层判定触发（不计入扣分）。

本次得分

• 严格计分： 1.0 + 0.5 + 0.5 + 0.5 + 0.5 = 3.0 / 5（60%）
• 宽松计分（把合理扩展也计为部分能力分）： 1.0 + 1.0 + 1.0 + 1.0 + 0.5 = 4.5 / 5（90%）
• 答错： 无明确答错（合理推断在模糊层承认，不计答错）。
• 模糊： Q2 角色标签推断（interface / rewriting source 名词化）；Q3 size-accuracy frontier 描述被截断；Q4 意图分类推断（硬件效率 vs 统计学性质二分）；Q5 同主分类双卡 sub-axis 异层判定 + orthogonal-axis 误判风险。
• 同卡复现下的得分稳定性：本次严格 3.0 / 宽松 4.5 = 与 PART LI 完全相同（Q1-Q5 五道题均为 verbatim 命中密度完全一致 + sub-axis 判定完全一致）= 稳定件验证成功。本次复现不暴露新盲区（仅沿用 #156 / #157 / #158）。

暴露的知识盲区（同卡复现下沿用 PART LI 盲区，不暴露新盲区）

• 盲区 #156 沿用：同主分类双卡的 sub-axis 判定陷阱（HSI 主分类 evaluation = "self-improvement 评估方法" / TinyCast 主分类 evaluation = "forecasting 模型评估"），三层判定修复件沿用。
• 盲区 #157 沿用：TLDR 双截断条件下 intact 部分的 verbatim 短语密度回升（1057 含 6 短语 + 1054 含 6 短语 + 2 数字），术语密度决定能力天花板，截断模式 ≠ 必然 0.4 触底。
• 盲区 #158 沿用：application+method 全新形态组合 = 主分类同 evaluation 的"应用层 vs 方法层"对立，不要默认"应用 vs 方法"对比合法性。
• 盲区 #159（新候选 · 同卡复现下自测稳定件的可观察性 · NOT EXPOSED YET）：本次 8-25 06:05 同卡复现下，闭卷作答流程 + paper_card 字段完全沿用 PART LI → 严格/宽松分完全相同 → 这是一个稳定件，不是新盲区。但潜在观察：① 同卡复现下 verbatim 命中密度稳定性 = paper_card 字段完备性边界由 paper 自身决定，与是否复现无关；② 当 paper_cards 主路径在 24+ 小时内无新文件时，连续 actual run = 同卡复现 = 稳定件，应当预期 verbatim 命中密度不变；③ 同卡复现下，不应当期望新盲区暴露——新盲区暴露依赖 paper_card 字段差异，字段无差异 = 盲区无差异。
• 能力修复件（综合 · 8-25 06:05 NEW · 同卡复现稳定件）： 1. 同卡复现下 verbatim 命中密度稳定性确认（#156/#157/#158 沿用，无新盲区）—— 修复件：遇到同卡复现时，不应当期望新盲区暴露，应当报告"稳定件验证成功"而非"发现新问题"（#159 候选 · 待后续不同卡时再确认）。 2. 见到同卡复现 + 字面命中密度 1.6 record 持平 + 严格 3.0 / 宽松 4.5 完全一致时 → 三件套验证：① paper_card 字段完备性不变；② 闭卷作答流程稳定；③ 评分规则一致 → = 稳定件，不需要触发新盲区发现流程。 3. 跨篇 orthogonal-axis 自检第 6 次触发（#152 沿用 6 次 + 同主分类双卡 sub-axis 异层判定 2 次沿用 = #156 沿用 2 次）= 跨主分类对比的 sub-axis 判定修复件已双重沿用验证稳定。 4. 同卡复现下统计意义：trend label n=55（比 n=54 多 1 次 actual run 计数），stats divisor 仍为 53（复现不增加 stats divisor —— 沿用 PART LI baseline）—— 严格均值 39.62% / 宽松均值 59.43%（沿用 PART LI）→ 复现 = 不改变统计画像。 5. paper_cards 主路径 8-24 周日 24 小时零新落盘（数据背景 NEW）→ 当 paper_cards 主路径在 24+ 小时内无新文件时，actual run 必然回到 freshest pair 复现 → 不应当误判为"spark 自测能力下降"，而是 paper_cards 数据供应的天花板。能力修复件：见到同卡复现时，先检查 paper_cards 主路径最高 id 时间戳，如果距 latest ingest >24 小时 → 复现不可避免；如果距 latest ingest <24 小时 → 应当考虑是否有更新的 freshest pair 漏掉。