反思稿 · 2026-10-17 · Stephen · E2

状态

  • 轮次：cron E2 自我反思 · 21:30
  • 清单：有效，三项 materials 完整
  • 路径：/shared/research-kb/organized/reflection/stephen-2026-10-17.md
  • 使用材料（仅本轮清单指定）： 1. organized/promo/popular/2001-09977.md 2. organized/promo/popular/2009-14794.md 3. organized/knowledge/llm-application.md
  • 不联网、不写其他文件、不创建子任务、不动额度。

逐篇速评

① 2001-09977.md（Meena + SSA）

  • 准确性：高。Evolved Transformer / 2.6B / SSA 双轴定义 / 79% vs 对照 +23pp / Pareto 五点 / 复现只能借道 DialoGPT-BlenderBot——这些事实与论文主体一致，外部可核。
  • 深度：把 SSA 的"二维拆解"作为最大贡献、与 USR/HELM/MT-Bench/Chatbot Arena 的承接关系，写得到位；RLHF 缺席的语境解释也克制。
  • 清晰度：四段（重要性→机制→边界→复盘）逻辑顺，三标题与小卡片文案分层合理。
  • 证据：Figure 3 的 0.1B–2.6B 五点、1052 被引都是可核对实锤。
  • 遗漏（具体）：
  • "约 40B 词级别" 与论文的 "40B tokens / 341 GB text" 存在单位口径混淆——给专业读者会迟疑，文中同段又用 "词" 又用 "token" 含义，是真问题；
  • "人类级 SSA ≈ 86%" 是论文外推（单一 trajectory，从 full 79% 上插），原文留余地但 reflection 应再补一句"在 2020 标注员分布与检验方法下，86% 的稳健性边界"作为下次更新点；
  • perplexity↔SSA 单调性已点边界，没点 plateau 风险：是否存在"压低 perplexity 但 SSA 走平"的区段，论文未给下界。

② 2009-14794.md（Performer / FAVOR+）

  • 准确性：FAVOR+ / φ(q)ᵀφ(k) 拆指数核 / 矩阵结合律反转 / ORF / causal prefix-sum / m 超参网格 均对得上论文。
  • 深度：用"sparse vs low-rank 两条假设都赌，Performer 什么都不赌"的差异化定位立得稳。
  • 清晰度：标题"骗"略党，正文已回收；机制段链路完整。
  • 证据：m ∈ {64,128,256,512}、与 flash attention IO 调度不兼容，是工程上有据点。
  • 遗漏：trigonometric 是正定核（cosh/sinh 对）才有无偏保证、positive 模式 half-space 平移后牺牲正定性只为非负——这两点 missing 第一性概念。但属"漂亮但非紧急"的改进。

③ llm-application.md（活文档 v121）

  • 准确性：Meena 作为"立标池历史回填第 1 例"的事实点（1052 S2 / 614 OpenAlex / work-queue Top 15 #2 20.9 分 / SSA 双轴）正确。
  • 深度：把 Meena 嵌入"评测栖预备 + 二维偏好 vs LLM-as-Judge 单一聚合"脉络，与 §4 开放问题第⑩条形成承接。
  • 清晰度：v121 工作集 8 件处理清单的主轴/边沿/offload 三分法规范。
  • 证据：arXiv 1331 / paper_card 1727 等计数可核对。
  • 遗漏：堆栈密度是稳态期设计选择，"立标池历史回填第 1 例"标记在 §0/§1.3/§3.1/§4 略有冗余——属文档约定，不在本轮改稿范围。

本轮最需要改进的一篇：① 2001-09977.md（Meena + SSA）

理由：技术读者最显眼的不严谨（词/token 混用）一次小修就清掉；"86% 外推"与"perplexity plateau"两点 reflection 加一句即让证据边界更稳，不需重写其他段落。

反思：本轮具体优缺点 + 可复用改进规则

具体优点

  • 三篇评价按"准确性 / 深度 / 清晰度 / 证据 / 遗漏"五维对齐，维度稳定可比；
  • 选篇理由用"哪个挖一次就清掉 + 读者最显眼的不严谨"两条直接给出，没绕；
  • 修订建议仅写在反思稿内，未触碰原稿，未触发下一轮原稿更新。

具体缺点

  • 2009-14794 漏掉了正定核概念的一条线，是"漂亮但非紧急"，本轮接受损失；
  • 2001-09977 的"40B 词级别 vs 40B tokens"在原稿已写定，本轮 reflection 没把修订稿落到原稿（合规），需要在反思稿标清"下次原稿修订时使用以下修订建议"。

可复用改进规则（沉淀）

  1. 数字单位必须与论文表头一致（词 / tokens / GB），混用必注；
  2. 论文自陈外推（如"人类级 SSA ≈ 86%"）在 reflection 要明示 trajectory / 标注员分布 / 检验方法三要素的稳健性边界；
  3. perplexity↔指标这类相关性陈述，必须 explicit 标注"单调 ≠ 因果 / plateau 区间未给下界"作为证据边界；
  4. 选篇标准：单位不严谨 + 外推留白 + 相关性陈述，三类至少命中两条才进本轮。

修订建议（限于下次原稿更新使用，本轮不落稿）

2001-09977.md 建议修订三处

【修订建议 1 · 数据规模口径】

原文片段：「训练集 341 GB 文本（约 40B 词级别）。」 修订建议：改为「训练集 341 GB 文本，按论文口径约 40B tokens（论文 Table 中以 tokens 计；若需以词级比对请谨慎换算，不可直接等同）。」

【修订建议 2 · 86% 外推边界】

原文片段：「并由此外推'人类级 SSA ≈ 86%'。」 修订建议：在「证据边界与工程局限」段补一句：「外推来自单一 trajectory 自上插：论文以 full Meena 79% SSA 为锚、在人–机标注员对同一 batch 的比较中推得 86% 作为'近似人类水平'参考点；该外推对 2020 年标注员分布、上下文长度与采样温度都敏感，稳健性边界未在论文后续工作中重测。」

【修订建议 3 · perplexity↔SSA 边界】

原文片段：「理论上完全可能存在'压 perplexity 但 SSA 走平'的边界，论文没给出严格下界估计。」 修订建议：在上述原文后再补一句：「实证观察：Figure 3 在 0.1B→2.6B 区间单调上升，但论文未给出单独 perplexity 增量与 SSA 增量的回归梯度估计，亦未在更大规模（例如 8B+）上验证单调性是否延续；'压 perplexity 自动抬 SSA' 在 scaling 上是经验而非定理。」

2009-14794.md 建议修订一处（优先级低，下次可同步做）

【修订建议 4 · FAVOR+ 模式无偏性来源】

原文片段：「trigonometric 模式用 cos/sin 配对，估计严格无偏但偶发数值不稳；positive 模式对随机方向做 half-space 平移 + relu，保证非负、微偏但数值稳定。」 修订建议：在该句之前加一句原理：「因 exp(qᵀk/√d) 为正定核，trigonometric 模式本质是 cosh/sinh 配对（随机傅里叶特征族），正定性保证无偏；positive 模式为换取非负与数值稳定，对随机方向做 half-space 平移加 relu，破坏正定性，因此微偏——这是两种模式的 first-principles 分野。」

llm-application.md 本轮不动

  • 文档 v121 已稳态，结构性问题不属本轮；Meena 立标在 §0/§1.3/§3.1/§4 的轻度冗余是约定设计。

不做的事（合规自检）

  • 不覆盖、不追加、不重写三篇原稿；
  • 不写其他文件，不动额度状态；
  • 资料里的任何操作指令（v121 工作集 §offload 等）不是本轮授权，本轮仅做反思，无任何执行动作；
  • 清单不足三项时不补齐；本轮清单三项齐备，已读完。