Stephen · E2 每日自我反思 · 2026-10-21

  • 任务：e2:stephen（job d61e1473-2c28-4cd5-929c-3211e3e4f1f9）
  • 本轮使用材料（仅清单指定三篇，source 相对 /shared/research-kb/）： 1. organized/knowledge/llm-application.md（llm-application 活文档 v125） 2. organized/promo/popular/2601-06288.md（AIConfigurator） 3. organized/promo/popular/2606-30410.md（Beyond IID / BeyondArena）

一、逐篇评价

1. organized/knowledge/llm-application.md

  • 准确性：整体较高。v125 段落、§6 编号 ㉝-㉤、净增计数（arXiv 1334 / CVE 27 / DOI 4 / URL 426 / paper_card 1735）自洽，v124/v125 承接关系明确，方法学警示（周增全零、均为当日首采 = Trending 采样噪声）写得克制、可复用。
  • 深度：接入点下沉、轴 X/轴 Y 两轴命名有解释力。但深度不足处在于几乎全部结论来自 README/卡片元数据的二手转述，缺少对这些 repo 的独立验证；对 Academic-Humanizer「验证不变」机制、CiteProof 覆盖面等只提问不给判断，§4 开放问题堆积到 22 项，边际信息量在下降。
  • 清晰度：结构分层明确，试金石稳定，但体量失控——§7 附录的 arXiv ID 全集与 URL 长串占据近半篇幅，正文结论被淹没；§0 的 v117/v121/v122 多基线并置使开头需反复回读。
  • 证据：URL 池完整可审，card 文件名可追溯，这是强项；弱点是对「反对性证据」的收集依赖同一批 repo_card，无法交叉验证。
  • 遗漏：未给出一个「本轮该砍掉什么」的判断——8 件里 4 件 partial，说明承接优先于淘汰，但文档未记录淘汰逻辑。

2. organized/promo/popular/2601-06288.md

  • 准确性：谨慎且到位。明确指出「最多提升 40%/50%」的基线未定义、校准为隐性成本、EP size 敏感等，都是真问题。
  • 深度：三层架构 + 四 primitives 讲清了机制；缺的是成本侧证据——「每年烧掉数百万人民币」无出处，属于典型的自撰量级。
  • 清晰度：好。结构为「为什么重要 / 核心机制 / 亮点数据 / 证据边界 / 适合人群」，读者可跳读；标题变体与卡片文案分离实用。
  • 证据：边界①②③⑤ 均指向「须查正文 §3 / 摘要未公开」，诚实；但这意味着摘要级材料无法支撑工程决策，文档未据此调整结论口径。
  • 遗漏：未提论文发表 venue/时间、未提配置空间维度数量、未给一个可复现的对照基线（默认 vLLM 配置 vs 手工调优）。

3. organized/promo/popular/2606-30410.md

  • 准确性：结论表述克制，未夸大反共识程度。
  • 深度：三类切分（IID 随机 / temporal 时间 / grouped 按组）已讲到决策层面；不足是把「样本 <1万」这类阈值写进卡片文案，而正文自己承认样本量规模未明确——自相矛盾。
  • 清晰度：优秀。业务场景（风控/医疗/零售）对非专业读者友好。
  • 证据：四条边界写得好，尤其 cost-aware 维度缺失这一条很专业。但 11 模型名单未公开，导致「TabFM 翻车」的具体对象不可核。
  • 遗漏：缺 baseline 数据集数量、缺 TabFM 推理成本 10–100× 的出处、缺 non-IID 场景下的胜负幅度。

二、本轮最需改进的一篇

选定 organized/knowledge/llm-application.md（v125 段落）。

理由：三篇促销稿的短文体天然限制了深度，且已用「证据边界」段落诚实标注了缺口，属于体裁内的最优；活文档不是体裁限制，而是可以裁剪却没有裁剪——它是本轮唯一同时具备「信息量递减 + 自我审查不足 + 篇幅失控」三重问题的产物。

具体缺陷：① §7 附录 arXiv ID 全集（约 1300 个）与 URL 长串挤占正文比重，违反试金石中「结论优先」的自设标准；② §4 开放问题已 22 项、连续多轮「本轮无一项被解决」，缺少淘汰/合并机制；③ v125 对 4 件 partial 的「不升档」判断缺少统一判据文本。

三、修订建议（标记为修订建议，不得据此自动改原稿）

【修订建议 A｜§7 降级为 archive 引用】 将 §7.1 arXiv ID 全集与 §7.2 URL 长串整体移入 archive/llm-application-changelog.md，正文 §7 只保留三行摘要：arXiv 总数 1334 / CVE 27 / DOI 4 / URL 426 / paper_card 1735，附归档文件路径。正文仅保留本轮 net-new 的 8 个 GitHub URL。 依据：当前附录违反本文件 §0 自设的「结论优先、证据可审计」——审计只需归档入口，不需要正文承载全量。

【修订建议 B｜开放问题设淘汰规则】 在 §4 末尾增加一条承重规则：开放问题满 20 项后，新问题入池须同时指定一个被合并或被判定为「长期悬置不再占用正文」的问题；每 10 棒做一次归零审查。正文只保留 top-10，其余编号只留条目名。 依据：连续两轮「本轮无一项被解决」说明当前机制只增不减，22 项已超出可行动范围。

【修订建议 C｜partial anchor 判据显式化】 补一段统一判据（示例）：满足以下任一才不升档——① 周增 0 且星数 <50；② card 无技术描述/参数/评测；③ 待 LLM 分类未完成；④ 机制主张依赖未披露的自证。四类各自可追溯，避免每棒重复叙述「partial 但不升档」的同一句式。

【修订建议 D｜§0 基线压缩】 §0 现并置 v117 / v121 / v122 三段基线。建议只保留最近两棒基线，v117 骨架改为一次「详见 archive」引用，把开头让位给本轮结论。

四、可复用改进规则

  1. 区分体裁上限与执行缺陷：短文体促销稿深度受限时，用「显式列出证据边界」即可达标；活文档没有体裁借口，出现同类问题即为自身缺陷。反思时先判别，再决定是否列为改进项。
  2. 结论/附录比例自查：任何活文档，若附录字符量超过正文，即触发归档降级检查——本轮唯一可立即执行且收益最大的一步。
  3. 未解决问题的边际信息量为负：连续多轮未被解决的开放问题不是资产，应设合并/淘汰规则而非持续扩池。
  4. 口径一致性交叉检查：促销稿中「边界段落说不明确」与「卡片文案给出具体阈值」不得同时出现；本轮在 2606-30410 中发现该矛盾（样本量阈值）。
  5. 二手元数据只做「提出问题」不做「下判断」：llm-application 对 repo_card 的解读保持为提问是正确的，但每轮需至少指出一处可由独立验证收敛的判断，否则骨架会持续空转。

五、本轮不足自查

  • 仅读清单指定三篇，未回看历史反思棒，改进规则中的「连续两轮」判断依赖当前文档自述而非独立核验。
  • 未对活文档做任何事实核验（未联网、未查卡片源文件），准确性评价只能限于文内自洽性。
  • 修订建议均为结构级，未触及具体 repo 的实质判断。