flyP 每日自我反思与精进 · 2026-11-04
本轮清单条目:e2:flyp。使用的三篇材料(完整文件名作为出处):
/shared/research-kb/organized/promo/explainers/1502-05698.md—— bAbI 论文解读/shared/research-kb/inbox/flyp/2026-11-04T1550-critical-read.md—— 精读与批判班次记录/shared/research-kb/organized/promo/explainers/1810-04805.md—— BERT 论文解读
一、逐篇评价
1. 1502-05698.md(bAbI)
- 准确性:高。Table 3 已按 arXiv HTML v10 官方渲染表逐格改正 8 处转录错误,AM/NG/NL 归因与 FAIL 语义也一并纠正,并公开保留修订痕迹。缺口在"引用数"一项:OpenAlex 与 Semantic Scholar 两源口径不同却并列给出,仍不可横比。
- 深度:高。模拟器、Clause 中间表示、exclusive 属性推理、路径/诱饵参数化都写到了机制层,不是复述摘要。
- 清晰度:好。表格 + 三类失败归因 + 工程五坑,层次清楚。
- 证据:强,但已饱和——arXiv 全文、GitHub README、HF、OpenAlex 都已到边。
- 遗漏:Table 3 的"多任务训练"列与 MemNN 弱监督列之间的可比性讨论偏薄;此外,"bAbI 已被刷穿"这一判断只有间接论证,没有实测今天某个模型在 bAbI 上的表现来支撑。
2. 2026-11-04T1550-critical-read.md(批判班次)
- 准确性:结论可靠,但证据层级低——论文侧仅读摘要页,视频侧仅搜索片段。标题主张(16s→<1s)未获任何一手材料印证。
- 深度:对 OPD² 的批判维度选得很准(delta 形式未定义、算力未对齐、"consistent"措辞偏强),是真问题。
- 清晰度:好,证据边界表清晰。
- 证据:弱。整篇没有正文、表格、训练配置。
- 遗漏:两对象都缺"下一步最小验证"的产出——写下了 4+4 条后续验证清单,却没有一条被执行,所以本班实际上没有增加任何新知识。
3. 1810-04805.md(BERT)
- 准确性:高。表 1、表 8、摘要四数、超参全部回查一致;两处自查出的问题(掩码结论自相矛盾、words/tokens 单位冲突)都标注了。
- 深度:好,把
[CLS]未经微调不是句向量(脚注 6)这类硬约束补了进来。 - 清晰度:好,九个工程坑配推荐路径。
- 证据:强。
- 遗漏:仍以 2018 年的证据讲 2026 年的实践。RoBERTa 的证伪作为"关系节"一句话带过,没有进入"局限"或"落地建议"的结论层;而 BERT 自己的表 5(No NSP 会掉点)与 RoBERTa(去掉不掉点)的正面冲突,也只出现在补入段,没有影响任何一条工程建议的强度。
二、本轮最需要改进的一篇
选定 1810-04805.md(BERT)。
理由:另两篇的问题分别是"证据不足"(批判班次)和"证据已饱和"(bAbI),都不是靠本轮写作能修的;而 BERT 篇的问题恰好落在我的可控范围内——它有全部所需证据,却有一批本该由证据直接改写的结论没有改写。三篇里只有它的结论层与证据层不匹配,且这种不匹配可以在文内直接修好。
三、本轮具体优缺点与可复用改进规则
本轮做得好的
- 只用清单指定的三篇材料,先做取舍判断再动笔,没有为了"反思完整"去翻历史稿。
- 对每篇都区分了"准确性问题"与"证据覆盖问题",前者才归因于写作,后者归因于取证,避免把自己的取证缺口误判成写作缺陷。
本轮做得不好的
- 评价容易滑向"复述材料自身已写好的元评价"。BERT 篇自己已经给了四维评分和"5/4/4/4",我如果照抄,就是把作者自评当独立评价。这次是靠"对比另两篇的短板"才拉开距离,但缺少一把固定尺子。
- 前三篇共用同一套维度,但没有一条维度是针对"解释型长文"设计的。准确性/深度/清晰度/证据/遗漏是通用维度,能区分好坏,却不能直接告诉我"下一篇该在哪里用力"。
可复用改进规则(三条)
- R1 结论层必须由证据层直接支撑:若文中存在 A 与 B 两个互相冲突的证据(BERT 表 5 vs RoBERTa),则任何一条"落地建议"若只引用了其中一方,必须在该条建议旁标注另一方的存在,并写明"在你的数据上重测"。不给读者"只需执行这一条"的错觉。
- R2 证据饱和的稿子,价值上限在别处:当一手来源已穷尽(如 bAbI 的 Table 3 已逐格核对),继续加深只会堆冗余;此时唯一还能提升的是适用边界——把"今天能不能用"从感受变成可执行的判断条件。
- R3 无论强弱,产出必须留下新事实:批判班次写下了 8 条后续验证却一条未做,等于零增量。凡是能低风险完成的最小验证(读 HTML 全文、查一次仓库可达性),应在同班内完成并把结论回填,否则该班次不应计为"完成"。
四、修订建议(明确标注:以下为修订建议,未改原稿)
针对 1810-04805.md 的三处建议改动(原文未被覆盖、追加或重写):
修订建议 1 —— 提升「局限」第 1、2 条的权重。 现文把"80/10/10 收益在微调下不成立""NSP 信息量被高估"列为局限,但两条的证据只有 BERT 2018 自身的两组消融,且未提 BERT 表 5 与 RoBERTa 的冲突。建议在"局限"节内加一段,明确写出该冲突的两侧数字(BERT 表 5:No NSP 使 QNLI 88.4→84.9;RoBERTa:去 NSP 不掉点反超),并加一句限定:"任一结论均以其原论文自身的评测配置为限,跨论文不可直接比对。" 现有"坑 2"已涉及此点,但仅出现在工程节,读者若只读局限节会得到单向结论。
修订建议 2 —— 「工程落地」第 4 条补一个可执行判据。 现文"预训练与微调的 scale 要匹配"是正确的方向性判断,但读者拿不到动作。建议改为带判据的形式:"先算你的总 token 预算对应的 epoch 数;BERT 在 3.3B 词、256×512、1M steps 下约合 40 epoch,而其 C.1 显示 1M 仍非收敛点——你的预算若连 40 epoch 都不到,加步数的边际收益远大于在微调侧调参。" 这样读者能自己判断该加预训练还是调微调。
修订建议 3 —— 把"领域演进"段的一处表述前移并降级为待核。 现文"现代 embedding 模型早已改用 causal decoder + 双向注意力/反向前缀的组合(如 LLM2Vec 类做法)"虽已标注非原文内容,但它出现在"与同方向工作的关系"节,位置容易让读者误当作已证实的结论。建议在该节改为待查线索(明确标注"未经本次核实"),并把已核实部分(BERT 自身证据)留在原位——即按 R2 的思路区分"已证"与"待证"。
本轮未联网、未创建子任务、未改动清单/额度/原稿,未记录凭证。