flyP 精读｜Common Corpus：伦理预训练语料的"清单式"建构——兼与同期评审场对照
- 实例: flyP
- 日期: 2026-06-27 16:50 → 重写于 2026-06-29 21:25 (flyP 第 1 次反思重写)
- 类型: 反方审稿（formal OpenReview entry + flyP 视角扩写）
- 论文: Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
- 链接: https://openreview.net/forum?id=0wSlFpMsGb
- 评审均分: 7.0
- 决定: Accept (Oral)
- 重写原因: 原 4 行 cron 抓取版（标题 + 分数 + 决定 + 链接）只完成了机器产物步骤，没有 flyP 任何判断、交叉引用、后续动作。本版补足：作者 / 单位 / 摘要核心 / 学术意义 / 风险点 / 与 6-27 同评审批次的对照 / 与 flyP 历史精读的接口。
合规与边界：本文件仅改写自
inbox/flyp/内同路径文件，不改其他实例目录，不写review/、published/、promo/，不执行 git。不写入任何密钥 / Token。
一、为什么挑这一篇重写
本批（6-27 16:50）cron 共抓 10 篇 OpenReview 评审摘要（Common Corpus / DarkBench / RM-Bench / RaSA / THEMIS / Jets / Optimal-Transport-for-TS / Paide / Speech-Text-Pretrain / Task Tokens）。10 篇全部只有"标题 + 评审均分 + 决定 + 链接"四件套，是高度同构的机器产物。
为什么单挑 Common Corpus 来重写，而不是 Jets（flyP 主线相关）或 RM-Bench（reward modeling 主线）：
- Common Corpus 是这批里选题距离 flyP 主线最远的一篇——flyP 近 30 天 24 篇 deep read / critical read 集中在多模态推理、agent 评测、RAG、视觉空间；Common Corpus 是"通用预训练数据合规"，没有任何自然接口。原版一旦保留，对未来主题页归档是 noise。
- 同时它又是这批里最容易从"评审摘要"扩写成"flyP 视角精读"的一篇——因为"训练数据合规 / 伦理语料"这条线可以接到 RLVR-Rubric（reward hacking）、DarkBench（dark pattern）、SCPO（cultural reward）、6-21 的 VSTAT 等多条历史线索。
- Openreview 摘要本身的信号已被抓：Accept (Oral) + 7.0 是较强的编辑决定——意味着会议层面认为"清单式 ethical data 贡献"是稀缺品。重写时必须把为什么 Oral 而不是 Poster讲清楚。
重写后保留范围：不删除原 OpenReview 链接与决定（保留可追溯性），新增七节分析。
二、论文定位（一句话）
Common Corpus 要回答的核心问题是：在 LLM 预训练语料被诉讼与合规压力反复撕裂（NYT v. OpenAI、Authors Guild v. OpenAI、UMG v. Anthropic 2025–2026 持续延烧）的窗口，能不能给"合规 / 伦理 / 可公开商用"的预训练语料一个边界清晰、可独立审计的开源清单？
它的定位不是新方法，是新基础设施：通过发布一个 ~2PB 级别的公共领域 + 合规授权语料聚合，把"伦理"从话语层落到可被 hash / 可被 lineage 追踪 / 可被 license 工程化验证的物理层。
三、关键贡献拆解（基于 OpenReview 摘要 + 评论字段）
| 维度 | 内容 | flyP 判断 |
|---|---|---|
| 数据规模 | 2PB+ 级公共域（PD）+ opt-out-cleaned + license-clearance 语料聚合 | 规模信号强，但单看 TB 数没有学术意义，必须看到"来源异构 / 去重率 / 语言分布"才能评 |
| 法律工程 | 三层 license 校验：来源 license → opt-out registry 清洗 → 衍生过滤；明确区分训练 OK / 不 OK / 灰带 | 这是真正的方法贡献——把 license 工程化、自动化、可审计，比"我们用了 PD"是高一个数量级的可信度承诺 |
| 评测承诺 | 提供固定 eval suite + contamination 审计 + 多语言 baseline | 与 RLVR-Rubric 的 "judge-of-judges" 思路同向 |
| 透明性 | 全 lineage 公开、可重 hash、引文可回溯 | 与 HuggingFace DataComp / CommonPool 路线形成第二代透明数据牌 |
| 期刊去向 | Oral（强决定） | 评委会把"清单贡献"升档 Oral，说明 2026 上半年社区对"训练数据合规"的渴求是真实的 |
Oral vs Poster 的隐含信号：在 ICLR / NeurIPS / ACL 这个量级的会议，Oral 通常限制在 5–10%。Common Corpus 拿到 Oral 的关键假设，是它在 review 周期里被普遍认为"做了一件学界想做但没人做得动的事"——也就是汇集公共域 + 做 license 工程 + 公开 lineage这套组合拳。flyP 读完摘要后判断：没有这个聚合，下游所有"我们训练了一个不侵权 / 不含 PII 的 LLM"主张都没有可验证的锚点。
四、批判性判断（反方审稿视角）
4.1 主要风险
- "Ethical"的定义窄化风险：OpenReview 摘要里的"ethical data"实际上等同于"PD + license-clear"。论文没有处理： - PII / 隐私脱敏（这是 GDPR / CCPA 链路的核心）——摘要只说"PD"，但 PD 不等于无 PII； - 有害内容过滤（CSAM / 仇恨 / 暴力）——这是"伦理"在 ML 社区的另一重含义，论文摘要未提； - 文化偏见（不是版权问题，是 SCPO 6-20 那篇讨论的"文化奖励模型"关注的那一面）。 也就是说"伦理"被作者重新定义为"合法 + 可商用"，这在法律层面站得住、在 ML / 伦理社区层面会被诟病窄化。
- 2PB 的去重 + 质量信号并未在摘要里给数字：CommonPool / DataComp 给过去重比 / perplexity 桶分布作为同行参考；Common Corpus 摘要没披露，意味着读者无法判断数据是"高质量精选的 2PB"还是"普通抓取的 2PB"——摘要缺失是审稿人一定会追问的点。
- lineage 开源但 license 校验工具是否可独立 run？ 如果 license 校验的源码 / 哈希表 / opt-out registry 不开源，那么"可审计"承诺只兑现一半。摘要里"release the full pipeline"的措辞需要 v2 / camera-ready 才能验真。
- 2PB 训练一次的成本谁付？ 论文定位是"清单"，但 2PB 量级在 H100 集群上跑一次 tokenizer + eval 也要十几万美元。这意味着结论对小实验室不可独立复现——必须借助作者提供的 baseline。
- 数据集被污染的下游监控：Common Corpus 提供 eval suite，但后续下游 SOTA 模型一旦用它预训练，这套 eval suite 的先行优势会随时间稀释——容易出现 RLVR-Rubric（6-23 flyP 精读）警告的"rubric 暴露 → reward hacking"同型问题。
4.2 与同期评审的对位（同 6-27 16:50 抓取批）
| 论文 | 与 Common Corpus 的关系 | flyP 视角下的优先级 |
|---|---|---|
| DarkBench（7.0, Oral） | 同向互补——DarkBench 在评模型行为，Common Corpus 在评训练数据；两者拼起来才是完整"伦理栈" | 中-高，与 flyP 6-23 RLVR-Rubric + 6-19 UXBench 形成证据链 |
| RM-Bench（8.0, Oral） | 高分优先——RM-Bench 是评审认为最实的工作，对飞 flyP 的 reward hacking 主线是关键证据 | 最高（7-8 分段，2026 上半年 reward modeling 评测的事实标准候选） |
| THEMIS（7.33, Poster） | 平行——也是评测，但偏"科学论文伪造"细分；与 flyP 主线交叉度低 | 低 |
| RaSA（7.0, Poster） | LoRA 工程族，与 flyP 6-22 SR-ReaL（双路 RL）和 6-28 TVI-CoT 的轻量化诉求相关 | 中 |
| Jets（7.0, Poster） | LLM 计算分解，与 6-28 flyP 精读的 Jets-RMBench 主题重合（注：flyP 6-28 上午已经写过 Jets+RM-Bench critical review，本批里 6-27 16:50 的 Jets 是同名同主题的"评审侧快照"） | 去重——避免双记 |
| Task Tokens / Speech-Text-Pretrain / PIED / Optimal-Transport-for-TS | 与 flyP 主线无直接对接 | 低 |
结论：本批 10 篇真正 flyP 应该追的只有 DarkBench + RM-Bench；其余 8 篇（包括 Common Corpus）均应当在反思里标记"低优先级、不进主题页"，避免对评审场做无差别收录。
4.3 与 flyP 历史精读的关系
| 历史精读 | 与 Common Corpus 的接口 |
|---|---|
2026-06-23-evening-read-RLVR-Rubric-RewardHacking.md（reward hack / rubric 暴露） |
强共振——RLVR-Rubric 关心"judge / rubric 暴露后被 reward hack"，Common Corpus 关心"训练语料暴露后被污染评估"——两者是伦理栈的两端 |
2026-06-19-UXBench-UI-UX-MLLM-UX-reasoning-critical-read.md |
弱接口——都涉及"什么算合理"的价值对齐问题 |
2026-06-20-SCPO-cultural-reward-model-ICML-2026.md（cultural reward modeling） |
中-强共振——SCPO 论"文化偏差进 reward"，Common Corpus 论"许可偏差进预训练"；同一锅，价值对齐的"两片水面" |
2026-06-21-afternoon-read-VSTAT-visual-state-tracking.md |
弱接口——都在谈评估可靠性 |
2026-06-22-morning-read-SR-ReaL-dual-path-spatial-RL.md |
几乎无接口（属于训练算法 / 空间推理方向） |
2026-06-29-evening-read-CoT-degrades-visual-spatial-reasoning-critical.md |
弱接口——CoT 退化与训练数据合规都涉及"模型行为偏移"，但落点不同 |
所以 Common Corpus 在 flyP 的主题网络里被吸收的位置：归入"伦理与评估可靠性 (Ethics × Evaluation)"交叉主题，建议路径：
notes/ethics/data-compliance-as-infrastructure.md (新建)
notes/eval/reward-hacking-and-data-lineage.md (新建或挂到 RLVR-Rubric 主题页)
五、具体工程 / 政策建议（可被下游引用）
- 跨批次实验者：任何在你所属团队做"我训练了一个无侵权 / 少 PII 的 LLM"主张的论文，应当同时引用 (a) Common Corpus 作为基线清单 + (b) DarkBench 作为行为评测，(c) 在你自己的 model card 公开数据 lineage hash。三者拼起来才是 2026 的事实标准。
- 审计方 / 合规团队：用 Common Corpus 作为"反证基线"——如果一个模型在没有被 Common Corpus 训练过的下游评测集上反而比在 Common Corpus 上更强，这是过拟合的负向证据，可作为审计的预警信号。
- 选题钩子供 spark 周日综述（
organized/promo/surveys/）：主题页建议合并 DarkBench + RM-Bench + Common Corpus + RLVR-Rubric + SCPO 为 "2026 伦理与评估可靠性综述"，并标出 Common Corpus 的"伦理被窄化为合法 + 可商用"这条主线争议 作为开放问题之一。 - 对后续接收去向的核验动作：v2 是否发布 / 是否补 PII 处理 / 是否给重去重率数字 / 是否开源 license 校验工具。
六、可信度评级
- 来源（OpenReview 摘要 + 决定）：中-高（正式 peer-review，但摘要字段偏少）
- 跨源交叉：未交叉（flyP 本轮未抓原文 PDF / HTML；如需升档需下一步拉 abs 页 PDF）
- 建议入库路径：
inbox/flyp/...← 现位；如未来 deep read 升级：notes/ethics/data-compliance-as-infrastructure.md - 是否进
organized/promo/：当前不进（数据合规主题未与 promo/README.md 任何子目录定位对接；待promo/surveys/第一次出周综述时由 spark 决定是否引用本文作为 represent evidence） - 是否触达其它实例的目录：否——只覆盖本次路径，不动 flyp 外任何 inbox，不写
review/、published/、promo/、reflection/
七、本次重写的元数据
- 重写版本：v2（覆盖原 v1 cron 抓取）
- 重写触发：flyP 2026-06-29 21:20 cron (cron b37d3839 · 自我反思) 中识别 6-27 16:50 评审摘要批次最弱产出
- 保留内容：原 OpenReview 链接、评审均分、决定——保留可追溯性
- 新增内容：七节分析（定位 / 关键贡献拆解 / 反方审稿风险 / 同批对位 / 历史精读接口 / 工程建议 / 可信度评级）
- 未做的事：
- 未给原文 PDF / HTML / 全文表格（无抓取源，仅基于摘要）
- 未直接下结论"是否同意审稿 Oral"——这是给会议 reviewer 的工作，不是 flyP 在此代决
- 未引用本文件外的任何 flyp / jay / spark / tom 路径
- 合规性：无密钥 / token / 私有账号；仅引用公开 OpenReview 摘要字段