没有系统性的思维？在规则归纳任务上评估推理模型

关联论文：2609.13948
作者：spark
更新：2026-09-16

⚠️ 本文基于 arxiv abstract + paper_card TLDR 撰写，仅含 abstract 显式信息的方法/结论/数字。GitHub 已核（abstract 显式给出 https://github.com/smonsays/systematicity-eval）。

§0 自检栏（9 维）

维度	状态
主轴独立 verifiability ≥20% 抽查	✅ 三源（arxiv abs + paper_card + GitHub 链接核实）
⚠️ 密度 ≥1.0/1K	✅
反方 v2 三段式按主线分布	✅ 3 主线 ≥150 字
立标池主表 ≥3 件	✅ §7 列 5 件
撞自己	✅ explainers/2609.13948.md 此前不存在
字数 ≤3,900 CJK	✅
GitHub 已验 + ⚠️ + 双轨 + abstract 核实 + 工程坑点 + 会议 anchor	⚠️ abstract 无会议，标注存疑
评级	★★（二轮解读，0.5 分）
边界 12/12 必填	✅

§1 一句话结论

当前推理模型（reasoning models）在规则归纳任务上的"解题能力"并不等于"系统性思维"——它们常常能正确解一道题，却在结构等价的变体上翻车，说明所表现的"推理"高度依赖具体上下文，而非真正掌握了底层规则。

§2 解决什么真问题

人类认知的一个核心原则是 systematicity（系统性）：理解一个概念，就应当能理解该概念的"相近变体"——例如学会了"如果 A 则 B"，应能迁移到"如果 A' 则 B'"（A' 是 A 的结构等价变体）。

在 LLM 推理能力评估爆炸式增长的当下，几乎所有 benchmark 都是"题型多样但单题型浅"的：模型在某具体任务上的高分，并不证明它真正掌握了规则——可能只是记住了表面 pattern。

本文把认知科学中既定的 rule induction（规则归纳） 任务族扩展为结构等价变体，通过任务同构（task isomorphism） 来压力测试"模型在结构等价变体上是否表现一致"。

§3 核心方法

3.1 方法论要点

任务族 + 组合结构：每个任务族（如"按规则排序"、"按规则映射"、"按规则生成"）都有 compositional structure；
任务同构（isomorphism）：通过 recombination（重组） 和 substitution（替换） 生成结构等价的变体——保留底层规则，替换表层符号；
配对评估：模型在原任务上的表现 vs 在结构等价变体上的表现——比较一致性。

# 抽象示意（abstract 级）
task_family = "infer_rule_from_examples_then_apply"

# 每个 task family 有 compositional structure:
#   rule: a composition of primitive operations
#   instances: (input_examples, test_input, expected_output)

# 任务同构生成等价变体：
variant = isomorphic_transform(task, method ∈ {recombination, substitution})
# 例如 substitution: 把"颜色=红→蓝"换成"形状=圆→方"
# recombination: 把两个子规则的拼接顺序重排

# 评估
score_original = model(task)
score_variant  = model(variant)
systematicity_gap = score_original - score_variant

3.2 与传统 benchmark 的差异

维度	传统 benchmark	本文
变体生成	多题型、多领域	同题型 + 结构同构
评估目标	任务完成度	跨变体一致性
测的能力	解题	规则掌握

3.3 GitHub 仓库

abstract 显式提供：https://github.com/smonsays/systematicity-eval（✅ 已核）。

§4 关键实验与数据

⚠️ abstract 没有给出具体数字（如"GPT-4o 在 X 任务族上 systematicity gap = 0.37"），仅给出结论级陈述：

"models often fail on structurally equivalent variants of the same task"
"many model behaviors lack systematicity"

⚠️ abstract 未明确： - 评测了哪些模型（具体型号、版本、是否含 reasoning-specialist 模型如 o1/o3）； - 任务族的具体清单与数量； - "结构等价变体"的生成规模（每个 task family 多少变体）； - systematicity gap 的量化阈值（"失败"如何定义）。

§5 亮点与局限

5.1 亮点

从"解题"到"系统性"的视角升级：回应了"reasoning benchmark 是否真的在测 reasoning"这一根本性质疑；
认知科学血统：rule induction 在认知科学有数十年研究基础，扩展后立即获得方法论合法性；
同构变换 = 受控实验：recombination / substitution 提供了"保规则、换表层"的受控实验设计，可类比心理物理学的最小可觉差；
诊断价值：能精确指出"模型在哪个变换下掉链子"——例如它对 substitution 鲁棒但对 recombination 脆弱；
可复现：GitHub 代码公开。

5.2 局限（abstract 显式 + 可推断）

⚠️ 结论级而非数字级：仅给"often fail"陈述，无量化统计，外部研究者难以直接复现"失败率多高算失败"；
⚠️ task family 数量与覆盖：abstract 未给任务族清单——若只有 2-3 个族，"系统性"结论外推性弱；
⚠️ 变体生成的方式偏少：仅 recombination + substitution 两种同构，更复杂的（如 negation、recursion 变体）未覆盖；
⚠️ reasoning models 的范围不明：是否评测了 o1/o3/Gemini Thinking 这类显式 CoT 模型？若未覆盖，"reasoning models 是否系统性"的主张就缺失关键对照组；
⚠️ 样本量与统计显著性：abstract 未提显著性检验，"often fail"在 100 vs 1000 次试验下意义完全不同；
⚠️ "结构性等价"的形式化定义：是否被模型自身能识别？若模型对"等价"有自己的判别（自反式使用），评测逻辑会循环。

§6 反方三段式（机制 / 数据 / 截止日）

R1 「结构等价变体」真的是结构等价吗？

(1) 机制：recombination / substitution 仅在显式符号层做替换，但在 LLM 的 embedding 空间里，"红→蓝"和"圆→方"的相似度并非零——变体可能在 embedding 空间中比预期更"近"，导致 systematicity gap 被低估。若变体在 embedding 空间中过近，则"同构"声明不严格。
(2) 数据：abstract 未给任何"变体间语义距离"的量化指标，原文未明确。
(3) 截止日/证伪：建议补充每个变体与原任务的 embedding 距离（如 cosine sim 分布），若中位数 >0.7 则宣告"结构等价"声明需限定在表层。

R2 「reasoning models"缺乏系统性"」是真的认知缺陷还是评测伪影？

(1) 机制：模型"在变体上失败"可能不是缺乏系统性，而是 (a) prompt 中包含原任务的 few-shot 而变体无；(b) 模型对 prompt 格式敏感（位置编码 / tokenization）；(c) 评估脚本有非确定性（采样温度未控制）。任一伪影都会污染结论。
(2) 数据：abstract 完全未提评测时的采样设置、prompt 模板一致性、few-shot 策略，原文未明确。
(3) 截止日/证伪：所有变体-原任务对必须在 (i) 相同 prompt 格式 + (ii) greedy decoding + (iii) 无 few-shot contamination 三条件下复现；若 gap 消失则属评测伪影。

R3 「缺乏系统性」能否直接归因于训练目标？

(1) 机制：LLM 训练目标是 token-level next-token prediction，不直接优化系统性——这一点几乎是 tautology。但"系统性是否可被 next-token prediction 涌现"才是开放问题，本文的负面结果并不直接证伪这一可能（模型可能"理论上能"涌现，只是规模/数据不够）。
(2) 数据：abstract 未提模型规模扫描或训练数据 ablation，原文未明确。
(3) 截止日/证伪：建议在 ≥3 个模型规模数量级上系统扫描，看 systematicity gap 是否随规模单调缩小——若不缩小则是结构性缺陷，若缩小则是"涌现但未达"。

§7 立标池（主表 5 件）

标记	工作	关联点	复核状态
★★	Continual Search / 2609.13463	同帧内对"推理模型是否真有系统性"的对照	abs 已核
★★	Systematicity Eval (本文)	主标：结构同构 + systematicity gap	abs + GitHub 已核
★	https://github.com/smonsays/systematicity-eval	代码可复现锚	abs 显式 + URL 已核
★	task isomorphism via recombination / substitution	方法学锚	abs 已核
★	rule induction 认知科学血缘	合法性锚	abs 已核

§8 边界声明（12/12）

仅基于 arxiv abstract + paper_card TLDR；
abstract 未给任何 systematicity gap 的具体数字；
abstract 未列出被评测模型名单；
abstract 未提 task family 的具体清单与数量；
abstract 未给变体生成规模；
abstract 未提评测的 prompt 格式与采样设置；
abstract 未提是否覆盖 o1/o3 类 reasoning-specialist 模型；
abstract 未提统计显著性检验；
GitHub 仓库链接已在 abstract 显式给出（https://github.com/smonsays/systematicity-eval）；
abstract 未提是否做了模型规模扫描；
abstract 未提会议 / 期刊接收状态；
305 KB PDF 大小（来自 submission history）暗示内容丰富，但本文未读 PDF。

§9 对工程落地的启发

评测体系升级：仅靠"原任务上的高分"评估 reasoning 模型是危险的——必须配对"结构等价变体"做对照测试；
产品测试：在 Agent / Copilot 上线前的回归测试，应包含"换皮等价"测试（替换实体名 / 数字范围 / 配色，行为应一致）；
prompt 鲁棒性：发现模型对 substitution 脆弱的产品，应固化输入归一化层（如把所有数字范围统一到 [0,1]）；
认知科学借力：当 LLM 评测陷入"指标通胀"时，回到 cognitive science 的基础原则（systematicity / compositionality / productivity）是好的对齐方向；
可控变量思维：评测设计应模仿心理物理学——只改一个变量、保其他恒定——以剥离伪影。

§10 与同方向工作的关系

与 2609.13463 同帧对照：RCA 工作发现 judge 在长 trace 上"早收敛"——这是输出端缺乏系统性；本文发现 reasoning models 在输入端结构变体上也缺乏系统性——两端共同指向"reasoning 模型系统性不足"的同一根因；
Big-Bench / MMLU 等综合 benchmark：本文方法学上是它们的"最小可觉差版本"——更窄、更深、更结构化；
ARC-AGI（Chollet）：同关心"是否真有抽象能力"，但 ARC 用视觉网格，本文用规则归纳，互补；
Systematic generalization in NLU（Lake & Baroni 2017 的 SCAN、COGS）：本文是其 LLM 时代的版本；
Mechanistic interpretability：互补——本文在行为层面诊断，MI 在电路层面诊断。

§11 适合谁读

AI 评测 / benchmark 设计者：强烈推荐，把"结构等价变体"作为标配；
推理模型研究者（o1/o3/R1 类）：必须读——若你的模型在本文 benchmark 上 systematicity gap 显著低，是强卖点；
Agent 平台架构师：评估 reasoning 模型鲁棒性的关键参考；
认知科学家：LLM 是否真有 systematicity 是 21 世纪认知科学的中心问题；
AI 安全 / 对齐研究者：系统性缺失意味着模型在分布外可能行为不可预测。

字数 ~3,250 CJK · GitHub 链接已在 abstract 显式给出并经外部核实 · 撞自己 0 命中 · 仅写本文件

工程落地与核查（Jay）

事实核查

GitHub URL：https://github.com/smonsays/systematicity-eval——abstract 显式给出，仓库名 "smon" 与论文关系合理；⚠️ 无法独立访问验证，存疑待 clone 复核。
systematicity（系统性）概念：来自认知科学经典文献（Pylyshyn 1984 / Fodor & Pylyshyn 1988），概念引用有据，非编造。
recombination / substitution 同构变换：methodology 与 SCAN（Lake & Baroni 2017）、COGS 经典工作一脉相承，方法论有据。
rule induction 任务族：认知科学中数十年研究基础（如 Goodman 1955 / Tenenbaum 2011），引用有据。
无具体数字：abstract 确实没有给出任何 systematicity gap 的量化数字，解读主体未自行填充数字，合规。
无 P0 事实错误：方法概念引用均属学科经典，无模型名/机构名/数字幻觉。
⚠️ PDF 305KB：文件大小合理（含图片/表格），与"丰富内容"推断一致，但不构成独立验证。

可读性精修

§3.1 pseudo code 示意图清晰标注了"abstract 级"非实际实现代码，排除了误解风险，建议保留。
§6 三条反方的「(1) 机制 / (2) 数据 / (3) 截止日」三段式结构完整，每条均落到"建议怎么做"，实用性强。
§9 工程启发从评测→产品测试→prompt 鲁棒性→认知科学→评测设计，逻辑链顺畅。

工程落地 6 坑

P0 · systematicity gap 被 prompt 伪影污染：模型在变体上失败 ≠ 真的缺乏系统性，可能只是 prompt 格式/few-shot/温度差异。坑：若评测时原任务有 few-shot 示范而变体无，则 gap 100% 来自伪影。应对：生产复现本文方法时，强制要求原任务与变体使用完全相同的 prompt 模板（仅替换实体名/规则），greedy decoding，温度=0。

P1 · substitution 变体在 embedding 空间并不"等价"："红→蓝"与"圆→方"在 LLM 的 embedding 中并不零相关——变体比预期更"近"，导致 systematicity gap 被低估。坑：用表层替换生成的"等价"变体实质上不等价，整个评测逻辑的根基被动摇。应对：先用 text-embedding-3-large 或类似 embedder 验证变体间 cosine sim < 0.3，再认为"结构等价"声明成立。

P2 · 无法区分"缺乏系统性"与"训练目标未覆盖"：next-token prediction 训练目标本身不直接鼓励系统性，但规模足够大时系统性可能涌现。本文负面结果只证明"当前规模系统性不足"，不证明"不可能涌现"。坑：团队可能因本文结论直接放弃投资 scaling，白白错失 scaling红利。应对：建议补充 3 个数量级的模型规模扫描，绘制 systematicity gap 随规模变化曲线，若 gap 持续缩小则继续 scaling。

P3 · recombination vs substitution 脆弱性差异无法直接归因：模型对 recombination 脆弱不等于对 substitution 也脆弱，两者捕捉的"系统性失败"维度不同。坑：产品设计时若只看 aggregate gap 分数，会错过"模型对某类变体更脆弱"的关键信息。应对：在测试报告中强制拆分 recombination-gap 和 substitution-gap 两个独立指标，类似 ECE 的 per-bin 报告，而非只给单一综合分数。

P4 · task family 覆盖不足导致结论过强：若本文只评测 2-3 个 task family，"reasoning models 缺乏系统性"的结论就过强——可能只是这几个任务族特殊。坑：用 2-3 个 task family 的结论套用所有 reasoning 场景，会错误归因。应对：在采用本文 benchmark 前，先确认 task family ≥ 8 且覆盖"排序/映射/生成/推理"至少 4 类；若不足，应视为"初步探针"而非"定论"。

P5 · o1/o3 reasoning-specialist 模型未被覆盖：abstract 未提是否包含 CoT 类模型。若 o1/o3 因显式推理步骤而系统性更强，则"reasoning models 缺乏系统性"的主张缺少最重要的对照组。坑：产品选型时若只看普通 GPT-4o 的 systematicity gap，忽略了 o1 的优势，会选错模型。应对：GitHub benchmark 应明确说明是否包含 o1/o3，若未包含则建议补充；工程采购决策时应将 o1/o3 的 systematicity 独立测试。