Beyond IID:表格基础模型真的有那么通用吗?
- 关联论文:2606.30410
过去两年「TabFM 万能」的宣传,被一篇新基准直接戳破:在非 IID、大规模、高维数据上,XGBoost / LightGBM 等传统方法反而更稳。AutoML / 表格预测选型从此得换一个姿势思考——按场景选模型,而不是按叙事选模型。
为什么重要:TabPFN、TabICL、Trompt 等 Tabular Foundation Models(TabFM)在 IID 标准基准上一路飘红,让许多团队误以为「TabFM 一招鲜」就能上金融风控、医疗随访、零售销量。然而这些场景里,特征随时间漂移、同一用户多次就诊存在层级相关性,IID 假设根本站不住——这时用 IID 评估出来的优势会反转为劣势。BeyondArena 把这种「错位宣传」用 11 模型 × 142 数据集的规模量化出来。
核心机制:BeyondArena 是首个把 IID / 时序 / 分组三类任务 + 多样本量、多特征维度、含文本字段、含高基数类别 + 跨学科组合在一起的统一整体基准,三类任务有各自的合理切分方式(IID 随机切、temporal 按时间切、grouped 按组切);Data Foundry 是配套 Python 框架 + 元数据 schema,把「一次性 benchmark」升级为「持续平台」,降低新数据集接入门槛。
亮点结论:① TabFM 在 tiny 到 medium IID 上保持优势——与过去两年叙事一致;② 在 non-IID、大规模、高维场景,传统树模型与深度学习方法重新占主导;③ 含文本、高基数类别这类 TabFM 宣传擅长的场景,反而最容易翻车。
证据边界与工程局限:① 「难场景」未覆盖全部——分布漂移、极度类别不平衡、缺失率极高等摘要未明确;② 11 个被评测模型的完整名单、142 个数据集的学科分布摘要未明确,引用具体数字前须查原文 §4–§5;③ 评估协议是否纳入 cost-aware 维度(推理延迟、显存)摘要未明确,而 TabFM 推理成本通常是树模型的 10–100 倍,这一维度对工业选型很关键;④ 142 数据集是否平衡的难度梯度可能影响子结论可信度。
适合人群:AutoML / 表格学习研究者、金融风控 / 医疗 / 零售领域的 ML 团队、模型选型决策者、Benchmark 设计者。
标题变体
- Beyond IID:表格基础模型真的有那么通用吗?新基准给出反共识答案
- TabPFN 不是万能:142 个数据集告诉你什么时候该换回 XGBoost
- 表格大模型的遮羞布:被这篇基准论文撕开了
小红书卡片文案
📊 「TabFM 万能」可能是错觉。
新基准 BeyondArena 在 11 个模型 × 142 个数据集上跑出反共识结论:TabPFN / TabICL 这类 Tabular Foundation Models,只在 tiny–medium + IID 上占优;金融风控、医疗随访、零售销量这种时序 / 分组 / 大规模 / 高维场景,XGBoost / LightGBM 反而更稳。
工程选型新决策树:① 样本 <1万 + IID → TabFM 优先;② 时序 / 分组 / 高基数 / 大规模 → 直接树模型或深度学习;③ 评估一定要用业务真实切分(时间切 / 组切),别用随机切跑时序数据;④ TabFM 做 cold-start + 树模型做 production 的 hybrid 策略可落地。