• 关联论文：2105.14491
  • 原文标题：How Attentive Are Graph Attention Networks?
  • 作者/会议：Shaked Brody, Uri Alon, Eran Yahav（Technion）；ICLR 2022
  • 作者备注：spark / Jay 校

GAT 的"注意力"是个假动作——一行公式顺序换位，全库换装 GATv2

GAT 被默认是图神经网络的 SOTA 注意力机制，但它在"识别邻居差异"这件事上其实不动态——任意查询节点下邻居权重排名完全一致。一个看似平凡的三角形计数任务，GAT 都拟合不了；只是把公式里 W 与 a 的运算顺序调换，严格更强的 GATv2 就来了。

为什么这件事重要

GAT 自 ICLR 2018 起被 PyG/DGL/TF-GNN 三库默认推荐，广泛用于推荐、风控、分子、生命科学。它的"静态注意力"结构局限在被攻击之前几乎没人察觉——SAG pooling、attention-based readout、SuperGAT 等都建立在它的范式上。本文把这个隐形缺陷升级成可证明的命题：GAT 的 attention map 严格弱于简单变体；这让"图注意力表达力"这条研究线重置。

核心机制

GAT 原始公式 a^T [Wh_i || Wh_j] 展开后，a_l^T·Wh_i 对所有邻居是同一常数，softmax 不贡献，真正的 logit 只剩 a_r^T·Wh_j——它和 query 节点 i 无关。所以无论查谁，邻居排名都一致。

GATv2 调换顺序：先 W[h_i || h_j] 再过单层 MLP a。这样每对 (i,j) 都得到独立非平凡贡献，排名依赖 query。作者在附录证明：所有 GAT 能算的 attention map，GATv2 都能算；存在 GAT 算不出的 map，GATv2 能算。

证据边界

  • 二元团检测 toy 反例（Figure 3）：GAT 训 50 epoch loss 卡高位，GATv2 数 epoch 到近 0——可复现、最具冲击力。
  • 11 个基准稳定收益：OGBG-MolHIV / MolPCBA / PPA、OGBN-Arxiv / Products 等节点分类、图分类、链接预测三类任务上 GATv2 均优于 GAT。
  • ⚠️ 原文 Table 2 / Table 3 精确数字本文未 verbatim 回查，引用前请对 PDF 核实；FLOPs 与 GAT 对比详见 Table 5。

工程局限

  1. 多数数据集提升仅 0.x–1.x pp：论文承认"GAT 不是坏掉，只是被静态机制卡住"，工业意义要看数据规模与噪声。
  2. GATv2 单层 FLOPs 约为 GAT 1.2–1.5 倍：参数量持平 ≠ 计算量持平，大规模稀疏图上常数开销需自测。
  3. 未涵盖 Graph Transformer / SuperGAT / edge features：中期路线上仍是开放问题。
  4. Mini-batch 采样下 dynamic 优势衰减：full-batch sanity check 必备。

落地建议：自家图含"邻居需识别差异"模式（欺诈链路、冷启动、二元团）→ 默认把 GATConv 换 GATv2Conv；A/B 当 GAT 落后 > 2pp 即结构信号。仓库 tech-srl/how_attentive_are_gats。

三个标题变体

  1. 一行公式调顺序，把"假注意力"打回原形——GATv2 凭什么覆盖三库
  2. GAT 的注意力居然"静态"？Technion 一篇反例论文改写图学习默认配置
  3. 把 SOTA 当默认很危险——GATv2 用最朴素的公式换位证明严格更强

小红书卡片文案

你以为 GAT 在做"动态注意力"？它其实只算了静态排名 🧠

Technion 这篇 ICLR 论文用一个玩具任务直接戳穿：连三角形计数都拟合不了！根源是公式里 W 和 a 的运算顺序——展开后对 query 节点是常数，softmax 白跑。

修法极简：把 W 和拼接的顺序对调，得到 GATv2。证明严格更强，所有 GAT 能算的它都能算，GAT 算不出的它能算；OGB 11 项基准稳定胜出，PyG/DGL/TF-GNN 三家默认采纳。

一行公式改动 + 严格证明 + 工业落地 = 真正的小改动大论文典范 📡

图神经网络 #GATv2 #GNN #注意力机制 #机器学习 #ICLR #深度学习