总览

本文提出 MF-GIA（Modality-Free Graph In-context Alignment）：一种面向图基础模型（Graph Foundation Models, GFM）的、无模态假设（modality-free）的图上 in-context learning 框架。它关注的问题不是传统“预训练后在目标图上继续微调”，而是：给定未见过的目标图和少量 support 样本，在不更新预训练模型参数的前提下，直接完成 few-shot 预测。核心思想是先利用 梯度指纹（gradient fingerprint） 从 support 样本中提取目标图的域信息，再基于该域信息构造域条件特征对齐器和域条件标签对齐器，将不同图中的特征空间与标签空间统一到共享语义空间中，最后通过 DPAA（Dual Prompt-Aware Attention） 完成 prompt-based 的匹配与推理。论文强调，该方法不依赖原始模态信息，因此适用于只能获得预编码图特征、无法访问原始文本/图像/属性的场景。

Image

方法要点

1) 问题设定：目标是“无模态的跨图 in-context 对齐”

论文关注的是跨图 few-shot 推理场景：预训练阶段使用若干图数据，测试阶段面对一个未见过的新图，只提供少量带标签 support 节点，模型需要对 query 节点进行分类。与很多已有方法不同，MF-GIA 不要求所有图都共享统一模态，也不要求能访问原始语义信息，而是假设每张图都只有其已经预编码好的节点特征。这些图之间可能同时存在以下差异：

因此，论文的基本思路不是将所有图先转换成统一模态，而是直接学习一种面向域的条件对齐机制，把来自不同图的数据映射到同一个可比较的共享空间。工程上，作者先通过 SVD 将各图特征压缩/统一到相同维度，再送入后续共享编码器与对齐模块。这个设定的意义在于：方法可以直接作用于“已经编码好的图数据”，因此不受限于原始模态是否可得。

2) 域嵌入器：用梯度指纹表示“图域”

这是整篇论文最核心的设计之一。作者的关键观察是：同一个初始化模型在不同图上做一步梯度更新时，参数变化方向本身就编码了该图的域特征。因此，MF-GIA 不直接用图统计量来描述域，而是定义所谓的 gradient fingerprint。

具体来说，给定共享初始化参数 $\theta_0$，对于某个预训练图 $G_i$，在其数据上只做一步梯度下降：

$$ \theta_i = \theta_0 - \eta \nabla_\theta L_i(\theta_0) $$

然后将参数位移

$$ \Delta \theta_i = \theta_i - \theta_0 $$

作为图 $G_i$ 的梯度指纹。这个向量可以看成该图对共享编码器施加的一次“局部驱动力”，其中同时编码了该图的特征分布、标签监督信号和图结构模式。

接下来，论文设计了一个 Domain Embedder，将 $\Delta \theta_i$ 输入一个由 Conv2D + Flatten + MLP 组成的网络，输出低维域表示 $e_i$。这里把梯度张量看成一种“具有空间结构的信号”，而不是简单向量，这样可以更充分地提取参数变化中的模式信息。

为了保证学到的域嵌入空间具有可解释性，作者进一步设计了一个距离保持损失：希望不同图之间的梯度指纹距离，与对应域嵌入之间的欧氏距离尽可能一致。这样一来，若两个图本身在“让模型发生怎样的参数变化”这一意义上是相似的，那么它们的域嵌入也应彼此接近。直观上，这相当于把不同图组织到一个连续的“域流形”上。

测试时，对未见图 $G_{new}$ 的 support set 也采用同样流程：只利用 support 样本做一步梯度计算，生成其梯度指纹，再通过域嵌入器得到测试域向量 $e_{new}$。这里特别重要的一点是：测试阶段虽然使用了梯度，但梯度仅用于读取域信息，而不是用于真正更新主模型参数。因此论文将其视作一种 parameter-update-free 的适配方式，而不是传统 finetuning。

3) 域条件特征对齐：让不同图的节点表示可比较

拿到域嵌入 $e_i$ 后，MF-GIA 首先利用它来生成一个特征对齐器。对于图 $G_i$ 中某个节点或边实例 $w$，先通过共享图编码器得到基础表示 $h_{i,w}$。随后，从域嵌入 $e_i$ 经过一个两层 MLP 预测出一组 FiLM（Feature-wise Linear Modulation） 参数：

$$ (\gamma_i^{feat}, \beta_i^{feat}) $$

再对基础表示逐维做仿射调制：

$$ z_{i,w} = K_i^{feat}(h_{i,w}) = \gamma_i^{feat} \odot h_{i,w} + \beta_i^{feat} $$

其中 $\odot$ 表示逐元素乘法。

这一步的作用是：虽然所有图共享同一个基础 GNN 编码器，但不同域可以通过各自的 FiLM 参数对共享表示做轻量而有针对性的校准，从而把来自不同图的节点特征拉到更统一的语义空间中。相比为每个域单独学习一个完整编码器，这种做法参数量更小，也更符合 few-shot / in-context learning 的使用方式。

从直觉上说，可以把共享编码器看成负责抽取“粗粒度的通用图表示”，而 feature aligner 则负责根据目标域信息，对这些表示做“最后一层域校正”。对于相似域，域嵌入相近，经 MLP 生成的 FiLM 参数也会相似，于是它们的特征对齐变换也更接近。论文还从 Lipschitz 映射角度分析了这种性质，即：如果从域嵌入到 FiLM 参数的映射足够平滑，那么邻近域会被送到邻近的表示子空间中，这有助于跨图匹配时保持语义一致性。

4) 域条件标签对齐：不仅对齐特征，也对齐标签语义

这是这篇文章比很多“只做 feature alignment”的工作更进一步的地方。作者指出，在跨图 few-shot 推理中，除了特征空间不统一之外，标签空间同样存在严重错位问题。例如图 A 里的 label 0 和图 B 里的 label 0 往往只是本地图内部的编号，二者未必对应同一种语义。如果只对齐特征而不对齐标签，那么 support 样本里的标签原型与 query 表征之间仍可能无法正确匹配。

因此，MF-GIA 维护一个共享的标签基底矩阵：

$$ E^{label} \in \mathbb{R}^{L_{max} \times d} $$

其中每一行表示一个 domain-agnostic 的标签原型。随后，模型同样利用域嵌入 $e_i$ 通过 MLP 生成另一组 FiLM 参数：

$$ (\gamma_i^{label}, \beta_i^{label}) $$

并将共享标签基底中的第 $l$ 个原型变换成域相关标签表示：

$$ u_{i,l} = K_i^{label}(E_l^{label}) = \gamma_i^{label} \odot E_l^{label} + \beta_i^{label} $$

这样，不同图里的标签虽然编号体系不同，但经过域条件标签对齐后，会被放入同一个共享语义空间中。换句话说，MF-GIA 不是简单假设所有图共享同一套标签 ID，而是显式学习“某个域下标签应如何投影到共享语义空间”。

这一设计很重要，因为跨域 few-shot 学习中的困难不仅来自输入分布变化，也来自输出语义空间的不一致。MF-GIA 在 feature side 和 label side 同时进行条件对齐，等于同时解决了“输入不可比”和“输出不可比”两类问题。

5) Episodic pretraining：把测试时的 in-context 过程“提前训练出来”

论文的训练方式并不是普通的监督预训练，而是采用 episodic pretraining，模拟测试阶段的 few-shot in-context learning 过程。具体来说，在每次训练 episode 中，从某个预训练图中采样一个 m-way k-shot 的 support set 和对应的 query set，构造一个与测试时非常相似的任务。

随后，support 和 query 中的样本会先经过共享编码器，再经过域条件 feature alignment；对应类别标签则经过 label alignment，构成域特定的标签原型。模型训练的目标不是单纯提高单个样本分类精度，而是让模型学会：在看到 support 示例后，如何利用这些示例去解释和预测 query。这与语言模型中的 ICL 训练思路是相似的，即训练过程尽可能贴近推理过程。

论文通过实验表明，这种 episodic 训练方式优于简单的“先监督训练一个图编码器，再用 prototype matching 做 few-shot 预测”的替代方案。这说明，对图任务来说，仅仅拥有好的表示还不够，还需要把“如何用 support 推理 query”这个过程本身训练出来。

6) DPAA：双阶段 prompt-aware attention 实现 support-query 匹配

在对齐后的共享空间中，MF-GIA 使用 DPAA（Dual Prompt-Aware Attention） 来执行真正的 prompt-based 推理。这一模块可以看作是整套 ICL 框架中“如何利用 support”的核心计算单元。

第一步：feature-level prompt-aware attention

给定某个 query 表征，模型首先让它与 support 中的特征表示进行 attention 交互。注意，这里是 query attend to support，而不是 support 彼此之间互相做自注意力。其目的是让 query 根据 support 中已知类别的示例，形成一个“被 prompt 条件化”的新表示。输出可以记为：

$$ z_{i,q}^{out} $$

这一步相当于回答问题：“从 support 特征的角度看，这个 query 更像哪些已给示例？”

第二步：label-level prompt-aware attention

随后，模型再将 feature-aware 的 query 表示映射到 label side，与 support 对应的标签原型继续做 attention 交互，得到进一步融合类别语义后的输出：

$$ u_{i,q}^{out} $$

最终，模型将 $u_{i,q}^{out}$ 与候选类别原型做相似度计算，输出 query 的类别预测。

DPAA 之所以叫 Dual，就在于它不是单一地在 feature 空间里做匹配，而是先经过特征侧 prompt 引导，再经过标签侧 prompt 引导。这使得 query 的表示既吸收 support 样本的实例信息，也吸收 support 标签所承载的类别语义信息。

论文特别强调，这一设计是符合 ICL 原则的：允许 query 看 prompt，但不让 prompt 之间自己发生过多交互。因为模型真正要学的是“看到示例后如何解题”，而不是在 support 内部先做复杂建模。

7) 测试流程：冻结参数，只通过 support 触发域对齐与匹配

在未见域测试阶段，MF-GIA 的整体流程如下：

  1. 从目标图中获得少量 support 样本；
  2. 利用 support 对共享初始化模型做一步梯度计算，得到梯度指纹；
  3. 通过域嵌入器生成该图的域向量 $e_{new}$；
  4. 根据 $e_{new}$ 生成该图对应的 feature aligner 和 label aligner；
  5. 将 support / query 特征以及标签原型映射到共享空间；
  6. 使用 DPAA 对 query 与 support 进行匹配推理；
  7. 输出 query 的类别预测。

整个过程中，预训练模型参数始终冻结。因此，这篇工作想强调的不是“快速微调”，而是“利用 few-shot support 在前向推理时动态构造对齐与匹配机制”。

8) 图结构增强：在 few-shot 条件下继续利用图拓扑

除了上述主干框架外，论文还加入了一些图上的增强设计，以进一步提高少样本条件下的性能。例如：

这些增强模块的目的，都是在 support 标注极少时，更充分地利用图的拓扑信息来补足语义监督不足。也就是说，MF-GIA 不只是一个“忽略图结构的 prototype matcher”，而是在 prompt-based 推理之上，继续保留了对图局部一致性和结构传播规律的利用。

创新点

实验设置与主要结论

主要结论包括：

  1. MF-GIA 在节点 few-shot 分类上整体优于基线，平均性能提升较明显。
  2. 在边级 few-shot 任务上也具有较强迁移能力，说明它学到的不只是节点分类特定模式，而是更一般的图上 in-context 推理能力。
  3. 消融实验验证了 feature alignment、label alignment、DPAA、episodic 训练都有效，且这些模块通常是逐步叠加带来提升。
  4. 预训练域越丰富，泛化通常越好，说明多样域数据有助于构建更好的域嵌入空间与更稳健的跨域匹配能力。

不足与可改进点（比“效果好”更关键）

1) 不是完全零样本，而是“few-shot support 驱动的无参数更新适配”

虽然论文强调 parameter-update-free inference，但它并不是完全不依赖目标域信息。测试时仍然需要目标图提供少量 support 样本，用来计算梯度指纹并生成域嵌入。因此，它更准确地说是：

这一点在理解方法定位时很重要。

2) 对梯度指纹质量存在一定依赖

域嵌入的质量取决于 support set 诱导出的梯度指纹是否稳定。如果 support 数量过少、类别采样不均衡，或者标签中存在噪声，那么一步梯度可能不足以准确反映该图的真实域属性，从而影响后续的 feature / label alignment 效果。虽然论文实验表明在 5-shot 场景下已经较稳定，但这一机制在更极端的小样本设定下可能更敏感。

3) 预训练任务覆盖仍有限

论文主训练仍以节点分类图为核心，因此虽然在边级任务上也能取得不错结果，但并不是所有边分类设置都达到最优。论文结果也表明：若进一步加入 link 相关预训练，性能还有继续提升空间。这说明 MF-GIA 的 foundation 能力是有潜力的，但目前的预训练任务覆盖还不够全面。

4) 方法链路较长，工程复杂度不低

整个框架包含：

因此，它不是一个极简模型，而是一个带有较完整推理流水线的系统。虽然每个模块本身不一定特别重，但组合起来后，工程实现复杂度、调参成本，以及面向更大规模图时的时延与内存开销，仍值得进一步评估。

5) “无模态”提升了适用性，但也可能牺牲部分原始语义信息

MF-GIA 的优势在于无需依赖原始模态，但反过来看，如果某些任务中原始文本/图像本身包含非常关键的高层语义，仅使用预编码图特征可能会损失一部分信息。因此，这种 modality-free 设定更像是在“模态不可得”条件下提供了一个很实用的解决方案，但未必总是比充分利用原始模态更优。