文章简要说明:
这篇文章主要是针对预训练模型做图迁移任务提出的两个新的迁移方法:
1、**GSST:**针对迁移领域跨度小,任务跨度小的迁移任务,用这个简单的框架可以达到很好的效果。
给模型外挂一个MLP,让预训练模型的主干每一层的激活值都用一个可学习的参数与MLP连接起来。
2、**GMST:**针对领域跨度大,任务跨度大的迁移任务,用这个复杂的方法可以更好的应对迁移任务。
除了MLP外,还加了一个与预训练模型一样的备份模型,只是模型里面的参数是随机初始化的,这样就让预训练模型先和备份模型用一个可学习参数结合起来,再与MLP结合。
创新点
1、**输入输出桥接:**GraphBridge设计了一种输入输出桥接机制,解决了任务和领域之间输入输出维度不匹配的问题。具体来说,输入桥接(Input Bridge)通过特定的适配器(如可学习的线性层)调整输入特征的维度,而输出桥接(Output Bridge)则通过不同的任务预测头(如图分类、节点分类等)生成相应的输出。这种设计使得GraphBridge能够适应多种迁移任务。
2、**高效的图侧调优方法:**文章提出了两种侧调优方法——Graph-Scaffold-Side-Tuning (GSST) 和 Graph-Merge-Side-Tuning (GMST)。这两种方法能够通过较少的参数调整,减少训练和计算的复杂性,同时有效地提升模型在不同任务中的迁移性能:
GSST:适用于迁移任务领域跨度较小、任务跨度较小的情况。它通过将预训练模型的每一层的激活值与一个随机初始化的MLP进行融合,从而实现快速且高效的迁移学习。
GMST:适用于领域跨度大、任务跨度大的迁移任务。它通过引入一个与预训练模型相同架构但参数随机初始化的备份模型,并将其与原模型融合,从而有效地解决负迁移问题,提升在复杂迁移任务中的性能。
3、**任务-领域无关的迁移学习框架:**GraphBridge提供了一个通用的框架,可以在多个图任务和领域之间进行迁移,而无需对任务的配置或图的结构进行修改。该框架不仅能够避免负迁移问题,还能利用少量的可学习参数来适应新的任务。
不足
对知识图谱等图数据的测试尚未进行:虽然该方法在多种图任务中表现良好,但在如知识图谱这样的图数据上还未进行实验验证,因此其在特定领域的表现仍需进一步考察。
实验
文章进行了四类主要的实验,验证了GraphBridge在不同迁移任务中的有效性:
Graph2Graph:图到图的迁移,验证了模型在图分类任务中的性能。
Node2Node:节点到节点的迁移,验证了节点分类任务中的效果。
Graph2Node:图到节点的迁移,评估了跨任务迁移的能力。
Graph2Graph-like:类似Graph2Graph的任务,进一步考察了模型的适应性。
整体框架图
总结:
文章提出的 GraphBridge 框架和其创新的侧调优方法为解决跨任务、跨领域的迁移学习问题提供了一种新的思路。通过结合预训练模型和高效的侧调优,GraphBridge不仅能够减少计算资源的消耗,还能提高迁移学习的效果。然而,目前的实验主要集中在标准的图数据集上,未来还需要探索在更多领域(如知识图谱等)中的应用。