图卷积网络(GCN) 2.3.1版本核心原理解析与实战指南

1次阅读

共计 2936 个字符，预计需要花费 8 分钟才能阅读完成。

图数据在现实世界中无处不在，从社交网络到分子结构，从推荐系统到交通网络。与传统结构化数据不同，图数据具有以下特点：

非欧几里得结构：节点间的连接关系不规则，无法用传统的网格或序列表示
动态变化性：图结构和节点属性可能随时间演变
异质性：节点和边可以具有多种类型和属性

这些特性使得传统 CNN、RNN 等神经网络难以直接应用，催生了图神经网络 (GNN) 的发展。

GCN 的核心思想是通过邻域聚合 (neighborhood aggregation) 来更新节点表示。在每一层，节点通过聚合其邻居的信息来更新自身状态：

h_i^{(l+1)} = \sigma\left(W^{(l)}\sum_{j\in\mathcal{N}(i)\cup\{i\}}\frac{1}{\sqrt{d_id_j}}h_j^{(l)}\right)

其中：
– $h_i^{(l)}$ 表示第 $l$ 层节点 $i$ 的表示
– $\mathcal{N}(i)$ 是节点 $i$ 的邻居集合
– $d_i$ 是节点 $i$ 的度(degree)
– $W^{(l)}$ 是可学习的权重矩阵
– $\sigma$ 是非线性激活函数

GCN 的理论基础来源于图信号处理中的图拉普拉斯矩阵 $L$：

L = D - A

其中 $D$ 是度矩阵，$A$ 是邻接矩阵。归一化后的拉普拉斯矩阵为：

L_{sym} = D^{-1/2}LD^{-1/2} = I - D^{-1/2}AD^{-1/2}

GCN 实际上是对图信号 (节点特征) 在谱域 (spectral domain) 进行滤波操作的一种简化实现。

模型	聚合方式	注意力机制	计算效率
GCN	均值聚合	无	高
GraphSAGE	采样 + 多种聚合函数	无	中等
GAT	基于注意力的加权聚合	有	较低

GCN 的主要优势在于实现简单、计算高效，适合作为图神经网络的基线模型。

import torch
import torch.nn as nn
import torch.nn.functional as F
from torch_geometric.nn import MessagePassing
from torch_geometric.utils import add_self_loops, degree

class GCNLayer(MessagePassing):
    def __init__(self, in_channels, out_channels):
        super(GCNLayer, self).__init__(aggr='add')  # "Add" aggregation
        self.lin = nn.Linear(in_channels, out_channels)

    def forward(self, x, edge_index):
        # Step 1: Add self-loops to the adjacency matrix
        edge_index, _ = add_self_loops(edge_index, num_nodes=x.size(0))

        # Step 2: Linearly transform node feature matrix
        x = self.lin(x)

        # Step 3: Compute normalization
        row, col = edge_index
        deg = degree(row, x.size(0), dtype=x.dtype)
        deg_inv_sqrt = deg.pow(-0.5)
        norm = deg_inv_sqrt[row] * deg_inv_sqrt[col]

        # Step 4-6: Start propagating messages
        return self.propagate(edge_index, x=x, norm=norm)

    def message(self, x_j, norm):
        # x_j has shape [E, out_channels]
        # Normalize node features
        return norm.view(-1, 1) * x_j

稀疏矩阵运算：利用 PyTorch 的稀疏张量存储邻接矩阵
```
edge_index = edge_index.to_sparse()
```

子图采样：对于大规模图，采用邻居采样或子图采样

from torch_geometric.loader import NeighborLoader
loader = NeighborLoader(data, num_neighbors=[10, 10], batch_size=32)

混合精度训练 ：使用 AMP(自动混合精度) 加速训练

from torch.cuda.amp import autocast
with autocast():
    out = model(data)

现象：深层 GCN 中所有节点表示趋向相同
解决方案：
残差连接
跳跃连接(Skip-connection)
层数不超过 3 - 4 层

使用梯度裁剪

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

数据准备(Cora 数据集)

from torch_geometric.datasets import Planetoid
dataset = Planetoid(root='/tmp/Cora', name='Cora')

模型定义

class GCN(nn.Module):
    def __init__(self, num_features, num_classes):
        super(GCN, self).__init__()
        self.conv1 = GCNLayer(num_features, 16)
        self.conv2 = GCNLayer(16, num_classes)

    def forward(self, x, edge_index):
        x = F.relu(self.conv1(x, edge_index))
        x = F.dropout(x, training=self.training)
        x = self.conv2(x, edge_index)
        return F.log_softmax(x, dim=1)

训练循环

model = GCN(dataset.num_features, dataset.num_classes)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

for epoch in range(200):
    model.train()
    optimizer.zero_grad()
    out = model(data.x, data.edge_index)
    loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])
    loss.backward()
    optimizer.step()