【论文阅读】DisenPOI: Disentangling sequential and geographical influence for point-of-interest recommendation

Metadata

authors:: Yifang Qin, Yifan Wang, Fang Sun, Wei Ju, Xuyang Hou, Zhe Wang, Jia Cheng, Jun Lei, Ming Zhang
container:: Proceedings of the sixteenth ACM international conference on web search and data mining
year:: 2023
DOI:: 10.1145/3539597.3570408
rating:: ⭐⭐⭐⭐
share:: true
comment:: 分别建立序列图和地理图进行聚合，并使用自监督进行解构处理。

前言

2023 年，WSDM 的一篇论文：DisenPOI: Disentangling sequential and geographical influence for point-of-interest recommendation

问题描述

分别给定用户集合 $\mathcal{U} = \{ u_1, u_2, \cdots, u_{\vert \mathcal{U} \vert} \}$ 以及 POI 集合 $\mathcal{V} = \{ v_1, v_2, \cdots, v_{\vert \mathcal{V} \vert} \}$ ，其中每个位置 $v_i$ 都有一个对应的 $(lat, lon)$ 坐标相关联。

（check-in）一个 check-in 可以表示为 $c=(u,v,t)$ ，即用户 $u$ 在 $t$ 时刻访问地点 $v$ 。

（user trajectory）用户轨迹是由特定用户的一系列时间顺序的签到记录来定义的，即 $T_{u_i} = \{ c_1, c_2, \cdots, c_m \}$ 。

（next POI recommendation）给定知识图 $\mathcal{G}$ ，每个用户 $u_i$ 的的活动轨迹 $T_{u_i}$ ，预测用户 $u_i$ 最可能去的 POI top- $k$ 。

OverView

论文认为「序列影响」和「地理影响」这两个在 POI 推荐中非常重要的因素应该是平等的，是 POI 推荐的两个主要驱动力。以前的研究并没有对这两种因素进行区分，没有明确捕获用户偏好中的序列影响和地理影响。

面对用户偏好的双重影响，论文想要通过解耦的方式对两种因素进行更精细粒度的描述。论文提出了 DisenPOI，对顺序关系和地理位置进行建模，并构建了两个解耦的 POI 图：「基于空间亲和力的地理图」和「基于交互历史的序列图」，通过距离感知和序列感知的 GNN 进行特征提取，以自监督的方式进行图的解构。

论文的主要贡献如下：

根据用户的访问交互构造对偶图，以联合利用序列和地理关系，分别为两个图设计序列和地理感知传播方案，以提高 embedding 质量。
提出提取序列和地理影响的解耦表示。这是第一个基于图的 POI 推荐框架，可以得到解耦的序列和地理表示。

主要内容

模型整体结构如下图所示：

简单说一下模型的整体思路：经过 Embedding 层之后，分别建立序列图和地理图，并使用两个聚合模块进行聚合，在 Target Attention 层中提取偏好信息，同时引入了一个辅助损失函数来帮助获取解构的信息。

Two Disentangled Graphs

Geographical Graph

地理位置图是根据 POI 建立的一张无向图 $\mathcal{G}_g = \{ \mathcal{V}, \varepsilon_g, A_g \}$ ，若 $v_i$ 和 $v_j$ 之间的距离小于阈值 $\Delta$ ，那么则用边 $e_g = (v_i, v_j) \in \varepsilon_g$ 表示。边权重矩阵 $A_g(i,j)$ 记录 POI $v_i$ 和 $v_j$ 之间的距离。建立图 $\mathcal{G}_g$ 是基于用户通常会访问距离较近的 POI。

Sequential Graph

根据访问序列建立序列图 $\mathcal{G}_{s,u} = \{ \mathcal{V}_{s,u}, \varepsilon_{s,u} \}$ ，其中 $s_u$ 为用户历史访问轨迹，边 $e_s = \langle v_i, v_j \rangle \in \mathcal{G_s}$ 表示存在 $v_i$ 到 $v_j$ 的转移关系。

Propagation on Disentangled Graphs

Geographical Graph Propagation Layer

论文使用 GNN 对地理图 $\mathcal{G}_g$ 进行聚合：

$m_{j\leftarrow i}^{(l)} = f_d(h_i^{(l-1)}, h_j^{(l-1)})$

其中 $f_d(\cdot)$ 为消息传播函数， $l$ 为循环层数。为了更好地表现地理位置信息，论文的传播函数中加入了距离信息：

$m_{j \leftarrow i}^{(l)} = \frac{1}{\sqrt{\vert \mathcal{N}_i \vert \vert \mathcal{N}_j \vert}}(W_1^{(l)}h_i^{(l-1)} + w(d_{ij})W_2^{(l)}h_{i}^{(l-1)} \odot h_{j}^{(l-1)})$

其中 $W_1, W_2 \in \mathbb{R}^{D\times D}$ 为可学习参数矩阵， $w(d_{ij}) = e^{-d_{i,j}^2}$ 表示 $v_i$ 和 $v_j$ 的距离信息。最终的消息传播函数为：

$h_{j}^{(l)} = \text{LeakyReLU}(m_{j \leftarrow i} + \sum_{i\in\mathcal{N}_u} m_{j \leftarrow i})$

经过 $L$ 层传播之后，得到地理位置编码的 POI 表示：

$H_g = [h_1^{(L)}; h_2^{(L)}; \cdots; h_{\vert\mathcal{V}\vert}^{(L)}]$

对于具有签到历史 $s_u$ 的用户 $u$ ，论文假设他/她的地理偏好可以通过聚合他/她的签到历史中 POIs 的高级地理邻居来捕获。

Sequential Graph Propagation Layer

另一方面，用户访问序列不仅包含了用户对 POI 的偏好，还包含了用户的兴趣的演变历史，这暗示了用户对下一个 POI 访问的倾向。根据顺序关系图 $\mathcal{G}_{s,u}$ ，论文使用Gated Graph Neural Networks (GGNNs)进行聚合：

$\begin{aligned} h_v^{(1)} &= [x_i^\top, 0]^\top \\ a_v^t &= A_v^\top [h_1^{(t-1)\top}, \cdots, h_{\vert\mathcal{V}\vert}^{(t-1)\top}]^\top + b \\ z_v^t &= \sigma(W^z a_v^{(t)} + U^z h_v^{(t-1)}) \\ r_v^t &= \sigma(W^r a_v^{(t)} + U^r h_v^{(t-1)}) \\ \widetilde{h_v^{(t)}} &= \tanh(W_o a_v^{(t)} + U_o(r_v^t \odot h_v^{(t-1)})) \\ h_v^{(t)} &= (1 - z_v^t) \odot h_v^{(t-1)} + z_v^t \odot \widetilde{h_v^{(t)}} \end{aligned}$

简单去了解了一下 GGNN，主要特点在于使用 GRU 单元，并且将循环展开层数固定为 $T$ ，上面的公式中， $z_v^t$ 和 $r_v^t$ 可以理解为 update gate 和 reset gate。

最后得到顺序关系编码的 POI 表示：

$H_{s,u} = [h_{u,1}^{(t)}, h_{u,2}^{(t)}, \cdots, h_{u, \vert s_u\vert}^{(t)}]$

Soft-attention Mechanism

在对用户访问序列中构建的两个图进行编码后，论文引入了一种软注意机制，根据当前目标 POI $v_t$ 更好地聚合编码。对于地理图表示 $H_{g,u} = [h_1, h_2, \cdots, h_{\vert s_u\vert}]$ ，使用 $v_t$ 对应的隐藏层表示 $h_t$ 作为 query：

$\begin{aligned} w_i &= \alpha_g^\top \sigma(Q_gh_t + K_gh_i) \\ e_{g,u} &= \sum_{i=1}^{\vert s_u \vert} w_ih_i \end{aligned}$

其中 $\alpha$ 表示 sigmoid 函数， $Q_g,K_g\in\mathbb{R}^{D\times D}$ 分别为 query 和 key。类似地，对于 $H_{s,u} = [h'_1, h'_2, \cdots, h'_{\vert s_u\vert}]$ ，使用 $v_t$ 对应的初始化 Embedding 表示 $x_t$ 作为 query：

$\begin{aligned} w'_i &= \alpha_s^\top \sigma(Q_sx_t + K_sh'_i) \\ e_{s,u} &= \sum_{i=1}^{\vert s_u \vert} w'_ih'_i \end{aligned}$

Self-supervised Disentanglement

由于序列效应和地理效应对相邻访问的 POI 有不同的影响，因此必须将 $e_{g,u}$ 和 $e_{s,u}$ 这两种表示相互分离。具体来说，论文使用两个 readout 函数处理图传播层的输出。论文选择均值池作为 readout 函数，分别得到带有地理位置偏好的 $p_{g,u}$ 和带有用户历史兴趣偏好的 $p_{s,u}$ 。

$\begin{aligned} p_{g,u} &= \text{READOUT}(\{ x_j \vert v_j \in \mathcal{N}_{s_u} \}) = \frac{1}{\sum_{v_i\in s_u}\vert\mathcal{N}_i\vert} \sum_{v_i\in s_u} \sum_{v_j \in \mathcal{N}_i} x_j \\ p_{s,u} &= \text{READOUT}(\{ x_i \vert v_i \in s_u \}) = \frac{1}{\vert s_u \vert} \sum_{v_i \in s_u} x_i \end{aligned}$

接着为每个解构表示设计投影头，映射到另一个空间，获得不同方面的信息：

$\begin{aligned} e'_{g,u} &= \text{proj}_g(e_{g,u}), p'_{g,u} = \text{proj}_g(p_{g,u}) \\ e'_{s,u} &= \text{proj}_s(e_{s,u}), p'_{s,u} = \text{proj}_g(p_{s,u}) \end{aligned}$