EmoryHuang's Blog

【论文阅读】Location prediction over sparse user mobility traces using RNNs: Flashback in hidden states! Metadata authors:: Dingqi Yang, Benjamin Fankhauser, Paolo Rosso, Philippe Cudre-Mauroux container:: Proceedings of the twenty-ninth international joint conference on artificial intelligence, IJCAI-20 year:: 2020 DOI:: 10.24963/ijcai.2020/302 rating:: ⭐⭐⭐ share:: false comment:: 模型主体框架为 RNN，在隐藏层更新过程中手动加入时空信息 前言 2020 年，IJCAI 论文：Location prediction over sparse user mobility traces using RNNs: Flashb ...

【论文阅读】Next Point-of-Interest Recommendation with Inferring Multi-step Future Preferences Metadata authors:: Lu Zhang, Zhu Sun, Ziqing Wu, Jie Zhang, Yew Soon Ong, Xinghua Qu container:: Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence year:: 2022 DOI:: 10.24963/ijcai.2022/521 rating:: ⭐⭐⭐ share:: false comment:: 学习目标 POI 的左右上下文信息，将用户轨迹分为历史轨迹和当前轨迹，历史轨迹使用 Transformer 用以表示未来偏好，当前轨迹使用 LSTM 学习并进行多步预测，最后整合结果。 前言 2022 年 IJCAI 的一篇论文，POI 推荐：Next Point-of-Interest ...

【论文阅读】Graph-Flashback Network for Next Location Recommendation Metadata authors:: Xuan Rao, Lisi Chen, Yong Liu, Shuo Shang, Bin Yao, Peng Han container:: Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining year:: 2022 DOI:: 10.1145/3534678.3539383 rating:: ⭐⭐⭐⭐ share:: true comment:: 构建 STKG 并设计相似度函数生成 POI 转移矩阵，利用 POI 转移矩阵对 POI 进行加强并获取用户偏好信息，模型主体框架为 RNN，同时在隐藏层更新过程中手动加入额外信息。另外几个相似度函数也是亮点。 前言 依旧是 POI 推荐方向的论文，2022KDD 最新的：Graph-Flashback Network for Next Location R ...

【论文阅读】Modeling Spatio-temporal Neighbourhood for Personalized Point-of-interest Recommendation Metadata authors:: Xiaolin Wang, Guohao Sun, Xiu Fang, Jian Yang, Shoujin Wang container:: Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence year:: 2022 DOI:: 10.24963/ijcai.2022/490 rating:: ⭐⭐⭐ share:: false comment:: 强调用户偏好，通过构建TKG图，以时间片的形式聚合K个用户/场所的邻居信息并打分，以此作为抽象表示。亮点主要在于聚合用户/场所邻居的方法。 前言 刚出炉的IJCAI 2022的一篇论文：Modeling Spatio-temporal Neighbourhood for Personal ...

【论文阅读】STAN: Spatio-Temporal Attention Network for Next Location Recommendation Metadata authors:: Yingtao Luo, Qiang Liu, Zhaocheng Liu container:: Proceedings of the Web Conference 2021 year:: 2021 DOI:: 10.1145/3442381.3449998 rating:: ⭐⭐⭐ share:: false comment:: 通过双层Attention的方式，对Attention公式进行修改，聚合时间以及距离信息。通过线性插值代替 GPS 网格进行空间/时间离散化。 前言 仍然是 POI 推荐的一篇论文。 2021 年 WWW 上的一篇论文：STAN: Spatio-Temporal Attention Network for Next Location Recommendation Overview 现有问题： 没有充分考虑非相邻位置和非相邻访问之间的相关性； 采用空间离散化分层 ...

Time2Vec 的理解与简单实现 前言 Time2Vec 从其名字就可以看出其功能，将时间进行 Embedding，并且能够应用于不同的模型。 2019 年的一篇论文：Time2Vec: Learning a Vector Representation of Time Time2Vec Time2Vec 的设计主要基于以下几个方面： 捕获周期性和非周期性模式 对时间缩放不变 易于与其他模型融合 Time2Vec 的公式并不复杂： t2v(τ)[i]={ωiτ+φi,if i=0.F(ωiτ+φi),if 1≤i≤k.\mathbf{t2v}(\tau)[i]=\begin{cases}\omega_i\tau+\varphi_i, &\text{if }i=0. \\ \mathcal{F}(\omega_i\tau+\varphi_i), &\text{if }1\leq i\leq k. \end{cases} t2v(τ)[i]={ωi​τ+φi​,F(ωi​τ+φi​),​if i=0.if 1≤i≤k.​ 其中kkk为 time2vec 的维度，F\ma ...

【论文阅读】GETNext: Trajectory Flow Map Enhanced Transformer for Next POI Recommendation Metadata authors:: Song Yang, Jiamou Liu, Kaiqi Zhao container:: Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval year:: 2022 DOI:: 10.1145/3477495.3531983 rating:: ⭐⭐️⭐️ share:: false comment:: 论文的主干网络仍然是 Transformer，通过构建 POI 之间的转移权重图（trajectory flow map）并通过 GCN 进行 POI Embedding；最后，又同时预测 POI、时间、类别，加强了损失函数。 前言 Next POI 推荐是根据用户的当前状态和历史信息，预测用户近期的动向，为用户 ...

聊一聊损失函数 前言 损失函数，具体来说就是计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。下面主要介绍一些常见的损失函数：均方差损失函数和交叉熵损失函数。 均方差损失函数 均方误差损失（Mean Square Error，MSE）又称为二次损失、L2 损失，常用于回归预测任务中。均方误差函数通过计算预测值和实际值之间距离（即误差）的平方来衡量模型优劣。即预测值和真实值越接近，两者的均方差就越小。 均方差函数常用于线性回归(linear regrWession)，即函数拟合(function fitting)。公式如下： loss=12(a−y)2(单样本)loss = {1 \over 2}(a-y)^2 \tag{单样本} loss=21​(a−y)2(单样本) J=12m∑i=1m(ai−yi)2(多样本)J=\frac{1}{2m} \sum_{i=1}^m (a_i-y_i)^2 \tag{多样本} J=2m1​i=1∑m​(ai​−yi​)2(多样本) 均方差函数比较简单，也较为常见，这里就不多说了。 交叉熵损失函数 交叉熵（Cros ...

【论文阅读】Geography-Aware Sequential Location Recommendation Metadata authors:: Defu Lian, Yongji Wu, Yong Ge, Xing Xie, Enhong Chen container:: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining year:: 2020 DOI:: 10.1145/3394486.3403252 rating:: ⭐⭐⭐ share:: true comment:: 创新主要在于地理位置信息编码，将 GPS 信息转化为网格，再对 quadkey 进行编码，损失函数部分加上负样本概率对负样本进行加强。 前言 顺序位置推荐在许多应用中发挥着重要作用，如移动性预测、路线规划和基于位置的广告。它不但可以提高用户体验，增加用户粘性，还能为商家带来潜在的商业利益，已成为推荐系统中最重要的研究方向之一。 一篇 2020 年 KDD ...

简单理解图神经网络 GNN 前言 图神经网络（Graph Neural Networks，GNN）最早由The Graph Neural Network Model(Gori et al., 2005)提出。近年来，深度学习领域关于图神经网络的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。 本文主要介绍图神经网络的基本原理，通过简单的方式理解 GNN, GCN 是如何工作的，尽量把原理说清楚。 Overview 总的来说，GNN 就是做了这么一件事情：利用图的节点信息去生成节点（图）的 Embedding 表示。 Graph Neural Network(GNN) 既然是 Graph，那么我们的数据就是一张图： 其中hA,hB,hC,hD,hEh_A, h_B, h_C, h_D, h_EhA​,hB​,hC​,hD​,hE​分别是节点A,B,C,D,EA, B, C, D, EA,B,C,D,E的所包含的信息，你也可以简单理解为是这个节点的特征。 GNN 可分为三步：1. 聚合；2. 更新；3. 循环。 首先是聚合。通过观察上面的图我们可以发现，节点AAA有三 ...