EmoryHuang's Blog

【论文阅读】Modeling Spatio-temporal Neighbourhood for Personalized Point-of-interest Recommendation Metadata authors:: Xiaolin Wang, Guohao Sun, Xiu Fang, Jian Yang, Shoujin Wang container:: Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence year:: 2022 DOI:: 10.24963/ijcai.2022/490 rating:: ⭐⭐⭐ share:: false comment:: 强调用户偏好，通过构建 TKG 图，以时间片的形式聚合 K 个用户/场所的邻居信息并打分，以此作为抽象表示。亮点主要在于聚合用户/场所邻居的方法。 前言 刚出炉的 IJCAI 2022 的一篇论文：Modeling Spatio-temporal Neighbourhood for Pe ...

【论文阅读】STAN: Spatio-Temporal Attention Network for Next Location Recommendation Metadata authors:: Yingtao Luo, Qiang Liu, Zhaocheng Liu container:: Proceedings of the Web Conference 2021 year:: 2021 DOI:: 10.1145/3442381.3449998 rating:: ⭐⭐⭐ share:: false comment:: 通过双层Attention的方式，对Attention公式进行修改，聚合时间以及距离信息。通过线性插值代替 GPS 网格进行空间/时间离散化。 前言 仍然是 POI 推荐的一篇论文。 2021 年 WWW 上的一篇论文：STAN: Spatio-Temporal Attention Network for Next Location Recommendation Overview 现有问题： 没有充分考虑非相邻位置和非相邻访问之间的相关性； 采用空间离散化分层 ...

Time2Vec 的理解与简单实现 前言 Time2Vec 从其名字就可以看出其功能，将时间进行 Embedding，并且能够应用于不同的模型。 2019 年的一篇论文：Time2Vec: Learning a Vector Representation of Time Time2Vec Time2Vec 的设计主要基于以下几个方面： 捕获周期性和非周期性模式 对时间缩放不变 易于与其他模型融合 Time2Vec 的公式并不复杂： t2v(τ)[i]={ωiτ+φi,if i=0.F(ωiτ+φi),if 1≤i≤k.\mathbf{t2v}(\tau)[i]=\begin{cases}\omega_i\tau+\varphi_i, &\text{if }i=0. \\ \mathcal{F}(\omega_i\tau+\varphi_i), &\text{if }1\leq i\leq k. \end{cases} t2v(τ)[i]={ωi​τ+φi​,F(ωi​τ+φi​),​if i=0.if 1≤i≤k.​ 其中kkk为 time2vec 的维度，F\ma ...

【论文阅读】GETNext: Trajectory Flow Map Enhanced Transformer for Next POI Recommendation Metadata authors:: Song Yang, Jiamou Liu, Kaiqi Zhao container:: Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval year:: 2022 DOI:: 10.1145/3477495.3531983 rating:: ⭐⭐️⭐️ share:: false comment:: 论文的主干网络仍然是 Transformer，通过构建 POI 之间的转移权重图（trajectory flow map）并通过 GCN 进行 POI Embedding；最后，又同时预测 POI、时间、类别，加强了损失函数。 前言 Next POI 推荐是根据用户的当前状态和历史信息，预测用户近期的动向，为用户 ...

聊一聊损失函数 前言 损失函数，具体来说就是计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。下面主要介绍一些常见的损失函数：均方差损失函数和交叉熵损失函数。 均方差损失函数 均方误差损失（Mean Square Error，MSE）又称为二次损失、L2 损失，常用于回归预测任务中。均方误差函数通过计算预测值和实际值之间距离（即误差）的平方来衡量模型优劣。即预测值和真实值越接近，两者的均方差就越小。 均方差函数常用于线性回归(linear regrWession)，即函数拟合(function fitting)。公式如下： loss=12(a−y)2(单样本)loss = {1 \over 2}(a-y)^2 \tag{单样本} loss=21​(a−y)2(单样本) J=12m∑i=1m(ai−yi)2(多样本)J=\frac{1}{2m} \sum_{i=1}^m (a_i-y_i)^2 \tag{多样本} J=2m1​i=1∑m​(ai​−yi​)2(多样本) 均方差函数比较简单，也较为常见，这里就不多说了。 交叉熵损失函数 交叉熵（Cros ...

【论文阅读】Geography-Aware Sequential Location Recommendation Metadata authors:: Defu Lian, Yongji Wu, Yong Ge, Xing Xie, Enhong Chen container:: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining year:: 2020 DOI:: 10.1145/3394486.3403252 rating:: ⭐⭐⭐ share:: true comment:: 创新主要在于地理位置信息编码，将 GPS 信息转化为网格，再对 quadkey 进行编码，损失函数部分加上负样本概率对负样本进行加强。 前言 顺序位置推荐在许多应用中发挥着重要作用，如移动性预测、路线规划和基于位置的广告。它不但可以提高用户体验，增加用户粘性，还能为商家带来潜在的商业利益，已成为推荐系统中最重要的研究方向之一。 一篇 2020 年 KDD ...

简单理解图神经网络 GNN 前言 图神经网络（Graph Neural Networks，GNN）最早由The Graph Neural Network Model(Gori et al., 2005)提出。近年来，深度学习领域关于图神经网络的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。 本文主要介绍图神经网络的基本原理，通过简单的方式理解 GNN, GCN 是如何工作的，尽量把原理说清楚。 Overview 总的来说，GNN 就是做了这么一件事情：利用图的节点信息去生成节点（图）的 Embedding 表示。 Graph Neural Network(GNN) 既然是 Graph，那么我们的数据就是一张图： 其中hA,hB,hC,hD,hEh_A, h_B, h_C, h_D, h_EhA​,hB​,hC​,hD​,hE​分别是节点A,B,C,D,EA, B, C, D, EA,B,C,D,E的所包含的信息，你也可以简单理解为是这个节点的特征。 GNN 可分为三步：1. 聚合；2. 更新；3. 循环。 首先是聚合。通过观察上面的图我们可以发现，节点AAA有三 ...

【论文阅读】DynaPosGNN: Dynamic-Positional GNN for Next POI Recommendation Metadata authors:: Junbeom Kim, Sihyun Jeong, Goeon Park, Kihoon Cha, Ilhyun Suh, Byungkook Oh container:: 2021 International Conference on Data Mining Workshops (ICDMW) year:: 2021 DOI:: 10.1109/ICDMW53433.2021.00012 rating:: ⭐⭐ share:: true comment:: 模型完全采用 GNN 进行 Embedding，同时待预测 POI 的访问时间也作为参数进行输入，与传统的 POI 预测问题有些出入。 前言 随着基于位置的社交网络（Location-Based Social Network）的快速发展， 海量的签到数据被用于挖掘用户的行为模式以实现兴趣点（Point-of-Interest） 推荐。 兴趣点推荐不但可 ...

【论文阅读】ALBERT: A lite BERT for self-supervised learning of language representations Metadata authors:: Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut container:: International conference on learning representations year:: 2019 DOI:: rating:: ⭐⭐⭐⭐ share:: false comment:: 针对BERT模型进行简化之后的ALBERT 前言 在 BERT 提出之后，各种大体量的预训练模型层出不穷，在他们效果不断优化的同时，带来的是巨大的参数量和漫长的训练时间。当然对于这个问题，也有大量的研究。ALBERT是谷歌在 BERT 基础上设计的一个精简模型，主要为了解决 BERT 参数过大、训练过慢的问题。 Overview 整体模型的架构还是与 BERT 相同，使用 ...

【论文阅读】Attention is all you need Metadata authors:: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, Illia Polosukhin container:: Advances in neural information processing systems year:: 2017 DOI:: rating:: ⭐⭐⭐⭐⭐ share:: false comment:: 经典不解释 前言 Transformer 是谷歌在 2017 年底发表的论文 Attention Is All You Need 中所提出的 seq2seq 模型，Transformer 的提出也给 NLP 领域带来了极大震动。现如今，不少模型还是以 Transformer 作为特征抽取机制 ，比如 BERT 就是从 Transformer 中衍生出来的预训练语言模型。 Overview Transformer 完 ...