Time2Vec 的理解与简单实现

前言

Time2Vec 从其名字就可以看出其功能，将时间进行 Embedding，并且能够应用于不同的模型。

2019 年的一篇论文：Time2Vec: Learning a Vector Representation of Time

Time2Vec

Time2Vec 的设计主要基于以下几个方面：

1. 捕获周期性和非周期性模式
2. 对时间缩放不变
3. 易于与其他模型融合

Time2Vec 的公式并不复杂：

$$\mathbf{t2v}(\tau)[i]=\begin{cases}\omega_i\tau+\varphi_i, &\text{if }i=0. \\ \mathcal{F}(\omega_i\tau+\varphi_i), &\text{if }1\leq i\leq k. \end{cases}$$

其中$k$为 time2vec 的维度，$\mathcal{F}$为周期激活函数，$\omega_i,\varphi_i$为可学习参数。为了使算法可以捕获周期性，所以$\mathcal{F}$选用$\sin$函数（$\cos$函数同样效果）捕获周期性。

PyTorch 实现

def t2v(tau, f, out_features, w, b, w0, b0, arg=None):
    if arg:
        v1 = f(torch.matmul(tau, w) + b, arg)
    else:
        v1 = f(torch.matmul(tau, w) + b)
    v2 = torch.matmul(tau, w0) + b0
    return torch.cat([v1, v2], 1)


class SineActivation(nn.Module):
    def __init__(self, in_features, out_features):
        super(SineActivation, self).__init__()
        self.out_features = out_features
        self.w0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.b0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.w = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.b = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.f = torch.sin

    def forward(self, tau):
        return t2v(tau, self.f, self.out_features, self.w, self.b, self.w0, self.b0)


class CosineActivation(nn.Module):
    def __init__(self, in_features, out_features):
        super(CosineActivation, self).__init__()
        self.out_features = out_features
        self.w0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.b0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.w = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.b = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.f = torch.cos

    def forward(self, tau):
        return t2v(tau, self.f, self.out_features, self.w, self.b, self.w0, self.b0)


class Time2Vec(nn.Module):
    def __init__(self, activation, hiddem_dim):
        super(Time2Vec, self).__init__()
        if activation == "sin":
            self.l1 = SineActivation(1, hiddem_dim)
        elif activation == "cos":
            self.l1 = CosineActivation(1, hiddem_dim)

        self.fc1 = nn.Linear(hiddem_dim, 2)

    def forward(self, x):
        x = self.l1(x)
        x = self.fc1(x)
        return x

总结

对于时间的 Embedding 怎么说呢，个人感觉其实有必要又没必要，可有可无，当然不是说时间信息不重要。论文没有仔细看，当然主要是内容也比较少，感觉对于时间、位置这些东西的处理，到底还是 sin、cos 效果会好一点？看代码的时候又看见了作者的Date2Vec，模型没怎么看懂，具体也没解释原理，有兴趣的可以看看。

参考资料

• [1] Time2Vec: Learning a Vector Representation of Time