admin管理员组文章数量:1589973
最近阅读了Jure组的工作,是关于时序交互图的JODIE模型,所思所想写在这篇文章中,如果有愿意讨论的伙伴可以评论或者私聊我指出我的问题。
Abstract
作者在摘要部分提出处理有顺序的交互是一个十分重要的话题,这应用于包括电商,社交网络,教育等多个领域。其中最重要的一点就是representation learning(表示学习)——将user和item的信息都能够用欧氏空间中的向量来表示。
但是,作者指出,现阶段的论文都存在一些问题,包括有仅当user与item发生交互时才去修改其embedding,或者是未能显式地将预测的future向量展示出来(这点在后面也有所说明)。
对此,作者提出了一个JODIE模型,一个双RNN网络来学习user和item的时序向量变化,并且这个模型比之前的几个模型都更为出色,并用两个典型任务类型来解释,分别是未来交互预测和状态改变预测。作者还提出了t-Batch算法来避免一次性将整个时序序列丢入模型。
Introduction
作者使用一张Figure来展示user-item的交互图,每一个interaction都有自己的时间timestamp以及所独有的特征feature向量,特征例如“对item进行了评论”、“对item进行了支付”等等。
另外,作者列出了现有的表征学习中存在的问题
First,大部分存在的方法仅当用户发生交互行为才对向量进行改变,才改变它的embedding。这有很大的弊端,因为他忽略了时间因素。例如1个月之后的第二次交互或是1年之后的第二次交互其实本质上是不一样的,但传统方法让embedding不改变。
Second,每一个实体包括静态表征(不随时间变化)以及动态表征。更多早前的方法都只考虑了其中一个特征。
Third,更多地先前方法预测交互时,使用了每一个user交互过的所有item,这将造成线性地时间复杂度,是不高效的。
Fourth,更多模型在训练时就是将整个时序交互队列丢入模型中进行学习,这对于庞大的数据集而言,将是一种挑战,这也是后面提出t-batch的原因。
作者将JODIE分为两个部分:update operation和projection operation
其中update operation是拥有两个RNN的,用来生成user和item在每一次交互后的表征。
projection operation是在两次交互之间来预测随时间推移,造成的item和user的embedding变化。
在Introduction中,作者团队列出了所有自己的创新点
1、Embedding algorithm 2、Batching algorithm 3、Effectiveness
然后,作者就针对于模型及其中两个组件分别做了介绍。
JODIE:Joint Dynamic User-item Embedding Model
作者给出了在本文中每一个交互S的四元组架构,其中包括user(u),i(item),t(timestamp),f(feature)。
对于user和item的embedding表示,作者将其分为static特征和dynamic特征,是d维和n维的。其中静态表征是不随时间改变的,所以作者采用了one-hot向量来进行赋值。另外,在动态表征中,作者给出了trajectory的定义,是任何user/item的动态表征序列。
Embedding update operation
这张图片的上半部分作者给出了JODIE模型中的update operation,顾名思义,就是在发生交互时需要对user和item的embedding进行改变。
两个RNN是互相循环的。当一个interaction发生时,需要考虑前一秒的item embedding以及前一秒的user embedding,而这个前一秒的embedding同时会影响u(t)和i(t),所以RNN的更新公式如下:(其中▲u和▲i分别指距离上一次交互发生的时间)
作者也采用过RNN的更多变种类似于LSTM等,但发现效率反而下降,于是采用了最朴素的RNN。在这里,作者提出,传统方法往往将item的embedding作为one-hot向量来更新user的embedding值,这会有两个弊端:1、忽略了item自身的特征,仅仅包含了item的编号信息 2、当item的数量过于庞大时,one-hot的维度也会变得巨大。所以在这里的更新公式中,也采用item的动态特征作为一个输入。
Embedding projection operation
……未完待续,继续更新
本文标签: 模型论文dynamicEmbeddingTrajectory
版权声明:本文标题:论文阅读:Predicting Dynamic Embedding Trajectory inTemporal Interaction Networks(JODIE模型) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1728075867a1144464.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论