admin管理员组文章数量:1623789
KGIN
Abstract
基于GNN的端到端模型。
现有的基于GNN的模型是粗粒度的,不能
- 在intents(意图)的细粒度级别识别user-item关系。
- 利用 关系依赖(relation dependencies) 来 保持长连接的语义(preserve the semantics of long-range connectivity)
本研究中,使用auxiliary item knowledge(辅助item知识)探索user-item交互背后的意图(intents)。提出了模型- Knowledge Graph-based Intent Network(KGIN)。
- 作者将每个intent建模为kg relations的attentive combination,鼓励不同intent的独立性。
- 此外,设计了新的GNN信息聚合方法,recursively integrates the relation sequences of long-range connectivity (relational paths)。该方案允许我们提取有关用户意图的有用信息,并将它们编码到user和item的表示中。
Keywords
- Recommendation
- Knowledge Graph
- Graph Neural Networks
1 Introduction
knowledge-aware recommendation的目标:学习user和item的高质量表示。
- Earlier works先前工作[1,4,51],从kg三元组生成embedding,作为item表示的补充。
- Some follow-on studies接下来的工作[15,44,49]增加了 多跳路径 的概念。
- 但是存在各种问题
- 需要大量特征工程[44]
- 难以用到其他领域[15,17]
- 性能不稳定[49]
- 但是存在各种问题
- More recently最近,基于GNN的端到端模型[38,39,41,47]。关键思想是利用信息聚合,用多跳邻居。
它很好,但是有不足:
- User Intents。To the best of our knowledge(据我们所知),它们没有从intent层面考虑user-item relation。一个用户通常有多个intent,驱使用户消费不同的物品。图1可以帮助理解(intent p1认为看i1与i5是因为关注r1和r2,intent p2认为看i1和i2是因为关注r2和r3)。
- Relational Paths。没有保存relation dependencies and sequencies carried by paths。因此,这种基于节点的方案不足以捕获关系之间的交互。过去的方法是Node-based Neighborhood Aggregation,不区分路径,通常用衰减因子[38,41]中建模,例如1跳,2跳,3跳。
因此本文提出了KGIN,它解决了:
- User Intent Modeling。每次的交互都有潜在的intents,intent向量可以作为KG关系的一种分布,intent embedding可以视为relation embeddings的attentive combination,重要的relations会被赋予更大的attribution scores;引入独立的constraint->用于鼓励intent之间的差异。
- Relational Path-aware Aggregation。每个relational path作为information channel,再向量化。user-intent-item triplets和KG triplets用两种aggregation策略,以便分别提取用户的行为模式和item的相关性。简而言之,这种关系建模允许我们识别有影响的intents,并将 关系依赖和路径语义 编码到表示中。
KGIN比KGAT[41],KGNN-LS[38],CKAN[47]好。
KGIN的贡献:
- 揭示了用户背后的intent
- 提出了KGIN,它在GNN范式下以更细粒度的意图和关系路径的长期语义考虑用户-项关系
2 Problem Formulation
引入了user-item interactions和kg概念,然后formulate our task。
3 Methodology
模型的工作流程:
- user intent modeling
- relational path-aware aggregation
3.1 User Intent Modeling
解释了intent存在的意义:与之前假设用户和item之间没有交互或只有一个交互,我们旨在捕捉用户行为受多种intent影响的直觉。在这里,我们将Intent定义为用户选择item的原因,这反映了所有用户行为的共性。以电影推荐为例,可能的intent是对电影属性的不同考虑,例如明星和合作伙伴的结合,或导演和类型的结合。不同的意图抽象出用户不同的行为模式。这可以通过更细粒度的假设来增强广泛使用的协作过滤[26]效果——由相似intent驱动的用户会对item有相似的偏好。这种直觉促使我们以intent的粒度对用户-item关系进行建模。
转化为intent graph(IG):假设P是所有用户共享的intent集,我们可以将统一的用户-项目关系分割为|P|个intents,并将每个(u,i)对分解为{(u,p,i) | p∈ P} 。与以往的homogeneous collaborative graph不同。
3.1.1 Representation Learning of Intents
尽管我们可以用潜在的向量来表达这些意图,但很难明确地识别每个意图的语义。一个简单的解决方案是将每个intent与KTUP[4]提出的一个KG关系相结合。然而,该解决方案仅单独考虑单个关系,而没有考虑关系的交互和组合,因此无法细化用户意图的高级概念。例如,关系r1和r2的组合对意图p1有影响,而关系r3和r4对意图p2的影响更大。因此,每个p在KG relations的分布——运用注意力策略创建intent embedding:
e
p
=
∑
r
∈
R
α
(
r
,
p
)
e
r
(1)
\mathbf{e}_{p}=\sum_{r \in \mathcal{R}} \alpha(r, p) \mathbf{e}_{r} \tag{1}
ep=r∈R∑α(r,p)er(1)
e r是relation r的id embedding,
α
\alpha
α是attention score,具体公式为
α
(
r
,
p
)
=
exp
(
w
r
p
)
∑
r
′
∈
R
exp
(
w
r
′
p
)
(2)
\alpha(r, p)=\frac{\exp \left(w_{r p}\right)}{\sum_{r^{\prime} \in \mathcal{R}} \exp \left(w_{r^{\prime} p}\right)} \tag{2}
α(r,p)=∑r′∈Rexp(wr′p)exp(wrp)(2)
w rp是relation r和intent p的训练权重。这里,为了简单起见,我们使用权重,并在未来的工作中对复杂注意力模块进行进一步探索。
注意⚠:这些attention分数是针对所有user的。
3.1.2 Independence Modeling of Intents
不同intent应该包含不同用户偏好的信息[23,24]。如果一个意图可以被其他意图推断出来,那么描述用户-项目关系可能是多余的,信息量较少;相反,具有独特信息的意图将为描述用户的行为模式提供一个有用的角度。因此,为了更好的模型容量和可解释性,我们鼓励意图的表示彼此不同。
因此引入了independence modeling,用于指导independent intents的表示。简单的方法有互信息[2]、皮尔逊相关系数[33],距离相关性[32,33,43]作为正则化。这里提供两种实现:
- Mutual information(互信息)。最小化互信息,用对比学习[7,12]。
- Distance correlation(距离相关性)。它测量任何两个变量的线性和非线性关联,当且仅当这些变量独立时,其系数为零。最小化用户意图的距离相关性使我们能够减少不同意图的依赖性,其公式如下:
上面两种方法都是用于最小化相关程度,增加intents的独立性。
3.2 Relational Path-aware Aggregation
文章先介绍了以往GNN-based recommender models[38,39,41]的neighborhood aggregation方法——结点的表示向量是通过 递归aggregating和transforming其多跳邻居 来计算的。
但node-based aggregation有两个局限性:
- aggregate通常不考虑邻居的来源(相同的结点,可能来自不同路径,但是模型只通过衰减因子来表示)
- 当前基于节点的聚合器通常通过注意网络对衰减因子中的KG关系建模[38,41,47],以控制从邻居传播多少信息。这限制了KG relations对节点表示的贡献。
因此,文章提出了relational path-aware aggregation scheme。
3.2.1 Aggregation Layer over Intent Graph
我们首先从IG中提炼协作信息。如前所述,CF effect[26]通过假设行为相似的用户会对物品有相似的偏好,从而有力地表征了用户模式。这激励我们将个人历史(即用户以前采用过的项目)视为个人用户的预先存在的特征。此外,在我们的IG中,我们可以通过假设具有相似意图的用户会对item表现出相似的偏好,从而在用户意图的粒度级别捕获更细粒度的模式。
在IG图中,用N u表示intent-aware的历史和u周围的一阶连通性。从技术上讲,我们可以集成来自历史item的intent-aware information来创建用户的表示:
e u 1是用户u的表示;f IG是描述每个first-order connection(u, p, i)的aggregator函数,文章对f IG的实现是:
e i 0是item i的id embedding;⊙表示element-wise product。
我们用两种见解:
- 给定user,不同的intents有不同的contributions to motivate their behaviors。因此,使用 β \beta β表示不同intent p的重要程度。
e u 0是user u的id embedding,为了使importance score个性化。
- 与以往研究中使用衰减因子[38,41,47]或正则化术语[41]的想法不同,我们强调了intent relations在 aggregation过程中的作用。因此,我们通过element-wise product β(u,p)*ep⊙ei 0来构造item i的信息。
因此,我们能够显式地在user representations中表达first-order intent-aware information。
3.2.2 Aggregation Layer over Knowledge Graph
然后,我们将重点放在KG的aggregation方案上。由于一个实体可以涉及多个KG三元组,因此它可以将其他连接的实体作为其属性,这反映了项目之间的内容相似性。
N i表示关于item i的属性和first-order connectivity。integrate来自连接entities的relation-aware information,生成对item i的表示:(和 e u ( 1 ) e^{(1)}_u eu(1)很像吧?)
e i 1是收集一阶连接信息后的表示。f KG是提取和整合连接(i,r,v)信息的聚合函数。
由于每个KG实体在不同的关系上下文中具有不同的语义和含义。比如Quentin是一个Django Unchained的导演,但是也是Django Unchained的演员。先前的研究[38,41,47]仅通过注意机制对衰变因子中的KG关系进行建模,以控制Quentin对Django Unchained的表示的贡献,而作者将relational context聚合器建模为:
e v 0是entity v的id embedding。对每个(i,r,v),用投影projection或旋转retation的操作建模relation[30],我们设计了关系信息er⊙ e v (0)。因此,关系信息能够揭示由三元组所携带的不同含义,即使它们[e v (0)]是相同的实体。同理,我们可以得到每个KG实体v的表示 e v ( 1 ) e_v^{(1)} ev(1)。
3.2.3 Capturing Relational Paths
之后,堆叠更多aggregation layers,收集高阶邻居的信息。技术上来讲,是递归地,在l层后user u和item i的表示为:
得益于我们的关系建模,这些表示能够存储多跳路径的整体语义,并突出关系依赖性。
假设有一条item i的l跳路径, s = i − > s 1 − > s 2 − > . . . − > s l s = i -> s1 -> s2 -> ... -> sl s=i−>s1−>s2−>...−>sl。它包含一系列连接的三元组。其关系路径仅表示为关系序列。在l跳后,item i在l层的表示可以重写为:(可以对照公式10)
N i l是item i的所有l跳路径。显然,这种表示反映了relations之间的相互作用,并保留了路径的整体语义。这与目前knowledge-aware recommenders采用的aggregation机制有很大的不同,后者忽略了KG关系的重要性,因此无法捕获关系路径。
3.3 Model Prediction
在L层后,我们得到useru和itemiat不同层的表示,然后将它们相加作为最终表示:
通过这样做,路径的intent-aware关系和KG关系dependencies被encoded到最终表示中。
然后,我们对用户和项表示使用内积来预测用户采用该item的可能性:
3.4 Model Optimization
使用BPR loss[26]。具体而言,它认为,对于给定用户,他的历史项目应该被分配比未观察到的项目更高的预测分数:
通过结合独立性损失和BPR损失,我们将下面的目标函数最小化来学习模型参数:
λ 1 , λ 2 \lambda_1, \lambda_2 λ1,λ2分别是控制independence loss和L2 regularization的超参数。
3.5 Model Analysis
略
4 Experiments
4.1.3 Alternative Baselines
- MF[26]
- CKE[51],简单地将KG嵌入到MF中
- KGNN-LS[38]
- KGAT[41]
- CKAN[47]
- R-GCN[27]
5 Related Work
基于KG推荐大致有4组:
- Embedding-based Methods[1,4KTUP,16,35CKE,37,51]
- Path-based Methods[5,15,25,31 recurrent neural network,36 RippleNet-memory network,44 recurrent neural network]
- Policy-based Methods[40,45,49PGPR,52,53]
- GNN-based Methods[17NIRec,38,39,41KGAT,47CKAN] KGIN属于它
6 Conclusions And Future Work
KGIN = relational modeling of knowledge-aware recommendation, in GNN-based methods.
在relational modeling上2点:
- 在intents里堵上解释user-item关系,并与kg关系耦合 以形成可解释的语义
- relational path-aware aggregation,聚合来自多条路径的信息。
- 目前的工作通常将kg推荐视为 有监督任务。未来将探索 自监督,通过自我监督任务生成辅助监督,揭示数据实例之间的内在关系。
- 此外,我们希望在知识感知推荐中引入因果概念,如因果效应推理、反事实推理和反解构,以发现和放大偏见[6]。
本文标签: IntentsLearningkginteractionsRecommendation
版权声明:本文标题:【kg推荐->精读】Learning Intents behind Interactions with Knowledge Graph for Recommendation 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1728890892a1178052.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论