近期,信息学院(人工智能学院)青年教师李亚坤在知识感知推荐系统领域取得研究进展,研究成果以“Towards Knowledge-aware and Deep Reinforced Cross-Domain Recommendation over Collaborative Knowledge Graph”为题,在数据挖掘领域权威期刊《IEEE Transactions on Knowledge and Data Engineering》(CCF A类期刊,中国科学院二区,IF=8.9)上发表。
近年来,知识感知跨域推荐引起了广泛关注,并成为一种有前景的推荐方式。直观地,大多数现有的知识感知跨域推荐旨在利用来自辅域的丰富语义知识来提高稀疏目标域的用户推荐准确性。强化学习可以通过利用与环境进行持续交互的智能代理来学习推荐策略,进而实现令人瞩目的研究成果。特别地,深度强化学习可以训练一个与用户交互和反馈的推荐代理来优化推荐策略,并在基于知识图谱的推荐系统中展现了强大的表示和函数约束能力。
然而,目前将强化学习应用到实际的推荐系统中仍然存在一些挑战。例如,在线上场景中,有限的用户交互数据会显著地影响推荐性能和用户体验;推荐系统中规模巨大的项目和状态空间致使深度强化学习策略在每个下一步中都存在采样效率问题;现前推荐代理难以应对知识图谱中众多类型的关系和实体集。此外,尽管大多数现有模型都可以应用于单域推荐系统,例如序列、交互、对话和可解释的推荐场景,但研究人员还没有探索过它们在跨域推荐中的表现。
针对上述问题,该文提出了一种新的基于深度强化学习的知识感知跨域推荐模型KRCDR(示例如图1),它可以将知识图谱信息整合到强化学习框架中进行跨域推荐。这是首次尝试同时利用知识图谱和深度强化学习技术来改进跨域推荐的性能。具体地,该文将跨域推荐任务转化为知识图谱上的马尔可夫决策过程,并详细解释了跨域推荐环境下MDP的每个关键组件;然后,本文提出了一种知识感知的双状态表示方法,分别融合了来自域内和跨域相似邻居的状态表示,以有效地捕获用户偏好的奖励信号;此外,为了进一步提高探索性能,本文还设计了一种约束邻居剪枝策略以减少来自两个域的所有候选项目组成的巨大动作空间;最后,本文提出了一种具有两个输出层的自监督Actor-Critic网络模型以提高推荐准确性。为了验证提出的模型,在四个数据集上进行了广泛的实验和对比,其中主实验和消融研究的结果都表明,提出的方法能够显著地优于所有先进的基线。
(a) Case 1 (左)(a) Case 2(中) (a) Case 3(右)
图1 提出方法KRCDR推荐效果示例图
北京林业大学为论文第一共同完成单位,信息学院(人工智能学院)青年教师李亚坤为第一作者,通讯作者为合作单位的清华大学李涓子教授。
论文链接:https://ieeexplore.ieee.org/document/10505847。