视频推荐系统为什么那么强?看了这篇文章你就知道了
发布网友
发布时间：2024-10-24 13:25
共1个回答
热心网友
时间：5分钟前
作为全球主流的视频平台，谷歌旗下的成功的关键之一是其精准的视频推荐系统。该系统有哪些亮点？它又解决了哪些问题？在RecSys 2019论文中，谷歌研究者对这些进行了详细解释。荷兰的一位数据科学家对论文内容进行了总结。
论文地址：dl.acm.org/citation.cfm?...
推荐系统解决了什么问题？
在上观看视频时，页面上会展示用户可能喜欢的视频推荐列表。该论文主要聚焦于以下两大目标：
1）优化不同的目标。他们没有定义确切的目标函数，而是将目标函数分为「参与度」（点击量、花的时间）目标和「满意度」（点赞量、踩的量）目标；
2）减少系统引入的「选择偏见」：用户通常更倾向于点开排在第一位的推荐视频，尽管后面的视频可能参与度、满意度更高。如何高效地减少这些偏见是一个亟待解决的问题。
用什么方法解决？
论文中介绍的模型着眼于两个主要的目标。他们使用了一个宽度&深度模型框架。宽度模型拥有强大的记忆能力，深度神经网络拥有泛化能力，宽度&深度模型则综合了二者的优点。宽度&深度模型会为每一个定义的（参与度和满意度）目标生成一个预测。这些目标函数可以分为二分类问题（是否喜欢某个视频）和回归问题（为视频评级）。这一模型之上还有一个单独的排序模型。这只是一个输出向量的加权组合，它们是不同的预测目标。这些权重是手动调整的，以实现不同目标的最佳性能。此外，研究者还提出了结对、列表等先进的方法，以提升模型的性能，但由于计算时间的增加，这些方法没有被应用到生产中。
在宽度&深度模型的深层部分，研究者利用了一个多任务学习模型MMoE。现有视频的特征（内容、标题、话题、上传时间等）以及正在观看的用户的信息（时间、用户配置文件等）被用作输入。MMoE模型可以在不同的目标之间高效地共享权重。共享的底层（shared bottom layer）被分为多个专家层，用于预测不同的目标。每个目标函数都有一个门函数（gate function）。这个门函数是一个softmax函数，接收来自原始共享层和不同专家层的输入。该softmax函数将决定哪些专家层对于不同的目标函数是重要的。
该模型的宽度部分致力于解决系统中由视频位置带来的选择偏见问题。研究者将该部分称为「浅塔」（shallow tower），它可以是一种简单的线性模型，使用简单的特征，如视频被点击时所处的位置、用户观看视频使用的设备等。
结果
该论文的结果表明，用MMoE替换shared-bottom层可以在参与度（观看推荐视频花费的时间）和满意度（调查反馈）两个目标中提升模型的性能。增加MMoE中的专家层数量和乘法的数量可以进一步提升模型的性能。但由于计算上的，现实部署中无法实现这一点。
进一步的研究结果表明，参与度度量可以通过使用「浅塔」降低选择偏见来加以改进。与只在MMoE模型中添加特征相比，这是一项显著的改进。
