重排01：物品相似性的度量、提升多样性的方法

推荐系统中的多样性。如果多样性做得好，可以显著提升推荐系统的核心业务指标。这节课的内容分两部分： 1. 物品相似性的度量。可以用物品标签或向量表征度量物品的相似性。最好的方法是基于图文内容的向量表征，比如 CLIP 方法。 2. 提升多样性的方法。在推荐的链路上，在粗排和精排的后处理阶段，综合排序模型打分和多样性分数做选择。

为了提升物体的多样性，首先要度量两个物品有多相似。

基于物品属性标签计算相似度：

基于物品向量表征：基于图文内容的向量表征

用下面的方法不好训练，因为需要人工标注，因此一般采用cilp的方法。

提升多样性的方法:

重排02：MMR 多样性算法（Maximal Marginal Relevance）

推荐系统和搜索引擎重排中常用的 Maximal Marginal Relevance (MMR)，它根据精排打分和物品相似度，从 n 个物品中选出 k 个价值高、且多样性好的物品。这节课还介绍滑动窗口 (sliding window)，它可以与 MMR、DPP 等多样性算法结合，实践中滑动窗口的效果更优。

选择R中MR最高的放入集合S中。

参考文献： Carbonell and Goldstein. The use of MMR, diversity-based reranking for reordering documents and producing summaries. In ACM SIGIR Conference on Research and Development in Information Retrieval, 1998.

重排03：业务规则约束下的多样性算法

推荐系统有很多业务规则，比如不能连续出多篇某种类型的物品、某两种类型的物品笔记间隔多少。这些业务规则应用在重排阶段，可以与 MMR、DPP 等多样性算法相结合。

重排04：DPP 多样性算法

行列式点过程 (determinantal point process, DPP) 是一种经典的机器学习方法，在 1970’s 年代提出，在 2000 年之后有快速的发展。DPP 是目前推荐系统重排多样性公认的最好方法。 DPP 的数学比较复杂，内容主要是超平行体、超平行体的体积、行列式与体积的关系。

参考文献： Chen et al. Fast greedy map inference for determinantal point process to improve recommendation diversity. In NIPS, 2018.

行列式等价于体积，因此用行列式的值来衡量物品的多样性。

DPP及其再推荐系统重排中的应用。求解DPP是比较困难的，需要计算行列式很多次，而计算行列式需要矩阵分解，代价很大。这节课介绍Hulu论文中的算法，可以用较小的代价求解DPP。 参考文献： Chen et al. Fast greedy map inference for determinantal point process to improve recommendation diversity. In NIPS, 2018.

行列式等价于体积，因此用行列式的值来衡量物品的多样性。

求解DPP：

行为序列01：用户历史行为序列建模

用户最近 n 次(top n)点击、点赞、收藏、转发等行为都是推荐系统中重要的特征，可以帮助召回和排序变得更精准。这节课介绍最简单的方法——对用户行为取简单的平均，作为特征输入召回、排序模型。

多目标排序模型：

这里 用户历史行为序列 就是指用户特征中的last n序列特征。

以用户点击过的last n的物品为例 ，对这n个物品id和其他特征用embedding做嵌入，获得相应的n个向量，对这n个向量取平均得到最终的向量。

这里对Last N个向量只是简单的做一下平均，也有更高级的做法，比如基于attention注意力。后面会提到 Last N 不同的序列建模方法。

行为序列02：DIN模型（注意力机制）

上节课介绍了用户的 LastN 序列特征。这节课介绍 DIN 模型，它是对 LastN 序列建模的一种方法，效果优于简单的平均。DIN 的本质是注意力机制（attention）。DIN 是阿里在 2018 年提出的，有兴趣的话可以阅读下面的参考文献。

什么是候选物体：对于精排模型来说，粗排模型输出的几百个物体就是候选物体。

行为序列03：SIM模型（长序列建模）

SIM 模型，它的主要目的是保留用户的长期兴趣。SIM 的原理是对用户行为序列做快速筛选，缩短序列长度，使得DIN可以用于长序列。

参考文献： Qi et al. Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction. In CIKM, 2020.

特征交叉用于召回和排序阶段。

特征交叉01：Factorized Machine (FM) 因式分解机

线性模型对输入的特征取加权和，作为对目标的预估。如果先做特征交叉，再用线性模型，通常可以取得更好的效果。如果做二阶特征交叉，那么参数量为O(特征数量平方)，计算量大，而且容易造成过拟合。因式分解机（Factorized Machine, FM）用低秩矩阵分解的方式降低参数量，加速计算。任何可以用线性模型（比如线性回归、逻辑回归）解决的问题，都可以用 FM 解决。

线性模型的特征xi之间没有交叉，只是简单的加法，没有乘法。

二阶交叉特征：如果d很大，复杂度就太高了，计算代价太大，所以需要一种低复杂度的特征交叉方法，关键在于优化uij这个矩阵。

特征交叉02：DCN 深度交叉网络

Deep & Cross Networks (DCN) 译作“深度交叉网络”，用于代替传统的全连接网络。可以用于召回双塔模型、粗排三塔模型、精排模型。DCN 由一个深度网络和一个交叉网络组成，交叉网络的基本组成单元是交叉层 (Cross Layer)。这节课最重点的部分就是交叉层。

交叉层 (Cross Layer)

深度交叉网络

特征交叉03：LHUC (PPNet)

LHUC 这种神经网络结构，只用于精排。LHUC 的起源是语音识别，后来被应用到推荐系统，快手将其称为 PPNet，现在已经在业界广泛落地。 遗漏一个细节：将LHUC用于推荐系统，门控神经网络（2 x sigmoid）的梯度不要传递到用户ID embedding特征，需要对其做 stop gradient。 参考文献： 1. Pawel Swietojanski, Jinyu Li, & Steve Renals. Learning hidden unit contributions for unsupervised acoustic model adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2016. 2. 快手落地万亿参数推荐精排模型，2021。

特征交叉04：SENet 和 Bilinear 交叉

1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。

2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。

Filed间特征交叉

双线性（bilinear）特征交叉：

课件地址：https://github.com/wangshusen/RecommenderSystem

结合小红书的业务场景和内部实践，讲解主流的工业界推荐系统技术。

主要内容：

排序01：多目标模型

第一部分是模型结构。模型把用户特征、物品特征、统计特征、场景特征作为输入，输出对多个指标的预估。 第二部分内容是降采样和校准。在实际的推荐系统中，正负样本的比例严重不平衡，负样本数量远多于正样本，因此需要对负样本做降采样。以点击率为例，对负样本做降采样会导致模型高估点击率，因此需要用公式做校准。

粗排和精排用到的方法都差不多，但精排的模型比较大，因此需要先用粗排模型从几千篇笔记中选择几百篇用于精排。

用户点击以后才会出现点赞、收藏和转发行为：

排序的依据是笔记的点击率、点赞率、收藏率、转发率等多种分数。

多目标模型：

模型输出某个用户对于某篇笔记的预估点赞率、点击率、收藏率以及转发率。

训练：类别不平衡。

预估值校准

排序02：多目标排序模型的改进MMoE

Multi-gate Mixture-of-Experts (MMoE) 是一种多目标排序模型。MMoE 用多个独立的塔提取特征，并对多塔提取的特征向量做加权平均，然后送入多头。MMoE 的训练容易出现极化现象（polarize），可以用 dropout 解决。

这里假设神经网络的目标只有点击率和点赞率这两个目标，因此只需要两组权重：p和q

极化现象：softmax函数导致

极化解决方法：

排序03：预估分数的融合

前面通过MMoE获得了点赞、点击、转发率等指标的预估值，得到这些指标之后，需要将它们融合成一个分数。这节课介绍工业界常用的几种融分公式。

用预估的视频时长做排序，用排名来计算得分：

排序04：视频播放建模

视频播放的建模主要有两个目标：视频播放时长、视频完播率。这节课讨论如何在多目标排序模型添加与播放时长、完播率相关的预估任务。

视频越长，完播率越低：

排序05：排序模型的特征

推荐系统中的排序模型需要用户画像、物品画像、统计特征、场景特征。

排序06：粗排的三塔模型

粗排三塔模型，它介于前期融合的双塔模型和后期融合的精排模型之间。用户塔可以很大，因为它只需要做1次推理。物品塔可以比较大，因为物品塔的输出可以缓存在PS。交叉塔必须很小，如果有n个物品，交叉塔需要做n次推理。三塔模型的计算量主要是上层的全连接层。

召回01：基于物品的协同过滤（ItemCF）

Item Based Collaborative Filtering，缩写 ItemCF

ItemCF 的原理：如果用户喜欢物品1，而且物品1与物品2相似，那么用户很可能喜欢物品2。

1. 如何计算两个物品之间的相似度。

2. 如何预估用户对候选物品的兴趣。

3. 如何利用索引在线上快速做召回。

ItemCF的实现

两个物体的受众重合度越高，表示两个物体越相似。

ItemCF完整流程：

step1：事先做离线计算

step2 线上做召回：

为什么要用索引：

召回02：Swing召回通道

ItemCF ：（缺点）

Swing模型：（为用户设置权重）

召回03：基于用户的协同过滤（UserCF）

UserCF 的原理：如果用户1跟用户2相似，而且用户2喜欢某物品，那么用户1很可能喜欢该物品。

关键：1. 如何计算两个用户之间的相似度。 2. 如何预估用户对候选物品的兴趣。 3. 如何利用索引在线上快速做召回。

用户相似度：

如果是热门物体，那么大概率两个用户都会喜欢，因此需要降低热门物体的权重：

UserCF召回的完整流程

step1：离线计算

step2：线上做召回

召回04： 向量召回 ，离散特征处理

one-hot encoding (独热编码) 和 embedding (嵌入)

召回05： 向量召回 ，矩阵补充、最近邻查找

矩阵补充（matrix completion），它是一种向量召回通道。矩阵补充的本质是对用户 ID 和物品 ID 做 embedding，并用两个 embedding 向量的内积预估用户对物品的兴趣。值得注意的是，矩阵补充存在诸多缺点，在实践中效果远不及双塔模型。 做向量召回需要做最近邻查找（nearest neighbor search）。

用绿色的信息做训练，来预测灰色的值，进而为用户做召回

近似最近邻查找：

step1：划分区域

step2：用一个向量表示但各区域，给定一个物体，则返回所在的区域的物体

step3：只需计算该区域所在的相似度。

召回06:双塔模型:矩阵补充的升级版

双塔模型（two-tower）也叫 DSSM，是推荐系统中最重要的召回通道，没有之一。双塔模型有两个塔：用户塔、物品塔。两个塔各输出一个向量，作为用户、物品的表征。两个向量的内积或余弦相似度作为对兴趣的预估。有三种训练双塔模型的方式：pointwise、pairwise、listwise。

双塔模型训练：

pointwise：

pariwise：

listwise：

召回07：双塔模型–正负样本选择

双塔模型（two-tower，也叫 DSSM）正负样本的选取。正样本是有点击的物品。负样本是被召回、排序淘汰的物品，分为简单负样本和困难负样本。

负样本：

简单负样本：Batch内负样本

热门样本成为负样本的概率过大，解决办法：

困难负样本：

召回08：双塔模型的线上服务和模型更新

在开始线上服务之前，需要把物品向量存储到Milvus、Faiss、HnswLib这类向量数据库，供最近邻查找（KNN 或 ANN）。当用户发起推荐请求时，用户塔用用户ID和用户画像现算一个用户向量，作为query，去向量数据库中做最近邻查找。

模型需要定期做更新，分为全量更新（天级别）和增量更新（实时）。全量更新会训练整个模型，包括embedding和全连接层。而增量更新只需要训练embedding层。

模型更新：

全量更新：跟新用户和物体向量

增量更新：每隔几小时实现用户模型更新

为什么需要这个：用户的兴趣可能会随时改变，因此需要随时做用户的更新，且只更新用户embedding参数，其他参数不需要更新。

注意：每天的全量更新是基于昨天的全量更新后的模型进行训练的。

问题：能否只做增量更新，不做全量更新

召回09：双塔模型的改进–自监督学习

改进双塔模型的方法，叫做自监督学习（self-supervised learning），用在双塔模型上可以提升业务指标。这种方法由谷歌在2021年提出，工业界（包括小红书）普遍验证有效。

长尾效应：

参考文献： Tiansheng Yao et al. Self-supervised Learning for Large-scale Item Recommendations. In CIKM, 2021.

自监督学习：

对物品进行不同的特征变换得到的特征向量同类之间尽可能的相同，不同物体之间尽可能不同。

特征变换方法：

1、Random Mask

2、Dropout

3、互补特征

最好的办法 ：Random mask（将一组相关联的特征全部mask）

召回10：其他召回通道

地理位置召回包括GeoHash召回和同城召回。作者召回包括关注作者、有交互作者、相似作者。缓存召回是储存精排打分高、而且未曝光的笔记。

6个其他召回通道：