特征交叉用于召回和排序阶段。
特征交叉01：Factorized Machine (FM) 因式分解机
线性模型对输入的特征取加权和，作为对目标的预估。如果先做特征交叉，再用线性模型，通常可以取得更好的效果。如果做二阶特征交叉，那么参数量为O(特征数量平方)，计算量大，而且容易造成过拟合。因式分解机（Factorized Machine, FM）用低秩矩阵分解的方式降低参数量，加速计算。任何可以用线性模型（比如线性回归、逻辑回归）解决的问题，都可以用 FM 解决。
线性模型的特征xi之间没有交叉，只是简单的加法，没有乘法。
二阶交叉特征：如果d很大，复杂度就太高了，计算代价太大，所以需要一种低复杂度的特征交叉方法，关键在于优化uij这个矩阵。
特征交叉02：DCN 深度交叉网络
Deep & Cross Networks (DCN) 译作“深度交叉网络”，用于代替传统的全连接网络。可以用于召回双塔模型、粗排三塔模型、精排模型。DCN 由一个深度网络和一个交叉网络组成，交叉网络的基本组成单元是交叉层 (Cross Layer)。这节课最重点的部分就是交叉层。
交叉层 (Cross Layer)
深度交叉网络
特征交叉03：LHUC (PPNet)
LHUC 这种神经网络结构，只用于精排。LHUC 的起源是语音识别，后来被应用到推荐系统，快手将其称为 PPNet，现在已经在业界广泛落地。 遗漏一个细节：将LHUC用于推荐系统，门控神经网络（2 x sigmoid）的梯度不要传递到用户ID embedding特征，需要对其做 stop gradient。 参考文献： 1. Pawel Swietojanski, Jinyu Li, & Steve Renals. Learning hidden unit contributions for unsupervised acoustic model adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2016. 2. 快手落地万亿参数推荐精排模型，2021。
特征交叉04：SENet 和 Bilinear 交叉
1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。
2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。
Filed间特征交叉
双线性（bilinear）特征交叉：
