作者 | 算法进阶
摘自： 算法进阶微信公众号

数据、算法、算力是人工智能发展的三要素。数据决定了Ai模型学习的上限，数据规模越大、质量越高，模型就能够拥有更好的泛化能力。然而在实际工程中，经常有数据量太少(相对模型而言)、样本不均衡、很难覆盖全部的场景等问题，解决这类问题的一个有效途径是通过数据增强（Data Augmentation），使模型学习获得较好的泛化性能。

1 数据增强介绍

数据增强（Data Augmentation）是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。

如经典的机器学习例子–哈士奇误分类为狼：通过可解释性方法，可发现错误分类是由于图像上的雪造成的。通常狗对比狼的图像里面雪地背景比较少，分类器学会使用雪作为一个特征来将图像分类为狼还是狗，而忽略了动物本体的特征。此时，可以通过数据增强的方法，增加变换后的数据(如背景换色、加入噪声等方式)来训练模型，帮助模型学习到本体的特征，提高泛化能力。

需要关注的是，数据增强样本也有可能是引入片面噪声，导致过拟合。此时需要考虑的是调整数据增强方法，或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集，以提高模型的泛化能力。

常用数据增强方法可分为：基于样本变换的数据增强及基于深度学习的数据增强。

2 基于样本变换的数据增强

样本变换数据增强即采用预设的数据变换规则进行已有数据的扩增，包含单样本数据增强和多样本数据增强。

2.1 单样本增强

单(图像)样本增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法，可参见imgaug开源库。

2.2 多样本数据增强方法

多样本增强是通过先验知识组合及转换多个样本，主要有Smote、SamplePairing、Mixup等方法在特征空间内构造已知样本的邻域值。

• Smote

Smote(Synthetic Minority Over-sampling Technique)方法较常用于样本均衡学习，核心思想是从训练集随机同类的两近邻样本合成一个新的样本，其方法可以分为三步：

1、 对于各样本X_i，计算与同类样本的欧式距离，确定其同类的K个(如图3个)近邻样本；

2、从该样本k近邻中随机选择一个样本如近邻X_ik，生成新的样本:

Xsmote_ik =  Xi  +  rand(0,1) ∗ ∣X_i − X_ik∣  

3、重复2步骤迭代N次，可以合成N个新的样本。

# SMOTE
from imblearn.over_sampling import SMOTE

print("Before OverSampling, counts of label\n{}".format(y_train.value_counts()))
smote = SMOTE()
x_train_res, y_train_res = smote.fit_resample(x_train, y_train)
print("After OverSampling, counts of label\n{}".format(y_train_res.value_counts())) 

• SamplePairing

SamplePairing算法的核心思想是从训练集随机抽取的两幅图像叠加合成一个新的样本（像素取平均值），使用第一幅图像的label作为合成图像的正确label。

• Mixup

Mixup算法的核心思想是按一定的比例随机混合两个训练样本及其标签，这种混合方式不仅能够增加样本的多样性，且能够使决策边界更加平滑，增强了难例样本的识别，模型的鲁棒性得到提升。其方法可以分为两步：

1、从原始训练数据中随机选取的两个样本(xi, yi) and (xj, yj)。其中y(原始label)用one-hot 编码。

2、对两个样本按比例组合，形成新的样本和带权重的标签

x˜ = λxi + (1 − λ)xj  
y˜ = λyi + (1 − λ)yj  

最终的loss为各标签上分别计算cross-entropy loss，加权求和。其中 λ ∈ [0, 1]， λ是mixup的超参数，控制两个样本插值的强度。

# Mixup
def mixup_batch(x, y, step, batch_size, alpha=0.2):
    """
    get batch data
    :param x: training data
    :param y: one-hot label
    :param step: step
    :param batch_size: batch size
    :param alpha: hyper-parameter α, default as 0.2
    :return:  x y 
    """
    candidates_data, candidates_label = x, y
    offset = (step * batch_size) % (candidates_data.shape[0] - batch_size)

    # get batch data
    train_features_batch = candidates_data[offset:(offset + batch_size)]
    train_labels_batch = candidates_label[offset:(offset + batch_size)]

    if alpha == 0:
        return train_features_batch, train_labels_batch

    if alpha > 0:
        weight = np.random.beta(alpha, alpha, batch_size)
        x_weight = weight.reshape(batch_size, 1)
        y_weight = weight.reshape(batch_size, 1)
        index = np.random.permutation(batch_size)
        x1, x2 = train_features_batch, train_features_batch[index]
        x = x1 * x_weight + x2 * (1 - x_weight)
        y1, y2 = train_labels_batch, train_labels_batch[index]
        y = y1 * y_weight + y2 * (1 - y_weight)
        return x, y 

3 基于深度学习的数据增强

3.1 特征空间的数据增强

不同于传统在输入空间变换的数据增强方法，神经网络可将输入样本映射为网络层的低维向量(表征学习)，从而直接在学习的特征空间进行组合变换等进行数据增强，如MoEx方法等。

3.2 基于生成模型的数据增强

生成模型如变分自编码网络(Variational Auto-Encoding network, VAE)和生成对抗网络(Generative Adversarial Network, GAN)，其生成样本的方法也可以用于数据增强。这种基于网络合成的方法相比于传统的数据增强技术虽然过程更加复杂, 但是生成的样本更加多样。

• 变分自编码器VAE变分自编码器（Variational Autoencoder，VAE）其基本思路是：将真实样本通过编码器网络变换成一个理想的数据分布，然后把数据分布再传递给解码器网络，构造出生成样本，模型训练学习的过程是使生成样本与真实样本足够接近。

# VAE模型
class VAE(keras.Model):
    ...
    def train_step(self, data):
        with tf.GradientTape() as tape:
            z_mean, z_log_var, z = self.encoder(data)
            reconstruction = self.decoder(z)
            reconstruction_loss = tf.reduce_mean(
                tf.reduce_sum(
                    keras.losses.binary_crossentropy(data, reconstruction), axis=(1, 2)
                )
            )
            kl_loss = -0.5 * (1 + z_log_var - tf.square(z_mean) - tf.exp(z_log_var))
            kl_loss = tf.reduce_mean(tf.reduce_sum(kl_loss, axis=1))
            total_loss = reconstruction_loss + kl_loss
        grads = tape.gradient(total_loss, self.trainable_weights)
        self.optimizer.apply_gradients(zip(grads, self.trainable_weights))
        self.total_loss_tracker.update_state(total_loss)
        self.reconstruction_loss_tracker.update_state(reconstruction_loss)
        self.kl_loss_tracker.update_state(kl_loss)
        return {
            "loss": self.total_loss_tracker.result(),
            "reconstruction_loss": self.reconstruction_loss_tracker.result(),
            "kl_loss": self.kl_loss_tracker.result(),
        } 

• 生成对抗网络GAN生成对抗网络-GAN(Generative Adversarial Network) 由生成网络(Generator, G)和判别网络(Discriminator, D)两部分组成， 生成网络构成一个映射函数G: Z→X（输入噪声z, 输出生成的图像数据x）, 判别网络判别输入是来自真实数据还是生成网络生成的数据。

# DCGAN模型

class GAN(keras.Model):
    ...
    def train_step(self, real_images):
        batch_size = tf.shape(real_images)[0]
        random_latent_vectors = tf.random.normal(shape=(batch_size, self.latent_dim))
        # G: Z→X（输入噪声z, 输出生成的图像数据x）
        generated_images = self.generator(random_latent_vectors)
        # 合并生成及真实的样本并赋判定的标签
        combined_images = tf.concat([generated_images, real_images], axis=0)
        labels = tf.concat(
            [tf.ones((batch_size, 1)), tf.zeros((batch_size, 1))], axis=0
        )
        # 标签加入随机噪声
        labels += 0.05 * tf.random.uniform(tf.shape(labels))
        # 训练判定网络
        with tf.GradientTape() as tape:
            predictions = self.discriminator(combined_images)
            d_loss = self.loss_fn(labels, predictions)
        grads = tape.gradient(d_loss, self.discriminator.trainable_weights)
        self.d_optimizer.apply_gradients(
            zip(grads, self.discriminator.trainable_weights)
        )

        random_latent_vectors = tf.random.normal(shape=(batch_size, self.latent_dim))
        # 赋生成网络样本的标签(都赋为真实样本)
        misleading_labels = tf.zeros((batch_size, 1))
        # 训练生成网络
        with tf.GradientTape() as tape:
            predictions = self.discriminator(self.generator(random_latent_vectors))
            g_loss = self.loss_fn(misleading_labels, predictions)
        grads = tape.gradient(g_loss, self.generator.trainable_weights)
        self.g_optimizer.apply_gradients(zip(grads, self.generator.trainable_weights))
        # 更新损失
        self.d_loss_metric.update_state(d_loss)
        self.g_loss_metric.update_state(g_loss)
        return {
            "d_loss": self.d_loss_metric.result(),
            "g_loss": self.g_loss_metric.result(),
        }

3.3 基于神经风格迁移的数据增强

神经风格迁移(Neural Style Transfer)可以在保留原始内容的同时，将一个图像的样式转移到另一个图像上。除了实现类似色彩空间照明转换，还可以生成不同的纹理和艺术风格。

神经风格迁移是通过优化三类的损失来实现的：

style_loss：使生成的图像接近样式参考图像的局部纹理；

content_loss：使生成的图像的内容表示接近于基本图像的表示；

total_variation_loss：是一个正则化损失，它使生成的图像保持局部一致。

# 样式损失
def style_loss(style, combination):
    S = gram_matrix(style)
    C = gram_matrix(combination)
    channels = 3
    size = img_nrows * img_ncols
    return tf.reduce_sum(tf.square(S - C)) / (4.0 * (channels ** 2) * (size ** 2))

# 内容损失
def content_loss(base, combination):
    return tf.reduce_sum(tf.square(combination - base))

# 正则损失
def total_variation_loss(x):
    a = tf.square(
        x[:, : img_nrows - 1, : img_ncols - 1, :] - x[:, 1:, : img_ncols - 1, :]
    )
    b = tf.square(
        x[:, : img_nrows - 1, : img_ncols - 1, :] - x[:, : img_nrows - 1, 1:, :]
    )
    return tf.reduce_sum(tf.pow(a + b, 1.25))

3.4 基于元学习的数据增强

深度学习研究中的元学习(Meta learning)通常是指使用神经网络优化神经网络，元学习的数据增强有神经增强(Neural augmentation)等方法。

• 神经增强

神经增强(Neural augmentation)是通过神经网络组的学习以获得较优的数据增强并改善分类效果的一种方法。其方法步骤如下：

1、获取与target图像同一类别的一对随机图像，前置的增强网络通过CNN将它们映射为合成图像，合成图像与target图像对比计算损失；

2、将合成图像与target图像神经风格转换后输入到分类网络中，并输出该图像分类损失；

3、将增强与分类的loss加权平均后，反向传播以更新分类网络及增强网络权重。使得其输出图像的同类内差距减小且分类准确。

Transformer 最初主要应用于一些自然语言处理场景，比如翻译、文本分类、写小说、写歌等。随着技术的发展，Transformer 开始征战视觉领域，分类、检测等任务均不在话下，逐渐走上了多模态的道路。

Transformer 是 Google 在 2017 年提出的用于机器翻译的模型。

Transformer 的内部，在本质上是一个 Encoder-Decoder 的结构，即 编码器-解码器。

Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由 Attention 机制组成，并且采用了 6 层 Encoder-Decoder 结构。

显然，Transformer 主要分为两大部分，分别是编码器和解码器。整个 Transformer 是由 6 个这样的结构组成，为了方便理解，我们只看其中一个Encoder-Decoder 结构。

以一个简单的例子进行说明：

Why do we work?，我们为什么工作？左侧红框是编码器，右侧红框是解码器，编码器负责把自然语言序列映射成为隐藏层（上图第2步），即含有自然语言序列的数学表达。解码器把隐藏层再映射为自然语言序列，从而使我们可以解决各种问题，如情感分析、机器翻译、摘要生成、语义关系抽取等。简单说下，上图每一步都做了什么：

• 输入自然语言序列到编码器: Why do we work?(为什么要工作)；
• 编码器输出的隐藏层，再输入到解码器；
• 输入 <𝑠𝑡𝑎𝑟𝑡> (起始)符号到解码器；
• 解码器得到第一个字”为”；
• 将得到的第一个字”为”落下来再输入到解码器；
• 解码器得到第二个字”什”；
• 将得到的第二字再落下来，直到解码器输出 <𝑒𝑛𝑑> (终止符)，即序列生成完成。

解码器和编码器的结构类似，本文以编码器部分进行讲解。即把自然语言序列映射为隐藏层的数学表达的过程，因为理解了编码器中的结构，理解解码器就非常简单了。为了方便学习，我将编码器分为 4 个部分，依次讲解。

1、位置嵌入（𝑝𝑜𝑠𝑖𝑡𝑖𝑜𝑛𝑎𝑙 𝑒𝑛𝑐𝑜𝑑𝑖𝑛𝑔）

我们输入数据 X 维度为[batch size, sequence length]的数据，比如我们为什么工作。batch size 就是 batch 的大小，这里只有一句话，所以 batch size 为 1，sequence length 是句子的长度，一共 7 个字，所以输入的数据维度是 [1, 7]。我们不能直接将这句话输入到编码器中，因为 Tranformer 不认识，我们需要先进行字嵌入，即得到图中的 。简单点说，就是文字->字向量的转换，这种转换是将文字转换为计算机认识的数学表示，用到的方法就是 Word2Vec，Word2Vec 的具体细节，对于初学者暂且不用了解，这个是可以直接使用的。得到维度是 [batch size, sequence length, embedding dimension]，embedding dimension 的大小由 Word2Vec 算法决定，Tranformer 采用 512 长度的字向量。所以 的维度是 [1, 7, 512]。至此，输入的我们为什么工作，可以用一个矩阵来简化表示。

我们知道，文字的先后顺序，很重要。比如吃饭没、没吃饭、没饭吃、饭吃没、饭没吃，同样三个字，顺序颠倒，所表达的含义就不同了。文字的位置信息很重要，Tranformer 没有类似 RNN 的循环结构，没有捕捉顺序序列的能力。为了保留这种位置信息交给 Tranformer 学习，我们需要用到位置嵌入。加入位置信息的方式非常多，最简单的可以是直接将绝对坐标 0,1,2 编码。Tranformer 采用的是 sin-cos 规则，使用了 sin 和 cos 函数的线性变换来提供给模型位置信息：

上式中 pos 指的是句中字的位置，取值范围是 [0, 𝑚𝑎𝑥 𝑠𝑒𝑞𝑢𝑒𝑛𝑐𝑒 𝑙𝑒𝑛𝑔𝑡ℎ)，i 指的是字嵌入的维度, 取值范围是 [0, 𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 𝑑𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛)。 就是 𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 𝑑𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛 的大小。上面有 sin 和 cos 一组公式，也就是对应着 𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 𝑑𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛 维度的一组奇数和偶数的序号的维度，从而产生不同的周期性变化。

# 导入依赖库
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import math

def get_positional_encoding(max_seq_len, embed_dim):
    # 初始化一个positional encoding
    # embed_dim: 字嵌入的维度
    # max_seq_len: 最大的序列长度
    positional_encoding = np.array([
        [pos / np.power(10000, 2 * i / embed_dim) for i in range(embed_dim)]
        if pos != 0 else np.zeros(embed_dim) for pos in range(max_seq_len)])
    positional_encoding[1:, 0::2] = np.sin(positional_encoding[1:, 0::2])  # dim 2i 偶数
    positional_encoding[1:, 1::2] = np.cos(positional_encoding[1:, 1::2])  # dim 2i+1 奇数
    # 归一化, 用位置嵌入的每一行除以它的模长
    # denominator = np.sqrt(np.sum(position_enc**2, axis=1, keepdims=True))
    # position_enc = position_enc / (denominator + 1e-8)
    return positional_encoding
    
positional_encoding = get_positional_encoding(max_seq_len=100, embed_dim=16)
plt.figure(figsize=(10,10))
sns.heatmap(positional_encoding)
plt.title("Sinusoidal Function")
plt.xlabel("hidden dimension")
plt.ylabel("sequence length")

可以看到，位置嵌入在 𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 𝑑𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛 （也是hidden dimension ）维度上随着维度序号增大，周期变化会越来越慢，而产生一种包含位置信息的纹理。

就这样，产生独一的纹理位置信息，模型从而学到位置之间的依赖关系和自然语言的时序特性。

最后，将Xembedding  和 位置嵌入 相加，送给下一层。

2、自注意力层（𝑠𝑒𝑙𝑓 𝑎𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛 𝑚𝑒𝑐ℎ𝑎𝑛𝑖𝑠𝑚）

直接看下图笔记，讲解的非常详细。

多头的意义在于，\(QK^{T}\) 得到的矩阵就叫注意力矩阵，它可以表示每个字与其他字的相似程度。因为，向量的点积值越大，说明两个向量越接近。

我们的目的是，让每个字都含有当前这个句子中的所有字的信息，用注意力层，我们做到了。

需要注意的是，在上面 𝑠𝑒𝑙𝑓 𝑎𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛 的计算过程中，我们通常使用 𝑚𝑖𝑛𝑖 𝑏𝑎𝑡𝑐ℎ，也就是一次计算多句话，上文举例只用了一个句子。

每个句子的长度是不一样的，需要按照最长的句子的长度统一处理。对于短的句子，进行 Padding 操作，一般我们用 0 来进行填充。

3、残差链接和层归一化

加入了残差设计和层归一化操作，目的是为了防止梯度消失，加快收敛。

1) 残差设计

我们在上一步得到了经过注意力矩阵加权之后的 𝑉， 也就是 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄, 𝐾, 𝑉)，我们对它进行一下转置，使其和 𝑋𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 的维度一致, 也就是 [𝑏𝑎𝑡𝑐ℎ 𝑠𝑖𝑧𝑒, 𝑠𝑒𝑞𝑢𝑒𝑛𝑐𝑒 𝑙𝑒𝑛𝑔𝑡ℎ, 𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 𝑑𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛] ，然后把他们加起来做残差连接，直接进行元素相加，因为他们的维度一致:

$$
X_{\text {embedding }}+\text { Attention }(Q, K, V)
$$

在之后的运算里，每经过一个模块的运算，都要把运算之前的值和运算之后的值相加，从而得到残差连接，训练的时候可以使梯度直接走捷径反传到最初始层：

$$
X+\text { SubLayer }(X)
$$

2) 层归一化

作用是把神经网络中隐藏层归一为标准正态分布，也就是 𝑖.𝑖.𝑑 独立同分布， 以起到加快训练速度， 加速收敛的作用。

$$
\mu_{i}=\frac{1}{m} \sum_{i=1}^{m} x_{i j}
$$

上式中以矩阵的行 (𝑟𝑜𝑤) 为单位求均值：

$$
\sigma_{j}^{2}=\frac{1}{m} \sum_{i=1}^{m}\left(x_{i j}-\mu_{j}\right)^{2}
$$

上式中以矩阵的行 (𝑟𝑜𝑤) 为单位求方差：

$$
\operatorname{LayerNorm}(x)=\alpha \odot \frac{x_{i j}-\mu_{i}}{\sqrt{\sigma_{i}^{2}+\epsilon}}+\beta
$$

然后用每一行的每一个元素减去这行的均值，再除以这行的标准差，从而得到归 一化后的数值， \(\epsilon\) 是为了防止除 0 ；之后引入两个可训练参数 \(\alpha, \beta\) 来弥补归一化的过程中损失掉的信息，注意 \(\odot\) 表示 元素相乘而不是点积，我们一般初始化 \(\alpha\) 为全 1 ，而\(\beta\) 为全 0 。

代码层面非常简单，单头 attention 操作如下：

class ScaledDotProductAttention(nn.Module):
    ''' Scaled Dot-Product Attention '''

    def __init__(self, temperature, attn_dropout=0.1):
        super().__init__()
        self.temperature = temperature
        self.dropout = nn.Dropout(attn_dropout)

    def forward(self, q, k, v, mask=None):
        # self.temperature是论文中的d_k ** 0.5，防止梯度过大
        # QxK/sqrt(dk)
        attn = torch.matmul(q / self.temperature, k.transpose(2, 3))

        if mask is not None:
            # 屏蔽不想要的输出
            attn = attn.masked_fill(mask == 0, -1e9)
        # softmax+dropout
        attn = self.dropout(F.softmax(attn, dim=-1))
        # 概率分布xV
        output = torch.matmul(attn, v)

        return output, attn

Multi-Head Attention 实现在 ScaledDotProductAttention 基础上构建：

class MultiHeadAttention(nn.Module):
    ''' Multi-Head Attention module '''

    # n_head头的个数，默认是8
    # d_model编码向量长度，例如本文说的512
    # d_k, d_v的值一般会设置为 n_head * d_k=d_model，
    # 此时concat后正好和原始输入一样，当然不相同也可以，因为后面有fc层
    # 相当于将可学习矩阵分成独立的n_head份
    def __init__(self, n_head, d_model, d_k, d_v, dropout=0.1):
        super().__init__()
        # 假设n_head=8，d_k=64
        self.n_head = n_head
        self.d_k = d_k
        self.d_v = d_v
        # d_model输入向量，n_head * d_k输出向量
        # 可学习W^Q，W^K,W^V矩阵参数初始化
        self.w_qs = nn.Linear(d_model, n_head * d_k, bias=False)
        self.w_ks = nn.Linear(d_model, n_head * d_k, bias=False)
        self.w_vs = nn.Linear(d_model, n_head * d_v, bias=False)
        # 最后的输出维度变换操作
        self.fc = nn.Linear(n_head * d_v, d_model, bias=False)
        # 单头自注意力
        self.attention = ScaledDotProductAttention(temperature=d_k ** 0.5)
        self.dropout = nn.Dropout(dropout)
        # 层归一化
        self.layer_norm = nn.LayerNorm(d_model, eps=1e-6)

    def forward(self, q, k, v, mask=None):
        # 假设qkv输入是(b,100,512),100是训练每个样本最大单词个数
        # 一般qkv相等，即自注意力
        residual = q
        # 将输入x和可学习矩阵相乘，得到(b,100,512)输出
        # 其中512的含义其实是8x64，8个head，每个head的可学习矩阵为64维度
        # q的输出是(b,100,8,64),kv也是一样
        q = self.w_qs(q).view(sz_b, len_q, n_head, d_k)
        k = self.w_ks(k).view(sz_b, len_k, n_head, d_k)
        v = self.w_vs(v).view(sz_b, len_v, n_head, d_v)

        # 变成(b,8,100,64)，方便后面计算，也就是8个头单独计算
        q, k, v = q.transpose(1, 2), k.transpose(1, 2), v.transpose(1, 2)

        if mask is not None:
            mask = mask.unsqueeze(1)   # For head axis broadcasting.
        # 输出q是(b,8,100,64),维持不变,内部计算流程是：
        # q*k转置，除以d_k ** 0.5，输出维度是b,8,100,100即单词和单词直接的相似性
        # 对最后一个维度进行softmax操作得到b,8,100,100
        # 最后乘上V，得到b,8,100,64输出
        q, attn = self.attention(q, k, v, mask=mask)

        # b,100,8,64-->b,100,512
        q = q.transpose(1, 2).contiguous().view(sz_b, len_q, -1)
        q = self.dropout(self.fc(q))
        # 残差计算
        q += residual
        # 层归一化，在512维度计算均值和方差，进行层归一化
        q = self.layer_norm(q)

        return q, attn

4、前馈网络

这个层就没啥说的了，非常简单，直接看代码吧：

class PositionwiseFeedForward(nn.Module):
    ''' A two-feed-forward-layer module '''

    def __init__(self, d_in, d_hid, dropout=0.1):
        super().__init__()
        # 两个fc层，对最后的512维度进行变换
        self.w_1 = nn.Linear(d_in, d_hid) # position-wise
        self.w_2 = nn.Linear(d_hid, d_in) # position-wise
        self.layer_norm = nn.LayerNorm(d_in, eps=1e-6)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x):
        residual = x

        x = self.w_2(F.relu(self.w_1(x)))
        x = self.dropout(x)
        x += residual

        x = self.layer_norm(x)

        return x

最后，回顾下 𝑡𝑟𝑎𝑛𝑠𝑓𝑜𝑟𝑚𝑒𝑟 𝑒𝑛𝑐𝑜𝑑𝑒𝑟 的整体结构。

经过上文的梳理，我们已经基本了解了 𝑡𝑟𝑎𝑛𝑠𝑓𝑜𝑟𝑚𝑒𝑟 编码器的主要构成部分，我们下面用公式把一个 𝑡𝑟𝑎𝑛𝑠𝑓𝑜𝑟𝑚𝑒𝑟 𝑏𝑙𝑜𝑐𝑘 的计算过程整理一下：

1) 字向量与位置编码
$$X= EmbeddingLookup (X)+ PositionalEncoding$$

$$X \in \mathbb{R}^{\text {batch size } * \text { seq. len. * embed.dim. }}$$
2) 自注意力机制

$$
Q=\operatorname{Linear}(X)=X W_{Q}
$$

$$
K=\operatorname{Linear}(X)=X W_{K}
$$

$$
V=\operatorname{Linear}(X)=X W_{V}
$$

$$
X_{\text {attention }}=\text { SelfAttention }(Q, K, V)
$$

3) 残差连接与层归一化

$$
X_{\text {attention }}=X+X_{\text {attention }}
$$

$$
X_{\text {attention }}=\text { Layer Norm }\left(X_{\text {attention }}\right)
$$

4) 前向网络
其实就是两层线性映射并用激活函数激活，比如说 ReLU :
$$
X_{\text {hidden }}=\operatorname{Activate}\left(\text { Linear }\left(\text { Linear }\left(X_{\text {attention }}\right)\right)\right)
$$
5) 重复3)

$$
X_{\text {hidden }}=X_{\text {attention }}+X_{\text {hidden }}
$$

$$
X_{\text {hidden }}=\text { Layer } N \text { orm }\left(X_{\text {hidden }}\right)
$$

$$
X_{\text {hidden }} \in \mathbb{R}^{\text {batch size } * \text { seq. len. } * \text { embed. dim. }}
$$

1、转置卷积 又可以称为 反卷积（数据从低维到高维）

转置卷积是一个将低维特征转换到高维特征。为什么叫做转置卷积呢？其实就是引入了转置的思想。

• 假设我们现在有一个p维的向量Z，然后有个d维的向量X，p<d.
• 这样就会出现 Z = W·X，其中W的维度为(p,d)，叫做转换矩阵.
• 现在，我们要从Z通过相似的方法来得到X，这样我们不难想到：X= W.T · X 其中W.T的维度是(d,p)，但是这两个W并不是同一个值，而是具有转置的形式而已。

上面的例子是一维向量的情况，在卷积操作中，也可以借用这个思想，从低维到高维的转变可以在形式上看成是转置操作。

• 比如我们现在对一个4 * 4的输入做3 * 3的卷积操作（m=3核的大小，stride=1，padding=0），得到一个2 * 2的特征映射
• 如果我们想对这个2 * 2特征映射进行3 * 3卷积，并反过来得到4 * 4的输出，就可以用到转置卷积：

如上图所示，对2 * 2的特征映射先做（m-1） padding得到6 * 6的输入，然后对其进行3*3的卷积操作，从而得到4 * 4的特征映射。 同样，这个两个3 * 3的卷积参数不是一致的，都是可学习的。

2、微步卷积（步长不为1的转置卷积（反卷积））

微步卷积其实是一个转置卷积的一个特殊情况，就是卷积操作的stride ≠ 1。因为在现实中，为了大幅度降低特征维数，卷积的步长会大于1。同样，为了大幅度提高特征维度，我们也可以用通过卷积来实现，这种卷积stride < 1 ，所以叫做微步卷积。

• 如果卷积操作stride>1，其对应的转置卷积步长为1/s ：就是在输入特征之间插入s – 1个0，来使得步长变’小’。
• 例如，我对一个5 * 5的输入做3 * 3的卷积操作(m=3, padding=0,但是stride=2)，从而我得到的特征输出为2 * 2.
• 现在对其进行微步卷积：

跟转置卷积一样，先对2 * 2的输入做（m-1）padding ，然后再在特征之间插入stride -1个0，从而得到一个7 * 7的特征输入，然后对其做3 * 3 的卷积操作，得到5 * 5的特征输出。

如何计算反卷积：

当输入的矩阵高宽为n，核大小为k，padding为p，stride为s

• 当输入的矩阵高宽为 n ，核大小为 k ，padding为 p ， stride为 s 。
• 转置卷积作用后的尺寸变化: \(n^{1}=s n+k-2 p-s\) 。如果想让高宽成倍增加，那么 \(k=2 p+s\) 。
• 卷积作用后的尺寸变化: \(n^{1}=\left\lfloor\frac{n-k+2 p+s}{s}\right\rfloor\) 。如果想让高宽成倍减少，那么 \(k=2 p+1\)。

1、当填充为0步长为1时

将输入填充 k − 1 。（k是 卷积核大小）
将核矩阵上下，左右翻转。
之后正常做填充为0（无填充），步幅为1的卷积。

2 当填充为 p 步幅为1时

将输入填充 k − p − 1 。
将核矩阵上下，左右翻转。
之后正常做填充为0，步幅为1的卷积。

3 当填充为 p pp 步幅为s ss时

在行和列之间插入s − 1 行和列。
将输入填充 k − p − 1。
将核矩阵上下，左右翻转。
之后正常做填充为0，步幅为1的卷积。

3、空洞卷积（膨胀卷积）

通常来说，对于一个卷积层，如果希望增加输出单元的感受野，一般由三个方式：

1. 增加卷积核大小
2. 增加层数
3. 进行pooling操作

其中1和2都会增加参数量，而3会丢失特征信息。这样我们就可以引入‘空洞卷积’的概念，它不增加参数量，同时它也可以增加输出的感受野。
它主要是通过给卷积核插入空洞来增加其感受野大小，如果卷积核每两个元素之间插入d-1个空洞，那么卷积核的有效大小为：M = m + (m-1)*(d-1)

CycleGAN、pix2pix、iGAN的主要贡献者最近在NIPS　2017上又推出了一篇文章Toward Multimodal Image-to-Image Translation（见https://junyanz.github.io/BicycleGAN/，https://arxiv.org/pdf/1711.11586.pdf），讨论如何从一张图像同时转换为多张风格不一成对的图像。

Pix2pix 和 CycleGAN 是非常的流行GAN，不仅在学术界有许多变体，同时也有许多基于此的应用。但是，它们都有一个缺点——图像的输出看起来几乎总是相同的。例如，如果我们要执行斑马到马的转换，被转换的同一马的照片将始终具有相同的外观和色调。这是由于GAN固有的特性，它学会过滤了噪声的随机性。

像pix2pix这样的图像转换（一对一）的方式是存在歧义的，因为不可能只对应一个输出。因此作者提出了一种一对多的输出，即将可能输出的图像是存在一定的分布特性的。

论文的主要方法如下图所示：

下图是 BicycleGAN 相关的模型和配置。图(a)是推理的配置，图像A与噪声相结合以生成图像B ^ ，可以将此看作是 cGAN 。在BicyleGAN中，形状为(256, 256, 3)的图像A是条件，而从潜在编码 z采样的噪声为大小为8的一维向量。图(b)是 pix2pix + 噪声 的训练配置。而图(c) 和 图(d) 的两个配置由 BicycleGAN 训练时使用：

简而言之，BicycleGAN 可以找到潜在编码z与目标图像B之间的关系，因此生成器可以在给定不同的z时学会生成不同的图像B ^ 。如上图所示，BicycleGAN 通过组合 cVAE-GAN 和 cLR-GAN 这两种模型来做到这一点。

cVAE-GAN
  VAE-GAN 的作者认为，L1 损失并不是衡量图像视觉质量的良好指标。例如，如果图像向右移动几个像素，则人眼看起来可能没有什么不同，但会导致较大的L1损失。因此使用 GAN 的鉴别器来学习目标函数，以判断伪造的图像是否真实，并使用 VAE 作为生成器，生成的图像更清晰。如果忽略上图(c)中的图像 A ，那就是 VAE-GAN ，由于以 A 为条件，其成为条件 cVAE-GAN 。训练步骤如下：

• VAE 将真实图片 B编码为多元高斯分布的潜在编码，然后从它们中采样以创建噪声输入，此流程是标准的VAE工作流程；
• 使用图像 A 作为条件及从潜矢量 z 采样的噪声用于生成伪图像B ^

训练中的数据流为 B − > z − > B ^ ( 图(c) 中的实线箭头)，总的损失函数由三个损失组成：

对抗损失 \(L_{GAN}^{VAE}\)

L1​重建损失 \(L_{1}^{VAE}(G)\)

KL散度损失 \(L_{KL}(E)\)

cLR-GAN(Conditional Latent Regressor GAN)
  在 cVAE-GAN 中，对真实图像B进行编码，以提供潜在矢量的真实样本并从中进行采样。但是，cLR-GAN 的处理方式有所不同，其首先使用生成器从随机噪声中生成伪图像 B^，然后对伪图像 B^ 进行编码，最后计算其与输入随机噪声差异。
前向计算步骤如下：

首先，类似于 cGAN ，随机产生一些噪声，然后串联图像A以生成伪图像 B ^ ，之后，使用来自 VAE-GAN 的同一编码器将伪图像 B ^ 编码为潜矢量。
最后，从编码的潜矢量中采样 z ^ ，并用输入噪声 z 计算损失。数据流为 z −> B ^ −> z ^ ( 图(d) 中的实线箭头)，有两个损失：

对抗损失 \(L_{GAN}\)

噪声 N(z) 与潜在编码之间的 L1损失 \(L_{1}^{latent}\)

通过组合这两个数据流，在输出和潜在空间之间得到了一个双映射循环。 BicycleGAN 中的 bi 来自双映射(双向单射)，这是一个数学术语，简单来说其表示一对一映射，并且是可逆的。在这种情况下，BicycleGAN 将输出映射到潜在空间，并且类似地从潜在空间映射到输出。总损失如下：

最总的损失：

可以分为两块来理解，第一块就是cVAE-GAN的训练，我们分析的基础就是鞋子纹理风格生成为例。

鞋子纹理图片经过编码器得到编码后的latent z通过KL距离将其拉向我们事先定义好的分布N(z)上，将服从分布的z与鞋子草图A结合后送入生成器G中得到重构的鞋子纹理图。 此时为了衡量重构和真实的误差，这里用了L1损失和GAN的对抗思想实现，我们在后面损失函数分析部分再说。这样cVAE-GAN部分就可以训练了，cVAE GAN的重点还是在得到的embedding z。

另一块就是cLR-GAN的训练，将鞋子草图A和分布N(z)结合经过生成器G得到鞋子纹理图， 再通过对生成的纹理图编码后得到的z去趋近分布N(z)来反向矫正生成图，达到一个变相的循环。

当这两部分训练的很好时，这个就是我们需要的BicycleGAN了，在检验训练效果时我们只需要，输入A加上N(z)就可以生成鞋子的纹理图了， 这个N(z)具体为什么怎么取将决定生成为纹理的风格了。

一些细节

• 这里有一个小trike就是z和图片A的结合送入生成器G的结合方法，文中给出了两种方法：一种直接concat在input的channel上，一种Unet在压缩的时候，每次结果都加。 我们通过图解可以更好理解。

pytorch代码：https://github.com/junyanz/BicycleGAN

来源：磐创AI分享

神经网络可视化工具

Convolution Visualizer

https://ezyang.github.io/convolution-visualizer/index.html

这种交互式可视化演示了各种卷积参数如何影响输入、权重和输出矩阵之间的形状和数据依赖性。将鼠标悬停在输入/输出上将突出显示相应的输出/输入，而将鼠标悬停在权重上将突出显示哪些输入与该权重相乘以计算输出。（严格来说，这里可视化的操作是相关性，而不是卷积，因为真正的卷积在执行相关性之前会翻转其权重。但是，大多数深度学习框架仍然称这些卷积，最终与梯度下降相同.)

Weights & Biases

https://docs.wandb.ai/v/zh-hans/

Weights & Biases 可以帮助跟踪你的机器学习项目。使用我们的工具记录运行中的超参数和输出指标(Metric)，然后对结果进行可视化和比较，并快速与同事分享你的发现。

通过wandb，能够给你的机器学习项目带来强大的交互式可视化调试体验，能够自动化记录Python脚本中的图标，并且实时在网页仪表盘展示它的结果，例如，损失函数、准确率、召回率，它能够让你在最短的时间内完成机器学习项目可视化图片的制作。

总结而言，wandb有4项核心功能：

看板：跟踪训练过程，给出可视化结果
报告：保存和共享训练过程中一些细节、有价值的信息
调优：使用超参数调优来优化你训练的模型
工具：数据集和模型版本化
也就是说，wandb并不单纯的是一款数据可视化工具。它具有更为强大的模型和数据版本管理。此外，还可以对你训练的模型进行调优。

draw_convnet

一个用于画卷积神经网络的Python脚本

https://github.com/gwding/draw_convnet

NNSVG

http://alexlenail.me/NN-SVG/LeNet.html

PlotNeuralNet：用于为报告和演示绘制神经网络的 Latex 代码。

https://github.com/HarisIqbal88/PlotNeuralNet

Tensorboard

https://www.tensorflow.org/tensorboard/graphs

Caffe

https://github.com/BVLC/caffe/blob/master/python/caffe/draw.py

Matlab

http://www.mathworks.com/help/nnet/ref/view.html

Keras.js

https://transcranial.github.io/keras-js/#/inception-v3

DotNet

https://github.com/martisak/dotnets

Graphviz

http://www.graphviz.org/

ConX

https://conx.readthedocs.io/en/latest/index.html

ENNUI

https://math.mit.edu/ennui/

Neataptic

https://wagenaartje.github.io/neataptic/

pyTorch模型可视化

visdom：

在PyTorch深度学习中，最常用的模型可视化工具是Facebook（中文为脸书，目前已改名为Meta）公司开源的Visdom

Visdom可以直接接受来自PyTorch的张量，而不用转化成NumPy中的数组，从而运行效率很高。此外，Visdom可以直接在内存中获取数据，毫秒级刷新，速度很快。

Visdom的安装很简单，直接执行以下命令即可：

pip install visdom

开启服务，因为visdom本质上是一个类似于Jupyter Notebook 的Web服务器，在使用之前需要在终端打开服务，代码如下：

python -m visdom.server

正常执行后，根据提示在浏览器中输入相应地址即可，默认地址为：

http://localhost:8097/

实例

本例通过使用PyTorch的可视化工具Visdom对手写数字数据集进行建模。

步骤1：先导入模型需要的包，代码如下。

import torch

import torch.nn as nn

import torch.nn.functional as F

import torch.optim as optim

from torchvision import datasets, transforms

from visdom import Visdom

步骤2：定义训练参数，代码如下。

batch_size=200

learning_rate=0.01

epochs=10

… …

执行成功后，在visdom网页可以看到实时更新的训练过程的数据变化，每一个epoch测试数据更新一次，如图9-15所示。

Visdom是由Plotly 提供的可视化支持，所以提供一下可视化的接口:

• vis.scatter : 2D 或 3D 散点图
• vis.line : 线图
• vis.stem : 茎叶图
• vis.heatmap : 热力图
• vis.bar : 条形图
• vis.histogram: 直方图
• vis.boxplot : 箱型图
• vis.surf : 表面图
• vis.contour : 轮廓图
• vis.quiver : 绘出二维矢量场
• vis.image : 图片
• vis.text : 文本
• vis.mesh : 网格图
• vis.save : 序列化状态

更新损失函数

在训练的时候我们每一批次都会打印一下训练的损失和测试的准确率，这样展示的图表是需要动态增加数据的，下面我们来模拟一下这种情况：

x,y=0,0
env2 = Visdom()
pane1= env2.line(
    X=np.array([x]),
    Y=np.array([y]),
    opts=dict(title='dynamic data'))

Setting up a new session…

for i in range(10):
    time.sleep(1) #每隔一秒钟打印一次数据
    x+=i
    y=(y+i)*1.5
    print(x,y)
    env2.line(
        X=np.array([x]),
        Y=np.array([y]),
        win=pane1,#win参数确认使用哪一个pane
        update='append') #我们做的动作是追加

TensorBoard

pytorch也支持tensorboard的使用：

Tensorboard的使用逻辑

Tensorboard的工作流程简单来说是

• 将代码运行过程中的，某些你关心的数据保存在一个文件夹中：

这一步由代码中的writer完成

• 再读取这个文件夹中的数据，用浏览器显示出来：

这一步通过在命令行运行tensorboard完成。

官方：

https://pytorch.org/docs/stable/tensorboard.html?highlight=tensorboard

其中可视化的主要功能如下：

（1）Scalars:展示训练过程中的准确率、损失值、权重/偏置的变化情况。

（2）Images:展示训练过程中记录的图像。

（3）Audio:展示训练过程中记录的音频。

（4）Graphs:展示模型的数据流图，以及训练在各个设备上消耗的内存和时间。

（5）Distributions:展示训练过程中记录的数据的分部图。

（6）Histograms:展示训练过程中记录的数据的柱状图。

（7）Embeddings:展示词向量后的投影分部。

动手练习：可视化模型参数

步骤1：首先导入相关的第三方包，代码如下。

import numpy as np

from torch.utils.tensorboard import SummaryWriter

步骤2：将loss写到Loss_Accuracy路径下面，代码如下。

np.random.seed(10)

writer = SummaryWriter(‘runs/Loss_Accuracy’)

步骤3：然后将loss写到writer中，其中add_scalars()函数可以将不同的变量添加到同一个图，代码如下。

for n_iter in range(100):

writer.add_scalar(‘Loss/train’, np.random.random(), n_iter)

writer.add_scalar(‘Loss/test’, np.random.random(), n_iter)

writer.add_scalar(‘Accuracy/train’, np.random.random(), n_iter)

writer.add_scalar(‘Accuracy/test’, np.random.random(), n_iter)

代码体中要做的事

首先导入tensorboard

from torch.utils.tensorboard import SummaryWriter   

这里的SummaryWriter的作用就是，将数据以特定的格式存储到刚刚提到的那个文件夹中。

首先我们将其实例化

writer = SummaryWriter('./path/to/log')

这里传入的参数就是指向文件夹的路径，之后我们使用这个writer对象“拿出来”的任何数据都保存在这个路径之下。

这个对象包含多个方法，比如针对数值，我们可以调用

writer.add_scalar(tag, scalar_value, global_step=None, walltime=None)

这里的tag指定可视化时这个变量的名字，scalar_value是你要存的值，global_step可以理解为x轴坐标。

举一个简单的例子：

for epoch in range(100)
    mAP = eval(model)
    writer.add_scalar('mAP', mAP, epoch)

这样就会生成一个x轴跨度为100的折线图，y轴坐标代表着每一个epoch的mAP。这个折线图会保存在指定的路径下（但是现在还看不到）

同理，除了数值，我们可能还会想看到模型训练过程中的图像。

 writer.add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')
 writer.add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

可视化

我们已经将关心的数据拿出来了，接下来我们只需要在命令行运行：

tensorboard --logdir=./path/to/the/folder --port 8123

然后打开浏览器，访问地址http://localhost:8123/即可。这里的8123只是随便一个例子，用其他的未被占用端口也没有任何问题，注意命令行的端口与浏览器访问的地址同步。

如果发现不显示数据，注意检查一下路径是否正确，命令行这里注意是

--logdir=./path/to/the/folder 

而不是

--logdir= './path/to/the/folder '

另一点要注意的是tensorboard并不是实时显示（visdom是完全实时的），而是默认30秒刷新一次。

细节

1.变量归类

命名变量的时候可以使用形如

writer.add_scalar('loss/loss1', loss1, epoch)
writer.add_scalar('loss/loss2', loss2, epoch)
writer.add_scalar('loss/loss3', loss3, epoch)

的格式，这样3个loss就会被显示在同一个section。

2.同时显示多个折线图

假如使用了两种学习率去训练同一个网络，想要比较它们训练过程中的loss曲线，只需要将两个日志文件夹放到同一目录下，并在命令行运行

tensorboard --logdir=./path/to/the/root --port 8123

摘自：3D视觉初学者

0.介绍

检测小物体是计算机视觉中最具挑战性和重要的问题之一。在这篇文章中，我们将讨论通过迭代数百种小物体检测模型在Roboflow上开发的一些策略。无人机在公共空中海上数据集中从上方看到的小物体

为了提高模型在小对象上的性能，我们建议以下技术入手：

• 提高图像拍摄分辨率
• 增加模型的输入分辨率
• 平铺图片
• 通过扩充生成更多数据
• 自动学习模型
• 过滤掉多余的类

小物件很难！例如，在EfficientDet中，小型对象的AP仅为12％，大型对象的AP为51％。那几乎是五倍的差异！那么，为什么很难检测小物体呢？一切都取决于模型。对象检测模型通过聚合卷积层中的像素来形成特征。

如果地面物体本来就不大，而在进行训练时还会变小。因此，小物体最有可能出现数据标记错误，甚至可能会省略其标识。从经验和理论上讲，小物体都很难检测。

提高图像拍摄分辨率

分辨率，分辨率，分辨率……全都与分辨率有关。

很小的物体在边界框内可能只包含几个像素，这意味着增加图像的分辨率以增加检测器可以从该边界框提取信息的丰富度，这非常重要。因此，如果可能我们建议捕获尽可能高分辨率的图像。

增加模型的输入分辨率

获得更高分辨率的图像后，就可以扩大模型的输入分辨率。警告：这将导致大型模型需要花费较长的训练时间，并且在开始部署时将较慢地推断出来。您可能需要进行实验以找出速度与性能之间的权衡。

平铺图片

检测小图像的另一种很好的策略是将图像平铺作为预处理步骤。平铺可以有效地将检测器放大到小物体上，但可以保持所需的小输入分辨率，以便能够进行快速推理。

通过扩充生成更多数据

数据扩充会从基本数据集中生成新图像。这对于防止模型过度拟合训练集非常有用。对于小物体检测，一些特别有用的增强包括随机裁剪，随机旋转和镶嵌增强。自动学习模型的锚定框

锚定框是模型学习预测的原型边界框。也就是说，锚框可以预先设置，有时对于训练数据而言不是最佳的。自定义调整这些参数以适合我们需要完成的任务，这是很好的。YOLOv5模型架构会根据小伙伴的自定义数据自动为您完成此操作。我们要做的就只是是开始训练。

过滤掉多余的类

类管理是提高数据集质量的一项重要技术。如果有两个类明显重叠的类，则应从数据集中过滤一个。如果因为认为数据集中的小对象不值得检测，并希望将他们先去除。大家可以通过运行Roboflow Pro的高级数据集来快速识别所有这些小对象。可以通过Roboflow的管理工具来实现类遗漏和类重命名。

StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

Authors

Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo

Abstract

Recent studies have shown remarkable success in image-to-image translation for two domains. However, existing approaches have limited scalability and robustness in handling more than two domains, since different models should be built independently for every pair of image domains. To address this limitation, we propose StarGAN, a novel and scalable approach that can perform image-to-image translations for multiple domains using only a single model. Such a unified model architecture of StarGAN allows simultaneous training of multiple datasets with different domains within a single network. This leads to StarGAN’s superior quality of translated images compared to existing models as well as the novel capability of flexibly translating an input image to any desired target domain. We empirically demonstrate the effectiveness of our approach on a facial attribute transfer and a facial expression synthesis tasks.

Pix2Pix模型解决了有Pair对数据的图像翻译问题；CycleGAN解决了Unpaired数据下的图像翻译问题。但无论是Pix2Pix还是CycleGAN，都是解决了一对一的问题，即一个领域到另一个领域的转换。当有很多领域要转换了，对于每一个领域转换，都需要重新训练一个模型去解决。这样的行为太低效了。本文所介绍的StarGAN就是将多领域转换用统一框架实现的算法。

下图是StarGAN的效果，在同一种模型下，可以做多个图像翻译任务，比如更换头发颜色，更换表情，更换年龄等。

StarGAN，顾名思义，就是星形网络结构，在StarGAN中，生成网络G被实现成星形。

1.CycleGAN 不能解决多领域迁移的问题。 只能两个领域的互相转化A->B,B-A。 但是实际场景中，我们可能遇到 多个数据集，或者多种属性的互相转化的要求。这样的话我们就需要O(n^2)的G model。（如下图）

2.有些属性（如人的表情），如果只取其中的两个属性（笑和不笑），那么就无法利用上其他训练数据（比如生气/恐惧等表情数据）。

1.作者提出了StarGAN 来处理多个domain之间互相generate图像 的问题。只用一个generator网络。

假如想实现四个域内图像风格的相互转换，要实现这个目标，通过cycleGAN需要创建12个生成器（如图a）。而starGAN的直观构造如图b，只需要一个生成器即可。

2. G的输入除了图片，还有domain的label，对应的把生成图片变到指定的domain。

starGAN的提出是为了解决多数据集在多域间图像转换的问题，starGAN可以接受多个不同域的训练数据，并且只需要训练一个生成器，就可以拟合所有可用域中的数据。

StarGAN的大致训练流程：

i）如图a，训练判别器，将 real_img 和 fake_img 分别传递给判别器，判别器会判别图像的真假，同时它还会判别该图像来自哪个域（只对real_img 的label做判别）。
ii）如图b，训练生成器，与CGAN类似，这里除了输入图像外，还要输入该图像想转换的目标域，这个目标域类似于约束条件，它要求生成器尽可能去生成该目标域中的图像。
iii）如图c，表示循环一致性的过程，如果只是单纯的使用条件去控制生成器生成，那么生成器就会生成满足条件但可能与输入图像无关的数据，为了避免这种情况，便使用循环一致性的思想，即将生成的图像加上输入图像所在的域作为生成器的输入，希望获得的输出与原输入图像越接近越好。
iiii）如图d，表示训练生成器，即将生成器生成的图片交给判别器，让判别器判别图像的真假以及图像所在的域是否正确。

损失函数：

Adversarial loss 为 conditional gan常用的。（实际替换为WGAN的loss）

Reconstruction loss 为L1 Loss （和Cyclegan一样）

Domain classification loss(属性分类)就是传统分类log NLLloss。

类别损失，该损失被分成两个，训练D的时候，使用真实图像在原始领域进行，训练G的时候，使用生成的图像在目标领域进行。

多数据集训练
在多数据集下训练StarGAN存在一个问题，那就是数据集之间的类别可能是不相交的，但内容可能是相交的。比如CelebA数据集合RaFD数据集，前者拥有很多肤色，年龄之类的类别。而后者拥有的是表情的类别。但前者的图像很多也是有表情的，这就导致前一类的图像在后一类的标记是不可知的。

为了解决这个问题，在模型输入中加入了Mask，即如果来源于数据集B，那么将数据集A中的标记全部设为0.