论文地址： https://arxiv.org/pdf/2003.10027.pdf
源码地址： https://github.com/Islanna/DynamicReLU.
贡献：提出Dynamic ReLU激活函数
ReLU是深度神经网络中常用的激活函数。到目前为止，ReLU及其推广（非参数或参数）都是静态的，对所有的输入样本执行相同的操作。在本文中，我们提出了Dynamic ReLU激活函数（DY-ReLU），它的参数依赖于所有输入。其关键在于DY-ReLU将全局上下文编码为超函数，并相应地调整分段线性激活函数。与静态模型相比，DY-ReLU的额外计算开销可以忽略不计，但其表现能力显着提高，特别是对于轻量神经网络。仅仅通过简单地在MobileNetV2上使用DY-ReLU ，ImageNet分类的最高精度就可以从72.0%提高到76.2%，而计算量只增加了5%。
Dy-ReLU特点（优点）：
- 将所有输入元素 x={xc} 的全局上下文编码在超参数 θ(x) 中（运用SE模块的注意力机制），以适应激活函数fθ(x)(x)（可以根据输入数据x，动态的学习选择最佳的激活函数）。
ReLU是深度学习中很重要的里程碑，简单但强大，能够极大地提升神经网络的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。
定义：
Relation to Prior Work
网络实现：
DY-ReLU的可能性很大，表1展示了DY-ReLU与原版ReLU以及其变种的关系。在学习到特定的参数后，DY-ReLU可等价于ReLU、LeakyReLU以及PReLU。而当K=1，偏置bc1=0时，则等价于SE模块。另外DY-ReLU也可以是一个动态且高效的Maxout算子，相当于将Maxout的K个卷积转换为K个动态的线性变化，然后同样地输出最大值。
DY-ReLU-A
空间位置和维度均共享(spatial and channel-shared)，计算如图2a所示，仅需输出2K个参数，计算最简单，表达能力也最弱。
DY-ReLU-B
仅空间位置共享(spatial-shared and channel-wise)，计算如图2b所示，输出2KC个参数。
问题：
