NVIDIA训练深度学习模型加速:APEX库

最近在跑目标检测和图像分类模型，发现很多时候教程里需要安装apex库，于是我就去网上搜索一下这个，发现apex大有来头；

官方：

https://nvidia.github.io/apex/amp.html

https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html

APEX 是来自英伟达 (NVIDIA) 的一个很好用的深度学习加速库。由英伟达开源，完美支持PyTorch框架，用于改变数据格式来减小模型显存占用的工具。其中最有价值的是 amp (Automatic Mixed Precision) ，将模型的大部分操作都用 Float16 数据类型测试，一些特别操作仍然使用 Float32。并且用户仅仅通过三行代码即可完美将自己的训练代码迁移到该模型。实验证明，使用 Float16 作为大部分操作的数据类型，并没有降低参数，在一些实验中，反而由于可以增大 Batch size，带来精度上的提升，以及训练速度上的提升。

使用理由

使用精度低于32位浮点的数值格式有许多好处。首先，它们需要更少的内存，从而能够训练和部署更大的神经网络。其次，它们需要较少的内存带宽，从而加快数据传输操作。第三，数学运算在降低精度方面运行得更快，特别是在具有TensorCore支持的GPU上。混合精度训练（Mixed Precision Training）实现了所有这些好处，同时确保与完全精度训练相比，不会丢失特定任务的准确性。它这样做的方法是识别需要完全精度的步骤，只对这些步骤使用32位浮点，而在其他地方使用16位浮点。

在PyTorch中的使用：
首先需要安装其apex库（我还没装过），其github地址：https://github.com/NVIDIA/apex。
然后在训练的脚本（代码）中简单添加几句就可以了

from apex import amp

amp.init()
amp.init_trainer(trainer)
with amp.scale_loss(loss, trainer) as scaled_loss:
   autograd.backward(scaled_loss)

APEX的配置

前提是你安装好了CUDA和CUDNN，以及你的系统是Ubuntu系统。

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext"

Apex 还通过以下方式支持仅 Python 构建 (Pytorch 0.4 需要)。

pip install -v --disable-pip-version-check --no-cache-dir ./

安装之后，clone下来的apex文件夹就可以删除了。

查看能否正确导入apex：

from apex import amp

IEEE论文投稿流程

摘自 BeyondSelf

这是一篇节省你翻论坛、查资料的文章。

我将把每一步尽量写的清楚，能够让新手按照这篇文章进行完整的投稿。

即使你从未投过稿，完全不了解IEEE的投稿流程，希望按照这篇文章，能够帮助你流畅无误的投稿

这是针对本科生和低年级研究生，对投稿流程还不清楚，或者在初次投稿时可以参考的文章。

（零）预备：账号注册

这一步是为了注册ORCID和IEEE的账号，已经有账号的可以忽略不看

对于IEEE的不同杂志，是由不同的投稿账号的，这一点需要注意

1.注册ORCID，ORCID类似于你的身份证号码，即使你的名字改变，但是号码是不变的。

（1）进入orcid官网ORCIDorcid.org/

（2）选择右上方的SIGN IN/REGISTER

(3)依次填入所需的信息

2.注册IEEE账号

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jspieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点击创建账户

（5）点击Associate your existing ORCID id

（6）在弹出页面中点击授权

（7）依次填入姓名和邮箱，只填必须项即可

之后就是输入地址和密码，按实际情况填写即可

（一）论文写作

1.下载模板

IEEE的期刊都会给一个模板，但是不同期刊会共用同一套模板。下载模板的网址为：https://journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

IEEE Article Templates – IEEE Author Center Journals IEEE Article Templates – IEEE Author Center Journalsjournals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

（0）点击 IEEE Template Selector 进入模板下载页面

（1）首先会让选择要写的文章类型，给了三个选项：

如果写常规的文章的话，就选第一个，包含trans和letter。会议的话，就选第三个。Magazine一般是指总结或者科普类的文章，影响因子高，但是一般你的第一篇文章，导师不会让你写这个。

（2）其次选择期刊的名字

这里直接输入即可，如“IEEE Transactions on Communications”.

（3）之后会依次选择文章的类型和格式，这里可供选择的格式有Latex和Word，首选Latex，一方面是因为格式好调，另一方面是因为敲公式快一些

（4）下载好模板之后，就可以开始写作了

2.论文写作准备

有了模板之后，还需要知道该期刊对于文章的要求，比如说页数，单栏还是双栏。这里不同期刊的要求不一样，对于新手来说，由于网页的设置，找到它并不容易。我这里来详细介绍下。

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jspieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点进去之后，发现左下角有一个Journal Home，点击

（5）在上述网页中，找到你想要投稿的期刊（当然，你也可以跳过上述步骤，直接进入到这里~之所以要经过这些步骤，是因为接下来会用到其中一些步骤）

在出现的页面中，会有submission guidelines：

这里就说明，此期刊提交的时候要求单栏，12号字，不超过30页

这里教大家一个小技巧，如果整个网页页面太长的话，直接按Ctrl+F 搜索column关键词，因为所有的期刊都会要求单栏还是双栏，所以主要要求就在这个附近

（6）在第（4）步中，如果页面的右边已经有guidelines，那么就不需要再进入journal home了

对TPAMI杂志来说，直接点击红线所示，就可以得到文章要求，双栏，不超过12页

对于IEEE trans系列的杂志，基本上模板都是差不多的，如果在官网上找不到，也可以直接百度搜索一个模板

（二）论文投稿

在得到模板以及文章的要求之后，就可以开始论文写作了。当然，如果在上述步骤中找不到期刊的具体要求也没事，可以先写，一些格式问题可以之后再说，在文章正式发表前，编辑还会进行修改。这里假设你的论文已经写完，开始进入投稿环节

1.进入想要投稿期刊的主页，点击submit mannusript

2. 这里会要求你登入账号，一般是用导师的账号或者自己注册。投稿的账号一般就是通信作者

3.登录成功后，点击Author

4.点击Start New Submission中的Begin Submission，会出现如下信息

依次填入文章的类型、上传文件、作者等相关信息，就可以完成整篇文章的上传。这里以IEEE transactions on communications 举例，展示提交的流程

Step 1:

（1）首先选择类型，一般的话，就选常规的

（2）然后输入题目和摘要

Step 2:上传文件，一般是上传PDF

Step 3:输入关键字，下拉列表找到最贴合论文的，点击添加

Step 4：输入作者信息，与论文保持一致

Step 5 ：选择审稿人，如果没有想选的话，可以跳过

Step 6 ：是一些与文章相关的细节，可以按文章情况填写。

Step 7 ：检查环节，确认无误后就可以正式提交了

注：邮箱是最重要的联系方式，之后会通过邮件联系你，请及时查看，而且对于修改等是有截止日期的。

（三）等待

论文会首先分配编辑，然后分配审稿人。可能会给你返回的状态有：Reject,Reject(Resubmission Allowed),Major,Minor,Accept

1.Reject并且不允许重投的话，说明就凉了

2.Reject且允许重投的话，也还凑合，重投的话可能被接受

3.Major大修，一般Major的话，如果修改没问题的话，大概率被接收

4.Minor小修，这样子的话基本也没问题

5.Accept是最好的，但不会刚投稿就这样，起码得有个minor，都得为难你一下

（四）接收后

当文章被接收后，编辑会给你发一个邮件，让你填一些内容，大概是著作权之类的。这些就按照要求来即可

之后会有一个校对环节，你需要在编辑给你发送的PDF上修改，而不能再重新提交PDF。此时的文章状态一般是Early Access，如果没有挂arxiv的话，在这个阶段，你就可以搜到自己的文章，并且也可以被引用了。再过一段时间，状态就会更新为Publish，就说明正式发表了。

IEEE 会议模板介绍

IEEE会议模板中提供了latex格式要求。

模板下载

一般在所投期刊和会议的官网上都会给出投稿模板或者给出投稿模板的链接。以IEEE的会议模板页面为例

我们可以在页面中下载自己想要的模板。一般分为L^AT_EX版本和Microsoft Word版本，为了适应大部分读者朋友，本文我们以Microsoft Word版的A4为例进行讲解（A4和美国信纸的版本主要在于纸张大小和页边距不同，一般选用A4版）。点击链接可以下载模板打开之后如下：

可以看到，模板中已经有很多内容了。主要为对模板的介绍，示例以及一些注意事项。我一般是将自己的内容复制进去再用格式刷刷一遍来保证排版正确。下面我们开始介绍一下各部分的注意事项。

title

标题除了要使用样式表中的“title”之外，需要注意是不能使用副标题的。此外不可以使用符号，特殊字符，脚注或数学元素。

除非不可避免，不要在title中使用缩写。

如果uses可以准确替代using，则u大写，否则小写。

Author

模板可以有（但不限于）六位作者。所有的会议文章至少要有一位作者。作者名称从左到右列出，然后到下一行。作者序列将在以后的引用和索引服务中使用。

对于作者超过六名的论文：水平添加作者姓名。如果作者超过八名，请写到第三行。
对于作者少于六个的论文按以下步骤调整：

选择：强调所有的作者和隶属行
更改列数：从工具栏中选择列图标，然后选择正确的列数
删除：删除多余作者的作者和隶属行

对于作者信息的书写，第一行是姓名，第二三行是组织名称，第四行是城市和国家，第五行是email或ORCID。请确保组织隶属关系尽可能简洁（例如，不要在同一组织的部门之间进行区分）。

Abstract

不可以使用符号，特殊字符，脚注或数学。

Keywords

无明确要求，一般写5个左右。

Heading

除非不可避免，不要在heading中使用缩写。

在混入式标题中，例如摘要需要用斜体区分标题和文本。

包含两种component heads 和text heads.

component heads包括Acknowledgments 和References ，使用Heading 5样式。

text heads按照关系、层级组织。有“Heading 1”，“Heading 2”，“Heading 3”和“Heading 4”的样式。

Text

分离文本和图形文件。只在段落末尾使用一个回车。不要在任何位置使用用任何分页。不要给文本标题加上数字，这些由模板来做。

缩写

即使在摘要中已经定义了缩写和首字母缩写，也要在正文首次使用时进行定义。不必定义诸如IEEE，SI，MKS，CGS，sc，dc和rms之类的缩写。

单位

使用SI（MKS）或CGS作为主要单位（鼓励使用SI单位）。英语单位可在括号中标注作为辅助单位。使用英文单位作为交易中的标识符除外，如“3.5英寸磁盘驱动器”。

避免同时使用SI和CGS单位，如以安培为单位的电流和以奥斯特为单位的磁场。如果必须使用混合单位，请说明方程中使用的每个数量的单位。

不要混用单位的完整拼写和缩写：“Wb/m²”或“webers per square meter”是正确的的，但“webers/m²”是错误的。当文本中出现单位时，将它们拼写出来：“. . . a few henries”，而非“. . . a few H”。

小数点之前的零不要省略：“0.25”而不是“.25”。使用“cm³”，而不是“cc”。

公式

请确定公式使用的是Times New Roman或者Symbol字体。要创建多级公式，可以将公式做成图形，然后将其插入文本中。

对公式使用连续编号。括号内的方程式编号右对齐。为了使用公式更紧凑，可以使用“/”，exp函数或者适当的指数。数量或变量使用 Italicize Roman symbols，而不是 Greek symbols。使用长破折号而不是连字符来表示减号。当公式是句子的一部分时，记得使用逗号或句号。

注意，公式是使用中心制表符来居中的。要确保在公式之前或之后立即定义公式中的符号。使用“（1）“，而不是“Eq. (1)”或“equation (1)”。除非是在句子开头时，使用“Equation (1) is”的描述。

图

图要放在列的顶部或者底部，避免将它们放在列的中间。大图可以跨越两列。在文本中引入后将其插入。即使在句子开头，也要使用缩写“Fig. 1”。

图的标签要使用8号Times New Roman字体，编写标签时使用单词而不是符号或缩写。如果在标签中包含单位，请在括号内标注。不要仅用单位标注轴。不要以数量和单位的比例标记轴。

图的标题放在图的下方，使用figure caption样式。

建议使用文本框插入图，此方法比直接插入图片更稳定。将文本框的颜色和相同安排选择为无填充和无线条。

表

表要放在列的顶部或者底部，避免将它们放在列的中间。大表可以跨越两列。在文本中引入后将其插入。

表的标题放在表的上方，使用table head样式。

如需使用脚注请用字母。

脚注

在上标中分别编号。将实际脚注放在引用该脚注的列的底部。

ACKNOWLEDGMENT

在美式英语中acknowledgment中g后没有e。赞助致谢请放在第一页无编号脚注中。

REFERENCES

在方括号[1]中连续编号参考文献。句子标点在方括号之后。使用“in [3]”而不是“Ref. [3]” 或者“reference [3]”，除非在句子开头可用“Reference [3] was the first …”

不要放置脚注。

除非有六位以上的作者，否则给出所有作者的名字，不要使用et al.。尚未发表的论文，即使已经提交发表，也应该引用为“unpublished”。已被接收发表的论文应引用为“in press”。出专有名词和元素符号外，仅将论文标题中的第一个单词大写。

对于在翻译期刊上发表的论文，请先给出英文引文，然后再给出外语原文。

最后要做的

模板用于撰写和格式化论文。在提交之前，请确保从文件中删除了所有模板文本，否则将会导致论文无法发表。

如何写好一篇科研论文之会议期刊了解

对于刚入手论文的小白来说，如何了解所在领域的期刊会议有哪些，截至投稿日期以及往年发布的论文等信息是十分重要的。下面以IEEE为例子：

1、打开ieee网站： https://ieeexplore.ieee.org/

2、选择browse中的不同内容

3、筛选自己要找的会议、期刊

5、主页由相关的会议官网

可以选择某年的发表文章，or 搜索 content关键字，找到去年发布的文章列表

6、这部分是我们比较感兴趣的部分，在这里下载模板

7、在作者工具中可以找到论文模板和写作注意事项

一个问题：IEEE投稿时，如何使用“IEEE Reference Preparation Assistant”？

如何生成IEEE参考文献格式？

https://www.bilibili.com/video/BV1Pr4y1F79D/