chenpaopao – 第 64 页

c++ 数据类型

本文主要关于数据类型。面向对象编程的本质就是设计并扩展自己的的数据类型。

2025年 4月
一	二	三	四	五	六	日
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30

首先了解c++的内置数据类型：基本类型和复合类型

基本类型：整形和浮点型复合类型：数组、指针、字符串、结构存储数据的方法：变量

简单变量

变量命名规则：

如果想用多个单词组成一个名称，通常使用下划线字符将单词分开，如 my_onions，或者从第二个单词开始将每个单词的第一个字母大写：myEyeTooth

整型

不含小数的数字 0，-3 ，100。不同的整型使用不同的内存来存储整数。有符号和无符号类型分别表示正负数和正数

short int long longlong 通过不同数目的位存储值：(都是有符号数)

short 至少16位：short x （short== short int）

int 至少与short一样长

long 至少32位，且至少与int一样长（long == long int）

lonng long 之少64位，且至少与long一样长

sizeof 运算符，获得变量的所占字节，对于类型名 int等使用时，需要加括号： sizeof (int),如果是对于变量，可加可不加。

#include<iostream>
using  namespace std;
int main(){
    int x_collec =2;
    cout<<"x_collec is"<<sizeof(x_collec)<< endl;
}

初始化：

int year =2022 //如果知道变量初始值，建议定义时候赋初值。

c++11 初始化方法：将大括号用于单值变量，采用这种方法时候，=可以去掉

int x={3} or int x{3}

大括号中不含值默认为0 int z{}

头文件climits

climits定义了符号常量来并表示类型的限制： int n =INT_MAX;

无符号类型

要创建无符号类型，只需要使用unsigned 来修改变量声明。

unsigned   short  x  
unsigned   int  x
unsigned   long  x

char 类型（也是整型）

char用于存储字符（字母和数字） char x =”M” ,实际上，计算机中存储的是对应的字符编码77，可以将x =x+1，char值位78，对应N，可以通过（int）x强制转换为78

有些字符不能通过键盘直接输入，比如换行符不能用回车，因此，有了下面的转义字符：

char 占8bit，unsigned char 表示范围0-255， signed char 表示范围-128~127

c++11新增 char16_t char32_t, char16_t 无符号16位， char32_t 32位有符号数，使用前缀u表示 char16_t 类型的字符常量和字符串常量，使用前缀U表示 char32_t 类型的字符常量和字符串常量： char16_t ch=u’q’;

bool类型

布尔值 true or false，将非 0值解释为true，将0解释为false。字面值true和false都可以通过提升转换（不用显式强制转换）为 int类型，true转换为1，false转换为0。

const限定符

常量被初始化后就不能修改了 const int year =2022

const type name =value

浮点数

能够表示带小数部分的数字

书写浮点数：

1、标准写法 12.34 22.3 0.12 8.0

2、E表示法 3.45E6 指的是3.45与1000000相乘结果，E6指的是10的6次方，6是指数，指数可以是正数也可以是负数。E可以写成e。

浮点类型

三种：float 32位 double 64位 long double 128位，浮点数有精度限制。

float 只能保证6位精确位，double保证13位精确度。

cout所属的ostream类有一个类成员函数，能够精确的控制输出格式-字段宽度、小数位数、采用小数格式还是E格式等。后面会给出实现。

在程序中使用浮点常量时候，默认会认为是double型，如果要指定类型，在常量后加后缀：

1.23f —-float型

1.23L —–long double

1.23 —-默认double 类型

c++ 算数运算符

加、减、乘、除、求模

除法：如果两个整数相除，结果会是一个整数（小数部分直接舍去），如果两个数中有一个或两个是浮点数，则小数部分会被保留。（因为系统会将不同操作数进行自动准换成相同的类型）。

类型转换

1、初始化和赋值进行的转换

比如赋值时 double x = 3.14f 将一个float型付给double ，如果将double付给float变量，可能会导致降低精度。int x =3.14f 最终x=3（直接丢弃小数部分）

0赋值给bool，会转换为false，非0值会变为true

2、算数运算时

变量提升：在计算表达式时c++将 bool、char、unsigned char 、signed char 和short 转换为int。

3、传递参数时转换

4、强制类型转换

首先要明确一点强制转换不会修改变量本身，而是创建一个新的、指定类型的值。

以下两种方法都可以：

(long) x 或者 long (x)

(typename) value type (value)

c++还引入了强制类型转换运算符： static _cast<typename> (value)

C++中的auto声明

c++11新增了auto，让编译器能够根据初始值类型推断变量类型。

typedef

C 语言提供了 typedef 关键字，您可以使用它来为类型取一个新的名字。

typedef unsigned char BYTE;
在这个类型定义之后，标识符 BYTE 可作为类型 unsigned char 的缩写

https://pixabay.com/photos/nature-winter-tree-season-outdoors-6891549/

c++ 入门

本科大一的时候学习过c++，但因为后来大部分项目都是用python，所以基本上都还给老师了，但其实回过头发现，很多python开源库都是用c++写的，像opencv，因此很有必要去在回顾一下子c++的基本概念。

2025年 4月
一	二	三	四	五	六	日
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30

c++注释

以双斜杠开头： //这是一行注释，c++也能识别c注释，c注释包括在符号/* */之间，可以跨越多行。

#include <iostream>  
int main (){  
#c++ 例子  
    usinng namespace std;  
    cout<<"hello world"  
    cout<<endl;  
    return 0  
}

预处理器和iostream

#include <iostream>

头文件和命名空间

如果使用iostream，而不是iostream.h，则应使用下面的名称空间编译指令来使iostream中的定义对程序可用： using namespace std；

命名空间作用：假如两个封装好的库，都有名为cout的函数，那么在调用cout时，编译器不知道是哪个函数，因此可以把某个库中函数定义到一个命名空间，就可以通过 std:cout (命名空间:函数名)调用，此外，这样写比较麻烦，还可以使用using，而不必使用std前缀： using namespace std ；使得std中所有名称可用。在大型工程中，一般使用：using std:cout; using std:cin;单独定义所需的函数

输入输出

cout<<“hello” 和 cin<<a cout 还可以拼接 cout<<“s”<<“v”<<endl;

endl 是一个特殊的c++符号，表示换行，此外还可以使用c中的\n换行符 cout<<“hello \n”

声明语句和变量

int carrots; 这条语句声明了需要的内存和内存单元名称.为什么需要声明变量：如果不显示的声明，那么当我们在多次使用 carrots 变量时候，如果中间有个写错了 carrot ，系统不会报错，而是认为这是一个新的变量。

变量赋值 a=3

函数

type functionname(argumentlist){ statements }

函数头： type functionname(argumentlist) ，函数中可以使用using编译指令，起作用范围为函数内部。

如果using 放置在函数定义之前，文件中所有的函数都可以使用std中的元素，using放在特定函数中，则该函数能使用

PS和PL的交互方式汇总

最近有个项目关于FPGA加速神经网络，因此需要了解相关PS和pl交互的方法，从而将权重数据存放在PS的DDR中，并在需要时完成数据的存入和读出。这是一篇归纳性的文章，具体的还需要自行查阅资料。

PS-PL数据交互方式

1、IO

个数	分布	控制
MIO	54	BANK0, 1	PS直接控制
EMIO	64	BANK2, 3	需要PL配置引脚
GPIO			AXI-GPIO

MIO ：ZYNQ 分为 PS 和 PL 两部分，那么器件的引脚（Pin）资源同样也分成了两部分。ZYNQ PS 中的外设可以通过 MIO（Multiuse I/O，多用输入/输出）模块连接到 PS 端的引脚上，也可以通过 EMIO 连接到 PL 端的引脚。Zynq-7000 系列芯片一般有 54 个 MIO，个别芯片如 7z007s 只有 32 个。

EMIO : PS 和外部设备之间的通信主要是通过复用的输入/输出（Multiplexed Input/Output，MIO）实现的。除此之外，PS 还可以通过扩展的 MIO（Extended MIO，EMIO）来实现与外部设备的连接。EMIO 使用了 PL 的I/O 资源，当 PS 需要扩展超过 54 个引脚的时候可以用 EMIO，也可以用它来连接 PL 中实现的 IP 模块。

在大多数情况下，PS 端经由 EMIO 引出的接口会直接连接到 PL 端的器件引脚上，通过 IO 管脚约束来指定所连接 PL 引脚的位置。通过这种方式，EMIO 可以为 PS 端实现额外的 64 个输入引脚或 64 个带有输出使能的输出引脚。EMIO 还有一种使用方式，就是用于连接 PL 内实现的功能模块（IP 核），此时 PL 端的 IP 作为 PS 端的一个外部设备。（EMIO既可以将ps和pl端的引脚相连，也可以和pl中的模块相连）

PS 与 PL 最主要的连接方式则是一组 AXI 接口。AXI 互联和接口作为 ZYNQ PS 和 PL 之间的桥梁，能够使两者协同工作，进而形成一个完整的、高度集成的系统。

GPIO ： AXI GPIO IP 核为 AXI 接口提供了一个通用的输入/输出接口。与 PS 端的 GPIO 不同，AXI GPIO 是一个软核（Soft IP），即 ZYNQ 芯片在出厂时并不存在这样的一个硬件电路，而是由用户通过配置 PL 端的逻辑资源来实现的一个功能模块。而 PS 端的 GPIO 是一个硬核（Hard IP），它是一个生产时在硅片中实现的功能电路。 AXI GPIO IP 模块的左侧实现了一个 32 位的 AXI4-Lite 从接口，用于主机访问 AXI GPIO 内部各通道的寄存器。

中断

参考：

https://blog.csdn.net/wangjie36/article/details/116081755

中断是一种当满足要求的突发事件发生时通知处理器进行处理的信号。中断可以由硬件处理单元和外部设备产生，也可以由软件本身产生。对硬件来说，中断信号是一个由某个处理单元产生的异步信号，用来引起处理器的注意。对软件来说，中断还是一种异步事件，用来通知处理器需要改变代码的执行，不过，轮询所产生的中断的过程是同步的。

Zynq 芯片的 PS 部分是基于使用双核 Cortex-A9 处理器和 GIC pl390 中断控制器的 ARM 架构。中断结构与 CPU 紧密链接，并接受来自 I/O 外设（IOP）和可编程逻辑（PL）的中断。

ZYNQ CPU 软件中断（SGI，Software generatedinterrupts）：ZYNQ 共有两个 CPU，每个 CPU 具备各自的 16 个软件中断（中断号0-15）（16–26 reserved）：被路由到一个或者两个CPU上，通过写ICDSGIR寄存器产生SGI。

CPU私有外设中断（PPI，private peripheralinterrupts ）：私有中断是固定的不能修改。这里有 2 个 PL 到 CPU 的快速中断 nFIQ（中断号27-31）：每个CPU都有一组PPI，包括全局定时器、私有看门狗定时器、私有定时器和来自PL的FIQ/IRQ。

ZYNQ PS 和 PL 共享中断（SPI，shared peripheralinterrupts）：共享中断就是一些端口共用一个中断请求线：（中断号32-95）。由PS和PL上的各种I/O控制器和存储器控制器产生，这些中断信号被路由到相应的CPU， PL部分有16个共享中断，它们的触发方式可以设置。

FIFO

https://zhuanlan.zhihu.com/p/47847664

FIFO类型	读接口	写接口
AXI Data FIFO	AXI4-full	AXI4-full
AXI-Stream FIFO	PS axi4-lite	PL axi-stream
AXI4-Stream Data FIFO	axi-stream	axi-stream

通过AXI-Stream FIFO完成PS和PL部分的数据交互

S_AXI, PS读写FIFO数据接口
AXI_STR_TXC, 发送控制端口
AXI_STR_TXD，发送数据端口
AXI_STR_RXD，接收数据端口

读写fifo例程:

写fifo

//write fifo us1
always@(posedge  wrclk, negedge sys_reset_n_i)
begin
    if (!sys_reset_n_i)
    begin
        fifo_wrreq_ddr3_us <= 0 ;
        fifo_data_ddr3_us <= 0 ;
    end
    else
    begin
        if(fifo_prog_full_ddr3_us!= 1) 
            fifo_wrreq_ddr3_us <= 1 ;
        else
            fifo_wrreq_ddr3_us <= 0 ;        
        if(fifo_wrreq_ddr3_us == 1) 
         begin            
             if(fifo_data_ddr3_us < 64'b1111_1111_1111_1111_1111_1111)
                fifo_data_ddr3_us <=fifo_data_ddr3_us + 1 ;                  
             else 
                 fifo_data_ddr3_us <= 0  ; 
         end  
         else
             fifo_data_ddr3_us <= fifo_data_ddr3_us ;                
    end
end
endmodule

读fifo

assign fifo_rdreq_ddr3_ds = !fifo_empty_ddr3_ds;

always@(posedge sys_clk_i,negedge sys_reset_n_i)
begin
    if(!sys_reset_n_i)
         rd_ck_flag_cp<= 1'b0;
    else
    begin
        if (fifo_q_ddr3_ds_r!==fifo_q_ddr3_ds)
            rd_ck_flag_cp<= 1'b1;  
        else
            rd_ck_flag_cp<= 1'b0;
    end    
end
 //jiao yan cuo wu ji shu    jiao yan wei zi zeng       
always@(posedge sys_clk_i,negedge sys_reset_n_i)
begin
    if(!sys_reset_n_i)
    begin
         rd_ck_cnt <= 64'b0;
         fifo_q_ddr3_ds_r <= 64'b0 ;  
    end
    else  
    begin
        if(rd_ck_flag_cp==1)
            rd_ck_cnt <=rd_ck_cnt+1'b1;
        else
            rd_ck_cnt <= rd_ck_cnt;
             
         if ( ( fifo_rdreq_ddr3_ds==1 ) && (fifo_q_ddr3_ds_r < 64'b1111_1111_1111_1111_1111_1111) )
            
             fifo_q_ddr3_ds_r <= fifo_q_ddr3_ds_r + 1'b1 ; 
         else
             fifo_q_ddr3_ds_r <= 64'b0; 
     end
end

endmodule

BRAM

在 ZYNQ SOC 开发过程中，PL 和 PS 之间经常需要做数据交互。对于传输速度要求较高、数据量大、地址连续的场合，可以通过 AXI DMA 来完成。而对于数据量较少、地址不连续、长度不规则的情况，此时 AXIDMA 便不再适用了。针对这种情况，可以通过 BRAM 来进行数据的交互。

BRAM（Block RAM）是 PL 部分的存储器阵列，PS 和 PL 通过对 BRAM 进行读写操作，来实现数据的交互。在 PL 中，通过输出时钟、地址、读写控制等信号来对 BRAM 进行读写操作；而在 PS 中，处理器并不需要直接驱动 BRAM 的端口，而是通过 AXI BRAM 控制器来对 BRAM 进行读写操作。AXI BRAM 控制器是集成在 Vivado 设计软件中的软核，可以配置成 AXI4-lite 接口模式或者 AXI4 接口模式。

AXI4 接口模式的 BRAM 控制器支持的数据位宽为 32 位、64 位、128 位、512 位和 1024 位，而 AXI4-Lite 接口仅支持 32 位数据位宽。由图 14.1.1 可知，PS 通过 AXI4-Lite 接口访问 BRAM，当使能 ECC 选项时，ECC 允许 AXI 主接口检测和纠正 BRAM 块中的单位和双位错误。AXI BRAM 控制器作为 AXI 总线的从接口，和 AXI 主接口实现互联，来对 BRAM 进行读写操作。针对不同的应用场合，该 IP 核支持单次传输和突发传输两种方式。

PS 端的 M_AXI_GP0 作为主端口，与 PL 端的 AXI BRAM 控制器 IP 核和 PL 读 BRAMIP 核（pl_bram_rd）通过 AXI4 总线进行连接。其中，AXI 互联 IP（AXI Interconnect）用于连接 AXI 存储器映射（memory-mapped）的主器件和从器件；AXI BRAM 控制器作为 PS 端读写 BRAM 的 IP 核；PL 读BRAM IP 核是我们自定义的 IP 核，实现了 PL 端从 BRAM 中读出数据的功能，除此之外，PS 端通过 AXI总线来配置该 IP 核读取 BRAM 的起始地址和个数等。

DMA

DMA(Direct Memory Access，直接存储器访问)是计算机科学中的一种内存访问技术。它允许某些计算机内部的硬件子系统可以独立地直接读写系统内存，而不需中央处理器（CPU）介入处理。DMA 是一种快速的数据传送方式，通常用来传送数据量较多的数据块，很多硬件系统会使用 DMA，包括硬盘控制器、绘图显卡、网卡和声卡，在使用高速 AD/DA 时使用 DMA 也是不错的选择。DMA 是用硬件实现存储器与存储器之间或存储器与 I/O 设备之间直接进行高速数据传输。使用 DMA时，CPU 向 DMA 控制器发出一个存储传输请求，这样当 DMA 控制器在传输的时候，CPU 执行其它操作，传输操作完成时 DMA 以中断的方式通知 CPU。

为了发起传输事务，DMA 控制器必须得到以下数据：
• 源地址 — 数据被读出的地址
• 目的地址 — 数据被写入的地址
• 传输长度 — 应被传输的字节数

DMA 存储传输的过程如下：

为了配置用 DMA 传输数据到存储器，处理器发出一条 DMA 命令
DMA 控制器把数据从外设传输到存储器或从存储器到存储器，而让 CPU 腾出手来做其它操作。
数据传输完成后，向 CPU 发出一个中断来通知它 DMA 传输可以关闭了。

ZYNQ 提供了两种 DMA，一种是集成在 PS 中的硬核 DMA，另一种是 PL 中使用的软核 AXI DMAIP。在 ARM CPU 设计的过程中，已经考虑到了大量数据搬移的情况，因此在 CPU 中自带了一个 DMA 控制器 DAMC，这个 DAMC 驻留在 PS 内，而且必须通过驻留在内存中的 DMA 指令编程，这些程序往往由CPU 准备，因此需要部分的 CPU 参与。DMAC 支持高达 8 个通道，所以多个 DMA 结构的核可以挂在单个DMAC 上。DAMC 与 PL 的连接是通过 AXI_GP 接口，这个接口最高支持到 32 位宽度，这也限制了这种模式下的传输速率，理论最高速率为 600MB/s。这种模式不占用 PL 资源，但需要对 DMA 指令编程，会增加软件的复杂性。为了获取更高的传输速率，可以以空间换时间，在 PL 中添加 AXI DMAIP 核，并利用 AXI_HP 接口完成高速的数据传输。

为了获取更高的传输速率，可以以空间换时间，在 PL 中添加 AXI DMAIP 核，并利用 AXI_HP 接口完成高速的数据传输，通过 PL 的 DMA 和 AXI_HP 接口的传输适用于大块数据的高性能传输，带宽高。各种接口方式的比较如下表所示：

ZYNQ 开发板上使用 PL 的 AXI DMA IP 核从 DDR3 中读取数据，并将数据写回到 DDR3 中。

在实际应用中，DMA 一般与产生数据或需求数据的 IP 核相连接，该 IP 核可以是带有 Stream 接口的高速的 AD（模拟转数字）或 DA（数字转模拟） IP 核。不失一般性，在本次实验中，我们使用 AXI4 Stream Data FIFO IP 核来充当这类 IP 进行 DMA 环回实验。

AXI Direct Memory Access重要端口说明:

S_AXI_LITE: 配置DMA工作模式
M_AXI_MM2S：DDR到DMA数据接口
M_AXI_S2MM：DMA数据到DDR接口
S_AXIS_S2MM: 接收的DMA数据输出端口
M_AXIS_MM2S: 想通过DMA输出的数据写入端口

DDR3

通过对AXI HP接口的操作来实现

AXI 的英文全称是 Advanced eXtensible Interface，即高级可扩展接口，它是 ARM 公司所提出的 AMBA（Advanced Microcontroller Bus Architecture）协议的一部分。

AXI4 协议支持以下三种类型的接口：
1、 AXI4：高性能存储映射接口。
2、 AXI4-Lite：简化版的 AXI4 接口，用于较少数据量的存储映射通信。
3、 AXI4-Stream：用于高速数据流传输，非存储映射接口。

AXI4 协议支持突发传输，主要用于处理器访问存储器等需要指定地址的高速数据传输场景。AXI-Lite为外设提供单个数据传输，主要用于访问一些低速外设中的寄存器。而 AXI-Stream 接口则像 FIFO 一样，数据传输时不需要地址，在主从设备之间直接连续读写数据，主要用于如视频、高速 AD、PCIe、DMA 接口等需要高速数据传输的场合。

AXI 总线中的每个通道都包含了一组信息信号，还有一个 VALID 和一个 READY 信号，VALID 信号由源端（source）产生，表示当前地址或者数据线上的信息是有效的；而 READY 信号由目的端（destination）产生，则表示已经准备好接收地址、数据以及控制信息。

通过自定义一个 AXI4 接口的 IP 核，通过 AXI_HP 接口对 PS 端 DDR3 进行读写测试。

AXI_HP总线：只能单向传输，从PL到PS端，适用于大数据传输。

PL实现AXI4接口，通过S_AXI_HP接口读取ps侧DDR3数据. 例程功能：PL，PS向指定地址写数据，对方来读.

AXI-DMA：实现从PS内存到PL高速传输高速通道AXI-HP<—->AXI-Stream的转换
AXI-Datamover：实现从PS内存到PL高速传输高速通道AXI-HP<—->AXI-Stream的转换，只不过这次是完全由PL控制的，PS是完全被动的。
AXI-VDMA：实现从PS内存到PL高速传输高速通道AXI-HP<—->AXI-Stream的转换，只不过是专门针对视频、图像等二维数据的。
AXI-CDMA IP: 这个是由PL完成的将数据从内存的一个位置搬移到另一个位置，无需CPU来插手。这个和我们这里用的Stream没有关系

自定义AXI接口IP

一般应用场景在于PS对某些寄存器的配置，传输少量的数据信息。

少年游

芦叶满汀洲，寒沙带浅流。二十年重过南楼。柳下系船犹未稳，能几日，又中秋。黄鹤断矶头，故人今在否？旧江山浑是新愁。欲买桂花同载酒，终不似，少年游。《唐多令》宋·刘过

少年偏爱摇摇欲坠的日落黄，殊不知此刻正拥有的，是一生中最明媚的曙光。

春日游，杏花吹满头。陌上谁家年少，足风流。

韶华不为少年留，恨悠悠，几时休。

可是我现在依然不太会转弯
虽然孤单的人偶尔也想有个伴
冷风又吹的时候想说
这生活会不会有点难
难道是因为当初有话没讲完
堵在喉咙里却始终不敢大声喊
算了别哭 ————-毛不易《呓语》

HLS打包ip报错解决方法：

在HLS进行ip核打包的时候，出现了Vivado fails to export IPs with the error message “Bad lexical cast: source type value could not be interpreted as target”错误，在xilinx官网找到了解决办法：

以下是原帖

https://support.xilinx.com/s/question/0D52E00006uxy49SAA/vivado-fails-to-export-ips-with-the-error-message-bad-lexical-cast-source-type-value-could-not-be-interpreted-as-target?language=en_US

https://support.xilinx.com/s/question/0D52E00006uxnnFSAQ/2022-timestamp-overflow-error-2201011128-is-an-invalid-argument-please-specify-an-integer-value?language=en_US

错误是 Vivado 在导出 IP 步骤 (export_design) 中失败。

上面是错误截图，从2021年变成2022年之后就开始出现了。

我尝试重新启动并运行相同的命令来导出以前测试过的设计上的 xo 文件。他们都提示同样的错误

你好，

我正在尝试从 Vitis HLS 导出 Vivado IP（我尝试了 2020.1、2020.2 和 2021.1 版本）。一切都过去正常工作。

但是，现在它会打印以下错误消息：

错误：“2201011128”是无效参数。请指定一个整数

我注意到机器生成的 tcl 脚本使用当前日期作为修订的名称。正如您在下面的屏幕截图中看到的

上面的屏幕截图来自 2021 年 12 月 31 日的设计，效果很好。以下来自 2022 年无效的设计。

似乎数字 22 造成了整数溢出。因为 2^31 小于当前修订号。

这个问题有简单的解决方法吗？

请尝试以下解决方法解决此问题：

1.修改vitis_hls项目解决目录下的run_ippack.tcl文件

XX\test\solution1\impl\ip\run_ippack.tcl

示例修改：

设置修订版“2201012126”-> 设置修订版“2001012126”

但修改后：

修改修订后，如果我再次开始综合，更改将被覆盖。我如何完成生成设计？

最终解决方案：

我将计算机的日期设置回滚到 2021 年，并禁用了自动时间和日期选项。

YOLO系列（二）：yolov1

YOLOv1属于一阶段、anchor-free 目标检测

整体来看，Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测，整个系统如图5所示：首先将输入图片resize到448×448，然后送入CNN网络，最后处理网络预测结果得到检测的目标。相比R-CNN算法，其是一个统一的框架，其速度更快，而且Yolo的训练过程也是end-to-end的。

具体来说，Yolo的CNN网络将输入的图片分割成 $S \times S$ 网格，然后每个单元格负责去检测那些中心点落在该格子内的目标，如图6所示，可以看到狗这个目标的中心落在左下角一个单元格内，那么该单元格负责预测这个狗。每个单元格会预测 $B$ 个边界框 (bounding box) 以及边界框的置信度 (confidence score) 。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为 $\operatorname{Pr}(object)$ ，当该边界框是背景时 (即不包含目标)，此时 $\operatorname{Pr}(object)=0$ 。而当该边界框包含目标时， $\operatorname{Pr}(object)=1$ 。边界框的准确度可以用预测框与实际框 (ground truth) 的IOU (intersection over union，交并比) 来表征，记为 $\mathrm{IOU}{\text {pred }}^{\text {truth }}$ 。因此置信度可以定义为 $\operatorname{Pr}(object) * \mathrm{IOU}{\text {pred }}^{\text {truth }}$ 。很多人可能将Yolo 的置信度看成边界框是否含有目标的概率，但是其实它是两个因子的乘积，预测框的准确度也反映在里面。边界框的大小与位置可以用4个值来表征: (x, y, w, h)，其中 (x, y) 是边界框的中心坐标，而 w和 h 是边界框的宽与高。还有一点要注意，中心坐标的预测值 (x, y) 是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的，单元格的坐标定义如图6所示。而边界框的 $w$ 和 $h$ 预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小应该在 $[0,1]$ 范围。这样，每个边界框的预测值实际上包含 5 个元素: $(x, y, w, h, c)$ ，其中 $(x, y)$ 是边界框的中心坐标，而 $w$ 和 $h$ 是边界框的宽与高。还有一点要注意，中心坐标的预测值 $(x, y)$ 是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的，单元格的坐标定义如图所示。而边界框的$w$ 和 $h$ 预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小应该在 $[0,1]$ 范围。这样，每个边界框的预测值实际上包含 5 个元素: $(x, y, w, h, c)$ ，其中前 4 个表征边界框的大小与位置，而最后一个值是置信度。

还有分类问题，对于每一个单元格其还要给出预测出 C个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率。但是这些概率值其实是在各个边界框置信度下的条件概率，即 $\operatorname{Pr}\left(\right. class _{i} \mid object )$ 。值得注意的是，不管一个单元格预测多少个边界框，其只预测一组类别概率值，这是Yolo算法的一个缺点，在后来的改进版本中，Yolo9000是把类别概率预测值与边界框是绑定在一起的。同时，我们可以计算出各个边界框类别置信度（class-specific confidence scores):

边界框类别置信度表征的是该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏。后面会说，一般会根据类别置信度来过滤网络的预测框。
总结一下，每个单元格需要预测 $(B * 5+C)$ 个值。如果将输入图片划分为 $S \times S$ 网格，那么最终预测值为 $S \times S \times(B * 5+C)$ 大小的张量。整个模型的预测值结构如下图所示。对于PASCAL VOC数据，其共有20个类别，如果使用 $S=7, B=2$ ，那么最终的预测结果就是 $7 \times 7 \times 30$ 大小的张量。在下面的网络结构中我们会详细讲述每个单元格的预测值的分布位置。

Yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层，如图8所示。对于卷积层，主要使用1×1卷积来做channle reduction，然后紧跟3×3卷积。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x, 0.1x) 。但是最后一层却采用线性激活函数。

损失函数计算如下：

其中第一项是边界框中心坐标的误差项， $1_{i j}^{obj}$ 指的是第 $i$ 个单元格存在目标，且该单元格中的第 $j$ 个边界框负责预测该目标。第二项是边界框的高与宽的误差项。第三项是包含目标的边界框的置信度误差项。第四项是不包含目标的边界框的置信度误差项。而最后一项是包含目标的单元格的分类误差项， $1_{i}^{\text {obj }}$ 指的是第 $i$ 个单元格存在目标。这里特别说一下置信度的target值 $C_{i}$ ，如果是不存在目标，此时由于 $\operatorname{Pr}( object )=0$ ，那么 $C_{i}=0$ 。如果存在目标，
$\operatorname{Pr}( object )=1$ ，此时需要确定 $\mathrm{IOU}{\text {pred }}^{\text {truth }}$ ，当然你希望最好的话，可以将IOU取 1 ，这样 $C{i}=1$ ，但是在 YOLO实现中，使用了一个控制参数 rescore (默认为 1 )，当其为 1 时，IOU不是设置为 1 ，而就是计算truth和pred之间的真实 IOU

网络预测: 基于非极大值抑制算法

这个算法不单单是针对Yolo算法的，而是所有的检测算法中都会用到。NMS算法主要解决的是一个目标被多次检测的问题，如图11中人脸检测，可以看到人脸被多次检测，但是其实我们希望最后仅仅输出其中一个最好的预测框，比如对于美女，只想要红色那个检测结果。那么可以采用NMS算法来实现这样的效果：首先从所有的检测框中找到置信度最大的那个框，然后挨个计算其与剩余框的IOU，如果其值大于一定阈值（重合度过高），那么就将该框剔除；然后对剩余的检测框重复上述过程，直到处理完所有的检测框。Yolo预测过程也需要用到NMS算法。

下面就来分析Yolo的预测过程，这里我们不考虑batch，认为只是预测一张输入图片。根据前面的分析，最终的网络输出是 7×7×30 ，但是我们可以将其分割成三个部分：类别概率部分为 [7,7,20] ，置信度部分为 [7,7,2] ，而边界框部分为 [7,7,2,4] （对于这部分不要忘记根据原始图片计算出其真实值）。然后将前两项相乘（矩阵 [7,7,20] 乘以 [7,7,2] 可以各补一个维度来完成 [7,7,1,20]×[7,7,2,1] ）可以得到类别置信度值为 [7,7,2,20] ，这里总共预测了 7∗7∗2=98 个边界框。

所有的准备数据已经得到了，那么我们先说第一种策略来得到检测框的结果，我认为这是最正常与自然的处理。首先，对于每个预测框根据类别置信度选取置信度最大的那个类别作为其预测标签，经过这层处理我们得到各个预测框的预测类别及对应的置信度值，其大小都是 [7,7,2] 。一般情况下，会设置置信度阈值，就是将置信度小于该阈值的box过滤掉，所以经过这层处理，剩余的是置信度比较高的预测框。最后再对这些预测框使用NMS算法，最后留下来的就是检测结果。一个值得注意的点是NMS是对所有预测框一视同仁，还是区分每个类别，分别使用NMS。Ng在deeplearning.ai中讲应该区分每个类别分别使用NMS，但是看了很多实现，其实还是同等对待所有的框，我觉得可能是不同类别的目标出现在相同位置这种概率很低吧。

上面的预测方法应该非常简单明了，但是对于Yolo算法，其却采用了另外一个不同的处理思路（至少从C源码看是这样的），其区别就是先使用NMS，然后再确定各个box的类别。其基本过程如图12所示。对于98个boxes，首先将小于置信度阈值的值归0，然后分类别地对置信度值采用NMS，这里NMS处理结果不是剔除，而是将其置信度值归为0。最后才是确定各个box的类别，当其置信度值不为0时才做出检测结果输出。这个策略不是很直接，但是貌似Yolo源码就是这样做的。Yolo论文里面说NMS算法对Yolo的性能是影响很大的，所以可能这种策略对Yolo更好。但是我测试了普通的图片检测，两种策略结果是一样的。

YOLO系列（五）yolov4-tiny

YOLOv4-tiny结构是YOLOv4的精简版，属于轻量化模型，参数只有600万相当于原来的十分之一，这使得检测速度提升很大。整体网络结构共有38层，使用了三个残差单元，激活函数使用了LeakyReLU，目标的分类与回归改为使用两个特征层，合并有效特征层时使用了特征金字塔(FPN)网络。其同样使用了CSPnet结构，并对特征提取网络进行通道分割，将经过3×3卷积后输出的特征层通道划分为两部分，并取第二部分。在COCO数据集上得到了40.2%的AP50、371FPS，相较于其他版本的轻量化模型性能优势显著。其结构图如下图所示。

YOLOv4-tiny具有多任务、端到端、注意力机制和多尺度的特点。多任务即同时完成目标的分类与回归，实现参数共享，避免过拟合；端到端即模型接收图像数据后直接给出分类与回归的预测信息；注意力机制是重点关注目标区域特征进行详细处理，提高处理速度；多尺度的特点是将经过下采样和上采样的数据相互融合，其作用是能够分割出多种尺度大小的目标。在对模型进行训练时可以使用Mosaic数据增强、标签平滑、学习率余弦退火衰减等方法来提升模型的训练速度和检测精度。

YOLO系列（四）：yolov3

yolov3属于一阶段、anchor-based 目标检测

FPN ：

原来多数的object detection算法都是只采用顶层特征做预测，但我们知道低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而本文不一样的地方在于预测是在不同特征层独立进行的。

FPN（Feature Pyramid Network）算法可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的预测效果。此外，和其他的特征融合方式不同的是本文中的预测是在每个融合后的特征层上单独进行的。（对不同特征层单独预测）

网络结构解析：

Yolov3中，只有卷积层，通过调节卷积步长控制输出特征图的尺寸。所以对于输入图片尺寸没有特别限制。流程图中，输入图片以256*256作为样例。
Yolov3借鉴了金字塔特征图思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。特征图的输出维度为 $N\times N \times [3 \times (4 + 1 + 80)]$ ， $N\times N$ 为输出特征图格点数，一共3个Anchor框，每个框有4维预测框数值 $t_x ,t_y ,t_w, t_h$ ，1维预测框置信度，80维物体类别数。所以第一层特征图的输出维度为 $8 \times 8 \times 255$ 。
Yolov3总共输出3个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍。输入图像经过Darknet-53（无全连接层），再经过Yoloblock生成的特征图被当作两用，第一用为经过3*3卷积层、1*1卷积之后生成特征图一，第二用为经过1*1卷积层加上采样层，与Darnet-53网络的中间层输出结果进行拼接，产生特征图二。同样的循环之后产生特征图三。
concat操作与加和操作的区别：加和操作来源于ResNet思想，将输入的特征图，与输出特征图对应维度进行相加，即 $y = f(x)+x$ ；而concat操作源于DenseNet网络的设计思路，将特征图按照通道维度直接进行拼接，例如8*8*16的特征图与8*8*16的特征图拼接后生成8*8*32的特征图。
上采样层(upsample)：作用是将小尺寸特征图通过插值等方法，生成大尺寸图像。例如使用最近邻插值算法，将8*8的图像变换为16*16。上采样层不改变特征图的通道数。

Yolo的整个网络，吸取了Resnet、Densenet、FPN的精髓，可以说是融合了目标检测当前业界最有效的全部技巧。

YOLO系列（三）：yolov2

yolov2属于一阶段、anchor-based 目标检测

YOLOv2的论文全名为YOLO9000: Better, Faster, Stronger，它斩获了CVPR 2017 Best Paper Honorable Mention。在这篇文章中，作者首先在YOLOv1的基础上提出了改进的YOLOv2，然后提出了一种检测与分类联合训练方法，使用这种联合训练方法在COCO检测数据集和ImageNet分类数据集上训练出了YOLO9000模型，其可以检测超过9000多类物体。所以，这篇文章其实包含两个模型：YOLOv2和YOLO9000，不过后者是在前者基础上提出的，两者模型主体结构是一致的。YOLOv2相比YOLOv1做了很多方面的改进，这也使得YOLOv2的mAP有显着的提升，并且YOLOv2的速度依然很快，保持着自己作为one-stage方法的优势.

Yolov2和Yolo9000算法内核相同，区别是训练方式不同：Yolov2用coco数据集训练后，可以识别80个种类。而Yolo9000可以使用coco数据集 + ImageNet数据集联合训练，可以识别9000多个种类。

YOLOv2的改进策略

YOLOv1虽然检测速度很快，但是在检测精度上却不如R-CNN系检测方法，YOLOv1在物体定位方面（localization）不够准确，并且召回率（recall）较低。YOLOv2共提出了几种改进策略来提升YOLO模型的定位准确度和召回率，从而提高mAP，YOLOv2在改进中遵循一个原则：保持检测速度，这也是YOLO模型的一大优势。YOLOv2的改进策略如图2所示，可以看出，大部分的改进方法都可以比较显着提升模型的mAP。

Batch Normalization

Batch Normalization可以提升模型收敛速度，而且可以起到一定正则化效果，降低模型的过拟合。在YOLOv2中，每个卷积层后面都添加了Batch Normalization层，并且不再使用droput。使用Batch Normalization后，YOLOv2的mAP提升了2.4%。

High Resolution Classifier:

目前大部分的检测模型都会在先在ImageNet分类数据集上预训练模型的主体部分（CNN特征提取器），由于历史原因，ImageNet分类模型基本采用大小为 224*224的图片作为输入，分辨率相对较低，不利于检测模型。所以YOLOv1在采用 224*224 分类模型预训练后，将分辨率增加至 448*448，并使用这个高分辨率在检测数据集上finetune。但是直接切换分辨率，检测模型可能难以快速适应高分辨率。所以YOLOv2增加了在ImageNet数据集上使用448*448输入来finetune分类网络这一中间过程（10 epochs），这可以使得模型在检测数据集上finetune之前已经适用高分辨率输入。使用高分辨率分类器后，YOLOv2的mAP提升了约4%。

Convolutional With Anchor Boxes:在YOLOv1中，输入图片最终被划分为7*7网格，每个单元格预测2个边界框。YOLOv1最后采用的是全连接层直接对边界框进行预测，其中边界框的宽与高是相对整张图片大小的，而由于各个图片中存在不同尺度和长宽比（scales and ratios）的物体，YOLOv1在训练过程中学习适应不同物体的形状是比较困难的，这也导致YOLOv1在精确定位方面表现较差。YOLOv2借鉴了Faster R-CNN中RPN网络的先验框（anchor boxes，prior boxes，SSD也采用了先验框）策略。RPN对CNN特征提取器得到的特征图（feature map）进行卷积来预测每个位置的边界框以及置信度（是否含有物体），并且各个位置设置不同尺度和比例的先验框，所以RPN预测的是边界框相对于先验框的offsets值（其实是transform值，详细见Faster R_CNN论文），采用先验框使得模型更容易学习。所以YOLOv2移除了YOLOv1中的全连接层而采用了卷积和anchor boxes来预测边界框。为了使检测所用的特征图分辨率更高，移除其中的一个pool层。在检测模型中，YOLOv2不是采用448*448图片作为输入，而是采用416*416大小。因为YOLOv2模型下采样的总步长为32，对于 416*416 大小的图片，最终得到的特征图大小为 13*13，维度是奇数，这样特征图恰好只有一个中心位置。对于一些大物体，它们中心点往往落入图片中心位置，此时使用特征图的一个中心点去预测这些物体的边界框相对容易些。所以在YOLOv2设计中要保证最终的特征图有奇数个位置。对于YOLOv1，每个cell都预测2个boxes，每个boxes包含5个值：（x,y,w,h,c）,前4个值是边界框位置与大小，最后一个值是置信度（confidence scores，包含两部分：含有物体的概率以及预测框与ground truth的IOU）。但是每个cell只预测一套分类概率值（class predictions，其实是置信度下的条件概率值）,供2个boxes共享。YOLOv2使用了anchor boxes之后，每个位置的各个anchor box都单独预测一套分类概率值，这和SSD比较类似（但SSD没有预测置信度，而是把background作为一个类别来处理）。使用anchor boxes之后，YOLOv2的mAP有稍微下降（这里下降的原因，我猜想是YOLOv2虽然使用了anchor boxes，但是依然采用YOLOv1的训练方法YOLOv1只能预测98个边界框（ 7*7*2 ），而YOLOv2使用anchor boxes之后可以预测上千个边界框（13*13*num_anchors）。所以使用anchor boxes之后，YOLOv2的召回率大大提升，由原来的81%升至88%。

Dimension Clusters

在Faster R-CNN和SSD中，先验框的维度（长和宽）都是手动设定的，带有一定的主观性。如果选取的先验框维度比较合适，那么模型更容易学习，从而做出更好的预测。因此，YOLOv2采用k-means聚类方法对训练集中的边界框做了聚类分析。因为设置先验框的主要目的是为了使得预测框与ground truth的IOU更好，所以聚类分析时选用box与聚类中心box之间的IOU值作为距离指标：

$$
d(\text { box }, \text { centroid })=1-I O U(\text { box }, \text { centroid })
$$

下图为在VOC和COCO数据集上的聚类分析结果，随着聚类中心数目的增加，平均IOU值（各个边界框与聚类中心的IOU的平均值）是增加的，但是综合考虑模型复杂度和召回率，作者最终选取5个聚类中心作为先验框，其相对于图片的大小如右边图所示。对于两个数据集，5个先验框的width和height如下所示（来源：YOLO源码的cfg文件）：

COCO: (0.57273, 0.677385), (1.87446, 2.06253), (3.33843, 5.47434), (7.88282, 3.52778), (9.77052, 9.16828)
VOC: (1.3221, 1.73145), (3.19275, 4.00944), (5.05587, 8.09892), (9.47112, 4.84053), (11.2364, 10.0071)

但是这里先验框的大小具体指什么作者并没有说明，但肯定不是像素点，从代码实现上看，应该是相对于预测的特征图大小（ $13\times13$ ）。对比两个数据集，也可以看到COCO数据集上的物体相对小点。这个策略作者并没有单独做实验，但是作者对比了采用聚类分析得到的先验框与手动设置的先验框在平均IOU上的差异，发现前者的平均IOU值更高，因此模型更容易训练学习。

New Network: Darknet-19

YOLOv2采用了一个新的基础模型（特征提取器），称为Darknet-19，包括19个卷积层和5个maxpooling层，如图4所示。Darknet-19与VGG16模型设计原则是一致的，主要采用3*3卷积，采用2*2的maxpooling层之后，特征图维度降低2倍，而同时将特征图的channles增加两倍。与NIN(Network in Network)类似，Darknet-19最终采用global avgpooling做预测，并且在3*3卷积之间使用1*1卷积来压缩特征图channles以降低模型计算量和参数。Darknet-19每个卷积层后面同样使用了batch norm层以加快收敛速度，降低模型过拟合。在ImageNet分类数据集上，Darknet-19的top-1准确度为72.9%，top-5准确度为91.2%，但是模型参数相对小一些。使用Darknet-19之后，YOLOv2的mAP值没有显着提升，但是计算量却可以减少约33%。

Direct location prediction：

沿用YOLOv1的方法，就是预测边界框中心点相对于对应cell左上角位置的相对偏移值，为了将边界框中心点约束在当前cell中，使用sigmoid函数处理偏移值，这样预测的偏移值在(0,1)范围内（每个cell的尺度看做1）。

Fine-Grained Features 更精细的特征图

YOLOv2的输入图片大小为 416*416 ，经过5次maxpooling之后得到 13*13 大小的特征图，并以此特征图采用卷积做预测。13*13大小的特征图对检测大物体是足够了，但是对于小物体还需要更精细的特征图（Fine-Grained Features）。因此SSD使用了多尺度的特征图来分别检测不同大小的物体，前面更精细的特征图可以用来预测小物体。YOLOv2提出了一种passthrough层来利用更精细的特征图。YOLOv2所利用的Fine-Grained Features是26*26大小的特征图（最后一个maxpooling层的输入），对于Darknet-19模型来说就是大小为 26*26*512 的特征图。passthrough层与ResNet网络的shortcut类似，以前面更高分辨率的特征图为输入，然后将其连接到后面的低分辨率特征图上。前面的特征图维度是后面的特征图的2倍，passthrough层抽取前面层的每个 2*2的局部区域，然后将其转化为channel维度，对于 [ 26*26*512 ] 的特征图，经passthrough层处理之后就变成了 [13*13*2048] 的新特征图（特征图大小降低4倍，而channles增加4倍，下图为一个实例），这样就可以与后面的 [13*13*1024] 特征图连接在一起形成 13*13*3072大小的特征图，然后在此特征图基础上卷积做预测。在YOLO的C源码中，passthrough层称为reorg layer。在TensorFlow中，可以使用tf.extract_image_patches或者tf.space_to_depth来实现passthrough层

Multi-Scale Training

采用Multi-Scale Training策略，YOLOv2可以适应不同大小的图片，并且预测出很好的结果。在测试时，YOLOv2可以采用不同大小的图片作为输入，在VOC 2007数据集上的效果如下图所示。可以看到采用较小分辨率时，YOLOv2的mAP值略低，但是速度更快，而采用高分辨输入时，mAP值更高，但是速度略有下降，对于 544*544，mAP高达78.6%。注意，这只是测试时输入图片大小不同，而实际上用的是同一个模型（采用Multi-Scale Training训练）

YOLO9000

YOLO9000是在YOLOv2的基础上提出的一种可以检测超过9000个类别的模型，其主要贡献点在于提出了一种分类和检测的联合训练策略。众多周知，检测数据集的标注要比分类数据集打标签繁琐的多，所以ImageNet分类数据集比VOC等检测数据集高出几个数量级。在YOLO中，边界框的预测其实并不依赖于物体的标签，所以YOLO可以实现在分类和检测数据集上的联合训练。对于检测数据集，可以用来学习预测物体的边界框、置信度以及为物体分类，而对于分类数据集可以仅用来学习分类，但是其可以大大扩充模型所能检测的物体种类。

作者选择在COCO和ImageNet数据集上进行联合训练，但是遇到的第一问题是两者的类别并不是完全互斥的，比如”Norfolk terrier”明显属于”dog”，所以作者提出了一种层级分类方法（Hierarchical classification），主要思路是根据各个类别之间的从属关系（根据WordNet）建立一种树结构WordTree

WordTree中的根节点为”physical object”，每个节点的子节点都属于同一子类，可以对它们进行softmax处理。在给出某个类别的预测概率时，需要找到其所在的位置，遍历这个path，然后计算path上各个节点的概率之积。

在训练时，如果是检测样本，按照YOLOv2的loss计算误差，而对于分类样本，只计算分类误差。在预测时，YOLOv2给出的置信度就是 $Pr(physical \space object)$ ，同时会给出边界框位置以及一个树状概率图。在这个概率图中找到概率最高的路径，当达到某一个阈值时停止，就用当前节点表示预测的类别。

通过联合训练策略，YOLO9000可以快速检测出超过9000个类别的物体，总体mAP值为19,7%。我觉得这是作者在这篇论文作出的最大的贡献，因为YOLOv2的改进策略亮点并不是很突出，但是YOLO9000算是开创之举。

reference：

https://zhuanlan.zhihu.com/p/35325884

SSD原理与实现

SSD属于一阶段、anchor-based 目标检测

基于anchor-based的技术包括一个阶段和两个阶段的检测。其中一阶段的检测技术包括SSD，DSSD，RetinaNet，RefineDet，YOLOV3等，二阶段技术包括Faster-RCNN，R-FCN，FPN，Cascade R-CNN，SNIP等。一般的，两个阶段的目标检测会比一个阶段的精度要高，但一个阶段的算法速度会更快。

anchor-based类算法代表是fasterRCNN、SSD、YoloV2/V3等

目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型（参考RefineDet）：（1）two-stage方法，如R-CNN系算法，其主要思路是先通过启发式方法（selective search）或者CNN网络（RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，two-stage方法的优势是准确度高；（2）one-stage方法，如Yolo和SSD，其主要思路是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用CNN提取特征后直接进行分类与回归，整个过程只需要一步，所以其优势是速度快，但是均匀的密集采样的一个重要缺点是训练比较困难，这主要是因为正样本与负样本（背景）极其不均衡（参见Focal Loss），导致模型准确度稍低。

需要掌握的知识：

1、边界框

在⽬标检测中，我们通常使⽤边界框（bounding box）来描述对象的空间位置。边界框是矩形的，由矩形左上⻆的 x 和 y 坐标以及右下⻆的坐标决定。另⼀种常⽤的边界框表⽰⽅法是边界框中⼼的 (x, y) 轴坐标以及框的宽度和⾼度

2、锚框

⽬标检测算法通常会在输⼊图像中采样⼤量的区域，然后判断这些区域中是否包含我们感兴趣的⽬标，并调整区域边缘从而更准确地预测⽬标的真实边界框（ground-truth bounding box）。不同的模型使⽤的区域采样⽅法可能不同。这⾥我们介绍其中的⼀种⽅法：它以每个像素为中⼼⽣成多个⼤小和宽⾼⽐（aspect ratio）不同的边界框。这些边界框被称为锚框（anchor box）

3、交并⽐(IoU)

直观地说，我们可以衡量锚框和真实边界框之间的相似性。我们知道 Jaccard 系数可以衡量
两组之间的相似性。给定集合 A 和 B，他们的 Jaccard 系数是他们交集的⼤小除以他们并集的⼤小：$$J\left( A,B\right) =\dfrac{\left| A\cap B\right| }{\left| A\right| U\left| B\right| }$$ 事实上，我们可以将任何边界框的像素区域视为⼀组像素。通过这种⽅式，我们可以通过其像素集的 Jaccard索引来测量两个边界框的相似性。对于两个边界框，我们通常将他们的 Jaccard 指数称为交并⽐ (intersectionover union，IoU)，即两个边界框相交⾯积与相并⾯积之⽐

4、标注训练数据的锚框

在训练集中，我们将每个锚框视为⼀个训练样本。为了训练⽬标检测模型，我们需要每个锚框的类别（class）和偏移量（offset）标签，其中前者是与锚框相关的对象的类别，后者是真实边界框相对于锚框的偏移量。在预测期间，我们为每个图像⽣成多个锚框，预测所有锚框的类和偏移量，根据预测的偏移量调整它们的位置以获得预测的边界框，最后只输出符合特定条件的预测边界框。

5、将真实边界框分配给锚框

给定图像, 假设锚框是 $A_{1}, A_{2}, \ldots, A_{n_{a}}$ , 真实边界框是 $B_{1}, B_{2}, \ldots, B_{n_{b}}$ , 其中 $ n_{a} \geq n_{b}$ 。让我们定义一个矩阵 $\mathbf{X} \in \mathbb{R}^{n_{a} \times n_{b}}$, 其中 $i^{\text {th }}$ 行和 $j^{\text {th }}$ 列中的元素 $x_{i j}$是针框 $A_{i}$ 和真实边界框 $B_{j}$ 的 $\mathrm{IoU}$ 。该算法包含以下步骤:

在矩阵 $\mathbf{X}$ 中找到最大的元素, 并将它的行索引和列索引分别表示为 $i_{1}$ 和 $j_{1}$ 。然后将真实边界框 $B_{j_{1}}$ 分配给针框 $A_{i_{1}}$ 。这很直观，因为 $A_{i_{1}}$ 和 $B_{j_{1}}$ 是所有针框和真实边界框配对中最相近的。在第一个分配完成后，丢弃矩阵中 $i_{1}{ }^{\text {th }}$ 行和 $j_{1}{ }^{\text {th }}$ 列中的所有元素。
在矩阵 $\mathbf{X}$ 中找到剩余元素中最大的元素, 并将它的行索引和列索引分别表示为 $i_{2}$ 和 $j_{2}$ 。我们将真实边界框 $B_{j_{2}}$ 分配给针框 $A_{i_{2}}$, 并丢弃矩阵中 $i_{2}{ }^{\text {th }}$ 行和 $j_{2}{ }^{\text {th }}$ 列中的所有元素。
此时，矩阵 $\mathbf{X}$ 中两行和两列中的元素已被丢弃。我们继续, 直到丢弃掉矩阵 $\mathbf{X}$ 中 $n_{b}$ 列中的所有元素。此时，我们已经为这 $n_{b}$ 个针框各自分配了一个真实边界框。
只遍历剩下的 $n_{a}-n_{b}$ 个针框。例如，给定任何针框 $A_{i}$, 在矩阵 $\mathbf{X}$的第 $i^{\text {th }}$ 行中找到与 $A_{i}$ 的IoU最大的真实边界框 $B_{j}$, 只有当此 IoU 大于预定义的阈值时, 才将 $B_{j}$ 分配给 $A_{i \circ}$

6、标记类和偏移

现在我们可以为每个锚框标记分类和偏移量了。假设⼀个锚框 A 被分配了⼀个真实边界框 B。⼀⽅⾯，锚框A 的类将被标记为与 B 相同。另⼀⽅⾯，锚框 A 的偏移量将根据 B 和 A 中⼼坐标的相对位置、以及这两个框的相对⼤小进⾏标记。鉴于数据集内不同的框的位置和⼤小不同，我们可以对那些相对位置和⼤小应⽤变换，使其获得更均匀分布、易于适应的偏移量。在这⾥，我们介绍⼀种常⻅的变换。给定框 A 和 B，中⼼坐标分别为 (xa, ya) 和 (xb, yb)，宽度分别为 wa 和 wb，⾼度分别为 ha 和 hb。我们可以将 A 的偏移量标记为

$$
\left(\frac{\frac{x_{b}-x_{a}}{w_{a}}-\mu_{x}}{\sigma_{x}}, \frac{\frac{y_{b}-y_{a}}{h_{a}}-\mu_{y}}{\sigma_{y}}, \frac{\log \frac{w_{b}}{w_{a}}-\mu_{w}}{\sigma_{w}}, \frac{\log \frac{h_{b}}{h_{a}}-\mu_{h}}{\sigma_{h}}\right)
$$

$$
\text { 其中常量的默认值是 } \mu_{x}=\mu_{y}=\mu_{w}=\mu_{h}=0, \sigma_{x}=\sigma_{y}=0.1 \text { 和 } \sigma_{w}=\sigma_{h}=0.2 \text { 。 }
$$

7、⽤⾮极⼤值抑制预测边界框

在预测期间，我们先为图像⽣成多个锚框，再为这些锚框⼀⼀预测类别和偏移量。⼀个“预测好的边界框”则根据其中某个带有预测偏移量的锚框而⽣成。当有许多锚框时，可能会输出许多相似的具有明显重叠的预测边界框，都围绕着同⼀⽬标。为了简化输出，我们可以使⽤⾮极⼤值抑制 (non-maximum suppression，NMS)合并属于同⼀⽬标的类似的预测边界框。以下是⾮极⼤值抑制的⼯作原理。对于⼀个预测边界框 B，⽬标检测模型会计算每个类的预测概率。假设最⼤的预测概率为 p ，则该概率所对应的类别 B 即为预测的类别。具体来说，我们将 p 称为预测边界框 B 的置信度。在同⼀张图像中，所有预测的⾮背景边界框都按置信度降序排序，以⽣成列表 L。然后我们通过以下步骤操作排序列表 L：

从 L 中选取置信度最高的预测边界框 $B_{1}$ 作为基准，然后将所有与 $B_{1}$ 的IoU 超过预定阈值$\epsilon$ 的非基准预测边界框从 L 中移除。这时， L 保留了置信度最高的预测边界框，去除了与其太过相似的其他预测边界框。简而言之，那些具有非极大值置信度的边界框被抑制了。
从 L 中选取置信度第二高的预测边界框 $B_{2}$ 作为又一个基准，然后将所有与 $B_{2}$的IoU大于 $\epsilon$的非基准预测边界框从 L 中移除。
重复上述过程，直到 L 中的所有预测边界框都曾被用作基准。此时， L中任意一对预测边界框的IoU都小于阈值 $\epsilon$; 因此，没有一对边界框过于相似。
输出列表 L中的所有预测边界框。

SSD原理：

在了解上述概念后，开始实现SSD（Single Shot MultiBox Detector）

SSD和Yolo一样都是采用一个CNN网络来进行检测，但是却采用了多尺度的特征图，其基本架构如图3所示。下面将SSD核心设计理念总结为以下三点：

（1）采用多尺度特征图用于检测

所谓多尺度采用大小不同的特征图，CNN网络一般前面的特征图比较大，后面会逐渐采用stride=2的卷积或者pool来降低特征图大小，这正如图3所示，一个比较大的特征图和一个比较小的特征图，它们都用来做检测。这样做的好处是比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标。

（2）采用卷积进行检测

与Yolo最后采用全连接层不同，SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为 $m\times n \times p$ 的特征图，只需要采用 $3\times 3 \times p$ 这样比较小的卷积核得到检测值。

（3）设置先验框

在Yolo中，每个单元预测多个边界框，但是其都是相对这个单元本身（正方块），但是真实目标的形状是多变的，Yolo需要在训练过程中自适应目标的形状。而SSD借鉴了Faster R-CNN中anchor的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框（bounding boxes）是以这些先验框为基准的，在一定程度上减少训练难度。一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，如图5所示，可以看到每个单元使用了4个不同的先验框，图片中猫和狗分别采用最适合它们形状的先验框来进行训练，后面会详细讲解训练过程中的先验框匹配原则

也就是说，在上面4中所说的 “标注训练数据的锚框” ，这里的锚框在SSD中就是先验框。

网络结构

SSD采用VGG16作为基础模型，然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。SSD的网络结构如图5所示。上面是SSD模型，下面是Yolo模型，可以明显看到SSD利用了多尺度的特征图做检测。

得到了特征图之后，需要对特征图进行卷积得到检测结果

下图给出了一个 5*5大小的特征图的检测过程。其中Priorbox是得到先验框，前面已经介绍了生成规则。检测值包含两个部分：类别置信度和边界框位置，各采用一次3*3 卷积来进行完成。

训练过程

（1）先验框匹配
在训练过程中，首先要确定训练图片中的ground truth（真实目标）与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。在Yolo中，ground truth的中心落在哪个单元格，该单元格中与其IOU最大的边界框负责预测它。但是在SSD中却完全不一样，SSD的先验框与ground truth的匹配原则主要有两点。首先，对于图片中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，这样，可以保证每个ground truth一定与某个先验框匹配。通常称与ground truth匹配的先验框为正样本（其实应该是先验框对应的预测box，不过由于是一一对应的就这样称呼了），反之，若一个先验框没有与任何ground truth进行匹配，那么该先验框只能与背景匹配，就是负样本。一个图片中ground truth是非常少的，而先验框却很多，如果仅按第一个原则匹配，很多先验框会是负样本，正负样本极其不平衡，所以需要第二个原则。第二个原则是：对于剩余的未匹配先验框，若某个ground truth的 IOU大于某个阈值（一般是0.5），那么该先验框也与这个ground truth进行匹配。这意味着某个ground truth可能与多个先验框匹配，这是可以的。但是反过来却不可以，因为一个先验框只能匹配一个ground truth，如果多个ground truth与某个先验框 IOU大于阈值，那么先验框只与IOU最大的那个ground truth进行匹配。第二个原则一定在第一个原则之后进行，仔细考虑一下这种情况，如果某个ground truth所对应最大 IOU小于阈值，并且所匹配的先验框却与另外一个ground truth的IOU大于阈值，那么该先验框应该匹配谁，答案应该是前者，首先要确保某个ground truth一定有一个先验框与之匹配。但是，这种情况我觉得基本上是不存在的。由于先验框很多，某个ground truth的最大 IOU肯定大于阈值，所以可能只实施第二个原则既可以了，这里的TensorFlow版本就是只实施了第二个原则，但是这里的Pytorch两个原则都实施了

（2）损失函数
训练样本确定了，然后就是损失函数了。损失函数定义为位置误差（locatization loss， loc）与置信度误差（confidence loss, conf）的加权和：

$$
L(x, c, l, g)=\frac{1}{N}\left(L_{c o n f}(x, c)+\alpha L_{l o c}(x, l, g)\right)
$$
其中 N是先验框的正样本数量。这里$x_{i j}^{p} \in{1,0}$ 为一个指示参数，当 $x_{i j}^{p}=1$时表示第 i 个先验框与第 j 个ground truth匹配，并且ground truth的类别为 p 。 c 为类别置信度预测值。 l为先验框的所对应边界框的位置预测值，而 g 是ground truth的位置参数。对于位置误差，其采用Smooth L1 loss，定义如下:

对于置信度误差，其采用softmax loss:

⽬标检测有两种类型的损失。第⼀种有关锚框类别的损失：我们可以简单地重⽤之前图像分类问题⾥⼀直使⽤的交叉熵损失函数来计算；第⼆种有关正类锚框偏移量的损失：预测偏移量是⼀个回归问题，使⽤ L1 范数损失，即预测值和真实值之差的绝对值

3）数据扩增

采用数据扩增（Data Augmentation）可以提升SSD的性能，主要采用的技术有水平翻转（horizontal flip），随机裁剪加颜色扭曲（random crop & color distortion），随机采集块域（Randomly sample a patch）（获取小目标训练样本）

预测过程

预测过程比较简单，对于每个预测框，首先根据类别置信度确定其类别（置信度最大者）与置信度值，并过滤掉属于背景的预测框。然后根据置信度阈值（如0.5）过滤掉阈值较低的预测框。对于留下的预测框进行解码，根据先验框得到其真实的位置参数（解码后一般还需要做clip，防止预测框位置超出图片）。解码之后，一般需要根据置信度进行降序排列，然后仅保留top-k（如400）个预测框。最后就是进行NMS算法，过滤掉那些重叠度较大的预测框。最后剩余的预测框就是检测结果了。

性能评估

首先整体看一下SSD在VOC2007，VOC2012及COCO数据集上的性能，如表1所示。相比之下，SSD512的性能会更好一些。加*的表示使用了image expansion data augmentation（通过zoom out来创造小的训练样本）技巧来提升SSD在小目标上的检测效果，所以性能会有所提升。