YOLOv1属于一阶段、anchor-free 目标检测
整体来看，Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测，整个系统如图5所示：首先将输入图片resize到448×448，然后送入CNN网络，最后处理网络预测结果得到检测的目标。相比R-CNN算法，其是一个统一的框架，其速度更快，而且Yolo的训练过程也是end-to-end的。
具体来说，Yolo的CNN网络将输入的图片分割成 \(S \times S\) 网格，然后每个单元格负责去检测那些 中心点落在该格子内的目标，如图6所示，可以看到狗这个目标的中心落在左下角一个单元格内， 那么该单元格负责预测这个狗。每个单元格会预测 \(B\) 个边界框 (bounding box) 以及边界框的 置信度 (confidence score) 。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性 大小，二是这个边界框的准确度。前者记为 \(\operatorname{Pr}(object)\) ，当该边界框是背景时 (即不包含目 标)，此时 \(\operatorname{Pr}(object)=0\) 。而当该边界框包含目标时， \(\operatorname{Pr}(object)=1\) 。边界框的准 确度可以用预测框与实际框 (ground truth) 的IOU (intersection over union，交并比) 来表 征，记为 \(\mathrm{IOU}{\text {pred }}^{\text {truth }}\) 。因此置信度可以定义为 \(\operatorname{Pr}(object) * \mathrm{IOU}{\text {pred }}^{\text {truth }}\) 。很多人可能将Yolo 的置信度看成边界框是否含有目标的概率，但是其实它是两个因子的乘积，预测框的准确度也反映 在里面。边界框的大小与位置可以用4个值来表征: (x, y, w, h)，其中 (x, y) 是边界框的中 心坐标，而 w和 h 是边界框的宽与高。还有一点要注意，中心坐标的预测值 (x, y) 是相对于 每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的，单元格的坐标定义如图6所 示。而边界框的 \(w\) 和 \(h\) 预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小 应该在 \([0,1]\) 范围。这样，每个边界框的预测值实际上包含 5 个元素: \((x, y, w, h, c)\) ，其中 \((x, y)\) 是边界框的中 心坐标，而 \(w\) 和 \(h\) 是边界框的宽与高。还有一点要注意，中心坐标的预测值 \((x, y)\) 是相对于 每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的，单元格的坐标定义如图所示。而边界框的\(w\) 和 \(h\) 预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小 应该在 \([0,1]\) 范围。这样，每个边界框的预测值实际上包含 5 个元素: \((x, y, w, h, c)\) ，其中 前 4 个表征边界框的大小与位置，而最后一个值是置信度。
还有分类问题，对于每一个单元格其还要给出预测出 C个类别概率值，其表征的是由该单元格负 责预测的边界框其目标属于各个类别的概率。但是这些概率值其实是在各个边界框置信度下的条件 概率，即 \(\operatorname{Pr}\left(\right. class _{i} \mid object )\) 。值得注意的是，不管一个单元格预测多少个边界框，其只预测 一组类别概率值，这是Yolo算法的一个缺点，在后来的改进版本中，Yolo9000是把类别概率预测 值与边界框是绑定在一起的。同时，我们可以计算出各个边界框类别置信度（class-specific confidence scores):
Yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层，如图8所示。对于卷积层，主要使用1×1卷积来做channle reduction，然后紧跟3×3卷积。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x, 0.1x) 。但是最后一层却采用线性激活函数。
损失函数计算如下：
其中第一项是边界框中心坐标的误差项， \(1_{i j}^{obj}\) 指的是第 \(i\) 个单元格存在目标，且该单元格中的第 \(j\) 个边界框负责预测该目标。第二项是边界框的高与宽的误差项。第三项是包含目标的边界框 的置信度误差项。第四项是不包含目标的边界框的置信度误差项。而最后一项是包含目标的单元格 的分类误差项， \(1_{i}^{\text {obj }}\) 指的是第 \(i\) 个单元格存在目标。这里特别说一下置信度的target值 \(C_{i}\) ， 如果是不存在目标，此时由于 \(\operatorname{Pr}( object )=0\) ，那么 \(C_{i}=0\) 。如果存在目标，
网络预测: 基于非极大值抑制算法
这个算法不单单是针对Yolo算法的，而是所有的检测算法中都会用到。NMS算法主要解决的是一个目标被多次检测的问题，如图11中人脸检测，可以看到人脸被多次检测，但是其实我们希望最后仅仅输出其中一个最好的预测框，比如对于美女，只想要红色那个检测结果。那么可以采用NMS算法来实现这样的效果：首先从所有的检测框中找到置信度最大的那个框，然后挨个计算其与剩余框的IOU，如果其值大于一定阈值（重合度过高），那么就将该框剔除；然后对剩余的检测框重复上述过程，直到处理完所有的检测框。Yolo预测过程也需要用到NMS算法。
下面就来分析Yolo的预测过程，这里我们不考虑batch，认为只是预测一张输入图片。根据前面的分析，最终的网络输出是 7×7×30 ，但是我们可以将其分割成三个部分：类别概率部分为 [7,7,20] ，置信度部分为 [7,7,2] ，而边界框部分为 [7,7,2,4] （对于这部分不要忘记根据原始图片计算出其真实值）。然后将前两项相乘（矩阵 [7,7,20] 乘以 [7,7,2] 可以各补一个维度来完成 [7,7,1,20]×[7,7,2,1] ）可以得到类别置信度值为 [7,7,2,20] ，这里总共预测了 7∗7∗2=98 个边界框。
所有的准备数据已经得到了，那么我们先说第一种策略来得到检测框的结果，我认为这是最正常与自然的处理。首先，对于每个预测框根据类别置信度选取置信度最大的那个类别作为其预测标签，经过这层处理我们得到各个预测框的预测类别及对应的置信度值，其大小都是 [7,7,2] 。一般情况下，会设置置信度阈值，就是将置信度小于该阈值的box过滤掉，所以经过这层处理，剩余的是置信度比较高的预测框。最后再对这些预测框使用NMS算法，最后留下来的就是检测结果。一个值得注意的点是NMS是对所有预测框一视同仁，还是区分每个类别，分别使用NMS。Ng在deeplearning.ai中讲应该区分每个类别分别使用NMS，但是看了很多实现，其实还是同等对待所有的框，我觉得可能是不同类别的目标出现在相同位置这种概率很低吧。
上面的预测方法应该非常简单明了，但是对于Yolo算法，其却采用了另外一个不同的处理思路（至少从C源码看是这样的），其区别就是先使用NMS，然后再确定各个box的类别。其基本过程如图12所示。对于98个boxes，首先将小于置信度阈值的值归0，然后分类别地对置信度值采用NMS，这里NMS处理结果不是剔除，而是将其置信度值归为0。最后才是确定各个box的类别，当其置信度值不为0时才做出检测结果输出。这个策略不是很直接，但是貌似Yolo源码就是这样做的。Yolo论文里面说NMS算法对Yolo的性能是影响很大的，所以可能这种策略对Yolo更好。但是我测试了普通的图片检测，两种策略结果是一样的。
