YOLO v2(Darknet)训练自定义数据集使用记录

2018-02-11 14:09:05来源:oschina作者:空山苦水禅人人点击

分享
1、环境准备

Darknet官网:https://pjreddie.com/darknet/yolo/


GitHub地址:https://github.com/pjreddie/darknet


Windows版本可参考:https://github.com/AlexeyAB/darknet


参照官网流程:下载源码,编译,下载基于voc或者coco数据集已训练好的权重文件,进行目标检测测试。


一切顺利的话,则可以准备自己的数据集进行训练了。


2、准备数据

准备好训练图片(以武器图片识别为例),参考VOC Data数据集格式,样本统一采用jpg格式的图像,名字上也使用像VOC一样类似000001.jpg、000002.jpg的格式命名。


按VOC数据集的结构放置图像文件。VOC的结构如下:


--VOC
--Annotations
--ImageSets
--Main
--Layout
--Segmentation
--JPEGImages
--SegmentationClass
--SegmentationObject

这里面用到的文件夹是Annotations、ImageSets和JPEGImages。其中文件夹Annotations中主要存放xml文件,每一个xml对应一张图像,并且每个xml中存放的是标记的各个目标的位置和类别信息,命名通常与对应的原始图像一样;而ImageSets我们只需要用到Main文件夹,这里面存放的是一些文本文件,通常为train.txt、test.txt等,该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径);JPEGImages文件夹中放我们已按统一规则命名好的原始图像。


1.新建文件夹WeaponData


2.在WeaponData文件夹下新建三个文件夹Annotations、ImageSets和JPEGImages,并把准备好的自己的原始图像放在JPEGImages文件夹下


3.在ImageSets文件夹中,新建三个空文件夹Layout、Main、Segmentation,然后把写了训练或测试的图像的名字的文本拷到Main文件夹下,按训练(train)、验证(val)、测试(test)的目的命名(见后文)。


3、标注数据集

在获取到大量数据之后,为了实现目标检测,还需要对图片进行物体类别和位置的标注。Darknet使用xml文件格式来存储标注的物体坐标位置,训练自己的数据可以参考Pascal VOC Data数据集的文件夹以及文件组成结构创建相应的label文件。标注图片相关工具有很多,这里以labelImg为例,操作如下图:



标注完成后,在Annotation文件夹下便会生成所有图片的物体标注信息,每张图片对应一个xml文件。最后生成的文件如下:



其中每个xml文件中包含了图片的大小,所标注物体的类别及坐标位置。


4、准备训练

1、将所有样本按一定比例分为训练集、测试集、验证集三部分,比如按训练集、测试集、验证集的比例3:1:1分布,分别生成三个文件train.txt、val.txt、test.txt:



可以使用自己熟悉的语言写生成生成,文件中每一行就是一个文件名,不含扩展名,如下图所示:



2、将WeaponData文件夹、Darknet源码上传到服务器上(如果一开始就在服务器上做则省略),比如放到 /opt/dev/yolo 文件夹下,其中 /opt/dev/yolo/darknet为源码。


3、 在/opt/dev/yolo文件夹中新建文件夹VOCdevkit,再将前面准备好的整个WeaponData文件夹都拷到VOCdevkit文件夹下,并重命名为VOC2018(如果不重命名的话就需要修改voc_label.py脚本中相应位置来匹配文件夹名称)。


mkdir VOCdevkit
mv WeaponData VOCdevkit/VOC2018

4、 下载voc_label.py文件到/opt/dev/yolo下:


cd /opt/dev/yolo
wget https://pjreddie.com/media/files/voc_label.py

并修改voc_label.py中的sets和classes部分:



最后运行该脚本:


python voc_label.py

完成后便会在文件夹/opt/dev/yolo/VOCdevkit/WeaponData下生成了文件夹lables, 文件夹里面包含了类别和对应归一化后的位置,同时在/opt/dev/yolo/下应该也生成了2018_train.txt、2018_test.txt、2018_val.txt三个文件,里面包含了所有样本的绝对路径。


再执行如下命令,将2018_train.txt和2018_val.txt的内容都用于训练:


cat 2018_train.txt 2018_val.txt > train.txt
5、配置文件修改

1、修改/opt/dev/yolo/darknet/data/voc.names,改为需要识别的目标类别:


aeroplane
person
building
ship
vehicle

2、 修改cfg/voc.data


classes= 5
train= /opt/dev/yolo/train.txt
valid= /opt/dev/yolo/2018_test.txt
names = /opt/dev/yolo/darknet/data/voc.names
backup = /opt/dev/yolo/results

其中classes为样本类别数, train 为训练样本的文件路径,valid为验证样本文件路径,names为类别文件,backup为权重文件备份目录(先创建好)。


3、 修改cfg/yolo-voc.2.0.cfg (也可以用 cfg/yolo-voc.cfg )


修改最后一个卷基层的filters和最后一个region的classes。 其中,filters=num×(classes + coords + 1)=5*(5+4+1)=50,这里只有5个类别。


[convolutional]
size=1
stride=1
pad=1
filters=50
activation=linear
[region]
anchors = 1.08,1.19,3.42,4.41,6.63,11.38,9.42,5.11,16.62,10.52
bias_match=1
classes=5
coords=4
num=5
softmax=1
jitter=.2
rescore=1
……
6、修改 Makefile 文件

训练最好使用GPU,否则CPU非常慢,源码默认没有开启,一开始没有注意被坑了很久。


安装 cuda+cudnn 参考:https://www.cnblogs.com/573177885qq/p/6632576.html


然后修改Makefile文件:


cd /opt/dev/yolo/darknet
vim Makefile

修改顶部的三行开启GPU和CUDNN:


GPU=1 CUDNN=1 OPENCV=1 以及后面的NVCC为自己的路径:


NVCC=/usr/local/cuda-8.0/bin/nvcc


重新编译:


make clean
make
7、开始训练

可以下载 ImageNet 的前23层预训练权重文件加快训练:


cd /opt/dev/yolo/darknet
wget https://pjreddie.com/media/files/darknet19_448.conv.23

然后执行如下命令开始训练:


./darknet detector train cfg/voc.data cfg/yolo-voc.2.0.cfg ./darknet19_448.conv.23

如果需要分析输出日志的话,可以在命令后面使用tee将日志输出到文件。


训练时间比较长,可以观察loss,如果稳定到一定程度,则可以停止训练。


下面是训练过程的每一轮迭代输出例子:


Loaded: 0.000031 seconds
Region Avg IOU: 0.805040, Class: 0.929115, Obj: 0.777778, No Obj: 0.004146, Avg Recall: 0.875000,count: 8
Region Avg IOU: 0.826887, Class: 0.999643, Obj: 0.778379, No Obj: 0.006632, Avg Recall: 0.916667,count: 12
Region Avg IOU: 0.760517, Class: 0.999070, Obj: 0.698473, No Obj: 0.004795, Avg Recall: 0.846154,count: 13
Region Avg IOU: 0.840628, Class: 0.999687, Obj: 0.805357, No Obj: 0.005085, Avg Recall: 0.900000,count: 10
Region Avg IOU: 0.670166, Class: 0.944164, Obj: 0.620956, No Obj: 0.004349, Avg Recall: 0.777778,count: 18
Region Avg IOU: 0.849498, Class: 0.999253, Obj: 0.743897, No Obj: 0.006114, Avg Recall: 0.933333,count: 15
Region Avg IOU: 0.625192, Class: 0.957918, Obj: 0.562712, No Obj: 0.005363, Avg Recall: 0.550000,count: 20
Region Avg IOU: 0.711634, Class: 0.999687, Obj: 0.687795, No Obj: 0.006114, Avg Recall: 0.941176,count: 17
29391: 1.344486, 1.478107 avg, 0.000100 rate, 4.674087 seconds, 1881024 images

以上截图显示了所有训练图片的一个批次(batch),批次大小的划分根据我们在 .cfg 文件中设置的subdivisions参数。在我使用的 .cfg 文件中 batch = 64 ,subdivision = 8,所以在训练输出中,训练迭代包含了8组,每组又包含了8张图片,跟设定的batch和subdivision的值一致。


(注: 也就是说每轮迭代会从所有训练集里随机抽取 batch = 64 个样本参与训练,所有这些 batch 个样本又被均分为 subdivision = 8 次送入网络参与训练,以减轻内存占用的压力)


针对上图中最后一行中的信息 ,含义如下:

29391: 指示当前训练的迭代次数
1.344486: 是总体的Loss(损失)
1.478107 avg: 是平均Loss,这个数值应该越低越好,一般来说,一旦这个数值低于0.060730 avg就可以终止训练了(由于我的样本质量不太好,这里值一直降不下去)。
0.000100 rate: 代表当前的学习率,是在.cfg文件中定义的。
4.674087 seconds: 表示当前批次训练花费的总时间。
1881024 images: 表示到目前为止,参与训练的图片的总量。 8、测试

训练到一定阶段,中间输出权重可以拿来做识别测试,比如将10000次迭代的文件用于测试:


./darknet detector test cfg/voc.data cfg/yolo-voc.2.0.cfg yolo-voc_10000.weights data/person.jpg

这里需要注意的是,一定要使用./darknet detector test命令,指定自己的 voc.data和cfg文件。


检测结果会输出到predictions.png中,可打开查看是否检测正确。


最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台