基于yoloV7添加关键点训练记录

一 、前言

yoloV7已经开源有一段时间了，近期已经基于yoloV7-pose的关键点算法进行了研究和修改。目前已经将该工程修改为，多分类+任意数量关键点：修改详细请看博客：基于yoloV7-pose添加任意关键点 ＋ 多类别分类网络修改，修改代码已经开源：github地址，如果对大家有帮助也希望可以帮忙点点☆☆。
好的，接下来我们就开始训练模型。

二 、 数据准备

2.1 数据介绍。

很多小伙伴有点不知道这些关键点怎么设置，我简单说一下逻辑，一般是检测框＋关键点的形式，也就是说关键点是伴随框的，首先是希望box框可以收敛，然后再是点的收敛，所以框是必须的，然后点是非必须的，所有有些框可以不需要设置关键点，这里大家可以将关键点的值设置为-1就行，
这种关键点的标记工具可以选择labelme，对目标进行不规则四边形标记。
标记完成后图像可视化应该是这样的：

其中 第一个点是：绿色；第二个点是：蓝色；第三个点是：红色；第四个点是：白色。点的顺序是否需要有标准，我个人觉得是需要的，部分任务可能不需要，但目前我发现都是需要注意点的顺序的。
标记完成的内容，依次转化成txt文档：

# -nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.txt
# data.txt   含义分别是： cls   	 x	           y          w       h        point1x		point1y		point2x	   	point2y		 point3x	  point3y	  point4x	   point4y		    ...
# 	类别  目标中心点x    目标中心点y   目标宽w   目标高h    目标点1x坐标  目标点1y坐标   目标点2x坐标  目标点2y坐标   目标点3x坐标  目标点3y坐标   目标点4x坐标  目标点4y坐标    依次类推 
0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  
2  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  
0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  




1
2
3
4
5
6
7
8
9
10
11

注意：
第1个值：类别索引，如果是单类别，这里值都为0
第2个值：目标框的中心点坐标x值，
第3个值：目标框的中心点坐标y值，
第4个值：目标框的宽度w，
第5个值：目标框的高度h，
第6个值：第1个关键点的x坐标，如果该关键点省去，设置坐标为-1
第7个值：第1个关键点的y坐标，如果该关键点省去，设置坐标为-1
第8个值：第2个关键点的x坐标，如果该关键点省去，设置坐标为-1
第9个值：第2个关键点的y坐标，如果该关键点省去，设置坐标为-1
第10个值：第3个关键点的x坐标，如果该关键点省去，设置坐标为-1
第11个值：第3个关键点的y坐标，如果该关键点省去，设置坐标为-1
第12个值：第4个关键点的x坐标，如果该关键点省去，设置坐标为-1
第13个值：第4个关键点的y坐标，如果该关键点省去，设置坐标为-1
…
后面依次是关键点的坐标值

2.1 修改数据yaml文件：

这里是读取数据的txt文档，所以传入图片路径txt文件即可，其中txt文档书写如下：

# train.txt
./train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 11-11-52屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-57-27屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-19-54屏幕截图.png
./train/images/-nfs-阿拉伯车牌字符-外国车牌现场_20210519_1-外国车牌现场_20210519_1-e0d92b0990a1249388bc77bdfa8e43ed.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-51-28屏幕截图.png
./train/images/-nfs-车牌字符-约旦车牌-videoplayback-videoplayback_13_1460.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-56-51屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-27-50屏幕截图.png

1
2
3
4
5
6
7
8
9
10
11

这里读取数据是 ：
txt前面的作为根目录，加上txt文档里面的路径，
所以图片的完整路径是这样存放的：

# txt前面的作为根目录，加上txt文档里面的路径，
# 所以图片的完整路径是这样存放的： 

/media/wqg/3e165c12-9862-4867-b333-fbf93befd928/home/wqg/data/官网数据/PLATE/train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
1
2
3
4

传入txt文档即可开始训练了。记得修改nc的类别数量和对应的名称

三 、开始训练

训练代码使用的是：./yolov7-pose_Npoint_Ncla/train_Ncla_nPoint.py

3.1 修改模型结构yaml文件

设置关键点的数量，默认是以4个关键点进行训练，类别数量默认是读取数据文件中的nc值。

3.2 数据准备好了就可以开始训练了

分别传入预训练权重，模型配置文件，修改好的数据文件，hyp文件，训练批次，训练尺寸等等。

• 权重链接：百度云链接 : https://pan.baidu.com/s/1izQzp7G5-tncRKtMTEyrUA 提取码: t82o。
• 建议: hyp文件中大家不要开上下翻转和左右翻转，会有可能导致关键点混乱。左右翻转是按照，1和2,3和4，5和6，7和8进行交换，上下翻转没有写翻转逻辑，建议不用，用的话需要自己修改代码。

训练开始，大家可以看到图像的每个关键点都是正确的：

四 、 训练结果

这里我只是训练了100个eopch，数据也只是添加了500多张，

• 可以使用 tensorboard查看训练日志
  

• 训练推理结果：

推理代码：./yolov7-pose_Npoint_Ncla/detect.py

五、常见问题（粉丝问题）

数据增强部分索引错误

• 关键点的数量建议是偶数个，如果是基数个，需要改一下代码，或者去掉左右翻转和上下翻转。