• 如何把利用paddlepaddle导出的json文件转化为yolo或者voc文件

    目录

    1. 修改源码，让模型能够生成出对于单个图像的标注。

    2. 把数据转为yolo格式

    3.把yolo格式转化为xml格式

    这两天想偷懒，想让模型先在数据上标一遍，然后我再做修正，主要是图个省事。由于我们主要是利用paddle,模型也是基于paddle推理的，因此即便我对paddle有一万个吐槽但也不得不用它。但在利用paddle保存推理结果文件时，遇到了一个大问题：就是paddle推理出来的所有数据都在同一个json文件，并且导入labelimg中也不能正常的显示到标注的框，不能对数据进行矫正。因此我就想着在代码中间能不能修改某些内容。

    如果你是真想把json文件转化为yolo或者xml的话，那哥们儿，你的思路走窄了，从json里面分离出那么多垃圾消息出来，很难的 !!!

    接下来介绍一下我的做法：

    1. 修改源码，让模型能够生成出对于单个图像的标注。

    首先就是修改源码，对应的文件为 PaddleDetection/ppdet/engine/trainer.py 。

    添加下述代码：

    1. class_label=['背景',
    2.              '添加你的检测物品标签'
    3.             ]
    4. def save_result_txt(save_path,boxs,threshold=0.5):#,tszie=640,osize=608
    5.     with open(save_path,'w') as f:
    6.         for msg in boxs:
    7.             if msg['score']>threshold:
    8.                 bbox=msg['bbox']
    9.                 x1,y1,w,h=bbox
    10.                 img_m = Image.open('dataset/yz_new_0815/data/0.5data/'+save_path.split('/')[-1].replace('txt','jpg'))
    11.                 # dw = 1./img_m.width  # 图片的宽
    12.                 # dh = 1./img_m.height  # 图片的高
    13.                 print(save_path)
    14.                 # return
    15.                 bbox=np.array([x1,y1,x1+w,y1+h])
    16.                 #bbox=bbox*(tszie/osize)
    17.                 bbox=bbox.astype(np.int32)
    18.                 x1,y1,x2,y2=bbox
    19.                 # strs='%s %s %s %s %s %s\n'%(class_label[msg['category_id']],msg['score'],x1,y1,x2,y2)
    20.                 strs='%s %s %s %s %s\n'%(msg['category_id'],x1,y1,x2,y2)
    21.                 f.write(strs)

    之后在命令行中，令save_result为True，就能保存推理的结果了。从代码中可以看出，得到的数据就是四个点的坐标，非常真诚，不想yolo那种还得归一化或者相对长宽啥的。讲真的，我就听喜欢四个点坐标这种格式的，真诚永远是必杀技。但是没办法，我目前好像没见有这种格式的。

    2. 把数据转为yolo格式

    书接上回，上回说到我们已经把数据变成yolo的形式，而非格式，因为我们没有对数据进行一个归一化的处理。因此在这一回我们把数据归一化，得到yolo格式的数据。代码如下：

    1. # -*- coding:utf-8 -*-
    2. # 作用：
    3. # 将图片标注文件转化成yolo格式的txt标注文件
    4. #
    5. #
    6. import sys
    7. import os
    8. import cv2
    9. import random
    10.  
    11. data_base_dir = "./20221210_result/"  # 这里就是推理出来的yolo形式的数据（姑且叫position数据）文件所在的文件夹
    12.  
    13. file_list = []
    14.  
    15. for file in os.listdir(data_base_dir):
    16.     if file == 'classes.txt':
    17.         continue
    18.     if file.endswith(".txt"):
    19.         # print(file)
    20.         img_name = file[:-4]
    21.         print(file)
    22.         # print(file[:-4])    #得到图片名，不带后缀
    23.         
    24.         imginfo = cv2.imread('图像所在位置文件夹' + img_name + '.jpg').shape
    25.         # h = shape[0]  w = shape[1]
    26.  
    27.         raw_file = open(data_base_dir + file)  # 返回一个文件对象
    28.         print('raw_file is ' + data_base_dir + file)
    29.         new_file = open('yolo格式标注文件位置文件夹' + file, 'a+')
    30.         line = raw_file.readline()  # 调用文件的 readline()方法
    31.         while line:
    32.             print(line)
    33.             line = line.split(" ")
    34.             print(line[1])
    35.             # line[0] = float(line[0])
    36.             x1 = float(line[1])
    37.             print(x1)
    38.             y1 = float(line[2])
    39.             x2 = float(line[3])
    40.             y2 = float(line[4])
    41.             h = imginfo[0]
    42.             w = imginfo[1]
    43.             print('h== ' + str(h))
    44.             print('w== ' + str(w))
    45.  
    46.             new_x = "%.6s" % ((x1 + x2) / (2 * w))
    47.             new_y = "%.6s" % ((y1 + y2) / (2 * h))
    48.  
    49.             new_w = "%.6s" % ((x2 - x1) / w)
    50.             new_h = "%.6s" % ((y2 - y1) / h)
    51.  
    52.             new_file.write(line[0] + ' ' + new_x + ' ' + new_y + ' ' + new_w + ' ' + new_h + '\n')
    53.             print(line[0] + ' ' + new_x + ' ' + new_y + ' ' + new_w + ' ' + new_h + '\n')
    54.  
    55.             # print line                  # 后面跟 ',' 将忽略换行符
    56.             # print(line, end = '')　      # 在 Python 3 中使用
    57.             line = raw_file.readline()
    58. new_file.close()
    59. raw_file.close()

    到这一步如果不出意外的话，我们就已经把position数据转化为了yolo数据。但是如果你打开labelimg，你会发现报错了，报错的原因是没有classes.txt文件。因此在yolo格式中，一定要加上一个classes.txt文件，要不然就会报错。

    一定要加上一个classes.txt文件，要不然就会报错。

    一定要加上一个classes.txt文件，要不然就会报错。

    一定要加上一个classes.txt文件，要不然就会报错。

    重要的事情说三遍哈，已经四遍了哈哈哈。

    3.把yolo格式转化为xml格式

    上回说到，我们已经把position数据转化成了yolo格式，但是paddle这个挨千刀的，不支持yolo格式训练，至少在现在还没有对应的yaml文件。因此要是真的把数据调好了，用yolo格式还是没用，因为根本训练不了。这就提到了把yolo格式转化为xml格式的必要性了。代码如下：

    1. import os
    2. import xml.etree.ElementTree as ET
    3. from xml.dom.minidom import Document
    4. import cv2
    5.  
    6. '''
    7. import xml
    8. xml.dom.minidom.Document().writexml()
    9. def writexml(self,
    10.              writer: Any,
    11.              indent: str = "",
    12.              addindent: str = "",
    13.              newl: str = "",
    14.              encoding: Any = None) -> None
    15. '''
    16.  
    17.  
    18. class YOLO2VOCConvert:
    19.     def __init__(self, txts_path, xmls_path, imgs_path):
    20.         self.txts_path = txts_path  # 标注的yolo格式标签文件路径
    21.         self.xmls_path = xmls_path  # 转化为voc格式标签之后保存路径
    22.         self.imgs_path = imgs_path  # 读取读片的路径各图片名字，存储到xml标签文件中
    23.         self.classes = [
    24.                         '添加你的检测物品标签'
    25.                         ]
    26.  
    27.     # 从所有的txt文件中提取出所有的类别， yolo格式的标签格式类别为数字 0,1,...
    28.     # writer为True时，把提取的类别保存到'./Annotations/classes.txt'文件中
    29.     def search_all_classes(self, writer=False):
    30.         # 读取每一个txt标签文件，取出每个目标的标注信息
    31.         all_names = set()
    32.         txts = os.listdir(self.txts_path)
    33.         # 使用列表生成式过滤出只有后缀名为txt的标签文件
    34.         txts = [txt for txt in txts if txt.split('.')[-1] == 'txt' and txt is not 'classes.txt']
    35.         print(len(txts), txts)
    36.         # 11 ['0002030.txt', '0002031.txt', ... '0002039.txt', '0002040.txt']
    37.         for txt in txts:
    38.             txt_file = os.path.join(self.txts_path, txt)
    39.             with open(txt_file, 'r') as f:
    40.                 print(txt_file)
    41.                 objects = f.readlines()
    42.                 for object in objects:
    43.                     object = object.strip().split(' ')
    44.                     print(object)  # ['2', '0.506667', '0.553333', '0.490667', '0.658667']
    45.                     all_names.add(int(object[0]))
    46.             # print(objects)  # ['2 0.506667 0.553333 0.490667 0.658667\n', '0 0.496000 0.285333 0.133333 0.096000\n', '8 0.501333 0.412000 0.074667 0.237333\n']
    47.  
    48.         print("所有的类别标签：", all_names, "共标注数据集：%d张" % len(txts))
    49.  
    50.         return list(all_names)
    51.  
    52.     def yolo2voc(self):
    53.         # 创建一个保存xml标签文件的文件夹
    54.         if not os.path.exists(self.xmls_path):
    55.             os.mkdir(self.xmls_path)
    56.  
    57.         # 把上面的两个循环改写成为一个循环：
    58.         imgs = os.listdir(self.imgs_path)
    59.         txts = os.listdir(self.txts_path)
    60.         txts = [txt for txt in txts if not txt.split('.')[0] == "classes"]  # 过滤掉classes.txt文件
    61.         print(txts)
    62.         # 注意，这里保持图片的数量和标签txt文件数量相等，且要保证名字是一一对应的   (后面改进，通过判断txt文件名是否在imgs中即可)
    63.         if len(imgs) == len(txts):  # 注意：./Annotation_txt 不要把classes.txt文件放进去
    64.             map_imgs_txts = [(img, txt) for img, txt in zip(imgs, txts)]
    65.             txts = [txt for txt in txts if txt.split('.')[-1] == 'txt']
    66.             print(len(txts), txts)
    67.             for img_name, txt_name in map_imgs_txts:
    68.                 # 读取图片的尺度信息
    69.                 print("读取图片：", img_name)
    70.                 img = cv2.imread(os.path.join(self.imgs_path, img_name))
    71.                 height_img, width_img, depth_img = img.shape
    72.                 print(height_img, width_img, depth_img)  # h 就是多少行（对应图片的高度）， w就是多少列（对应图片的宽度）
    73.  
    74.                 # 获取标注文件txt中的标注信息
    75.                 all_objects = []
    76.                 txt_file = os.path.join(self.txts_path, txt_name)
    77.                 with open(txt_file, 'r') as f:
    78.                     objects = f.readlines()
    79.                     for object in objects:
    80.                         object = object.strip().split(' ')
    81.                         all_objects.append(object)
    82.                         print(object)  # ['2', '0.506667', '0.553333', '0.490667', '0.658667']
    83.  
    84.                 # 创建xml标签文件中的标签
    85.                 xmlBuilder = Document()
    86.                 # 创建annotation标签，也是根标签
    87.                 annotation = xmlBuilder.createElement("annotation")
    88.  
    89.                 # 给标签annotation添加一个子标签
    90.                 xmlBuilder.appendChild(annotation)
    91.  
    92.                 # 创建子标签folder
    93.                 folder = xmlBuilder.createElement("folder")
    94.                 # 给子标签folder中存入内容，folder标签中的内容是存放图片的文件夹，例如：JPEGImages
    95.                 folderContent = xmlBuilder.createTextNode(self.imgs_path.split('/')[-1])  # 标签内存
    96.                 folder.appendChild(folderContent)  # 把内容存入标签
    97.                 annotation.appendChild(folder)  # 把存好内容的folder标签放到 annotation根标签下
    98.  
    99.                 # 创建子标签filename
    100.                 filename = xmlBuilder.createElement("filename")
    101.                 # 给子标签filename中存入内容，filename标签中的内容是图片的名字，例如：000250.jpg
    102.                 filenameContent = xmlBuilder.createTextNode(txt_name.split('.')[0] + '.jpg')  # 标签内容
    103.                 filename.appendChild(filenameContent)
    104.                 annotation.appendChild(filename)
    105.  
    106.                 # 把图片的shape存入xml标签中
    107.                 size = xmlBuilder.createElement("size")
    108.                 # 给size标签创建子标签width
    109.                 width = xmlBuilder.createElement("width")  # size子标签width
    110.                 widthContent = xmlBuilder.createTextNode(str(width_img))
    111.                 width.appendChild(widthContent)
    112.                 size.appendChild(width)  # 把width添加为size的子标签
    113.                 # 给size标签创建子标签height
    114.                 height = xmlBuilder.createElement("height")  # size子标签height
    115.                 heightContent = xmlBuilder.createTextNode(str(height_img))  # xml标签中存入的内容都是字符串
    116.                 height.appendChild(heightContent)
    117.                 size.appendChild(height)  # 把width添加为size的子标签
    118.                 # 给size标签创建子标签depth
    119.                 depth = xmlBuilder.createElement("depth")  # size子标签width
    120.                 depthContent = xmlBuilder.createTextNode(str(depth_img))
    121.                 depth.appendChild(depthContent)
    122.                 size.appendChild(depth)  # 把width添加为size的子标签
    123.                 annotation.appendChild(size)  # 把size添加为annotation的子标签
    124.  
    125.                 # 每一个object中存储的都是['2', '0.506667', '0.553333', '0.490667', '0.658667']一个标注目标
    126.                 for object_info in all_objects:
    127.                     # 开始创建标注目标的label信息的标签
    128.                     object = xmlBuilder.createElement("object")  # 创建object标签
    129.                     # 创建label类别标签
    130.                     # 创建name标签
    131.                     imgName = xmlBuilder.createElement("name")  # 创建name标签
    132.                     # print(len(self.classes))
    133.                     imgNameContent = xmlBuilder.createTextNode(self.classes[int(object_info[0])])
    134.                     imgName.appendChild(imgNameContent)
    135.                     object.appendChild(imgName)  # 把name添加为object的子标签
    136.  
    137.                     # 创建pose标签
    138.                     pose = xmlBuilder.createElement("pose")
    139.                     poseContent = xmlBuilder.createTextNode("Unspecified")
    140.                     pose.appendChild(poseContent)
    141.                     object.appendChild(pose)  # 把pose添加为object的标签
    142.  
    143.                     # 创建truncated标签
    144.                     truncated = xmlBuilder.createElement("truncated")
    145.                     truncatedContent = xmlBuilder.createTextNode("0")
    146.                     truncated.appendChild(truncatedContent)
    147.                     object.appendChild(truncated)
    148.  
    149.                     # 创建difficult标签
    150.                     difficult = xmlBuilder.createElement("difficult")
    151.                     difficultContent = xmlBuilder.createTextNode("0")
    152.                     difficult.appendChild(difficultContent)
    153.                     object.appendChild(difficult)
    154.  
    155.                     # 先转换一下坐标
    156.                     # (objx_center, objy_center, obj_width, obj_height)->(xmin，ymin, xmax,ymax)
    157.                     x_center = float(object_info[1]) * width_img + 1
    158.                     y_center = float(object_info[2]) * height_img + 1
    159.                     xminVal = int(x_center - 0.5 * float(object_info[3]) * width_img)  # object_info列表中的元素都是字符串类型
    160.                     yminVal = int(y_center - 0.5 * float(object_info[4]) * height_img)
    161.                     xmaxVal = int(x_center + 0.5 * float(object_info[3]) * width_img)
    162.                     ymaxVal = int(y_center + 0.5 * float(object_info[4]) * height_img)
    163.  
    164.                     # 创建bndbox标签(三级标签)
    165.                     bndbox = xmlBuilder.createElement("bndbox")
    166.                     # 在bndbox标签下再创建四个子标签(xmin，ymin, xmax,ymax) 即标注物体的坐标和宽高信息
    167.                     # 在voc格式中，标注信息：左上角坐标（xmin, ymin） （xmax, ymax）右下角坐标
    168.                     # 1、创建xmin标签
    169.                     xmin = xmlBuilder.createElement("xmin")  # 创建xmin标签（四级标签）
    170.                     xminContent = xmlBuilder.createTextNode(str(xminVal))
    171.                     xmin.appendChild(xminContent)
    172.                     bndbox.appendChild(xmin)
    173.                     # 2、创建ymin标签
    174.                     ymin = xmlBuilder.createElement("ymin")  # 创建ymin标签（四级标签）
    175.                     yminContent = xmlBuilder.createTextNode(str(yminVal))
    176.                     ymin.appendChild(yminContent)
    177.                     bndbox.appendChild(ymin)
    178.                     # 3、创建xmax标签
    179.                     xmax = xmlBuilder.createElement("xmax")  # 创建xmax标签（四级标签）
    180.                     xmaxContent = xmlBuilder.createTextNode(str(xmaxVal))
    181.                     xmax.appendChild(xmaxContent)
    182.                     bndbox.appendChild(xmax)
    183.                     # 4、创建ymax标签
    184.                     ymax = xmlBuilder.createElement("ymax")  # 创建ymax标签（四级标签）
    185.                     ymaxContent = xmlBuilder.createTextNode(str(ymaxVal))
    186.                     ymax.appendChild(ymaxContent)
    187.                     bndbox.appendChild(ymax)
    188.  
    189.                     object.appendChild(bndbox)
    190.                     annotation.appendChild(object)  # 把object添加为annotation的子标签
    191.                 f = open(os.path.join(self.xmls_path, txt_name.split('.')[0] + '.xml'), 'w')
    192.                 xmlBuilder.writexml(f, indent='\t', newl='\n', addindent='\t', encoding='utf-8')
    193.                 f.close()
    194.  
    195.  
    196. if __name__ == '__main__':
    197.     # 把yolo的txt标签文件转化为voc格式的xml标签文件
    198.     # yolo格式txt标签文件相对路径
    199.     txts_path1 = ''
    200.     # 转化为voc格式xml标签文件存储的相对路径
    201.     xmls_path1 = ''
    202.     # 存放图片的相对路径
    203.     imgs_path1 = ''
    204.  
    205.     yolo2voc_obj1 = YOLO2VOCConvert(txts_path1, xmls_path1, imgs_path1)
    206.     labels = yolo2voc_obj1.search_all_classes()
    207.     print('labels: ', labels)
    208.     yolo2voc_obj1.yolo2voc()

    如果你嫌列表要一点一点写类别太麻烦了，可以用这种方式：(classes.txt就是前面提到的类别文本)

    1. cls = []
    2. cnt = 0
    3. for i in open(txtPath + 'classes.txt', 'r', encoding='utf-8').readlines():
    4.     cls.append(i)

    至此，就可以把paddle里面图里的数据转化为xml格式了。

  • 相关阅读:
    Spring @Autowired 注解静态变量
    【axios】-- axios 二次封装
    Fedora CoreOS 安装部署详解
    Elasticsearch：什么是 DevOps？
    Qt之实现QQ天气预报窗体翻转效果
    配电室数据中心巡检3d可视化搭建的详细步骤
    Linux多线程服务端编程：使用muduo C++网络库 学习笔记 第七章 muduo编程示例（下）
    使用OpenCVSharp利用PictrueBox对接摄像头获取视频图像
    java“贪吃蛇”小游戏
    Grid布局
  • 原文地址：https://blog.csdn.net/qq_54932411/article/details/133027652