Yolo v8数据马赛克数据增强代码详解

目标检测: 一文读懂 Mosaic 数据增强_mosaic数据增强_大林兄的博客-CSDN博客     有图更加详细生动。

pad可参考博客：目标检测的Tricks | 【Trick7】数据增强——Mosaic（马赛克）_Clichong的博客-CSDN博客

  马赛克数据增强：将四张图片随即进行裁剪之后，在拼接到一张图上做训练数据。丰富了图片的背景，并将四张图片拼接，提高了batch_size.

1.随机选择一个坐标作为拼接中心的坐标（xc,yc）

 yc, xc = (int(random.uniform(-x, 2 * s + x)) for x in self.mosaic_border)  # mosaic center x, y

 random.uniform（a,b）：生成指定范围内的随机数大于等于a，小于等于b。

2.生成四张拼接图象的索引。

indices = [index] + random.choices(self.indices, k=3)

random.choice(seq，k)从非空序列中随机选择一个数据并返回。序列可以是list、tuple、str、set。返回结果是列表。

3.random.shuffle(indices)随机打乱数据顺序，如果是多维矩阵，只对第一个维度进行打乱顺序。

4.enumerate将一个可遍历的数据对象组合成一个索引序列，同时列出数据和数据下标。

5.返回resize之后的图像、原图、resize之后的h.w。

img, _, (h, w) = self.load_image(index)

 6.创建马赛克图像

# place img in img4
if i == 0:  # top left
    img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
    x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
    x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
elif i == 1:  # top right
    x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc
    x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
elif i == 2:  # bottom left
    x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)
    x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
elif i == 3:  # bottom right
    x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)
    x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

np.full()返回一个给定大小和类型并且以指定数字全部填充的新数组。

img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)

img4为从[512,512,3]---->[1024,1024,3]全部元素为114的图像。 分为图片超出画布和图片不超出画布两种情况，具体可参考开头博客的内容，非常详细，好理解。

i=0时，左上角的范围：x1a, y1a, x2a, y2a，马赛克图像的左上角和右下角。

x1b, y1b, x2b, y2b，截取的图像区域的坐标信息，左上角和右下角。

x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image),确定画布区域

 x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)，确定图片区域

 i=1时，右上角的范围：

x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc

x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h

i=2时，左下角的范围：

x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)

x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)

i=3时，右下角的范围：

x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)

x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

7.将截取出的图像区域信息填充到马赛克图像区域。填充可能右三种情况，需要计算进行判断。

img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]

8.4张图片进行拼接时候边缘情况的判断：

padw = x1a - x1b

padh = y1a - y1b

9.将标签中的（x,y,w,h）坐标转换为，（w,h,padw,padd）为相对于resize之后图像的数据，该函数的功能是将(x,y,w,h)坐标转换为标签的左上角和右下角坐标。

def xywhn2xyxy(x, w=640, h=640, padw=0, padh=0):
    # Convert nx4 boxes from [x, y, w, h] normalized to [x1, y1, x2, y2] where xy1=top-left, xy2=bottom-right
    y = x.clone() if isinstance(x, torch.Tensor) else np.copy(x)
    y[..., 0] = w * (x[..., 0] - x[..., 2] / 2) + padw  # top left x
    y[..., 1] = h * (x[..., 1] - x[..., 3] / 2) + padh  # top left y
    y[..., 2] = w * (x[..., 0] + x[..., 2] / 2) + padw  # bottom right x
    y[..., 3] = h * (x[..., 1] + x[..., 3] / 2) + padh  # bottom right y
    return y

10.np.clip(x, 0, 2 * s, out=x)  # clip when using random_perspective()

np.clip(a,a_min,a_max,out)截取数组中小于或大于某值的部分，并使截取部分等于固定值。从输入矩阵a中将所有比a_min小的值都强制变为a_min，比a_max大的值都变为a_max。out用于指定输出矩阵的对象。