部署并应用ByteTrack实现目标跟踪

尽管YOLOv8已经集成了ByteTrack算法，但在这里我还是想利用ByteTrack官网的代码，自己实现目标跟踪。

要想应用ByteTrack算法，首先就要从ByteTrack官网上下载并安装。虽然官网上介绍得很简单，只需要区区6行代码，但对于国内用户来说，要想安装ByteTrack，只要这些代码是万万不会成功的。我按照复现经典目标跟踪算法ByteTrack之路：调通第一个demo这个网站介绍的安装过程成功地实现了ByteTrack的部署。该博文介绍得很详细，我在这里就不再赘述了。下面我详细介绍如何应用ByteTrack。

我们首先给出ByteTrack的核心关键代码。

导入ByteTrack：

import sys
sys.path.append(f"D:/ByteTrack")
from yolox.tracker.byte_tracker import BYTETracker

D:\ByteTrack为下载ByteTrack时，其所在的目录。

下面设置ByteTrack的参数：

class BYTETrackerArgs:
    track_thresh: float = 0.25
    track_buffer: int = 30
    match_thresh: float = 0.8
    aspect_ratio_thresh: float = 3.0
    min_box_area: float = 1.0
    mot20: bool = False

track_thresh表示跟踪置信阈值。简单地说，该值越大，被赋予目标跟踪ID的数量越少，也就意味着系统会把不太确定的轨迹抛弃掉。默认值为0.5。

track_buffer用于保留丢失轨迹的帧数。对于没有出现的ID，最多保留该值的帧数。默认值为30。

match_thresh表示跟踪匹配阈值。该值越大，目标与轨迹越容易匹配上。默认值为0.8。

aspect_ratio_thresh表示目标边框长宽之比的阈值。目标长宽之比大于该值时会把该目标滤除掉，这是因为长宽比过大时，显然它不会是任何物体。默认值为1.6。

min_box_area表示目标边框的面积阈值。目标面积小于该值时会把该目标滤除掉。默认值为10。

mot20表示是否使用mot20数据集进行测试。默认值为False。

实例化ByteTrack，并带入参数：

byte_tracker = BYTETracker(BYTETrackerArgs(), frame_rate=fps)

frame_rate表示视频每秒传输的帧数。默认值为30。

得到目标ID：

tracks = byte_tracker.update(outputs, img_info=frame.shape, img_size=frame.shape)

outputs表示目标检测器的输出，ByteTrack需要先进行目标检测，然后才能利用ByteTrack算法实现跟踪，outputs应为二维数组，第一维表示目标，第二维表示该目标的信息，其前四个元素为目标边框的左上角和右下角的坐标，第5个元素为该目标的得分值，一般我们可以为该值赋予目标的置信值。

img_info表示输入视频图像的尺寸。

img_size表示输出图像的尺寸，如果不对视频图像的尺寸进行改变的话，就让该值等于img_info。

输出tracks即为目标跟踪的结果，我们先用print(tracks)看看它的输出：

[OT_2_(1-28), OT_3_(1-28), OT_4_(1-28), OT_7_(26-28)]

从中可以看出，我们共得到了4个目标跟踪结果，它们的ID分别为2、3、4和7，其中ID为2的目标在第1帧开始出现，28为当前帧数，即在第28帧时，我们使用了print(tracks)这个代码。

我们再看看tracks的几个重要属性：

print(tracks[0].tlbr)
print(tracks[0].tlwh)
print(tracks[0].track_id)
print(tracks[0].score)

输出为：

[     820.39      184.35      852.77       204.6]
[     820.39      184.35      32.382      20.246]
2
0.7806676

tlbr表示该目标边框的左上角和右下角坐标；tlwh表示该目标边框的左上角坐标和它的长宽；track_id表示该目标的ID；score表示该目标的得分值。

有了目标ID，我们就可以为视频添加各类信息，如为目标添加ID和类别，以及绘制目标边框。我们可以直接利用tracks完成上述操作，但这里会有几个问题：第一由tracks得到的目标边框没有由outputs得到的目标边框准确；第二tracks没有目标类别信息。因此在这里我们还是利用outputs为目标添加各类信息，它要解决的问题是目标的ID是什么。

我们只需比较outputs和tracks的目标尺寸，完成匹配成对，就可以为outputs中的目标赋予ID。我们利用IOU算法来实现尺寸比较，为此我们编写下面函数：

def iou(box: np.ndarray, boxes: np.ndarray):
    # 计算交集
    xy_max = np.minimum(boxes[:, 2:], box[2:])
    xy_min = np.maximum(boxes[:, :2], box[:2])
    inter = np.clip(xy_max-xy_min, a_min=0, a_max=np.inf)
    inter = inter[:, 0]*inter[:, 1]
 
    # 计算面积
    area_boxes = (boxes[:, 2]-boxes[:, 0])*(boxes[:, 3]-boxes[:, 1])
    area_box = (box[2]-box[0])*(box[3]-box[1])
 
    return inter/(area_box+area_boxes-inter)

对于这个函数我们不做过多解释，它实现一对多的计算。下面给出它的应用：

for track in tracks:
    box_iou = iou(track.tlbr, outputs[:,:4])
    maxindex  = np.argmax(box_iou)
    newoutput = np.append(outputs[maxindex], track.track_id)
    print(newoutput)

输出为：

[820.86      184.48      852.67      204.75     0.78067    2    2]
[766.21      212.08      808.44       246.9     0.73741    2    3]
[479.06       178.3      517.84      217.07     0.68729    2    4]
[508.42      147.98      529.87      165.88     0.62819    2    7]

每行的最后一个元素就是它的ID。

ByteTrack严重依赖于目标检测器的准确性。ByteTrack利用每个目标的得分值来计算目标跟踪，并赋予ID。我们一般都是把目标检测得到的置信值作为这个得分值传递给ByteTrack，作为其计算的依据。因此当置信值偏低，并且track_thresh偏高时，会出现tracks得到的目标少于outputs的目标，也就出现了有一些目标没有被赋予ID。

为了减少这类问题出现，我们可以人为的为目标置信值赋予更高的值（充分信任目标检测器），然后再传给ByteTrack，即

for output in outputs:
    output[4] = 0.95

应用ByteTrack进行目标跟踪的关键部分我们都解释清楚了，下面就给出完整的代码，在这里，我们仍然选择YOLOv8作为目标检测器，除了YOLO易于实现外，另一个原因是它的输出与ByteTrack所要求的数据输入的格式完全相同：

import numpy as np
import cv2
from ultralytics import YOLO
import sys
sys.path.append(f"D:/ByteTrack")
from yolox.tracker.byte_tracker import BYTETracker
 
class BYTETrackerArgs:
    track_thresh: float = 0.25   
    track_buffer: int = 30   
    match_thresh: float = 0.8   
    aspect_ratio_thresh: float = 3.0
    min_box_area: float = 1.0
    mot20: bool = False   
        
 
model = YOLO('yolov8l.pt')
 
cap = cv2.VideoCapture("D:/track/Highway Traffic.mp4")
fps = cap.get(cv2.CAP_PROP_FPS)
size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)),int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
fNUMS = cap.get(cv2.CAP_PROP_FRAME_COUNT)
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
videoWriter = cv2.VideoWriter("D:/track/mytrack.mp4", fourcc, fps, size)
 
byte_tracker = BYTETracker(BYTETrackerArgs(),frame_rate= fps)
 
def box_label(image, box, label='', color=(128, 128, 128), txt_color=(255, 255, 255)):
    p1, p2 = (int(box[0]), int(box[1])), (int(box[2]), int(box[3]))
    cv2.rectangle(image, p1, p2, color, thickness=1, lineType=cv2.LINE_AA)
    if label:
        w, h = cv2.getTextSize(label, 0, fontScale=2 / 3, thickness=1)[0]  
        outside = p1[1] - h >= 3
        p2 = p1[0] + w, p1[1] - h - 3 if outside else p1[1] + h + 3
        cv2.rectangle(image, p1, p2, color, -1, cv2.LINE_AA)
        cv2.putText(image,
                label, (p1[0], p1[1] - 2 if outside else p1[1] + h + 2),
                0, 2/3, txt_color, thickness=1, lineType=cv2.LINE_AA)
        
def iou(box: np.ndarray, boxes: np.ndarray):
    xy_max = np.minimum(boxes[:, 2:], box[2:])
    xy_min = np.maximum(boxes[:, :2], box[:2])
    inter = np.clip(xy_max-xy_min, a_min=0, a_max=np.inf)
    inter = inter[:, 0]*inter[:, 1]
 
    area_boxes = (boxes[:, 2]-boxes[:, 0])*(boxes[:, 3]-boxes[:, 1])
    area_box = (box[2]-box[0])*(box[3]-box[1])
 
    return inter/(area_box+area_boxes-inter)
 
while cap.isOpened():
    success, frame = cap.read()
 
    if success:        
        results = model(frame,conf=0.5)
        
        outputs = results[0].boxes.data.cpu().numpy()
        
        if outputs is not None:
            for output in outputs:
                output[4] = 0.95
            
            tracks = byte_tracker.update(outputs[:,:5], img_info=frame.shape, img_size=frame.shape)
            
            for track in tracks:
                box_iou = iou(track.tlbr, outputs[:,:4])
                maxindex  = np.argmax(box_iou)
                
                if outputs[maxindex, 5] == 2:
                    box_label(frame, outputs[maxindex], '#'+str(track.track_id)+' car' , (167, 146, 11))
                elif outputs[maxindex, 5] == 5:
                    box_label(frame, outputs[maxindex], '#'+str(track.track_id)+' bus', (186, 55, 2))
                elif outputs[maxindex, 5] == 7:
                    box_label(frame, outputs[maxindex], '#'+str(track.track_id)+' truck', (19, 222, 24))
                                        
        cv2.putText(frame, "https://blog.csdn.net/zhaocj", (25, 50),
                cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
      
        cv2.imshow("ByteTrack", frame)
        videoWriter.write(frame)
     
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
 
    else:
        break
 
cap.release()
videoWriter.release()
cv2.destroyAllWindows()

结果为：

我们也可以再看一个示例：