【飞桨Paddle】RTSP视频流和PP-Human实时行人分析

PP-Human是基于飞桨深度学习框架的业界首个开源的实时行人分析工具，支持图片/单镜头视频/多镜头视频多种输入方式，功能覆盖多目标跟踪、属性识别和行为分析，兼容图片、视频、在线视频流多种数据格式输入。

环境准备
环境要求： PaddleDetection版本 >= release/2.4 或 develop版本

PaddlePaddle和PaddleDetection安装
（cpu版本）

# PaddlePaddle CPU
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
1
2

（GPU）版本

# PaddlePaddle CUDA10.1
python -m pip install paddlepaddle-gpu==2.2.2.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
1
2

克隆PaddleDetection仓库

cd <path/to/clone/PaddleDetection>
git clone https://github.com/PaddlePaddle/PaddleDetection.git
1
2

安装其他依赖

cd PaddleDetection
pip install -r requirements.txt
1
2

预测部署
直接使用默认配置或者examples中配置文件，或者直接在infer_cfg_pphuman.yml中修改配置：

# 例：行人属性识别，直接使用examples中配置
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/examples/infer_cfg_human_attr.yml --video_file=test_video.mp4 --device=gpu
1
2

rtsp推拉流
rtsp拉流预测
对rtsp拉流的支持，使用–rtsp RTSP [RTSP …]参数指定一路或者多路rtsp视频流，如果是多路地址中间用空格隔开。(或者video_file后面的视频地址直接更换为rtsp流地址)，示例如下：

# 例：行人属性识别，单路视频流
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/examples/infer_cfg_human_attr.yml -o visual=False --rtsp rtsp://[YOUR_RTSP_SITE]  --device=gpu

# 例：行人属性识别，多路视频流
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/examples/infer_cfg_human_attr.yml -o visual=False --rtsp rtsp://[YOUR_RTSP_SITE1]  rtsp://[YOUR_RTSP_SITE2] --device=gpu
1
2
3
4
5

视频结果推流rtsp
预测结果进行rtsp推流，使用–pushurl rtsp:[IP] 推流到IP地址端，PC端可以使用VLC播放器打开网络流进行播放，播放地址为 rtsp:[IP]/videoname。其中videoname是预测的视频文件名，如果视频来源是本地摄像头则videoname默认为output.

# 例：行人属性识别，单路视频流，该示例播放地址为 rtsp://[YOUR_SERVER_IP]:8554/test_video
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/examples/infer_cfg_human_attr.yml --video_file=test_video.mp4 --device=gpu --pushurl rtsp://[YOUR_SERVER_IP]:8554
1
2

rtsp推流服务基于 rtsp-simple-server, 如使用推流功能请先开启该服务.
rtsp推流如果模型处理速度跟不上会出现很明显的卡顿现象，建议跟踪模型使用ppyoloe_s版本，即修改配置中跟踪模型mot_ppyoloe_l_36e_pipeline.zip替换为mot_ppyoloe_s_36e_pipeline.zip。

PP-Human v2整体方案如下图所示:

下载并启动rtsp流媒体服务
这里使用github的开源服务，下载并解压

wget https://github.com/aler9/rtsp-simple-server/releases/download/v0.20.2/rtsp-simple-server_v0.20.2_linux_amd64.tar.gz
1

tar -zxvf rtsp-simple-server_v0.20.2_linux_amd64.tar.gz
1

更改rtsp-simple-server.yml中端口，设为docker映射端口范围内

vim rtsp-simple-server.yml
1

将rtspAddress: :8554改为rtspAddress: :5000并保存
启动rtsp流媒体服务

./rtsp-simple-server 
1

使用python脚本推流和拉流
1、docker内推流

python push_rtsp.py
1

push_rtsp.py

import cv2
import subprocess as sp

#此处从摄像头获取视频
cap = cv2.VideoCapture(0)
out_rtsp_url = 'rtsp://admin:1qaz2wsx@127.0.0.1:5000/mystream'
# Get video information
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
command = ['ffmpeg',
               '-y',
               '-f', 'rawvideo',
               '-vcodec', 'rawvideo',
               '-pix_fmt', 'bgr24',
               '-s', "{}x{}".format(width, height),
               '-r', str(fps),
               '-i', '-',
               '-c:v', 'libx264',
               '-pix_fmt', 'yuv420p',
               #'-preset', 'ultrafast',
               '-f', 'rtsp',
               out_rtsp_url]
p = sp.Popen(command, stdin=sp.PIPE)

while (cap.isOpened()):
    ret, frame = cap.read()
    if not ret:
        print("Opening camera is failed")
        break
    frame = frame
    print(frame.shape)
    p.stdin.write(frame.tostring())
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33