基于深度学习的多人步态识别系统（目前数据集大小124人，准确率96.5%）

一、摘要🍉

        本文章仅仅提供一种自认为比较科学的方式去实现多人步态识别，如果对多人步态识别感兴趣，却又不知道如何实现的话，这篇文章将会有莫大的帮助。以下方法作者皆实验过是可行的方案。（训练集124人，准确率96%, 测试集大小14人，准确率100%）

二、算法设计🎈

        实现单人步态识别，假设视频中仅仅只出现一个人，或者出现多人的同时目标人物未被遮挡过，这两种情况，我们只需要使用目标检测算法得到一系列的目标行人步态数据，随后使用分割算法得到目标行人的步态轮廓图，随后将存储好的目标步态序列放入GaitSet模型进行身份比对，得到识别结果便可。

        而对于多人步态识别，我们不得不考虑多个目标行人的追踪问题，和他们相互之间的遮挡问题。

• 对于多个目标行人追踪问题，我们应该使用多目标追踪算法来解决。
• 对于多个目标行人遮挡问题，我们可以使用一系列的数据检测算法，剔除不符合规范的目标不太数据，并且同时检测行人步态数据是否连贯，是否数量达到标准。

        项目整体算法设计思路：目标检测->多目标追踪->分割算法->杂七杂八算法->步态识别

多人步态识别步骤①.多目标追踪定位

         yolov5用于目标检测，DeepSort使用卡尔曼滤波与匈牙利算法，利用目标检测所获得的bbox作为输入实现行人追踪。给每个单独的行人打出专属ID。这样可以识别出下一帧图片的人是上一帧图片中哪个人，或者说这一帧的人下一帧移动到哪个位置去了。

多人步态识别步骤②.分割算法提取步态轮廓图

        分割算法具体效果：

多人步态识别步骤③.步态识别模型

3.1 基本原理:

           本步态识别系统主要基于GaitSet模型进行实现的。

 介绍：Gaitset是具有泛化能力的, 这一点和图像分类网络完全不一样，Gaitset不是学训练集中人的步态特征，而是学习提取步态特征的能力，也就是如何在一堆人里（数据库里）找到与探针最相近的那个数据。所以正在使用的时候，数据库是随时可以改变且不需要再次训练的。

3.2 损失函数（三元组损失函数Triplet Loss）：

   最小化锚点和具有相同身份的正样本之间的距离，最小化锚点和具有不同身份的负样本之间的距离。

（Triplet Loss的目标：Triplet Loss的目标是使得相同标签的特征在空间位置上尽量靠近，同时不同标签的特征在空间位置上尽量远离，同时为了不让样本的特征聚合到一个非常小的空间中要求对于同一类的两个正例和一个负例，负例应该比正例的距离至少远margin）

3.3 步态特征：

           非连续不相关，是一个人30张步态图像中任取5张做为代表为消除其被遮挡或者剪影图裁剪有误的误差.

3.4 外形混合步态识别：

        步态识别是需要对数据集进行归类，如A人为A人集合，B人为B人集合，这样的输入顺序，但是这与摄像头（video）经过YOLOV5部分读入的人物信息不一致的，实际上读入的信息是 第一帧：甲,乙,丙。第二帧：甲,乙,丙,......我们先要判断出每一帧甲乙丙等三幅图下和ABC等人的对应关系，如甲：B,乙：A,丙：C（不一定是顺序对应）然后再对每一帧出现的A，B，C等进行归类.如A人集合,B人集合，C人集合. 然后得到对应每人的集合后，并且假设每个人的集合的大小都大于10，即每个人都有10张以上的图片后，再将其投入Gaitset网络，这样就从人—图片字典，变成了人—特征向量字典，我们先得到目标人物步态的特征向量，通过余弦相似度与其余的每个人都进行计算，最终得到相似度最为显著的为依照目标人物步态的步态试别.（即相似度不仅要与目标人物步态特征向量相似度高，还要在实时系统中随帧数增加变化中最为稳定，这里采用假设检验，3sigma原则，即计算相对于其他人与目标人物的相似度后得出相似度μ+3sigma，目标人物再次出现的相似度要>μ+3sigma）

3.5 迁移学习：

        我们运用的数据集是CASIA-B包括15004个步态序列，在gaitset网络中训练完成之后，将其网络训练好的参数作为迁移学习的初始参数再进行微调.          

多人步态识别步态识别数据集： CASIA-B

         CASIA-B是一个比较经典的步态识别数据集（2006），其包含124个目标（subjects），每个目标有3种步行情况和11个角度。3种步行情况指“normal（NM）”、“walking with bag（BG）”、“wearing coar or jacket（CL）”，其中每个目标有6段NM序列、2段BG序列、2段CL序列。11个角度是指0°、18°、…、180°。因此，这124个目标中，每个目标都有11×（6+2+2）=110段序列。经我观察，每段序列长度不定，一般80~100帧。

三、软著成品展示👑

3.1《智能步态识别门禁系统V1.0》项目用户手册🎈

3.1.4、步态门禁系统特征识别

3.1.4.1 功能面板解释

上图模块蓝色矩形区域为数据功能模块区，分为检测模式、检测目标和识别信息展示区。

检测模式：标明是步态识别。

检测目标：展现模型处理原始数据后的最终成品——人体轮廓图。

识别信息展示区：，将识别到的目标人物的步态生物数据进行处理处理后得出相应的数据，“目标ID”为当天识别的人物的临时编号。“干扰率”为人物的着装，是否背包等对外在因素对步态识别的干扰。“预计时间”为程序检查该目标人物预计需要的时间，“状态”有“检测中”和“检测完毕“两种状态。“结果”为有“成功”和“失败”两种结果。

 上图蓝色矩形区域是摄像头采集到的视频数据，当用户进入检测区域的时候，系统即刻对目标人物进行追踪， 红色区域数值为检测准确率，当目标人物被遮挡或者衣着对身形和步态有遮挡时，该数值会下降。

上图蓝色区域为当前检测人物的数据，将目标视频数据进行放大展示，便于观察。

 上图蓝色区域为今日历史检测人物，将当天进行了步态检测识别成功的人物数据进行记录，存档保存。

3.1.4.2 步态特征识别工作流程 

 当用户通通过人脸数据的检测的时候，开通步态识别模块。当目标人物进入检测区域的时候，系统通过对目标人物进行追踪，并根据该目标人物走路方式，从身体表征、时间表征等表征中提取该目标人物的步态特征，从而分析识别目标人物的身份。当有人物进行检测时，右边将出现该人物的检测记录，如果检测成功，将保留该条记录，检测失败，则消除该记录，等待下一个检测任务。

当目标人物识别身份匹配成功的时候，实现自动开锁，并保存该条检测记录。 

 当陌生人进入检测通道时，检测结果为“失败”，并删除该条检测记录