• Jetsonnano B01 笔记7：Mediapipe与人脸手势识别

    今日继续我的Jetsonnano学习之路，今日学习安装使用的是：MediaPipe  一款开源的多媒体机器学习模型应用框架。可在移动设备、工作站和服务 器上跨平台运行，并支持移动 GPU 加速。
    介绍与程序搬运官方，只是自己的学习记录笔记，同时记录一些自己的操作过程。

    MediaPipe介绍与安装：

    MediaPipe 优点
    1) 支持各种平台和语言，如 IOS 、 Android 、 C++ 、 Python 、 JAVAScript 、 Coral 等。
    2) 速度很快，模型基本可以做到实时运行。
    3) 模型和代码能够实现很高的复用率。
    MediaPipe 缺点
    1) 对于移动端， MediaPipe 略显笨重，需要至少 10M 以上的空间。
    2) 深度依赖于 Tensorflow ，若想更换成其他机器学习框架，需要更改大量代码。
    3) 使用的是静态图，虽然有助于提高效率，但也会导致很难发现错误。

    安装更新 APT 下载列表：

    sudo apt update

    安装 pip：

    sudo apt install python3-pip

    更新 pip：

    python3 -m pip install --upgrade pip

    传输文件：

    将mediapipe传输给Jetson：

    文件下载：https://download.csdn.net/download/qq_64257614/88322416?spm=1001.2014.3001.5503

    在jetson桌面将其拖进文件管理的home目录然后输入终端指令进行安装：

    pip3 install mediapipe-0.8.5_cuda102-cp36-cp36m-linux_aarch64.whl

    安装成功提示：

     

     

    MediaPipe使用流程：

    下图是 MediaPipe 的使用流程。其中，实线部分需要自行编写代码，虚线部分则无需编
    写。 MediaPipe 内部已经集成好了 AI 相关的模型和玩法，用户可以利用 MediaPipe 来快速推
    算出实现一个功能所需的框架

    Mediapipe 人脸识别：

    输入指令安装依赖包：

    pip3 install dataclasses

    编写Python程序：

    1. import cv2
    2. import mediapipe as mp
    3. import time
    4.  
    5.  
    6. last_time = 0
    7. current_time = 0
    8. fps = 0.0
    9. def show_fps(img):
    10.     global last_time, current_time, fps
    11.     last_time = current_time
    12.     current_time = time.time()
    13.     new_fps = 1.0 / (current_time - last_time)
    14.     if fps == 0.0:
    15.         fps = new_fps if last_time != 0 else 0.0
    16.     else:
    17.         fps = new_fps * 0.2 + fps * 0.8
    18.  
    19.     fps_text = 'FPS: {:.2f}'.format(fps)
    20.     cv2.putText(img, fps_text, (11, 20), cv2.FONT_HERSHEY_PLAIN, 1.0, (32, 32, 32), 4, cv2.LINE_AA)
    21.     cv2.putText(img, fps_text, (10, 20), cv2.FONT_HERSHEY_PLAIN, 1.0, (240, 240, 240), 1, cv2.LINE_AA)
    22.     return img
    23.  
    24.  
    25. mp_face_detection = mp.solutions.face_detection
    26. mp_drawing = mp.solutions.drawing_utils
    27.  
    28. # For webcam input:
    29. cap = cv2.VideoCapture(0)
    30. with mp_face_detection.FaceDetection(
    31.     min_detection_confidence=0.5) as face_detection:
    32.   while cap.isOpened():
    33.     success, image = cap.read()
    34.     if not success:
    35.       print("Ignoring empty camera frame.")
    36.       # If loading a video, use 'break' instead of 'continue'.
    37.       continue
    38.  
    39.     # To improve performance, optionally mark the image as not writeable to
    40.     # pass by reference.
    41.     image.flags.writeable = False
    42.     image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    43.     results = face_detection.process(image)
    44.  
    45.     # Draw the face detection annotations on the image.
    46.     image.flags.writeable = True
    47.     image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    48.     if results.detections:
    49.       for detection in results.detections:
    50.         mp_drawing.draw_detection(image, detection)
    51.     # Flip the image horizontally for a selfie-view display.
    52.     image = show_fps(cv2.flip(image, 1))
    53.     cv2.imshow('MediaPipe Face Detection', image)
    54.     if cv2.waitKey(5) & 0xFF == 27:
    55.       break
    56. cap.release()

    最后传输python文件,然后输入指令运行，注意放在文件夹中的需要使用cd命令进行目录的跳转

    效果测试：

    Mediapipe人脸识别

    Mediapipe 手势识别：

     编写python程序：

    1. import cv2
    2. import mediapipe as mp
    3. import numpy as np
    4. import time
    5.  
    6.  
    7. last_time = 0
    8. current_time = 0
    9. fps = 0.0
    10. def show_fps(img):
    11.     global last_time, current_time, fps
    12.     last_time = current_time
    13.     current_time = time.time()
    14.     new_fps = 1.0 / (current_time - last_time)
    15.     if fps == 0.0:
    16.         fps = new_fps if last_time != 0 else 0.0
    17.     else:
    18.         fps = new_fps * 0.2 + fps * 0.8
    19.  
    20.     fps_text = 'FPS: {:.2f}'.format(fps)
    21.     cv2.putText(img, fps_text, (11, 20), cv2.FONT_HERSHEY_PLAIN, 1.0, (32, 32, 32), 4, cv2.LINE_AA)
    22.     cv2.putText(img, fps_text, (10, 20), cv2.FONT_HERSHEY_PLAIN, 1.0, (240, 240, 240), 1, cv2.LINE_AA)
    23.     return img
    24.  
    25. def distance(point_1, point_2):
    26.     """
    27.     计算两个点间的距离
    28.     :param point_1: 点1
    29.     :param point_2: 点2
    30.     :return: 两点间的距离
    31.     """
    32.     return math.sqrt((point_1[0] - point_2[0]) ** 2 + (point_1[1] - point_2[1]) ** 2)
    33.  
    34.  
    35. def vector_2d_angle(v1, v2):
    36.     """
    37.     计算两向量间的夹角 -pi ~ pi
    38.     :param v1: 第一个向量
    39.     :param v2: 第二个向量
    40.     :return: 角度
    41.     """
    42.     norm_v1_v2 = np.linalg.norm(v1) * np.linalg.norm(v2)
    43.     cos = v1.dot(v2) / (norm_v1_v2)
    44.     sin = np.cross(v1, v2) / (norm_v1_v2)
    45.     angle = np.degrees(np.arctan2(sin, cos))
    46.     return angle
    47.  
    48.  
    49. def get_hand_landmarks(img_size, landmarks):
    50.     """
    51.     将landmarks从medipipe的归一化输出转为像素坐标
    52.     :param img: 像素坐标对应的图片
    53.     :param landmarks: 归一化的关键点
    54.     :return:
    55.     """
    56.     w, h = img_size
    57.     landmarks = [(lm.x * w, lm.y * h) for lm in landmarks]
    58.     return np.array(landmarks)
    59.  
    60.  
    61. def hand_angle(landmarks):
    62.     """
    63.     计算各个手指的弯曲角度
    64.     :param landmarks: 手部关键点
    65.     :return: 各个手指的角度
    66.     """
    67.     angle_list = []
    68.     # thumb 大拇指
    69.     angle_ = vector_2d_angle(landmarks[3] - landmarks[4], landmarks[0] - landmarks[2])
    70.     angle_list.append(angle_)
    71.     # index 食指
    72.     angle_ = vector_2d_angle(landmarks[0] - landmarks[6], landmarks[7] - landmarks[8])
    73.     angle_list.append(angle_)
    74.     # middle 中指
    75.     angle_ = vector_2d_angle(landmarks[0] - landmarks[10], landmarks[11] - landmarks[12])
    76.     angle_list.append(angle_)
    77.     # ring 无名指
    78.     angle_ = vector_2d_angle(landmarks[0] - landmarks[14], landmarks[15] - landmarks[16])
    79.     angle_list.append(angle_)
    80.     # pink 小拇指
    81.     angle_ = vector_2d_angle(landmarks[0] - landmarks[18], landmarks[19] - landmarks[20])
    82.     angle_list.append(angle_)
    83.     angle_list = [abs(a) for a in angle_list]
    84.     return angle_list
    85.  
    86.  
    87. def h_gesture(angle_list):
    88.     """
    89.     通过二维特征确定手指所摆出的手势
    90.     :param angle_list: 各个手指弯曲的角度
    91.     :return : 手势名称字符串
    92.     """
    93.     thr_angle = 65.
    94.     thr_angle_thumb = 53.
    95.     thr_angle_s = 49.
    96.     gesture_str = "none"
    97.     if (angle_list[0] > thr_angle_thumb) and (angle_list[1] > thr_angle) and (angle_list[2] > thr_angle) and (
    98.             angle_list[3] > thr_angle) and (angle_list[4] > thr_angle):
    99.         gesture_str = "fist"
    100.     elif (angle_list[0] < thr_angle_s) and (angle_list[1] < thr_angle_s) and (angle_list[2] > thr_angle) and (
    101.             angle_list[3] > thr_angle) and (angle_list[4] > thr_angle):
    102.         gesture_str = "gun"
    103.     elif (angle_list[0] < thr_angle_s) and (angle_list[1] > thr_angle) and (angle_list[2] > thr_angle) and (
    104.             angle_list[3] > thr_angle) and (angle_list[4] > thr_angle):
    105.         gesture_str = "hand_heart"
    106.     elif (angle_list[0] > thr_angle_thumb) and (angle_list[1] < thr_angle_s) and (angle_list[2] > thr_angle) and (
    107.             angle_list[3] > thr_angle) and (angle_list[4] > thr_angle):
    108.         gesture_str = "one"
    109.     elif (angle_list[0] > thr_angle_thumb) and (angle_list[1] < thr_angle_s) and (angle_list[2] < thr_angle_s) and (
    110.             angle_list[3] > thr_angle) and (angle_list[4] > thr_angle):
    111.         gesture_str = "two"
    112.     elif (angle_list[0] > thr_angle_thumb) and (angle_list[1] < thr_angle_s) and (angle_list[2] < thr_angle_s) and (
    113.             angle_list[3] < thr_angle_s) and (angle_list[4] > thr_angle):
    114.         gesture_str = "three"
    115.     elif (angle_list[0] > thr_angle_thumb) and (angle_list[1] > thr_angle) and (angle_list[2] < thr_angle_s) and (
    116.             angle_list[3] < thr_angle_s) and (angle_list[4] < thr_angle_s):
    117.         gesture_str = "ok"
    118.     elif (angle_list[0] > thr_angle_thumb) and (angle_list[1] < thr_angle_s) and (angle_list[2] < thr_angle_s) and (
    119.             angle_list[3] < thr_angle_s) and (angle_list[4] < thr_angle_s):
    120.         gesture_str = "four"
    121.     elif (angle_list[0] < thr_angle_s) and (angle_list[1] < thr_angle_s) and (angle_list[2] < thr_angle_s) and (
    122.             angle_list[3] < thr_angle_s) and (angle_list[4] < thr_angle_s):
    123.         gesture_str = "five"
    124.     elif (angle_list[0] < thr_angle_s) and (angle_list[1] > thr_angle) and (angle_list[2] > thr_angle) and (
    125.             angle_list[3] > thr_angle) and (angle_list[4] < thr_angle_s):
    126.         gesture_str = "six"
    127.     else:
    128.         "none"
    129.     return gesture_str
    130.  
    131.  
    132.  
    133. mp_drawing = mp.solutions.drawing_utils
    134. mp_hands = mp.solutions.hands
    135.  
    136. # For webcam input:
    137. cap = cv2.VideoCapture(0)
    138. with mp_hands.Hands(
    139.     min_detection_confidence=0.5,
    140.     min_tracking_confidence=0.5) as hands:
    141.   while cap.isOpened():
    142.     success, image = cap.read()
    143.     if not success:
    144.       print("Ignoring empty camera frame.")
    145.       # If loading a video, use 'break' instead of 'continue'.
    146.       continue
    147.  
    148.     # Flip the image horizontally for a later selfie-view display, and convert
    149.     # the BGR image to RGB.
    150.     image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    151.     # To improve performance, optionally mark the image as not writeable to
    152.     # pass by reference.
    153.     image.flags.writeable = False
    154.     results = hands.process(image)
    155.  
    156.     # Draw the hand annotations on the image.
    157.     image.flags.writeable = True
    158.     image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    159.     gesture = "none"
    160.     if results.multi_hand_landmarks:
    161.       for hand_landmarks in results.multi_hand_landmarks:
    162.         mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)
    163.         landmarks = get_hand_landmarks((image.shape[1], image.shape[0]), hand_landmarks.landmark)
    164.         angle_list = hand_angle(landmarks)
    165.         gesture = h_gesture(angle_list)
    166.         if gesture != "none":
    167.             break;
    168.     image = show_fps(cv2.flip(image, 1))
    169.     cv2.putText(image, gesture, (20, 60), cv2.FONT_HERSHEY_SIMPLEX, 1.5, (255, 0, 0), 4)
    170.     cv2.imshow('MediaPipe Hands', image)
    171.     if cv2.waitKey(5) & 0xFF == 27:
    172.       break
    173. cap.release()

     

     效果测试：

    Mediapipe手势识别

     

  • 相关阅读:
    企业软文推广有哪些方案？媒介盒子为您解答
    Python实现视频自动打码，不用担心透露隐私了
    优雅的操作文件：java.nio.file 库介绍
    33、CSS进阶——布局
    如何实现全网采集
    【soc】— spl&&uboot校验方法
    Python面试宝典
    【记录】go语言编程规范梳理总结
    Kafka3.x核心速查手册二、客户端使用篇-6、消息发送幂等性
    Flink - 大规模状态 ValueState 实践与优化
  • 原文地址：https://blog.csdn.net/qq_64257614/article/details/132790951