基于MediaPipe、opencv和python实现21点手势识别和手势运动方向识别
2021/6/12 20:51:53
本文主要是介绍基于MediaPipe、opencv和python实现21点手势识别和手势运动方向识别,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
基于MediaPipe和python实现手势识别
1.MediaPipe的简介
MediaPipe是用于构建应用ML管道的多模式(例如,视频,音频,任何时间序列数据)的框架。利用MediaPipe,可以将感知管道构建为模块化组件的图形,包括例如推理模型(例如,TensorFlow,TFLite)和媒体处理功能。
有关手部检测和手部跟踪的整体背景,请阅读此 Google AI博客文章。
Google AI博客文章
MediaPipe说明文档
实现步骤参考链接
2.配置环境
安装python IDE(pycharm)、opencv、python、MediaPipe
为了方便配置各种环境,我安装了anaconda软件,然后使用anaconda安装了python3.8、opencv3.4以上版本和mediapine包等
配置环境参考链接
配置环境需要自行配置,网上有各种流程。
当配置好python、opencv之后
然后pip install mediapipe安装mediapipe包
3. 手部关节21点标号说明
4.测试代码
import cv2 import mediapipe as mp mp_drawing = mp.solutions.drawing_utils mp_hands = mp.solutions.hands hands = mp_hands.Hands( static_image_mode=False, max_num_hands=2, min_detection_confidence=0.75, min_tracking_confidence=0.75) cap = cv2.VideoCapture(0) while True: ret,frame = cap.read() frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 因为摄像头是镜像的,所以将摄像头水平翻转 # 不是镜像的可以不翻转 frame= cv2.flip(frame,1) results = hands.process(frame) frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR) if results.multi_handedness: for hand_label in results.multi_handedness: print(hand_label) if results.multi_hand_landmarks: for hand_landmarks in results.multi_hand_landmarks: print('hand_landmarks:' hand_landmarks) # 关键点可视化 mp_drawing.draw_landmarks( frame, hand_landmarks, mp_hands.HAND_CONNECTIONS) cv2.imshow('MediaPipe Hands', frame) if cv2.waitKey(1) & 0xFF == 27: break cap.release()
效果如图所示:
然后通过对检测到的手部关键点之间的角度计算便可得知手指是否弯曲,然后便可以实现简单的手势识别,同时也实现了手势方向(上下左右)判断,代码随后分享,谢谢观看。
这篇关于基于MediaPipe、opencv和python实现21点手势识别和手势运动方向识别的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08有遇到过吗?同样的规则 Excel 中 比Python 结果大
- 2024-03-30开始python成长之路
- 2024-03-29python optparse
- 2024-03-29python map 函数
- 2024-03-20invalid format specifier python
- 2024-03-18pool.map python
- 2024-03-18threads in python
- 2024-03-14python Ai 应用开发基础训练,字符串,字典,文件
- 2024-03-13id3 algorithm python
- 2024-03-13sum array elements python