# 基于Mediapipe的机械手控制系统

**Repository Path**: zhu-longzhuo/Hand_control

## Basic Information

- **Project Name**: 基于Mediapipe的机械手控制系统
- **Description**: 基于Mediapipe，获取手的关节点坐标，并解算手指角度。发送给嵌入式设备，嵌入式设备通过角度进行手势识别。并按照识别出来的手势进行模式功能切换。  目前仅完成 模仿与动作组两个初步功能。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 4
- **Forks**: 1
- **Created**: 2024-06-18
- **Last Updated**: 2025-07-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 基于Mediapipe的机械手控制系统

#### 介绍
基于Mediapipe，获取手的关节点坐标，并解算手指角度。发送给嵌入式设备，嵌入式设备通过角度进行手势识别。并按照识别出来的手势进行模式功能切换。  目前仅完成 模仿与动作组两个初步功能。

#### 软件架构
![输入图片说明](https://foruda.gitee.com/images/1719158560267943275/7772c8fd_10095705.jpeg "图片1.jpg")
软件架构说明
其中红色为上位机部分，黄色为神经网络部分，蓝色为嵌入式系统部分
1)上位机部分
获取图像后传入Mediapipe.Hands模块，获得手部关节点，经过角度解算后发送给嵌入式系统。
2)神经网络部分：通过上位机收集手势对应的角度数据集，经过神经网络搭建与训练后，保存神经网络模型，并把神经网络模型的参数导入至嵌入式系统中。需要注意的是，该部分仅在系统搭建时完成，不参与最终的系统运行。
3)嵌入式系统部分：嵌入式系统通过一个数据接收模块，用于从串口接收上位机发送的手部关节点数据。之后将其传输到已经移植好参数的神经网络分类器中。神经网络分类器输出手势类型到模式管理模块，模式管理模块根据手势对应的命令控制灵巧手。

#### 安装教程

1.  上位机：准备python环境， Mediapipe等库
2.  神经网络训练环境：不多做介绍
3.  嵌入式设备：32单片机，32cubeIDe，keil5

#### 使用说明
详见使用说明文档


#### 参与贡献
西安邮电大学
自动化学院 杨丹老师 提供概念
智能实验室学弟 韦柯言 完成通信功能与效果调试