# GuideCatHat_dev

**Repository Path**: Calcucat/GuideCatHat_dev

## Basic Information

- **Project Name**: GuideCatHat_dev
- **Description**: 导盲猫（划掉）导盲帽，是一款面向视障群体设计的低成本便携式AI产品。
由北方工业大学数字产业学院AI助残项目团队开发（中……）。
该分叉仓库为开发状态仓库。
- **Primary Language**: Unknown
- **License**: LGPL-2.1
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-02-28
- **Last Updated**: 2025-11-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# GuideCatHat

注：本文件是markdown文件，请使用markdown查看器（如VSCode）查看。

## 介绍

导盲猫（划掉）导盲帽，是一款面向视障群体设计的低成本便携式AI产品。
由北方工业大学数字产业学院AI助残项目团队开发（中……）。

## 目标概述

项目计划实现一款**低成本智能AI导盲帽**，能够为视障群体提供实时视觉信息识别、听觉和触觉化呈现、基于自然语言的视觉信息问答等，帮助视障群体的日常出行、解决视障群体的生活困扰，提高视障群体的生活质量。具体地，计划通过帽子前后内嵌红外摄像头、结合目标检测和语义分割模型，实现与用户头部同步的视觉信息识别；通过单目深度估计模型实现距离感知；通过多模态大模型实现视觉场景信息交互问答；通过电子罗盘传感器和压感反馈实时传递方位信息；通过红外测距传感器测量近距离障碍物；实现手机端APP用于托管端侧模型，并用于设备设置和管理、设备找回等。
此外，若时间精力充裕，将进一步尝试实现为听障群体提供实时AI语音转文字等功能的智能AI眼镜。

## 总体架构

![架构图](./assets/Architechure.drawio.svg)

## 实体结构概述

基本结构为鸭舌帽。
主要电路板置于鸭舌内（鸭舌部分视需求以一定坡度加厚，但仍保持边缘处较薄），电路板进行注胶防水处理（开发阶段暂无需防水）。前置摄像头、距离传感器嵌入鸭舌内。鸭舌上下平面采用高热导率材料，保障散热。
后置摄像头目前没想好放哪才显得更自然。
帽子主体顶部内嵌电机和一侧带突起的转盘，转盘预期使用柔性材料，或上半部分使用刚性材料、下半部分使用柔性材料。转盘突起应当使头皮有明显压感，但不至于难受。转盘突起的一侧嵌入IMU（电子罗盘传感器）。
帽子耳侧内嵌小功率扬声器，或骨传导耳机。避免把环境声音遮盖掉，但同时又要保证所播放的声音能够被用户听到。请注意视障群体一般使用4~6倍语速。
帽子外加防掉绳，主要是避免转盘转动时带着帽子一起转。

## 硬件选型需求

前置全通红外摄像头：120°~180°广角，分辨率720p及以上，配置红外夜视和可见光全通摄像头。核心功能部件，成本上限￥100。
后置全通红外摄像头：分辨率480p及以上，成本上限￥60。其余要求与前置摄像头一致。
前置测距传感器：测距范围8m内，精度±10cm内。用于测量头部前方障碍物，并用于单目深度估计模型校准、特定场景长距离测距。成本约束￥50内。
后置测距传感器：测距范围2m内，精度±10cm内。主要用于单目深度估计模型校准。成本约束￥20内。
双声道扬声器/骨传导耳机：嵌入帽子侧面，选取非入耳方案以避免遮盖外界声音。成本约束￥50内。
指南系统：采用TPU等柔性材料制成一个有突起的圆盘，圆盘中央连接电机，从而通过电机旋转可实现突起位置的变化；突起内嵌入电子罗盘传感器，从而可实现突起始终指向指定朝向。电机暂定型号28BYJ48。成本约束￥50内。
控制主板：高带宽、低能耗、低延迟。暂定先尝试esp32-c3和esp32-s3。成本约束￥50内。
成本上限：以上成本约束并不严格，但总体上，核心功能相关模块的成本可接受上限更高，次要功能相关成本可接受上限更低。严格控制产品总成本在￥300内（研发成本不按此阈值计算）。

## 开发计划概览

采用模块化、敏捷开发方案，即从主要到次要逐步开发，先实现核心模块、核心功能，再逐步优化性能、实现非核心模块、非核心功能。
大致开发计划如下，详细开发计划参见[团队任务管理](https://kdocs.cn/l/cqI1zNX7JuHv)。

## 功能需求细则

### 目标检测

需要检测的目标如下：

- 近距离障碍物
- 红绿灯
- 人行道
- 斑马线
- 行驶车辆（尤其自行车、电动自行车）
- 盲道
- 墙面、围栏等
- 坡道
- 楼梯
- 部分交通标志
- 安全告示标志
- 用户指定目标

## 如何参与开发

1. 注册gitee
2. Fork 本仓库
3. 新建 xxx_dev 分支，xxx为开发者；或features_xxx分支，xxx为特性信息
4. 编辑修改文件并保存
5. 使用git工具提交代码（git commit）
6. 新建 Pull Request