# 多媒体-导航项目 **Repository Path**: CeasarSmj/multimedia-navigation-project ## Basic Information - **Project Name**: 多媒体-导航项目 - **Description**: No description available - **Primary Language**: Python - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2024-11-25 - **Last Updated**: 2024-11-25 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 场景播报项目 https://gitee.com/CeasarSmj/multimedia-navigation-project ## 简介  这是一次多媒体信息处理的作业,目的是使用多媒体数据实现一个导盲程序。 ## 环境配置  需要的库有: ``` openai opencv-python torch torchvsion pyttsx3 scikit-image ```  可以先启动conda建立`python==3.9`的新环境: ```sh conda create --name test_env python=3.9 conda activate test_env ```  然后在新环境中启动本目录下的脚本[setup.bat](setup.bat),注意需要pytorch的cuda版本请根据[官网]()的提示安装。  配置完毕后输入下面的指令启动图片测试: ```sh python test.py ```  也可以输入下面的指令启动视频流测试(需要摄像头): ```sh python main.py ``` ## 工作流 1. 从`相机`获取`图像数据` 2. 使用`detection`模型获取`图像`中的主要对象`类型`与其`位置` 3. 使用`classify`模型对图像中的`对象`进行进一步分类获取更加`细致的属性` 4. 使用`depth estimation 模型`得到图像的`深度图` 5. 根据`对象类型`、`对象属性`、`对象位置`、`对象距离`给出图像场景的`结构化描述` 6. 使用`image caption`模块获取对图像的`整体描述` 7. 使用`NLP模型`把 `结构化描述`和`整体描述`转化为 `自然语言描述` 8. 使用`语音模型`把`自然语言描述`转化为`语音` 9. 播放`语音`作为输出