#  mindplus_ext_ChatGPT

**Repository Path**: mengchangfeng/mindplus_ext_-chat-gpt

## Basic Information

- **Project Name**:  mindplus_ext_ChatGPT
- **Description**: mind+ChatGPT扩展 支持多模态输入
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2024-08-19
- **Last Updated**: 2024-11-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#  mindplus_ext_ChatGPT

#### 介绍
mind+ChatGPT扩展 支持多模态输入


#### 安装教程

1.  mind+python模式搜索gpt或输入链接添加GPT扩展
2.  注册自己的API密钥或使用临时测试密钥：
地址：https://wildcard.com.cn/api

测试密钥:sk-7OL157652206164af02dbbce757822055aba7b9c0deU3IJn

3.  开始使用

![输入图片说明](%E7%A7%AF%E6%9C%A8.png)

输入密钥选择模型及温度（温度影响模型回答发散度，温度越高回答越开放）
发送问题并返回对话
上传图片

#### 使用说明

1.  直接在python模式下输出回答：
![直接在电脑上使用](https://foruda.gitee.com/images/1726024996550400097/dad3610c_9900205.png "屏幕截图")

2.  链接行空板在行空板上使用语音提问并展示回答
![在行空板上连接音箱使用](https://foruda.gitee.com/images/1726025154018970911/4894b229_9900205.png "屏幕截图")

使用方法：按住A键提问，松开A键结束提问等待回答播报。

注意：需要申请百度语音api，同时行空板需接入usb音箱才能完成播报（后续GPT支持语音输入可以直接使用语音到文本，语音到语音的回答）

3.  链接行空板使用图片认知功能
![在行空板上连接摄像头使用](https://foruda.gitee.com/images/1726025571914528658/91df669c_9900205.png "屏幕截图")

使用方法：按住A键提问，松开A键结束提问等待回答，按下B键开启摄像头，再次按下B键上传当前摄像头采集照片，可以针对照片内容进行问答。

注意：需要申请百度语音api，同时行空板需接入usb摄像头才能完成图片采集。

4. 同时接入摄像头和音箱使用图片认知与播报功能。
![在行空板上链接摄像头和音箱使用](imageimage.png)

注意：需要使用usb扩展坞让行空板同时接入音箱和摄像头


v2.0版本更新
1.模型下拉框改为拖入选项，可以设置变量自定义模型
支持的模型详见openai官方：https://openai.xiniushu.com/docs/models#%E6%89%BE%E5%88%B0%E5%90%88%E9%80%82%E7%9A%84%E6%A8%A1%E5%9E%8B

2.新增prompt上传积木，可以将txt格式的提示词文档上传给大模型，让大模型根据提示词给出更准确规范的回答。

3.新增语音文件转文本积木，利用whisper-1模型将用户上传的音频文件识别为文本返回。

4.新增文本生成语音积木，利用tts-1模型将文本转为音频文件保存到本地。

V2.1版本更新

新增dalle2 ai绘画功能 默认尺寸256*256


#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request

# 支持列表

|主板型号|实时模式|ArduinoC|MicroPython|Python|备注|
|-----|-----|:-----:|-----|-----|-----|
|uno|    |    |    |    |    |
|micro:bit|    |    |    |    |    |
|mpython|    |      |  |    |    |
|arduinonano|    |    |    |    |    |
|leonardo|    |    |    |    |    |
|mega2560|    |    |    |    |    |
|unihiker|    |    |    | √   |    |