3 Star 2 Fork 2

YUMOU/ai-devices

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
贡献代码
同步代码
nycf- nycf update. 0333c93 8个月前
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

AI-VOICE-Z01

1. 产品特点

  • AI-VOICE-Z01 是深圳宇眸智能科技打造的一款高性价比 AI 音频开发板,可用于快速实现AI语音应用,嵌入式AI学习以及快速开发验证AI语音产品。
  • 板载 ESP32-S3 双核高性能嵌入式主控,主频240MHZ,内置 8M PSRAM,可有效应对各种语音应用场景。
  • 板载双路数字麦克风阵列,可有效实现各种音频处理算法,有效提高音频质量以及语音识别的准确性。
  • 支持乐鑫WakeNet语音唤醒框架,支持双通道语音唤醒,提高唤醒率和唤醒距离。
  • 支持双麦克风降噪算法,实现AI语音聊天打断功能。
  • 支持VAD算法,可检测当前语音活动状态,实现AI语音聊天连续对话功能。
  • 支持AEC算法,可有效去除回声,实现语音通话过程中的回声消除。
  • 可以无缝对接AiLinker开源后端服务框架,快速实现AI大模型服务对接。(目前支持openai、通义千问等,持续更新中)
  • 可以无缝对接AiLinker开源后端服务框架,快速实现在线语音识别服务、在线文字转语音服务对接。(目前支持火山引擎、讯飞语音服务等,持续更新中)
  • 可结合 AiLinker 开源框架轻松实现 AI 语音聊天,支持自定义大模型角色、自定义交互音色、 打造个人专属AI语音助手。
  • 可结合 AiLinker 开源框架轻松实现 AI 外设控制,打造 AI控制终端、 AI 移动机器人、智能家居管家等应用。
  • 产品升级和服务:板载固件和功能会持续升级,拥有 300 人技术交流群,可高效进行学习和交流。

2. 图片展示

​ 双麦克风融合音频波形

​ AiLinker后端开源框架,更多信息请参考链接AiLinker

2. 套件说明

​ 了解基础硬件信息请先查看 套件说明书

3. 出厂自带固件功能说明

3.1 简介

​ AI-VOICE-Z01 出厂自带了AI语音聊天固件,配合后端可实现AI语音聊天功能。开发者收到板子后,可自行部署AiLinker开源后端,部署参考连接AiLinker

3.2 功能介绍

接口和按键

上图左下角第1个元件为电源拨码开关,向左波动未关闭电池输入,向边则打开。

上图左下角第2个元件为板子软重启按钮(RST),按下板子重启。

上图左下角第3个元件为板子功能按钮(BOOT),支持单击,双击,三击,长按等操作。

状态指示灯

本款硬件板载了RBG状态指示灯,用于指示当前系统运行状态,以下是状态表。

板载RGB状态 对应系统状态 备注
红灯慢闪(间隔约500ms) 网络未连接
蓝灯慢闪 网络已连接 因为连网成功默认进入AI聊天模式,所以配网成功后可能观察不到蓝灯闪烁,而是直接看到黄灯闪烁
黄灯慢闪 网络已连接,但后端服务未连接
紫灯慢闪 网络已连接,后端服务已连接
红灯快闪(间隔约100ms) 进入配网状态
绿灯慢闪 唤醒状态,此时可以对话 注意:需要等紫灯闪烁即后台连接后,设备方可唤醒(开机启动需要两次唤醒,后续不用)。默认唤醒词:你好小新或者你好小智
绿灯快闪 语音输入状态,此时检测到语音 注意: 部分噪音也可能被误检测,下一版vad算法改进。
紫灯常亮 等待后端响应 注意: 若设备超过12秒未接收到后端响应消息,将会主动给后端发送重启信号。

网络配置

首次拿到硬件。板子连接喇叭,连接USB,或者连接电池(注意电池要插到位),开关拨到右边。开机,会看到红灯慢闪,此时表示板子未联网。

连续快速按3下功能键(BOOT), 喇叭会播报:配网,并且板载RGB红灯快速闪烁。

此时板子会自动打开,名称为: AI-VOICE-Z01 的WIFI热点, 密码是 12345678,拿出手机连接它。

连接成后打开浏览器,输入IP地址,进入配置界面。

进入配置界面后,按照图片提示,注意需要连接2.4G频段wifi, 无法连接5G wifi。设置相应信息并提交,注意,板子重启后生效。

IP播报功能

​ 双击功能键(BOOT)设备会主动播报当前的IP地址,如果是配网状态,是默认IP: 192.168.4.1 , 如果是网络连接状态,则是路由器分配的IP地址。

AEC开启

​ 单击功能键(BOOT)会切换AEC打开和关闭,此功能可暂时不用理会,聊天过程中会自动控制AEC打开和关闭。

离线语音指令

先说唤醒词唤醒,然后说指令可执行相应操作,目前支持以下几个指令。

指令 功能 备注
小点声 调低播放音量
调低音量 调低播放音量
大点声 调高播放音量
调高音量 调高播放音量
退下吧 进入休眠模式

3.3 注意

此版固件,设备联网成后,会自动禁用配网功能,如果想在联网成后,更换后端地址,或者WIFI信息。请双击功能键,获取设备IP, 打开浏览器输入设备IP, 直接访问设备即可。(操作的手机或电脑需要和设备处于同一局域网下)

4. 烧录固件

​ 需要更改唤醒词,或者回复出厂设置需要进行固件烧录。

4. 1 准备烧录用的文件

​ 打开硬件资料分享链接,下载文件夹内的所有文件

4.2 下载烧录工具

​ 下载乐鑫的官方指定flash烧录工具, 点击页面链接

该工具直接解压缩运行即可,不用安装。

4.3 开始烧录

上面两步都准备妥当即可以开始烧录固件。

  1. 先将板子通过USB线连接到电脑。

  2. 找到刚才下载的烧录工具解压缩目录,双击打开 flash_download_tool可执行文件,运行界面如下,会出现一个终端窗口和选择界面。按图示选择。

点击OK后会进入烧录程序主界面,并按图示操作 。

只更换唤醒词

如果板子到手没有自己烧录过程序,只需要更换唤醒词,那只需要烧录srmodels文件即可。例如更换唤醒词为"小爱同学",烧录文件 srmodels_xiaoaitongxue.bin. 烧录地址为:0x4b0000. 具体操作参考以下图片。

烧录开始如图所示,会有进度条:

烧录完成,重启板子即可。

更新APP固件

​ 我们配套的固件会不定期进行功能更新,可通过烧录最新固件完成功能升级(下一版推出OTA功能,直接利用网络进行空中升级即可)。

烧录APP固件操作如下:

完整的恢复出厂设置

​ 若是板子已经自己烧录过程序,想恢复出厂设置,建议完整烧录所有文件。一共有7个文件,对应表格如下:

固件 烧录地址 描述 备注
ai-voice.bin 0x10000 APP固件
bootloader.bin 0x0 启动引导程序
partition-table.bin 0x8000 分区表
ota_data_initial.bin 0xd000 ota基础程序
srmodels_nihaoxiaoxin.bin 0x4b0000 算法模型数据
esp_tts_voice_data_xiaole.dat 0x9b0000 TTS音频数据
audio_tone.bin 0xdb0000 静态音频数据

具体烧录操作如下:

注意如果esp_tts_voice_data文件找不到,选择文件的需要设置文件格式为所有格式,如下图

马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/yumoutech/ai-devices.git
git@gitee.com:yumoutech/ai-devices.git
yumoutech
ai-devices
ai-devices
master

搜索帮助