# LLM_camera

**Repository Path**: esp-friends/LLM_camera

## Basic Information

- **Project Name**: LLM_camera
- **Description**: 本仓库提供了一些 ESP32S3 与 AI（大语言模型、边缘视觉模型等）交互的 Demo。
- **Primary Language**: C
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 7
- **Forks**: 3
- **Created**: 2025-03-19
- **Last Updated**: 2025-10-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM Camera Demo

本仓库提供了一些 ESP32S3 与 AI（大语言模型、边缘视觉模型等）交互的 Demo。Demo 的源代码存储在不同的分支中。

## Demo 简介

### ESP-WHO `v1.1.0`

> **分支名称：** `esp-who/v1.1-demo`  
> **仓库链接：** [Gitee](https://gitee.com/esp-friends/LLM_camera/tree/esp-who%2Fv1.1-demo/) | [GitHub](https://github.com/espressif/esp-who) ([Gitee 镜像](https://gitee.com/EspressifSystems/esp-who))  
> *查看该分支的 `README.md` 获取更多信息。*

该分支是 ESP-WHO v1.1 的 fork，增加了对 AtomS3R Cam/AtomS3R M12 开箱即用的支持。

包含人脸检测、人脸识别、猫脸检测等示例。

---

### Xiaozhi - 小智 AI 聊天机器人

> **分支名称：** `xiaozhi/facedet`  
> **仓库链接：** [Gitee](https://gitee.com/esp-friends/LLM_camera/tree/xiaozhi/facedet/) | [GitHub](https://github.com/78/xiaozhi-esp32) ([Gitee 镜像](https://gitee.com/tenclass/xiaozhi-esp32))  
> *查看该分支的 `README.md` 获取更多信息。*

该分支是开源项目“小智 AI 聊天机器人”的 fork，支持 AtomS3R Cam/M12 进行摄像头人脸检测并激活 AI 对话。

---

### Sensor_Support —— 传感器联合采集与方向适配例程

> **分支名称：** `Sensor_Support`  
> **仓库链接：** [Gitee](https://gitee.com/esp-friends/LLM_camera/tree/Sensor_Support/)  
> *查看该分支的 `README.md` 获取更多信息。*

#### 主要内容
- **BMI270 运动检测例程**  
  - 演示如何用 BMI270 进行任意运动检测，支持中断、低功耗、智能打印。
  - 支持 ESP-ASTOM-S3 等多种开发板，I2C 软件/硬件可选。
  - 详细硬件连接、参数调整、故障排查见分支内 `README.md`。

- **BMM150 磁力计联合采集例程**  
  - 通过 BMI270 的 AUX 接口驱动 BMM150，实现三轴磁力计数据采集。
  - 支持正反面方向自动适配（Z 轴朝向判断 + heading 修正），保证无论正反拿设备，东西方向一致。
  - 详细算法、代码示例、数学推导、数据处理特性、故障排查见分支内 `README.md` 和组件文档。

#### 适用场景
- 需要 IMU + 磁力计的 9 轴姿态感知
- 需要方向适配、航向修正的智能硬件
- 需要 ESP-IDF 组件化开发和自动化测试的场景

---

## 使用 ESP Launchpad 快速体验

<div align="center">
    <a href="https://espressif.github.io/esp-launchpad/?flashConfigURL=https://dl.espressif.com/AE/ESP-Competition2025-release/config.toml">
        <img alt="Try it with ESP Launchpad" src="./imgs/try_it_with_esp_launchpad.png" width="250" height="70">
        <br />
        <b>在 ESP Launchpad 中体验预编译固件</b>
    </a>
</div>

### 预编译固件支持的开发板

<div align="center">

| | AtomS3R | AtomS3R M12 | Atomic Echo Base |
|---|:-------:|:-----------:|:----------------:|
|简介|[开发版简介](./boards/AtomS3R.md)|[开发版简介](./boards/AtomS3R-M12.md)|[语音模块简介](./boards/EchoBase.md)|
|特性|彩色屏幕|摄像头|为前述开发版提供语音交互功能|

**（更多特性请浏览简介）**

</div>

> [!TIP]
> - **摄像头交互** 需使用 AtomS3R M12。
> - **大模型语音交互** 需搭配 Atomic Echo Base。

### 连接设备

1. 将开发板连接至 PC。
2. 长按开发板上的 <kbd>Reset</kbd> 按键 2 秒以上，直到指示灯闪烁。

<div style="display:flex;justify-content:center;align-items:end;gap:20px">
    <div align="center">
        <img src="./imgs/s3r-download-mode.gif" width="257px" /> <br />
        <span>AtomS3R</span>
    </div>
    <div align="center">
        <img src="./imgs/m12-download-mode.gif" width="257px" /> <br />
        <span>AtomS3R-M12</span>
    </div>
</div>

3. 使用 Chrome 浏览器[打开 ESP Launchpad](https://espressif.github.io/esp-launchpad/?flashConfigURL=https://dl.espressif.com/AE/ESP-Competition2025-release/config.toml)。
4. 点击 <kbd>Connect</kbd>，选择开发板并连接。
    - AtomS3R / AtomS3R M12 设备名称一般显示为 `USB JTAG/serial debug unit`。

<div align="center">
    <img src="./imgs/launchpad_connect.png" width="80%">
</div>

### 选择程序与开发板型号

1. 点击 **Select Application** 选择要烧录的程序。
2. 核对 **ESP Develop Kits** 显示的开发板型号。
    - **AtomS3R、AtomS3R Cam、AtomS3R M12** 的 **ESP Chipset Type** 均应为 `ESP32-S3`。
    - **固件名称中不含 M12** 适用于 AtomS3R（带屏幕）。
    - **固件名称中含 M12** 适用于 AtomS3R Cam / AtomS3R M12（带摄像头）。
3. 某些固件提供 **额外选项**（如 `-WebSocket` 或 `-MQTT`），可在 **Application Description** 中查看详细说明。

### 烧录固件

1. 点击 <kbd>Flash</kbd> 开始烧录。
2. 若操作正确，界面会跳转至 **Console**，显示烧录进度。

<div align="center">
    <img src="./imgs/launchpad_flash.png" width="80%">
</div>

### 烧录完成

1. 当 Console 显示 `100%` 并 **出现 `Leaving...`** 时，表示烧录成功。
2. **按一下（不要长按）** 开发板上的 <kbd>Reset</kbd> 按钮，重启开发板，即可开始体验。


## 源代码 & 手动编译

从 Gitee 克隆仓库

```bash
git clone https://gitee.com/esp-friends/LLM_camera.git
```

每个 Demo 的源代码存放在仓库的不同分支中。

> **注意：**
> - 由于编译过程中会产生其他文件，建议使用 [Git Worktree](https://git-scm.com/docs/git-worktree/zh_HANS-CN) 在不同目录中检出不同分支。
> - 若在同一目录下切换分支，需及时清理仓库文件及子模块。

各 Demo 的详细编译说明，请查看相应分支的 `README.md`。