# NightEyes **Repository Path**: da_chou/night-eyes ## Basic Information - **Project Name**: NightEyes - **Description**: 夜眸(NightEye) — 基于 ShiMetaPi Pico G1 的户外无人值守星空拍摄终端 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-15 - **Last Updated**: 2026-11-15 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # NightEyes 户外无人值守星空拍摄终端。基于视美泰 ShiMetaPi PICO GX 开发板(GK7206)+ SC465SL 星光全彩摄像头, 用板载 NPU 在本地做黑光图像增强与流星检测,支持 RTC 定时唤醒的 STR 低功耗循环录像。 > 本项目源码公开,采用 PolyForm Noncommercial 1.0.0,**禁止任何商业用途**。 > 商业授权请联系作者(仓库 Issues)。 ## 功能状态 **已上板验收**(有实机日志,见 `项目打包与复刻指南.md` 第七章): | 能力 | 程序 | 实测 | | --- | --- | --- | | 黑光全彩 ISP + RTSP 推流 | `sample_ainr` | PQ bin 165540 B 导入成功,暗光 NPU 约 53 次/秒 | | 星空/屏摄素材采集 | `screen_capture` | AE 锁定后连抓,实测 13~27 fps | | NPU 流星检测 + 命中图 | `meteor_detect` | 模型 6 路输出,213 ms/帧,命中图框套住轨迹 | | 定时录像 + RTC 唤醒 | `night_record` | 2 轮 STR,唤醒 10152 ms / 目标 10000 ms | **尚未实现**(项目简介里提到,但仓库里没有代码): - 夜空延时短视频自动合成 - 云层识别 - 素材导出 / 上传社区 - 太阳能电量管理(属硬件层) ## 硬件 | 项 | 规格 | | --- | --- | | 主控 | GK7206V11A,2×Cortex-A7 @993 MHz,1 TOPS NPU | | 内存 | 128 MB DDR3,其中 80 MB 划给 MMZ | | 存储 | 16 MB SPI NOR(系统)+ SD 卡(素材,挂载到 `/mnt`) | | Sensor | SC465SL,2560×1440,4-lane MIPI,模组倒装(代码已做 180° 修正) | | 网络 | 100M 以太网,DHCP | ## 快速开始 ```text 1. docker build -t nighteyes-build:18.04 -f Dockerfile.build-env . 2. docker run --rm -it -v ~/NightEyes:/work nighteyes-build:18.04 3. cd /work && ./build.sh # 首次会 clone 约 6 GB 厂商 SDK 4. 烧录 vendor/sdk/out/xm7206v11a/image/spi_image/(5 个文件) 5. Windows 资源管理器把 SD 卡格式化成 exFAT,把 sdcard/ 里的内容拷到卡根 6. 插卡上电,板端执行 sh /mnt/run_ainr.sh ``` > 第 3 步不需要 PQ bin 也能跑通。想要原厂画质的黑光效果,先按上面「关于 ISP 调优参数」申请授权, > 拿到后放进 `assets/` 再重跑 `./build.sh app`。 完整步骤、判据、踩坑清单见 **[项目打包与复刻指南](项目打包与复刻指南.md)**。 ## 仓库结构 ```text build.sh 一键构建:拉 SDK → 打补丁 → 编译 → 汇总 sdcard/ Dockerfile.build-env 编译环境(Ubuntu 18.04) patches/ 相对厂商 SDK 基线的增量补丁 assets/ 检测模型与部署规格(12 MB);ISP 调优参数需申请授权 sdcard/ 拷到 SD 卡根的内容(脚本入库,程序由 build.sh 填) docs/images/ 实测文档引用的截图 vendor/sdk/ 厂商 SDK,由 build.sh 自动 clone,不入本仓库 ``` ## 第三方资源 本项目**不包含**厂商 SDK 本体(6.1 GB,含国科微闭源 `.a`/`.ko`),由 `build.sh` 从原厂仓库拉取: `https://gitee.com/ShiMetaPi_0/shimetapi_pico_gx.git` @ `10f879f52`。 | 文件 | 来源 | 是否随仓库分发 | | --- | --- | --- | | `meteor_rtmdet_1280_int8_v1.xmm` | 本项目用平台训练的 RTMDet 模型(58 图 / 7 正样本) | 是(12 MB) | | `deploy.yaml` / `labels.txt` | 模型的部署规格(输入颜色序、letterbox、输出顺序、NMS 阈值),与模型同源 | 是 | | `sc465sl_linear_isp_vpss_ainr.bin` | 国科微/视美泰 SC465SL 官方 SDK,原样未修改,md5 `c3e7774736c2dbace8e27b58f626b6d4` | **否,需向作者申请授权发放** | ### 关于 ISP 调优参数(PQ bin) `sc465sl_linear_isp_vpss_ainr.bin` 是原厂调校的 ISP 参数集(tone curve / CCM / TNR 12 档 ISO 表 / AWB 增益表), 版权归原厂所有,**不随本仓库分发**。 | 情况 | 表现 | | --- | --- | | 没有这个文件 | 程序照常启动、出图、推流,只是 ISP 退回驱动编译期的默认参数,黑光降噪效果明显打折 | | 有(申请获得后) | 放到 `assets/`,重新跑 `./build.sh app`,会随 `sdcard/` 部署到板端 | 申请方式:仓库 Issues 留言说明用途(个人研究 / 教学 / 非商业项目),作者审核后发放。 ## 已知限制 - 检测帧率 **4.5 fps**(1280×1280 输入,单帧 213 ms),推流 22 fps,二者不同步 - 模型只见过屏摄素材,**换到真实夜空会显著掉点**(域偏移,见《AI模型训练与板端部署验证》7.2) - 单帧检测无法区分流星与卫星/雨滴/噪点,时序验证尚未实现 - 开机 DHCP 偶发失败(`rx crc err` 丢包),无人值守场景需加重试 ## 文档 | 文档 | 内容 | | --- | --- | | [项目打包与复刻指南](项目打包与复刻指南.md) | 别人怎么从零复刻,验收判据,全部踩坑 | | [烧录登录与HelloWorld上板指南](烧录登录与HelloWorld上板指南.md) | 烧录、串口/SSH 登录、SDK 目录 | | [SDK编译产物与运行指南](SDK编译产物与运行指南.md) | 构建系统与产物位置 | | [屏摄采集验证指南](屏摄采集验证指南.md) | 推流取景 + 锁曝光连抓 JPEG | | [AINR黑光全彩实测教程](AINR黑光全彩实测教程.md) | AINR 原理、验证方法、调参入口 | | [AI模型训练与板端部署验证](AI模型训练与板端部署验证.md) | 训练、XMM 转换、NPU 部署全链路 | ## 许可 本项目采用 **PolyForm Noncommercial License 1.0.0**,全文见 [LICENSE](LICENSE)。 | 使用场景 | 是否允许 | | --- | --- | | 个人学习、实验、爱好项目 | 允许 | | 科研机构、教育机构、公益组织、政府机构 | 允许 | | 任何商业用途(含内部商用、集成到产品、对外提供服务) | **不允许,需另行授权** | 商业授权请通过仓库 Issues 联系。 > **说明**:禁止商用的许可证不属于 OSI 定义的开源许可(OSI 要求不限制使用领域), > 准确说法是「源码公开、非商业使用」。 `assets/` 下的第三方资源不在本项目许可范围内: | 文件 | 版权 | 分发方式 | | --- | --- | --- | | `meteor_rtmdet_1280_int8_v1.xmm` | 本项目 | 随仓库分发;仅用于验证推理链路,不可外推到真实夜空 | | `sc465sl_linear_isp_vpss_ainr.bin` | 国科微/视美泰 | **不随仓库分发**,需向作者申请授权;版权归原厂所有 | `vendor/sdk/` 由 `build.sh` 从原厂仓库自动 clone,不随本仓库分发,其闭源产物(`libxmedia_*.a`、`xm_*.ko`)版权归原权利人所有。