# RealFactory-Ego-Data

**Repository Path**: wanghc85/RealFactory-Ego-Data

## Basic Information

- **Project Name**: RealFactory-Ego-Data
- **Description**: 飞鸟数据开源的Ego视角具身智能数据工具链 - RealFactory-Ego-Data数据集加载、可视化与LeRobot格式转换工具
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2026-09-20
- **Last Updated**: 2026-09-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# RealFactory-Ego-Data

> 真实工厂产线 Ego 视角具身智能数据集与开源工具链

[![License](https://img.shields.io/badge/License-Apache%202.0-blue.svg)](https://www.apache.org/licenses/LICENSE-2.0)
[![HuggingFace](https://img.shields.io/badge/Dataset-HuggingFace-yellow)](https://huggingface.co/datasets/FlyBirdData/RealFactory-Ego-Data)

## 项目简介

RealFactory-Ego-Data 是由 [飞鸟数据](https://mz-datatech.com/)（深圳市明志数科信息有限公司）开源的真实工厂产线 Ego 视角操作数据集及配套工具链。

数据采集自真实 3C 电子制造产线，以第一人称视角（Ego Perspective）记录工人在触摸屏贴边、割膜、撕膜、抓取放置等工序中的完整操作过程。所有数据均已转换为 [LeRobot](https://github.com/huggingface/lerobot) 框架兼容格式，可直接用于模仿学习（Imitation Learning）和机器人操作策略训练。

## 数据集概览

| 项目 | 内容 |
|------|------|
| 数据规模 | 1.01 GB |
| 采集场景 | 3C 电子制造产线 |
| 操作工序 | 触摸屏贴边、割膜、撕膜、抓取放置 |
| 采集方案 | Ego + UMI 融合采集 |
| 标注内容 | 手部 21 关键点 × 双手、物体边界框、动作分类 |
| 输出格式 | LeRobot Dataset (Parquet + MP4) |
| 开源协议 | Apache 2.0 |

## 快速开始

### 1. 安装依赖

```bash
pip install -r requirements.txt
```

### 2. 下载数据集

**方式一：从 HuggingFace 下载**

```bash
pip install huggingface_hub
huggingface-cli download FlyBirdData/RealFactory-Ego-Data --repo-type dataset --local-dir ./data
```

**方式二：使用国内镜像（推荐）**

```bash
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download FlyBirdData/RealFactory-Ego-Data --repo-type dataset --local-dir ./data
```

### 3. 加载数据

```python
from load_ego_data import RealFactoryEgoDataset

# 加载数据集
dataset = RealFactoryEgoDataset(data_dir="./data")

# 查看基本信息
print(dataset.info())

# 获取第 i 个 episode
episode = dataset.get_episode(0)
print(f"帧数: {len(episode)}")
print(f"可用字段: {episode.columns}")

# 可视化某一帧
dataset.visualize_frame(episode_idx=0, frame_idx=10, save_path="frame_viz.png")
```

### 4. 转换为 LeRobot 格式

```python
from convert_to_lerobot import convert_to_lerobot

# 将原始数据转换为 LeRobot Dataset 格式
convert_to_lerobot(
    input_dir="./raw_data",
    output_dir="./lerobot_output",
    fps=30,
    visualize=True
)
```

更多示例请参考 [examples/](examples/) 目录。

## 数据格式说明

数据集采用 LeRobot v2.0 格式组织：

```
RealFactory-Ego-Data/
├── data/
│   └── chunk-000/
│       └── episode_000000.parquet
├── videos/
│   └── chunk-000/
│       └── observation/
│           └── episode_000000.mp4
├── meta/
│   ├── info.json
│   ├── stats.json
│   └── episodes.jsonl
└── README.md
```

### Parquet 字段说明

| 字段名 | 类型 | 说明 |
|--------|------|------|
| `frame_index` | int | 帧序号 |
| `timestamp` | float | 时间戳（秒） |
| `observation.state` | list[float] | 手部关键点坐标（双手 × 21 点 × 3D） |
| `action` | list[float] | 动作标签（one-hot 编码） |
| `episode_index` | int | 所属 episode 编号 |
| `index` | int | 全局帧索引 |

## 工具链说明

### `load_ego_data.py`

数据集加载与可视化工具，支持：
- 加载 LeRobot 格式的 Parquet 数据
- 按 episode 索引获取数据
- 手部关键点叠加可视化
- 数据集统计信息输出

### `convert_to_lerobot.py`

通用格式转换工具，支持：
- 将原始 Ego 视频 + 标注 JSON 转换为 LeRobot Dataset
- 自动提取视频帧并对齐时间戳
- 生成标准元信息文件
- 可选的转换过程可视化

> 注意：此脚本为通用转换工具的精简开源版本，不包含飞鸟数据平台的自动化 Pipeline 和业务逻辑。

## 应用场景

- **模仿学习（Imitation Learning）**：直接作为 ACT、Diffusion Policy 等算法的训练数据
- **手部操作理解**：基于 Ego 视角的手部姿态估计与动作识别
- **工业机器人技能学习**：3C 装配、精密操作等任务的策略学习
- **人机协作研究**：工人操作模式分析与机器人辅助

## 关于飞鸟数据

飞鸟数据是深圳市明志数科信息有限公司旗下品牌，专注于具身智能数据采集与标注服务。我们提供：

- **Ego + UMI 融合采集方案**：第一人称视角 + 通用操作接口，完整记录工人操作
- **多模态标注**：手部关键点、物体边界框、动作分类、力控信号
- **LeRobot 标准输出**：端到端交付，直接适配主流模仿学习框架
- **全流程技术支持**：从采集方案设计到数据格式转换

官网：[https://mz-datatech.com/](https://mz-datatech.com/)

商务合作：1093170579@qq.com

## 引用

如果本数据集对您的研究有帮助，请引用：

```bibtex
@dataset{flybird2026realfactory,
  title     = {RealFactory-Ego-Data: Ego-Perspective Industrial Manipulation Dataset},
  author    = {FlyBirdData},
  year      = {2026},
  publisher = {Hugging Face},
  url       = {https://huggingface.co/datasets/FlyBirdData/RealFactory-Ego-Data}
}
```

## License

本项目采用 [Apache License 2.0](LICENSE) 开源协议。