# esim

**Repository Path**: GumpCode/esim

## Basic Information

- **Project Name**: esim
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-09-23
- **Last Updated**: 2026-03-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ESIM 自动驾驶场景生成助手

基于 **Qwen3-VL 多模态大模型** 的智能自动驾驶场景生成平台，支持图像、视频、文本多模态输入，自动提取场景要素并生成高保真仿真测试场景。

## ✨ 核心特性

### 🧠 多模态AI分析
- **Qwen3-VL集成**：支持qvq-max、qwen3-vl-plus等最新视觉推理模型
- **深度思考模式**：输出详细的分析推理过程，提高分析准确性
- **多模态输入**：同时支持图片、视频、文本描述的场景分析
- **智能要素提取**：自动识别道路环境、交通参与者、环境条件等关键要素

### 🎯 场景生成能力
- **智能泛化**：基于AI分析结果生成多维度测试场景变体
- **复杂度评估**：自动评估场景复杂度和风险等级
- **边缘情况识别**：AI自动识别潜在的Corner Case
- **测试建议**：提供专业的测试策略建议

### 🚗 多引擎支持
- **Carla仿真**：生成OpenSCENARIO + Python API脚本
- **3D Gaussian Splatting**：基于高斯泼溅的场景重建
- **World Model**：端到端世界模型视频生成

### 📊 场景要素分析

#### 道路环境
- 道路类型（城市/高速/乡村/交叉口等）
- 车道数量、宽度、路面状况
- 道路标线清晰度、曲率、坡度
- 限速标识

#### 交通参与者
- 车辆、行人、自行车等识别
- 位置、速度、行为模式分析
- 与主车的相对位置和距离
- 行为预测（正常/激进/谨慎/异常）

#### 环境条件
- 天气状况（晴天/雨天/雾天/雪天等）
- 光照条件（白天/夜晚/黄昏等）
- 能见度、温度、风速分析

#### 交通设施
- 交通信号灯状态识别
- 交通标志和标线检测
- 护栏、隔离带等设施
- 施工区域、事故现场

#### 特殊事件
- 紧急车辆、施工区域
- 事故现场、学校区域
- 动物穿越等异常情况

## 🚀 快速开始

### 环境要求
- Node.js 18+
- React 19+
- TypeScript 5+

### 安装依赖
```bash
npm install
```

### 配置环境变量
复制 `.env.example` 到 `.env` 并配置：

```bash
# Qwen3-VL API 配置
VITE_QWEN_API_KEY=your_dashscope_api_key_here

# 应用模式
VITE_APP_MODE=production  # 或 preview

# 后端API地址
VITE_API_BASE_URL=http://localhost:8000
```

### 获取API Key
1. 访问 [阿里云百炼平台](https://dashscope.aliyun.com/)
2. 注册并获取API Key
3. 将API Key配置到环境变量中

### 启动开发服务器
```bash
npm run dev
```

## 🎮 使用指南

### 1. 多模态场景分析

#### 图片分析
1. 点击上传按钮选择交通场景图片
2. 可同时上传多张图片进行批量分析
3. 启用"深度思考模式"获得详细分析过程
4. 点击"分析场景"开始AI分析

#### 视频分析
1. 上传交通场景视频文件
2. AI将自动提取关键帧进行分析
3. 支持多种视频格式（MP4、AVI等）

#### 文本描述
1. 直接输入场景文字描述
2. 可与图片/视频组合使用
3. 提供更多上下文信息

### 2. 场景分析结果

分析完成后，系统将展示：
- **场景复杂度**：simple/moderate/complex/extreme
- **风险等级**：low/medium/high/critical
- **置信度**：AI分析结果的可信度
- **详细要素**：道路环境、交通参与者、环境条件等
- **AI推理过程**：完整的思考链路（深度思考模式）
- **测试建议**：专业的测试策略建议
- **边缘情况**：识别的潜在Corner Case

### 3. 测试场景生成

基于AI分析结果：
1. 点击"基于此分析生成测试场景"
2. 系统自动生成多个场景变体
3. 根据复杂度调整生成数量
4. 每个场景包含详细的参数配置

### 4. 场景渲染

在右侧工作台：
1. 选择要渲染的场景
2. 选择渲染引擎（Carla/3DGS/WorldModel）
3. 配置引擎参数
4. 启动并行渲染
5. 实时监控渲染进度

## 🔧 支持的模型

### QVQ系列（推荐）
- **qvq-max**：最强视觉推理能力，适合复杂场景分析

### Qwen3-VL Plus系列
- **qwen3-vl-plus**：平衡性能和成本，支持思考模式开关
- **qwen3-vl-flash**：快速响应，适合实时分析

### Qwen3-VL Thinking系列
- **qwen3-vl-235b-a22b-thinking**：超大模型，极强推理能力
- **qwen3-vl-32b-thinking**：中等规模，良好性能
- **qwen3-vl-8b-thinking**：轻量级，快速部署

## 📁 项目结构

```
src/
├── components/
│   ├── MultiModalInput.tsx      # 多模态输入组件
│   ├── SceneAnalysisResult.tsx  # 分析结果展示
│   ├── ChatArea.tsx             # 对话区域
│   ├── RightPanel.tsx           # 场景工作台
│   └── ...
├── services/
│   ├── qwenVLService.ts         # Qwen3-VL API服务
│   ├── carlaService.ts          # Carla后端服务
│   └── ...
├── types/
│   ├── sceneElements.ts         # 场景要素类型定义
│   └── ...
└── ...
```

## 🔄 API集成

### Qwen3-VL API调用示例

```typescript
import { analyzeSceneWithQwenVL } from './services/qwenVLService';

// 分析图片场景
const result = await analyzeSceneWithQwenVL(
  [
    { type: 'image', content: imageFile },
    { type: 'text', content: '这是一个城市交叉口场景' }
  ],
  'qwen3-vl-plus',
  true, // 启用深度思考
  (reasoning, answer) => {
    console.log('推理过程:', reasoning);
    console.log('分析结果:', answer);
  }
);
```

### 场景要素结构

```typescript
interface SceneElements {
  roadEnvironment: RoadEnvironment;
  trafficParticipants: TrafficParticipant[];
  environmentalConditions: EnvironmentalConditions;
  trafficInfrastructure: TrafficInfrastructure;
  egoVehicle: EgoVehicle;
  specialEvents: SpecialEvents;
}
```

## 🎯 应用场景

### 自动驾驶测试
- **功能测试**：基础驾驶功能验证
- **场景测试**：复杂交通场景处理
- **边缘测试**：Corner Case覆盖
- **回归测试**：算法更新验证

### 仿真数据生成
- **训练数据**：机器学习模型训练
- **验证数据**：算法性能评估
- **测试数据**：系统集成测试

### 安全评估
- **风险分析**：场景风险等级评估
- **合规检查**：ISO 26262/21448标准
- **安全验证**：SOTIF安全论证

## 🔒 安全与隐私

- **数据加密**：所有API通信使用HTTPS加密
- **本地处理**：图片预处理在本地完成
- **隐私保护**：不存储用户上传的敏感数据
- **API安全**：支持API Key轮换和访问控制

## 📈 性能优化

- **流式响应**：实时显示AI分析进度
- **并行处理**：多场景并行渲染
- **缓存机制**：分析结果本地缓存
- **懒加载**：组件按需加载

## 🤝 贡献指南

1. Fork 项目
2. 创建特性分支 (`git checkout -b feature/AmazingFeature`)
3. 提交更改 (`git commit -m 'Add some AmazingFeature'`)
4. 推送到分支 (`git push origin feature/AmazingFeature`)
5. 打开 Pull Request

## 📄 许可证

本项目采用 MIT 许可证 - 查看 [LICENSE](LICENSE) 文件了解详情。

## 🙏 致谢

- [Qwen3-VL](https://github.com/QwenLM/Qwen-VL) - 强大的多模态视觉语言模型
- [阿里云百炼](https://dashscope.aliyun.com/) - 提供稳定的API服务
- [Carla](https://carla.org/) - 开源自动驾驶仿真平台
- [React](https://reactjs.org/) - 用户界面构建库