# evaluation-demo

**Repository Path**: huawei-octopus/evaluation-demo

## Basic Information

- **Project Name**: evaluation-demo
- **Description**: 八爪鱼仿真服务自定义评测样例。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2023-03-07
- **Last Updated**: 2024-03-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# huawei-octopus evaluation demo

本项目是八爪鱼仿真平台自定义评测的demo。自定义评测分为实时评测跟延时评测：  
1. 延时评测： 在仿真结束后，根据仿真过程中生成的osi.pb(仿真数据)来做评测  
2. 实时评测： 在仿真过程中，直接获取仿真数据实时评测。可以通过直连仿真器来获取仿真数据，也可以通过八爪鱼datahub来获取。
本项目只展示通过datahub获取仿真数据来实时评测；通过直连仿真器来获取数据，可以参看script-vtd那个工程。测试脚本镜像本质上是一个跟场景绑定的实时评测


本项目依赖proto项目下面sim 生成的whl包

## 本地运行
延时评测支持本地运行， 样例提供一个`python`脚本，该脚本需要`仿真pb`文件作为输入。

该文件可以从八爪鱼仿真服务的任务管理中的任意已完成的任务中获取，详细步骤：`任务分析列表` -> `更多` -> `仿真pb下载`。

## 镜像制作

样例提供了一个简单的`Dockerfile`帮助构建一个评测镜像。  
评测镜像中没有指定`SIM_OSI_PATH`的环境变量，在八爪鱼批量仿真平台执行任务时，平台会设置该环境变量。