# RISCVDataFetch

**Repository Path**: Mxjuzi/riscvdata-fetch

## Basic Information

- **Project Name**: RISCVDataFetch
- **Description**: 获取与RISC-V相关的数据方法
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-03-18
- **Last Updated**: 2025-05-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# RISCVDataFetch

#### 介绍

获取与RISC-V相关的数据方法

#### 使用说明

首先配置config.json

项目根目录下新建config.json,具体代码如下，请勿修改已填写部分

```json
{
  "comment":{
    "user_agent":"xxx",
    "cookie":"xxx"
  },
  "riscv_fedora": {
    "rpms_list_f": "xxx",
    "git_repo_dir": "xxx",
    "commits_dir": "xxx",
    "riscv_commit_dir": "xxx",
    "fedora_build_system_url": "http://fedora.riscv.rocks/koji/builds?type=rpm&order=-build_id&state=1"
  },
  "openEuler": {
    "rpms_list_f": "xxx",
    "git_repo_dir": "xxx",
    "commits_dir": "xxx",
    "riscv_commit_dir": "xxx",
    "openEuler_repo_base_url": "https://gitee.com/organizations/src-openeuler/projects"
  }
}
```

**注意⚠️**

由于riscv-koji构建页面较为复杂，只能使用find()方法查找需要爬取的元素，因此可能存在不稳定的情况

#### 目录介绍
get_spec ： 针对四个仓库或构建平台获取原始数据以及与RISC-V相关的数据

get_openEuler_repo ： 获取[oepnEulerRepo](https://repo.openeuler.org/)的数据

#### 需要安装的依赖
Linux : `cloc`、`rpm2cpio`、`cpio`

```bash
sudo apt install cloc
sudo apt install rpm2cpio
sudo apt install cpio
```

python : 
```bash
pip install -r requirements.txt
```

#### 已验证可更新文件
`get_spec/openEuler/main.py`
`get_openEuler_repo/sourc_pkg/main.py`

#### 数据库中文件路径的存储
存储的相对路径`/datasets/xxx/xxxx`,根据生产环境和开发环境对路径进行拼接以完成数据的读取