# ArkDpo

**Repository Path**: leejersey/ark-dpo

## Basic Information

- **Project Name**: ArkDpo
- **Description**: 本项目旨在测试和验证在火山引擎 Ark 平台上训练的 DPO (直接偏好优化) 模型。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-01-21
- **Last Updated**: 2026-01-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ArkDpo 项目

本项目旨在测试和验证在火山引擎 Ark 平台上训练的 DPO (直接偏好优化) 模型。

## 前置要求

- Python 3.x
- [火山引擎 Ark Runtime](https://www.volcengine.com/docs/82379/1099455)

## 安装

1. 安装必要的依赖库：

```bash
pip install python-dotenv volcengine-python-sdk
```

## 配置

1. 在项目根目录下创建一个 `.env` 文件（如果尚未创建）。
2. 添加你的火山引擎凭证和模型 Endpoint ID：

```ini
ARK_API_KEY=your_api_key_here
DPO_ENDPOINT_ID=ep-xxxxxxxxxxx-xxxxx
SFT_ENDPOINT_ID=ep-xxxxxxxxxxx-xxxxx
```

> **注意**: 如果你只想测试 DPO 模型，`SFT_ENDPOINT_ID` 是可选的。

## 使用方法

运行测试脚本以验证模型回复：

```bash
python test_dpo.py
```

该脚本将执行以下操作：
- 从 `.env` 加载配置。
- 测试特定场景（例如：情绪安抚、合规拒绝）。
- 对比 SFT 基座模型（如果已配置）和 DPO 模型的回复效果。