# HATD3

**Repository Path**: xiao_peipei/hatd3

## Basic Information

- **Project Name**: HATD3
- **Description**: deepseek-v4-pro 在TD3算法上的改进
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-14
- **Last Updated**: 2026-06-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# deepseek-v4-pro 在TD3算法上的改进


### Usage
运行
```
./run_hatd3_compare.sh
```

### HATD3
修改代码为 HATD3.py  
核心改进：

改进 1：**Critic 集成 → Trimmed Mean（替代 min）**

|  | TD3 | HATD3 |
|------|--------|------|
| Critic | 数量	2 个（Q1, Q2 共享网络结构）|	3 个独立 Critic |
| TD Target |	min(Q1, Q2) — 取最小值	| Trimmed Mean — 去掉首尾取中位数 |

为什么更好？ min(Q1, Q2) 过于保守：只要有一个 Critic 低估，整个 target 就被压低。Trimmed Mean 去掉最极端的高值和低值，取中位数，更鲁棒

改进 2：**目标网络critic每步软更新**
|  | TD3 | HATD3 |
|------|--------|------|
| 更新频率 | 仅在 Actor 更新步（每 policy_freq=2 步）|	每步都更新|



[ 这里是‘AI 自己写的总结’ ](./TD3/HATD3_report.md)

### Results
实验结果保存在 results文件夹下
![alt text](./TD3/results/HalfCheetah-v5_TD3_vs_HATD3_10seeds.png)