# study_tianshou

**Repository Path**: xiao_peipei/study_tianshou

## Basic Information

- **Project Name**: study_tianshou
- **Description**: 强化学习框架tianshou学习
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-04-24
- **Last Updated**: 2026-05-07

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 强化学习框架tianshou学习
[官方github仓库](https://github.com/thu-ml/tianshou)    

[学习笔记](https://gitee.com/xiao_peipei/study_tianshou.git)


“天授”意指上天所授，引申为与生具有的天赋。天授是强化学习平台，而强化学习算法并不是向人类学习的，所以取“天授”意思是没有老师来教，而是自己通过跟环境不断交互来进行学习。

## 环境安装
1. 安装windows子系统（linux环境）
   1. 电脑中搜索 [启用或关闭Windows功能]：虚拟机 和 windows 子系统
   2. 应用商店中安装 [Ubuntu]

2. 配置深度学习环境
   1. 安装 conda 环境
   2. 配置 conda 镜像
   3. 配置 cuda 环境
   4. 安装 torch
   5. 安装 tianshou

## 官方代码结构学习
/docs文件下：
    
    学习进度：
        01_user_guide/*
        02_deep_dives/0_intro.md
        02_deep_dives/L1_Batch.ipynb
        02_deep_dives/L2_Buffer.ipynb 20260425
        02_deep_dives/L3_Environments.ipynb 20260429  (仅解析了 DummuyVectorEnv 和 SubprocVectorEnv )
    进行中：
        算法解析：DQN
**持续更新中...**   


## 好难 *啊* ！
    看代码是一件痛苦的事情，尤其是复用率非常高的代码，一层一层，看完一层又一层，回过头时，根本分不清，我宁愿他每个单独算法一路走到底。     
    看代码效率非常低，也很痛苦，我是否还要坚持下去？总是怀疑自己走错了方向。我能否重构一套自己能懂的框架。
    tianshou 真的只有2k代码，我感觉至少好几万的代码?


**停止更新** 
    一个月学习教训：解析复杂代码是一件非常痛苦的事件；错误评估了项目的学习难度。
    放弃一念起，刹那天地宽
    重新下载了6年前的tianshou源码，太清爽了，这个才是真的只有2k代码，而现在的版本太臃肿了。
    推倒，重来