# cuda_learning

**Repository Path**: jujun111/cuda_learning

## Basic Information

- **Project Name**: cuda_learning
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-05-10
- **Last Updated**: 2025-05-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# cuda_learning
learning how CUDA works


## project list:
- custom op [Done]
    - [CUDA 编程基础](https://zhuanlan.zhihu.com/p/645330027)
- memory & reduction [Done]
    - [GPU的内存体系及其优化指南](https://zhuanlan.zhihu.com/p/654027980)
- Gemm [Done]
    - [通用矩阵乘法：从入门到熟练](https://zhuanlan.zhihu.com/p/657632577)
- Transformer [Done]
    - 基础算子：
        - [LayerNorm 算子的 CUDA 实现与优化](https://zhuanlan.zhihu.com/p/694974164)
        - [SoftMax 算子的 CUDA 实现与优化](https://zhuanlan.zhihu.com/p/695307283)
        - [Cross Entropy 的 CUDA 实现](https://zhuanlan.zhihu.com/p/695594396)
        - [AdamW 优化器的 CUDA 实现](https://zhuanlan.zhihu.com/p/695611950)
        - [激活函数与残差连接的 CUDA 实现](https://zhuanlan.zhihu.com/p/695703671?)
        - [embedding 层与 LM head 层的 CUDA 实现](https://zhuanlan.zhihu.com/p/695785781)
    - 核心模块
        - [self-attention 的 CUDA 实现及优化 (上)](https://zhuanlan.zhihu.com/p/695898274)
        - [self-attention 的 CUDA 实现及优化 (下)](https://zhuanlan.zhihu.com/p/696197013)
    
- CUDA mode lectures 
- DeepSeek infra cases