# PyTorch 2.5

**Repository Path**: Pauntech/Pytorch-2.5

## Basic Information

- **Project Name**: PyTorch 2.5
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-10-23
- **Last Updated**: 2024-10-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# PyTorch 2.5

#### 介绍
近日，Facebook AI Research（FAIR）官方团队非常激动地宣布 #PyTorch 2.5 的正式发布。这一新版本引入了多项重要更新，包括支持 SDPA（Self-Dot Product Attention）的新 CuDNN 后端、torch.compile 的区域编译功能，以及 TorchInductor C++ 后端带来的性能加速。本次带来了多项重要更新和性能改进，旨在进一步提升开发者体验并加速模型训练过程。本文将深入探讨PyTorch 2.5的新功能及其实现细节。


#### PyTorch 2.5的主要特性
1.  增强了英特尔 GPU 支持：英特尔 GPU 支持增强功能现已适用于英特尔® 数据中心 GPU Max 系列和英特尔® 客户端 GPU（内置英特尔® Arc™ 显卡的英特尔® 酷睿™ Ultra 处理器和英特尔® Arc™ 显卡，用于 dGPU 部件），这将使您在 PyTorch 2.5 版本中更容易在英特尔 GPU 上加速您的机器学习工作流程。在本版本中，我们还为英特尔® 客户端 GPU 启用了 PyTorch 在 Windows 上的初始支持。
2.   更高效的内存管理:自动混合精度支持增强：新版PyTorch增强了对自动混合精度的支持，通过更智能地在FP32和FP16之间切换来提高计算效率，同时保证了数值稳定性。动态形状图优化：对于具有动态输入尺寸的网络结构，PyTorch 2.5引入了新的编译器优化策略，显著减少了不必要的重新编译开销。
3.  加速库集成：NVIDIA APEX升级：针对使用NVIDIA GPU的用户，PyTorch 2.5集成了最新版本的APEX库，提供了更多高级特性和更好的兼容性。ONNX Runtime支持扩展：现在可以直接利用ONNX Runtime进行推理加速，无需额外转换步骤。
4.  改进的数据加载机制：DataLoader V2：新一代数据加载器设计更加灵活高效，能够更好地处理大规模数据集，并且支持更多的自定义选项。异步预取：内置了异步预取功能，允许在CPU上准备下一批数据的同时GPU正在处理当前批次，从而有效隐藏I/O延迟。
5.  增强的分布式训练能力:弹性训练：新增了对弹性训练的支持，即使集群中某些节点出现故障也能继续运行，提高了系统的鲁棒性。多租户调度算法：为共享资源环境下的多任务并发执行提供了更公平有效的调度方案。

##  [算力魔方AIPC：AI时代的模块化计算！](http://mp.weixin.qq.com/s/6yvCKNq0msYjarD0h0U-Kw)
###  有感兴趣的朋友可以扫码加入我们的交流群
![输入图片说明](%E8%81%94%E7%B3%BB%E6%96%B9%E5%BC%8F.png)