# NVIDIA-Triton-Tutorial_Zh

**Repository Path**: szpliman/nvidia-triton-tutorial_zh

## Basic Information

- **Project Name**: NVIDIA-Triton-Tutorial_Zh
- **Description**: 英伟达 Triton 推理服务器 中文文档
- **Primary Language**: Python
- **License**: BSD-3-Clause
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2023-08-28
- **Last Updated**: 2025-06-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

 # Triton 教程

对于体验深度学习推理的“tensor输入”和“tensor输出”方法的用户来说，开始使用 Triton 可能会遇到许多问题。此文件夹下文档的目标是让用户熟悉 Triton 的功能并提供指南和示例以简化迁移。有关各个功能的说明，请参阅 [Triton Inference Server 文档](https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html)。

#### 入门清单 | [概述视频](https://www.youtube.com/watch?v=NQDtfSi5QF4) | [概念指南：部署模型](Conceptual_Guide/Part_1-model_deployment/README.md) | 

 ## 快速部署

这些示例的重点是演示使用各种框架训练的模型的部署。这些是快速演示需要用户对 Triton 有一定程度的熟悉。

#### 部署
[PyTorch 模型](./Quick_Deploy/PyTorch/README.md) | [TensorFlow模型](./Quick_Deploy/TensorFlow/README.md) | [ONNX 模型](./Quick_Deploy/ONNX/README.md) | [TensorRT 加速模型](https://github.com/NVIDIA/TensorRT/tree/main/quickstart/deploy_to_triton) 

## 这个存储库包含什么？
该存储库包含以下资源：
 * [概念指南](./Conceptual_Guide/README.md)：本指南侧重于构建对构建推理基础设施时面临的一般挑战的概念性理解，以及如何使用 Triton 推理服务器最好地应对这些挑战。 
* [快速部署](./Quick_Deploy)：这是一组有关将模型从您的首选框架部署到 Triton 推理服务器的指南。这些指南假设您对 Triton 推理服务器有基本的了解。建议查看入门材料以获得完整的理解。 
* [HuggingFace 指南](./HuggingFace/README.md)：本指南的重点是引导用户了解使用 Triton 推理服务器部署 HuggingFace 模型的不同方法。 
* [Feature Guides](./Feature_Guide/Data_Pipelines/README.md)：此文件夹用于存放 Triton 的特定功能示例。 
* [迁移指南](./Migration_Guide/migration_guide.md)：从现有解决方案迁移到 Triton Inference Server？了解最适合您的用例的通用架构。

## 导航 Triton 推理服务器资源

Triton 推理服务器 GitHub 组织包含多个存储库，其中包含 Triton 推理服务器的不同功能。以下并不是所有存储库的完整描述，而只是建立直观理解的简单指南。

* [服务器](https://github.com/triton-inference-server/server) 是主要的 Triton 推理服务器存储库。 
* [客户端](https://github.com/triton-inference-server/client) 包含创建 Triton 客户端所需的库和示例 
* [后端](https://github.com/triton-inference-server/backend)包含构建新 Triton 后端的核心脚本和实用程序。任何包含“后端”一词的存储库要么是框架后端，要么是如何创建后端的示例。 
* [模型分析器](https://github.com/triton-inference-server/model_analyzer) 和 [模型导航器](https://github.com/triton-inference-server/model_navigator) 等工具支持衡量性能或者简化模型加速。