# TxInfer-LLM

**Repository Path**: taylorguo/TxInfer-LLM

## Basic Information

- **Project Name**: TxInfer-LLM
- **Description**: 大模型推理引擎 Large Language Model Inference Engine
- **Primary Language**: C++
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-05-21
- **Last Updated**: 2024-10-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# TxInfer-LLM

#### 介绍
{**以下是 Gitee 平台说明，您可以替换此简介**
Gitee 是 OSCHINA 推出的基于 Git 的代码托管平台（同时支持 SVN）。专为开发者提供稳定、高效、安全的云端软件开发协作平台
无论是个人、团队、或是企业，都能够用 Gitee 实现代码托管、项目管理、协作开发。企业项目请看 [https://gitee.com/enterprises](https://gitee.com/enterprises)}

#### 软件架构
软件架构说明


#### 安装教程

1.  xxxx
2.  xxxx
3.  xxxx

#### 使用说明

1.  xxxx
2.  xxxx
3.  xxxx

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 感谢

##### 主要参与者


##### 参考项目

1.  [TensorRT-LLM](https://github.com/NVIDIA/TensorRT-LLM)
2.  [cudnn](https://docs.nvidia.com/cudnn/index.html)
3.  [cudnn-frontend](https://github.com/NVIDIA/cudnn-frontend)
4.  [cudnn-backend-api](https://docs.nvidia.com/deeplearning/cudnn/latest/api/cudnn-graph-library.html#cudnn-backend-api)
5.  [cudnn-backend-api-overview](https://docs.nvidia.com/deeplearning/cudnn/latest/api/overview.html)
6.  [ncnn](https://github.com/Tencent/ncnn)
7.  [MNN](https://github.com/alibaba/MNN)
8.