# AI_ability

**Repository Path**: sie-ascend/ai_ability

## Basic Information

- **Project Name**: AI_ability
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-03-15
- **Last Updated**: 2025-03-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 昇腾大模型推理服务

基于昇腾处理器优化的大语言模型推理服务，提供高性能的模型推理能力和友好的用户界面。

## 功能特点

- 🚀 支持昇腾处理器加速的高性能推理
- 🔄 兼容标准HuggingFace格式的大语言模型
- 💬 提供简洁美观的交互界面
- 📊 详细的推理性能监控和统计
- 🔌 完善的RESTful API接口
- 📱 响应式设计，支持多种设备访问

## 系统架构

系统由以下几个主要组件组成：

1. **模型服务 (Model Service)**: 负责加载模型并提供推理API
2. **Web界面 (Web UI)**: 提供用户友好的交互界面
3. **命令行客户端 (Client)**: 方便的命令行交互工具

## 快速开始

### 环境准备

```bash
# 创建虚拟环境
python -m venv venv
source venv/bin/activate  # Linux/Mac
# 或
venv\Scripts\activate  # Windows

# 安装依赖
pip install -r requirements.txt
```

### 启动服务

```bash
# 启动模型服务
python -m ascend_llm_demo.model_service \
    --model_path /path/to/your/model \
    --device npu \
    --device_id 0 \
    --port 8000

# 启动Web界面
python -m ascend_llm_demo.web_ui \
    --api_url http://localhost:8000 \
    --port 8080
```

启动后，访问 http://localhost:8080 即可使用Web界面。

### 使用命令行客户端

```bash
# 交互式模式
python -m ascend_llm_demo.client --interactive

# 单次查询模式
python -m ascend_llm_demo.client --query "请介绍一下昇腾处理器"
```

## 性能优化

本项目针对昇腾处理器进行了一系列优化：

- 自动检测并适配昇腾环境
- FP16半精度推理加速
- 动态输入形状优化
- 内存使用优化
- JIT编译加速

## API接口说明

### 聊天接口

```
POST /chat
```

请求参数：

```json
{
  "messages": [
    {"role": "system", "content": "你是一个基于昇腾处理器的AI助手"},
    {"role": "user", "content": "请介绍一下昇腾处理器"}
  ],
  "temperature": 0.7,
  "max_length": 2048,
  "top_p": 0.9,
  "top_k": 40,
  "show_performance": true
}
```

响应示例：

```json
{
  "response": "昇腾处理器是华为公司自主研发的AI芯片...",
  "performance": {
    "input_tokens": 56,
    "output_tokens": 128,
    "total_tokens": 184,
    "time": 0.89,
    "tokens_per_second": 143.82
  }
}
```

### 健康检查接口

```
GET /health
```

响应示例：

```json
{
  "status": "ok",
  "model_path": "/path/to/model",
  "device": "npu:0"
}
```

## 项目结构

```
ascend_llm_demo/
├── __init__.py                 # 包初始化文件
├── client.py                   # 命令行客户端
├── model_service.py            # 模型服务
├── web_ui.py                   # Web界面服务
├── templates/                  # HTML模板
│   └── index.html              # 主页模板
└── utils/                      # 工具函数
    ├── __init__.py             # 工具包初始化
    ├── ascend_utils.py         # 昇腾相关工具
    └── model_utils.py          # 模型管理工具
```

## 依赖项

- Python 3.8+
- PyTorch
- Transformers
- Flask
- FastAPI
- 昇腾SDK (可选，用于昇腾加速)

## 许可证

[Apache License 2.0](LICENSE)

## 贡献指南

欢迎贡献代码或提交问题！请遵循以下步骤：

1. Fork本仓库
2. 创建您的特性分支 (`git checkout -b feature/amazing-feature`)
3. 提交您的更改 (`git commit -m 'Add some amazing feature'`)
4. 推送到分支 (`git push origin feature/amazing-feature`)
5. 打开一个Pull Request