# private_assistant

**Repository Path**: magicor/private_assistant

## Basic Information

- **Project Name**: private_assistant
- **Description**: private_assistant
- **Primary Language**: C++
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-06
- **Last Updated**: 2024-07-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 私人助理

## 介绍
    我们的目标是开发出一款私人助手，基于当前以transformer为基础的llm。

## 开发步骤
    1. 实现llm在个人PC和Mobile Phone端的部署，支持纯CPU/CUDA/OPENCL，同时基于当前的paper，完成性能的优化

## 工作进展

### 1、完成vocab的加载
* 支持当前的各种格式的词汇表文件
  * Qwen2格式

### 2、完成模型的加载
* 当前大多的推理模型都是基于gguf/ggml来做,我们这里支持.layer格式的


## 安装教程
* 下载代码仓
```bash
  git clone https://gitee.com/magicor/private_assistant.git init --update --recursive
```

## android

### 编译
```bash
  bash scripts/build_android.sh
```

### 执行
```bash
  bash scripts/x86_android_run.sh
```


#### 使用说明


#### 参与贡献
  1、参考llama.cpp中的实现
  2、参考fastertransformer中的实现

####