](https://flagopen.baai.ac.cn/)
中文 ｜ English
🤗 Hugging Face | 
BAAI ModelHub | 微信 | 🤖 ModelScope | 🧠WiseModel
](https://model.baai.ac.cn/model-detail/100118) [🤗](https://huggingface.co/BAAI/Aquila2-7B) |
| AquilaChat2-7B | [](https://model.baai.ac.cn/model-detail/100117) [🤗](https://huggingface.co/BAAI/AquilaChat2-7B) |
| AquilaChat2-7B-16k | [](https://model.baai.ac.cn/model-detail/100120) [🤗](https://huggingface.co/BAAI/AquilaChat2-7B-16K) |
| Aquila2-34B | [](https://model.baai.ac.cn/model-detail/100119) [🤗](https://huggingface.co/BAAI/AquilaChat2-34B) 🤖 🧠 |
| AquilaChat2-34B | [](https://model.baai.ac.cn/model-detail/100116) [🤗](https://huggingface.co/BAAI/AquilaChat2-34B) 🤖 🧠 |
| AquilaChat2-34B-16k | [](https://model.baai.ac.cn/model-detail/100121) [🤗](https://huggingface.co/BAAI/AquilaChat2-34B-16K) 🤖 🧠 |
| AquilaChat2-34B-Int4-GPTQ | [🤖](https://modelscope.cn/models/BAAI/AquilaChat2-34B-Int4-GPTQ/summary) [🧠](https://www.wisemodel.cn/models/BAAI/AquilaChat2-34B-Int4-GPTQ/intro) |
| Aquila2-70B-Expr | [](https://model.baai.ac.cn/model-detail/220120) [🤗](https://huggingface.co/BAAI/Aquila2-70B-Expr) |
| AquilaChat2-70B-Expr | [](https://model.baai.ac.cn/model-detail/220121) [🤗](https://huggingface.co/BAAI/AquilaChat2-70B-Expr) |
在这个仓库中，您可以：
* 快速开始使用 Aquila2，进行简单的推理。
* 有关量化模型的详细信息，包括使用方法、内存、推理速度。
* 微调教程，包括全参数、LoRA 和 Q-LoRA。
* 长文本理解与评估
* 许可协议
欢迎对我们提出任何问题（建议用英语，这样更多人会明白你的问题哦）！如果有兴趣帮我们改进 **Aquila2**，可以提交你的Pull Requests， 我们会及时处理。
如果想与我们进行讨论和交流，请尽快加入我们的微信群吧(请参见文档顶部以获取入口信息)！
注：发现在预训练任务数据集中存在GSM8K测试数据泄露问题，从评测结果中删除GSM8K的评估结果。 经彻查分析，数据泄露发生于某多次合作数据团队所推荐的数学数据集A（超过2百万样本），其包含未经过处理的GSM8K测试集（1319样本）。团队只进行了常规去重和质量检测，未就是否混入GSM8K测试数据进行额外过滤检查而导致失误，实为工作中的疏漏。 团队一直严格遵循训练数据不能包含测试数据的工作原则。汲取本次因未对外部数据来源进行查证而发生的失误教训，我们在2万亿token全量数据上完成了针对21个测试数据集的排查，所涉数据集包括WTM22（en-zh）、CLUEWSC、winograde、HellaSwag、OpenBookQA、PIQA、ARC-e、BUSTSM、BoolQ、TruthfulQA、RAFT、ChID、EPRSTMT、TNEWS、OCNLI、SEM-Chinese、MMLU、C-Eval、CMMLU、CSL和HumanEval。
评测说明：
对于生成式对话模型，智源团队认为需要严格按照“模型在问题输入下自由生成的答案”进行评判，这种方式贴近用户真实使用场景，因此参考斯坦福大学HELM[1]工作进行评测，该评测对于模型的上下文学习和指令跟随能力要求更为严格。实际评测过程中，部分对话模型回答不符合指令要求，可能会出现“0”分的情况。例如：根据指令要求，正确答案为“A”，如果模型生成为“B”或“答案是 A ”，都会被判为“0”分。同时，业内也有其他评测方式，比如让对话模型先拼接“问题+答案”，模型计算各个拼接文本的概率后，验证概率最高的答案与正确答案是否一致，评测过程中对话模型不会生成任何内容而是计算选项概率。这种评测方式与真实对话场景偏差较大，因此在生成式对话模型评测中没有采纳。
[1] https://crfm.stanford.edu/helm/latest
Modelhub 或 🤗Transformers 来运行我们的模型。
### ModelHub
要使用 Aquila2-Chat 进行推理，你只需要输入下面演示的几行代码。
```python
from flagai.auto_model.auto_loader import AutoLoader
# 模型名称
model_name = 'AquilaChat2-7B'
# model_name = 'AquilaChat2-34B'
# 加载模型以及tokenizer
autoloader = AutoLoader("aquila2", model_name=model_name)
# 使用model_dir参数调整模型加载路径
# autoloader = AutoLoader("aquila2", model_dir='./checkpoints', model_name=model_name)
# 如需加载LoRA模块，需要额外提供LoRA模块的地址
# autoloader = AutoLoader("aquila2", model_name=model_name，lora_dir='./examples/checkpoints/lora/aquila2chat-hf')
# 如需加载Q-LoRA模块，需要额外提供Q-LoRA模块的地址
# autoloader = AutoLoader("aquila2", model_name=model_name，qlora_dir='./examples/checkpoints/qlora/aquila2chat-hf')
model = autoloader.get_model()
tokenizer = autoloader.get_tokenizer()
# 对话测试样例
test_data = [
"北京的十大景点是什么?",
"写一首中秋主题的五言绝句",
]
for text in test_data:
print(model.predict(text, tokenizer=tokenizer, model_name=model_name, top_p=0.9, seed=123, topk=15, temperature=1.0))
# 如果是基础模型Aquila2-7B或者Aquila2-34B，需要设置 sft=False
# print(model.predict(text, tokenizer=tokenizer, model_name=model_name, sft=False))
```
我们运行的结果如下:
```
北京十大景点: 1. 天安门广场 2. 故宫 3. 颐和园 4. 天坛 5. 鸟巢 6. 北京大学 7. 清华大学 8. 北京动物园 9. 北京植物园 10. 长城。
皎洁月光洒九洲，团圆佳节倍思悠。
```
### 🤗 Transformers
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
device = torch.device("cuda:0")
model_info = "BAAI/AquilaChat2-7B"
tokenizer = AutoTokenizer.from_pretrained(model_info, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_info, trust_remote_code=True, torch_dtype=torch.bfloat16)
model.eval()
model.to(device)
text = "请给出10个要到北京旅游的理由。"
from predict import predict
out = predict(model, text, tokenizer=tokenizer, max_gen_len=200, top_p=0.95,
seed=1234, topk=100, temperature=0.9, sft=True, device=device,
model_name="AquilaChat2-7B")
print(out)
```
### AquilaChat2-70B-Expr
通常需要多卡进行推理如下：
```python
from flagai.auto_model.auto_loader import AutoLoader
model_name = 'AquilaChat2-70B-Expr'
autoloader = AutoLoader("aquila2", model_name=model_name, all_devices=True)
model = autoloader.get_model()
tokenizer = autoloader.get_tokenizer()
test_data = [
"北京的十大景点是什么?",
"写一首中秋主题的五言绝句",
"Write a tongue twister that's extremely difficult to pronounce.",
]
for text in test_data:
print(model.predict(text, tokenizer=tokenizer, model_name=model_name, top_p=0.9, seed=123, topk=15, temperature=1.0))
```
推理例子也可以参考 [AquilaChat2-70B-Expr](./examples/predict_chat_70b.py)。
## 量化
### BitsAndBytes用法
使用量化之前，需要安装`BitsAndBytes`：
```
pip install bitsandbytes
```
接下来就可以使用量化模型进行推理啦！
```python
import torch
from flagai.auto_model.auto_loader import AutoLoader
from transformers import BitsAndBytesConfig
model_name = 'AquilaChat2-7B'
autoloader = AutoLoader("aquila2", model_name=model_name,
quantization_config=BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
))
model = autoloader.get_model()
tokenizer = autoloader.get_tokenizer()
#
test_data = [
"北京的十大景点是什么?",
"写一首中秋主题的五言绝句",
"Write a tongue twister that's extremely difficult to pronounce.",
]
for text in test_data:
print(model.predict(text, tokenizer=tokenizer, model_name=model_name, top_p=0.9, seed=123, topk=15, temperature=1.0))
```
AquilaChat2-34B 4Bit 版本拥有99.3% bf16版本的性能。
4Bit 版本AquilaChat2-34B拥有远超7B的性能与7B模型接近的显存占用。
### GPTQ用法
首先需要手动下载GPTQ模型(当前只有34BChat模型)，现在支持[ModelScope](https://modelscope.cn/models/BAAI/AquilaChat2-34B-Int4-GPTQ/summary) 和[WiseModel](https://www.wisemodel.cn/models/BAAI/AquilaChat2-34B-Int4-GPTQ/intro) |
然后根据自己的环境，参考https://github.com/PanQiWei/AutoGPTQ/tree/main/auto_gptq/modeling 选择安装方式。
最后运行如下代码即可:
```python
from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM
# pretrained_model_dir = "/share/project/ldwang/checkpoints/Aquila-33b-knowledge6-341000-sft-v0.9.16/iter_0004000_hf"
model_dir = "./checkpoints/Aquilachat34b-4bit" # 模型路径
device="cuda:0"
tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=True,trust_remote_code=True)
model = AutoGPTQForCausalLM.from_quantized(model_dir, inject_fused_attention=False, low_cpu_mem_usage=True, device=device)
model.eval()
import time
texts = ["请给出10个要到北京旅游的理由。",
"写一个林黛玉倒拔垂杨柳的故事",
"write a poet about moon"]
from predict import predict
start_time = time.time()
for text in texts:
out = predict(model, text, tokenizer=tokenizer, max_gen_len=200, top_p=0.95,
seed=1234, topk=200, temperature=1.0, sft=True, device=device,
model_name="AquilaChat2-34B")
print(out)
print(f"Elapsed time model loading: {time.time()-start_time} seconds")
```
### AWQ用法
首先运行./examples/modelhub_download.py来下载AquilaChat2-34B-AWQ模型。
然后从https://github.com/casper-hansen/AutoAWQ 安装AutoAWQ==v0.1.5。
最后运行如下代码：
```python
import torch
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
awq_model_path = './checkpoints/aquilachat2-34b-awq'
model = AutoAWQForCausalLM.from_quantized(awq_model_path,trust_remote_code=True,fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(awq_model_path,trust_remote_code=True)
model.eval()
device = torch.device("cuda:0")
model.to(device)
text = "请给出10个要到北京旅游的理由。"
from flagai.model.aquila2.utils import covert_prompt_to_input_ids_with_history
history = None
text = covert_prompt_to_input_ids_with_history(text, history, tokenizer, 2048, convo_template="aquila-legacy")
inputs = torch.tensor([text]).to(device)
outputs = model.generate(inputs)[0]
print(tokenizer.decode(outputs))
```
| 模型大小 | 微调方法 | 显存占用 | 训练速度 |
|---|---|---|---|
| 7B | SFT | 43.9G | 2.67s/iter |
| LoRA | 29.4G | 2.04s/iter | |
| Q-LoRA | 19.9G | 2.14s/iter | |
| 34B | Q-LoRA | 37.7G | 8.22s/iter |
