MindSpeed-LLM 预置稠密大模型

认证【Pass】表示经过昇腾官方版本测试的模型。【Test】表示模型处于内部测试阶段，未完成充分的性能测试和验收，在实际使用中可能存在未被发现的问题，待后续充分验证后会发布正式版本。相关使用问题可反馈至MindSpeed-LLM/issues。

社区BUG列表

1. Baichuan-13B: 在任务执行过程中如果出现报错：AttributeError: 'BaichuanTokenizer’ object has no attribute 'sp_model'，请执行下面命令解决这个问题：

   pip install transformers==4.32.0 --force
   

2. GPT: GPT词表文件与常规模型不同：

   mkdir vocab_file 
   cd vocab_file
   wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json
   wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt
   cd ..
   
   # 处理成训练数据
   python ./preprocess_data.py \
       --input ./dataset/ \
       --output-prefix ./dataset/gpt_text_sentence \
       --tokenizer-type GPT2BPETokenizer \
       --vocab-file ./vocab_file/gpt2-vocab.json \
       --merge-file ./vocab_file/gpt2-merges.txt \
       --append-eod \
       --workers 4 \
       --log-interval 1000
   
   # 请根据真实存放路径配置预训练脚本以下参数
   VOCAB_FILE="./vocab_file/gpt2-vocab.json"   # 词表
   MERGE_FILE="./vocab_file/gpt2-merges.txt"   # BPE 合并表
   DATA_PATH="./dataset/gpt_text_sentence"     # 数据路径
   

3. Bloom-176B: config.json中同字段对应的key值与其他模型不一致，将文件中的n_embed改为hidden_size， 将num_attention_heads修改为n_head

4. QWen: 不包含QWen1.5等，需要修改权重文件

   # 修改modelling_qwen.py文件第39行，将：
   # SUPPORT_FP16 = SUPPORT_CUDA and torch.cuda.get_device_capability(0)[0] >= 7
   # 修改为：
   # SUPPORT_FP16 = True