一、需求场景&价值
客户需要使用310系列卡，完成qwen系列的多模态大模型的推理验证及其实际数据测试
硬件：
300i pro
双卡
单卡可以正常跑纯模型推理，双卡报错如下

二、软件信息
mindie镜像：1.0.0-300I-Duo-py311-openeuler24.03-lts

三、测试流程
#vim Qwen2-VL-7B-Instruct/config.json修改为float16

##修改/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh脚本
'''

模型权重路径

model_path="/home/aicc/models/Qwen2-VL-7B-Instruct/"

批次大小，底层使用continuous batching逻辑

max_batch_size=1

最大输入长度，输入长视频或者较大分辨率图片时，需要设置较大的值，以便支持更长的输入序列

kv cache会根据，最大输入长度、最大输出长度以及bs进行预分配，设置太大会影响吞吐

max_input_length=8192

最大输出长度

max_output_length=80

单张图或单个图片

input_image="/home/aicc/models/qwenvl-test.jpg"

用户prompt，默认放置在图片后

input_text="Explain the details in the image."

dataset_path优先级比input_image高，若要推理整个数据集，base_cmd入参中添加 --dataset_path $dataset_path \

dataset_path="/data/test_images"

共享内存name保存路径，任意位置的一个txt即可

shm_name_save_path="./shm_name.txt"
'''

#运行脚本
bash /usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh