【bugfix】统一FA mask接口 · Pull Request !4860 · MindSpore/mindformers

### 相关的Issue
https://e.gitee.com/mind_spore/issues/list?issue=IB71LJ

### 原因（目的、解决的问题等）
为全面支持FA在prefill多batch拉平场景的功能，统一FA mask接口：

attn_mask:
dtype：同query
shape：TH/TND支持[128, 128]或[B,1,S,S]，BSH/BNSD支持None或[B,1,S,S]或[B,N,S,S]
value: fp16时，0表不抑制，-10000表抑制；bf16时，0表不抑制，1表抑制。

alibi_mask:
dtype：同query
shape：[1,N,S,S]
value: 若传了alibi_mask，则会忽略attn_mask；因此albi_mask 应该是 attn_mask + alibi

### 描述（做了什么，变更了什么）

### check list

- [x] 是否完成方案评审或问题根因分析（Y/N）

- [x] 是否完成了功能模块的UT/ST，并执行通过，附上结果（Y/N）

- [x] 是否涉及公共组件或对外接口修改，涉及时需给出修改范围和影响评估（Y/N）

- [x] 是否涉及资料修改，涉及时需同步修改（Y/N）

INFO 2024-11-27 03:13:58 - test_mf_qwen1_5_14b_kbk_infer_incremental_1p_0001 - base.py:info_backhaul:1403 - json is {'category': '在线推理', 'modelName': 'qwen1.5', 'modelSpecifications': '14b', 'networking': '1p', 'relScript': 'cases/qwen1_5/14b/infer/test_mf_qwen1_5_14b_kbk_infer_incremental_1p_0001.py', 'linkScript': 'Na', 'chip': '910B3', 'computingPower': 313, 'isEval': False, 'hyperparameterConfiguration': 'batch size:1 seq length:8192', 'performanceOnline': 1.592, 'compileTimeOnline': -172.25, 'computingPowerRateOnline': None, 'reasonedDetailAm': 'batch_size is 1;seq_length is "256"\n[{\'text_generation_text\': [\'我喜欢看电影，因为它们让我放松． I like watching films because they make me relaxed ．\\n答案：make me relaxed． 首先通过中英文句子的比对，可知英文句子中缺少"让我放松"的表达．短语"让某人放松"的英文表达是：make sb．relaxed，根据句子表述的是现在的情况判断用一般现在时，故答案为：make me relaxed\\n解析：make me relaxed\']}]\nbatch_size is 1;seq_length is "512"\n[{\'text_generation_text\': [\'我喜欢看电影，因为它们让我放松． I like watching films because they make me relaxed ．\\n答案：make me relaxed． 首先通过中英文句子的比对，可知英文句子中缺少"让我放松"的表达．短语"让某人放松"的英文表达是：make sb．relaxed，根据句子表述的是现在的情况判断用一般现在时，故答案为：make me relaxed\\n解析：make me relaxed\']}]\nbatch_size is 1;seq_length is "1024"\n[{\'text_generation_text\': [\'我喜欢看电影，因为它们让我放松． I like watching films because they make me relaxed ．\\n答案：make me relaxed． 首先通过中英文句子的比对，可知英文句子中缺少"让我放松"的表达．短语"让某人放松"的英文表达是：make sb．relaxed，根据句子表述的是现在的情况判断用一般现在时，故答案为：make me relaxed\\n解析：make me relaxed\']}]\nbatch_size is 1;seq_length is "2048"\n[{\'text_generation_text\': [\'我喜欢看电影，因为它们让我放松． I like watching films because they make me relaxed ．\\n答案：make me relaxed． 首先通过中英文句子的比对，可知英文句子中缺少"让我放松"的表达．短语"让某人放松"的英文表达是：make sb．relaxed，根据句子表述的是现在的情况判断用一般现在时，故答案为：make me relaxed\\n解析：make me relaxed\']}]\n', 'reasonedDetailGp': ['当然可以，以下是一份详细的上海旅游攻略，供您参考：**行程规划：**1. **首日：抵达上海**- 上午：抵达后先去酒店办理入住，如果时间允许，可以去附近的外滩欣赏黄浦江两岸的风景。- 下午：参观上海博物馆，了解上海的历史和文化。然后前往南京路步行街购物或品尝当地小吃。- 晚上：在陆家嘴欣赏上海夜景，包括东方明珠、上海塔和金茂大厦。2. **第二天：城市深度游**- 上午：游览豫园，感受古典园林的魅力，然后去附近的田子坊体验上海弄堂文化和创意市集。- 下午：参观上海科技馆，了解科学知识，或者去新天地感受上海的时尚气息。- 晚上：在静安寺周边享用晚餐，然后去静安寺附近散步，感受上海的都市生活。3. **第三天：主题游**- 上海迪士尼乐园（全天），享受欢乐的童话世界。- 或者选择世博园区，了解各国的建筑和文化。4. **第四天：郊区游**- 前往崇明岛，享受自然风光，骑行或漫步在岛上，还可以品尝海鲜。- 如果时间充裕，可以去周庄古镇体验水乡风情。5. **第五天：购物和自由活动**- 上午：在淮海路或徐家汇购物，购买一些特色商品。- 下午：自由活动，可以选择去附近的公园休息，或者根据个人兴趣选择其他景点。- 晚上：在浦东的高端餐厅享用晚餐，结束上海之旅。**注意事项：*- 请提前查看天气预报，准备合适的衣物。- 上海地铁网络发达，出行方便，购买一张交通卡（如上海地铁一卡通）会更省时省力。- 尽量避开节假日和高峰期，避免人潮拥挤。- 注意食品安全，尽量选择有口碑的餐馆。希望这份攻略对您的上海之行有所帮助，祝您旅途愉快！', '《三体》是中国科幻作家刘慈欣的代表作，它的精彩之处主要体现在以下几个方面：1.科学幻想与人文思考的结合：《三体》将硬科幻（基于现有科学理论和技术的科幻）与软科幻（探讨哲学、社会、文化等深层次问题的科幻）完美融合。它不仅描绘了外星文明的想象，还深入探讨了人类文明、道德、生存和未来的深刻议题。2. 复杂的宇宙观：小说构建了一个宏大而精细的宇宙观，包括三体世界、黑暗森林法则等概念，让读者在阅读中感受到宇宙的广阔和深邃。3. 人物塑造：虽然主角数量不多，但每个角色都有自己独特的性格和命运，如叶文洁、罗辑等，他们的选择和行动推动了故事的发展，让读者产生共鸣。4. 情节设计：小说情节跌宕起伏，充满悬念，从地球文明的危机，到三体世界的入侵，再到人类的反击，每一章都扣人心弦。5. 文学价值：《三体》的语言优美，既有科幻的严谨，又有文学的诗意，展现了作者深厚的文字功底。6. 对现实的映射：小说中的很多设定和情节，如科技发展、环境问题、国际合作等，都对现实世界有着深刻的启示和反思。总的来说，《三体》以其独特的科幻视角，丰富的想象力，以及对人性和社会的深度剖析，成为中国科幻文学的一座里程碑。', '看电影是一种非常受欢迎的娱乐方式，它有多种吸引人的原因。以下是一些可能的原因：1. 娱乐放松：电影可以提供几个小时的逃离现实的机会，帮助你暂时忘记日常生活中的压力和烦恼，让你在视觉和听觉的享受中得到放松。2. 情感共鸣：电影中的故事和角色经常能引发观众的情感共鸣，无论是喜怒哀乐，都能在银幕上找到自己的影子，让人感到更加亲近和理解。3. 文化体验：电影是不同文化、历史和社会的窗口，通过观看电影，你可以了解世界各地的生活方式、价值观和艺术表达。4. 创意启发：电影中的剧情、摄影、音乐、表演等都是艺术创作的精华，可以激发你的想象力和创造力。5. 学习教育：一些电影也具有教育意义，比如历史题材的电影可以帮助我们了解历史事件，科幻电影则可以启发我们思考科技与未来。6. 社交活动：看电影也是一种社交活动，可以和朋友、家人一起分享观影体验，增进感情。7. 新鲜刺激：电影行业不断推陈出新，各种类型的电影层出不穷，总能找到符合自己口味的新作品，保持新鲜感。所以，你喜欢看电影是因为它可以满足你的多种需求，无论是娱乐还是学习，都能从中获得乐趣。', '是的，DNA（脱氧核糖核酸）分子确实具有双螺旋结构。这是由詹姆斯·沃森和弗朗西斯·克里克在1953年提出的模型，也是对DNA分子结构的重要发现之一。DNA的双螺旋结构是由两条反平行的脱氧核苷酸链通过碱基配对相互缠绕形成的，其中腺嘌呤(A)总是与胸腺嘧啶(T)配对，鸟嘌呤(G)总是与胞嘧啶(C)配对。这种特定的配对方式保证了遗传信息的稳定传递。双螺旋结构为DNA的功能，如复制、转录和翻译提供了基础。'], 'cosSimilarity': 0.43, 'accuracyOnline': 'NOK', 'deviceMemory': 0, 'hostMemory': 0, 'cpuUsageRate': 0, 'videoMemoryOnline': 0}

GVPMindSpore/mindformers关闭

搜索帮助

GVP MindSpore/mindformers
关闭