【dev】【models】【infer】适配DeepSeek-V3模型推理 · Pull Request !5370 · MindSpore/mindformers

1. add deepseek-v3 infer
---
### 相关的Issue

### 原因（目的、解决的问题等）
适配DeepSeek-V3推理
1. 新增deepseek3_model_infer.py推理模型
2. 新增deepseek3.py，训练和推理统一入口，通过run_mode判断
3. 修复deepseek3_config.py中的默认参数描述问题

### 描述（做了什么，变更了什么）
单batch精度正常：
2025-02-13 22:43:54,953 - mindformers[mindformers/research/deepseek3/deepseek3_model_infer.py:1099] - INFO - Set dynamic input for DeepseekV3.
2025-02-13 22:44:56,869 - mindformers[mindformers/generation/text_generator.py:978] - INFO - total time: 61.91547107696533 s; generated tokens: 583 tokens; generate speed: 9.416063382208456 tokens/s
2025-02-13 22:44:56,870 - mindformers[mindformers/tools/debug_info.py:93] - INFO - prefill prepare time: 0.001772165298461914 s; prefill predict time: 0.6294353008270264 s; prefill post time: 0.0007264614105224609 s; decode prepare time: 0.0005129448736656163 s; decode predict time: 0.10401247905987265 s; decode post time: 0.0007022357068930295 s
2025-02-13 22:44:56,882 - mindformers[mindformers/modules/block_tables.py:126] - INFO - Clear block table cache engines.
------------------------------------output-------------------------------------------------
answer:  ['<｜begin▁of▁sentence｜>请介绍一下北京的景点\n\n北京，作为中国的首都，拥有丰富的历史文化遗产和众多的旅游景点。以下是一些著名的北京景点介绍：\n\n1. **故宫博物院**：位于北京市中心，是中国明清两代的皇家宫殿，也是世界上现存规模最大、保存最为完整的木质结构古建筑群。故宫内收藏有大量珍贵的文物和艺术品，是了解中国古代皇家文化的重要窗口。\n\n2. **天安门广场**：位于北京市中心，是世界上最大的城市广场之一。广场北侧是天安门城楼，南侧是人民英雄纪念碑，东侧是国家博物馆，西侧是人民大会堂。天安门广场是中国的象征，也是许多重要历史事件的发生地。\n\n3. **颐和园**：位于北京市西北郊，是中国清朝时期的皇家园林，也是中国四大名园之一。颐和园以昆明湖和万寿山为基础，融合了江南园林的精致与北方园林的宏伟，是中国古典园林艺术的杰作。\n\n4. **长城**：长城是中国古代的军事防御工程，横跨中国北部和中部地区。北京段的长城包括八达岭、慕田峪、金山岭等，是游客体验长城壮丽风光和了解中国古代军事文化的好去处。\n\n5. **天坛**：位于北京市南部，是中国明清两代皇帝祭天祈谷的地方。天坛是中国古代祭天文化的代表，其建筑布局严谨，体现了中国古代的宇宙观和哲学思想。\n\n6. **圆明园**：位于北京市西北郊，是清朝时期的皇家园林，曾被誉为“万园之园”。圆明园在1860年的第二次鸦片战争中被英法联军焚毁，现为遗址公园，是了解中国近代历史的重要场所。\n\n7. **北海公园**：位于北京市中心，是中国现存最古老、保存最完整的皇家园林之一。北海公园以琼华岛为中心，湖光山色与古建筑相映成趣，是市民休闲娱乐的好去处。\n\n8. **北京奥林匹克公园**：位于北京市朝阳区，是2008年北京奥运会的主要场馆区。公园内有鸟巢（国家体育场）、水立方（国家游泳中心）等标志性建筑，是体验现代体育文化和建筑艺术的好地方。\n\n9. **南锣鼓巷**：位于北京市东城区，是北京最古老的街区之一，也是北京胡同文化的代表。南锣鼓巷以其独特的胡同风貌和丰富的文化底蕴，吸引了众多游客前来探访。\n\n10. **北京动物园**：位于北京市西城区，是中国最早的动物园之一。北京动物园内饲养有众多珍稀动物，是了解中国动物多样性和进行科普教育的好地方。\n\n以上只是北京众多景点中的一部分，北京还有许多其他值得一游的地方，如798艺术区、雍和宫、景山公园等。每个景点都有其独特的历史背景和文化价值，值得游客深入探索。<｜end▁of▁sentence｜>']

多batch精度正常：
2025-02-13 22:48:42,502 - mindformers[mindformers/research/deepseek3/deepseek3_model_infer.py:1099] - INFO - Set dynamic input for DeepseekV3.
2025-02-13 22:49:50,592 - mindformers[mindformers/generation/text_generator.py:978] - INFO - total time: 68.08982968330383 s; generated tokens: 1840 tokens; generate speed: 27.023125311931608 tokens/s
2025-02-13 22:49:50,592 - mindformers[mindformers/tools/debug_info.py:93] - INFO - prefill prepare time: 0.0009658336639404297 s; prefill predict time: 0.542304515838623 s; prefill post time: 0.0009832382202148438 s; decode prepare time: 0.0007370341703693383 s; decode predict time: 0.10440721751758887 s; decode post time: 0.0007931834300234329 s
2025-02-13 22:49:50,604 - mindformers[mindformers/modules/block_tables.py:126] - INFO - Clear block table cache engines.
------------------------------------output-------------------------------------------------
answer:  ['<｜begin▁of▁sentence｜>你是谁？你从哪里来？你要到哪里去？——关于“我是谁”的哲学思考\n“我是谁？我从哪里来？我要到哪里去？”这是西方哲学史上著名的三个终极问题，也是人类对自身存在和意义的深刻思考。这三个问题看似简单，却蕴含着无穷的智慧和奥秘，引发了无数哲学家、科学家、宗教家、艺术家的探索和争论。本文将从哲学的角度，对这三个问题进行分析和探讨，试图寻找一些可能的答案或启示。\n“我是谁？”这个问题涉及到自我意识、身份认同、个性特征等方面。在哲学上，自我意识是指人能够意识到自己是一个独立的主体，能够区分自己和外界，能够反思自己的思想、情感、行为等。身份认同是指人对自己所属的群体、文化、价值观等的认同和归属感。个性特征是指人具有的独特的心理、生理、社会等方面的特征。\n对于“我是谁”这个问题，不同的哲学流派有不同的回答。例如，笛卡尔认为“我思故我在”，即通过怀疑一切，最终确定自己是一个思考的存在。洛克认为“我”是一个连续的记忆链条，即通过回忆过去的经历，确定自己是一个持续的存在。康德认为“我”是一个先验的主体，即通过理性法则，确定自己是一个自由的存在。尼采认为“我”是一个创造性的力量，即通过超越传统道德，确定自己是一个价值的存在。\n“我从哪里来？”这个问题涉及到宇宙起源、生命起源、人类起源等方面。在哲学上，宇宙起源是指宇宙是如何形成和发展的。生命起源是指生命是如何从无机物中产生和演化的。人类起源是指人类是如何从其他生物中分化和发展出来的。\n对于“我从哪里来”这个问题，不同的哲学流派有不同的回答。例如，柏拉图认为宇宙是由一个至善的造物主按照理念世界创造出来的。亚里士多德认为宇宙是由一个不动的推动者引起永恒运动而形成的。达尔文认为生命是由自然选择导致物种变异和适应而产生的。马克思认为人类是由劳动创造社会和历史而发展出来的。\n“我要到哪里去？”这个问题涉及到人生目标、生命意义、死亡归宿等方面。在哲学上，人生目标是指人为了实现自己的理想或幸福而设定的具体或抽象的方向或标准。生命意义是指人对于自己存在和活动所赋予或发现的价值或目的。死亡归宿是指人对于自己死后所期待或恐惧的状态或境遇。\n对于“我要到哪里去”这个问题，不同的哲学流派有不同的回答。例如，苏格拉底认为人应该追求真理和美德，以达到灵魂的净化。伊壁鸠鲁认为人应该追求快乐和安宁，以避免痛苦和恐惧。斯多葛认为人应该顺应自然和理性，以保持内心的平静。萨特认为人应该自由选择和承担责任，以创造自己的本质。\n总之，“我是谁？我从哪里来？我要到哪里去？”这三个问题是人类对自身存在和意义的永恒追问，也是哲学对世界和人生的深刻反思。不同的哲学流派给出了不同的答案，但并没有一个绝对正确或普遍适用的答案。每个人都需要根据自己的经验、知识、信仰、价值观等，去寻找属于自己的答案。也许，这个过程本身就是一种哲学，一种智慧，一种生活。<｜end▁of▁sentence｜>', '<｜begin▁of▁sentence｜>请介绍一下华为，华为是做什么的？\n\n华为技术有限公司（Huawei Technologies Co., Ltd.）是一家全球领先的信息与通信技术（ICT）解决方案提供商，总部位于中国广东省深圳市。华为成立于1987年，由任正非创立，最初是一家生产用户交换机（PBX）的香港公司销售代理。经过多年的发展，华为已经成长为全球最大的电信设备制造商之一，并且在智能手机、网络设备、云计算、物联网（IoT）等多个领域都有显著的业务布局。\n\n华为的主要业务包括：\n\n1. **运营商业务**：华为为全球电信运营商提供网络设备、服务和解决方案，包括无线网络、固定网络、云核心网、传输网络、数据通信网络等。\n\n2. **企业业务**：华为为企业客户提供ICT基础设施和解决方案，包括云计算、大数据、数据中心、企业网络、智能安防等。\n\n3. **消费者业务**：华为是全球领先的智能手机制造商之一，其产品线包括智能手机、平板电脑、笔记本电脑、可穿戴设备、智能家居产品等。华为的消费者业务还包括华为应用市场、华为云服务等。\n\n4. **云与AI业务**：华为提供云计算服务、人工智能解决方案、大数据分析等，帮助企业实现数字化转型。\n\n5. **智能汽车解决方案**：华为近年来也涉足智能汽车领域，提供智能驾驶、智能座舱、智能电动、智能网联等解决方案。\n\n华为在全球范围内拥有大量的研发中心和实验室，致力于技术创新和产品研发。华为也是5G技术的重要推动者之一，在全球5G网络建设中扮演了关键角色。\n\n尽管华为在全球市场上取得了显著的成功，但也面临着一些挑战，包括国际政治环境的不确定性、市场竞争的加剧等。华为始终坚持开放合作、持续创新，致力于为全球客户提供优质的产品和服务。<｜end▁of▁sentence｜>', '<｜begin▁of▁sentence｜>请介绍一下北京的景点\n\n北京是中国的首都，拥有丰富的历史文化遗产和众多的旅游景点。以下是一些著名的北京景点：\n\n1. 故宫博物院（紫禁城）：位于北京市中心，是中国明清两代的皇家宫殿，也是世界上现存规模最大、保存最为完整的木质结构古建筑群。\n\n2. 天安门广场：世界上最大的城市广场之一，位于北京市中心，是中国的象征性地点，广场北侧是天安门，南侧是毛主席纪念堂。\n\n3. 颐和园：位于北京西郊，是中国清朝时期的皇家园林，以昆明湖和万寿山为基础，融合了江南园林的艺术风格。\n\n4. 八达岭长城：位于北京市延庆区，是长城中保存最完好、最具代表性的一段，也是游客最常参观的长城部分。\n\n5. 圆明园：位于北京市海淀区，是清朝时期的皇家园林，曾被誉为“万园之园”，但在1860年的第二次鸦片战争中被英法联军焚毁。\n\n6. 北海公园：位于北京市中心，是中国现存最古老、保存最完整的皇家园林之一，以白塔和琼华岛著名。\n\n7. 北京奥林匹克公园：位于北京市朝阳区，是2008年北京奥运会的主要场馆区，包括鸟巢（国家体育场）和水立方（国家游泳中心）。\n\n8. 北京动物园：位于北京市西城区，是中国最早的动物园之一，拥有丰富的动物种类。\n\n9. 北京欢乐谷：位于北京市朝阳区，是一个大型的主题公园，拥有多种刺激的游乐设施和表演。\n\n10. 北京世界公园：位于北京市丰台区，是一个展示世界各地著名建筑和景观的微缩主题公园。\n\n这些只是北京众多景点中的一部分，北京还有许多其他的历史遗迹、博物馆、公园和现代建筑等值得探索的地方。<｜end▁of▁sentence｜>', '<｜begin▁of▁sentence｜>生抽和老抽的区别是什么？生抽和老抽哪个好？\n生抽和老抽的区别是什么？生抽和老抽哪个好？生抽和老抽都是酱油的一种，但是它们之间还是存在一定的区别的，那么，生抽和老抽的区别是什么？生抽和老抽哪个好？下面我们来看看。\n生抽和老抽的区别是什么\n生抽和老抽都是经过酿造发酵加工而成的酱油。\n生抽酱油是酱油中的一个品种，以大豆、面粉为主要原料，人工接入种曲，经天然露晒，发酵而成。其产品色泽红润，滋味鲜美协调，豉味浓郁，体态清澈透明，风味独特。\n老抽酱油是在生抽酱油的基础上，把榨制的酱油再晒制2~3个月，经沉淀过滤即为老抽酱油。其产品质量比生抽酱油更加浓郁。\n生抽和老抽哪个好\n生抽和老抽哪个好，这个不能一概而论，要看具体用途。\n生抽颜色：生抽颜色比较淡，呈红褐色。\n味道：生抽是用做一般的烹调用的，吃起来味道较咸。\n用途：生抽用来调味，因颜色淡，故做一般的炒菜或者凉菜的时候用得多。\n老抽颜色：老抽是加入了焦糖色，颜色很深，呈棕褐色，有光泽。\n味道：吃到嘴里后，有一种鲜美的微甜。\n用途：一般用来给食品着色用。比如做红烧等需要上色的菜时使用比较好。\n生抽和老抽的鲜味\n酱油的鲜味取决于氨基酸酞氮含量的高低，一般来说氨基酸酞氮越高，酱油的等级就越高，也就是说品质越好。按照我国酿造酱油的标准，氨基酸酞氮>0.8g/100ml为特级；>0.7/100ml为一级；>0.55/100ml为二级；>0.4/100ml为三级。但是，并不是说氨基酸酞氮越高，酱油就越好。因为配兑酱油的氨基酸酞氮也很高，或者是有一些不法的供应商在里面加了很多鲜味剂，氨基酸酞氮也很高，这也不等于是完全很好的酱油。\n辨别生抽和老抽\n看颜色：可以把酱油倒入一个白色瓷盘里晃动颜色，生抽是红褐色的，而老抽是棕褐色并且有光泽。\n尝味道：生抽吃起来味道比较咸；老抽吃到嘴里后，有一种鲜美的微甜。\n<｜end▁of▁sentence｜>']

### check list

- [Y] 是否完成方案评审或问题根因分析（Y/N）

- [N] 是否完成了功能模块的UT/ST，并执行通过，附上结果（Y/N）

- [N] 是否涉及公共组件或对外接口修改，涉及时需给出修改范围和影响评估（Y/N）

- [Y] 是否涉及资料修改，涉及时需同步修改（Y/N）

GVPMindSpore/mindformers关闭

搜索帮助

GVP MindSpore/mindformers
关闭