随着模型规模的扩大,如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战,我们研究了混合专家(MoE)模型,当前亮相的Hunyuan-Large(Hunyuan-MoE-A50B)模型,这是目前业界待开源的基于Transformer的最大MoE模型,拥有3890亿总参数和520亿激活参数。
最近更新: 1年多前多元预测模型在混沌时间序列上的应用(Application of Multivariate Forecasting Model on Chaotic Time Series)
最近更新: 接近2年前基于 Pytorch 和 MMCV 语义分割开源算法库,也是语义分割算法性能评估框架,已提供超过420个语义分割算法模型,并支持多种分割任务数据集,包括自然图像、遥感图像等。
最近更新: 接近3年前