# MoE Examples

**Repository Path**: snob10/moe-examples

## Basic Information

- **Project Name**: MoE Examples
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-10
- **Last Updated**: 2025-07-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Mixture of Experts (MoE)

#### ​**​《DeepSeekMoE: Towards Ultimate Expert Specialization》​**​ (2024)

- ​**作者**: DeepSeek AI
- ​**链接**: [arXiv](https://arxiv.org/abs/2401.06066)
- ​**核心贡献**: 提出**细粒度专家分割（Fine-grained Expert Segmentation）​**和**共享专家隔离（Shared Expert Isolation）​**，显著提升专家利用率，性能接近密集模型 16 倍参数量的效果。

#### ​**​ 《Mixtral of Experts》​**​ (2023)

- ​**作者**: Mistral AI
- ​**链接**: [arXiv](https://arxiv.org/abs/2401.04088)
- ​**核心贡献**: 开源 MoE 模型 Mixtral 8x7B，采用 Top-2 路由，仅激活 13B 参数即可媲美 70B 密集模型，推动 MoE 开源生态。

#### ​**​ 《XMoE: Sparse Models with Fine-grained and Adaptive Expert Selection》​**​ (2024)

- ​**作者**: Hugging Face
- ​**链接**: [arXiv](https://arxiv.org/abs/2403.18926)
- ​**核心贡献**: 通过小规模专家和阈值路由机制实现参数选择性激活，在语言建模和机器翻译任务中保持性能的同时降低 50%以上的计算负载，并支持密集模型的稀疏化推理。