| Platform | XPU | Shim | Level-1 | Level-2 | Level-3 |
|---|---|---|---|---|---|
| CUDA | NVIDIA Ampere GPUs (sm86) | ✅ | ✅ | 🚧 | 🚧 |
| NVIDIA Volta GPUs (sm70) | ✅ | ✅ | |||
| NVIDIA Kepler GPUs (sm35) | ✅ | ❌ | |||
| Other NVIDIA GPUs | 🔘 | 🔘 | |||
| HIP | AMD GPUs | ✅ | ✅ | 🔘 | 🔘 |
| LevelZero | Intel GPUs | ✅ | ✅ | 🔘 | 🔘 |
| Intel Integrated NPUs | ✅ | ❌ | |||
| OpenCL | NVIDIA GPUs | ✅ | ✅ | 🔘 | 🔘 |
| AMD GPUs | 🔘 | 🔘 | |||
| Intel GPUs | 🔘 | 🔘 | |||
| Xilinx FPGAs | 🔘 | ❌ | |||
| AscendCL | Ascend NPUs | ✅ | ✅ | 🔘 | ❌ |
| cuDLA | NVIDIA DLA | ✅ | ✅ | ❌ | ❌ |
| VPI | NVIDIA OFA | ✅ | ✅ | ❌ | ❌ |
| NVIDIA PVA | ❌ | ❌ |
XSched由四个关键组件组成：XPU中介层(XShim)、XPU任务抢占模块(XPreempt)、XPU硬件适配层 (XAL)和XScheduler。XShim、XPreempt和XAL是预加载到每个XPU应用程序进程中的三个动态链接库，而XScheduler则作为中心系统服务守护进程运行。
- **XShim:** 代码中命名为`shim`，负责拦截XPU驱动API调用并将命令重定向到XQueue①，允许应用程序无需修改即可在XSched上运行（实现透明性）。
- **[XPreempt](preempt):** 代码中命名为`preempt`，基于多级硬件模型实现XQueue接口②。包含一个[agent](preempt/src/sched/agent.cpp)，用于监视XQueue的状态（例如，就绪或空闲），并生成调度事件以通过IPC通知XScheduler③。还负责应用从XScheduler接收到的调度操作（例如，挂起或恢复XQueue）⑤。
- **XAL:** 代码中命名为`hal`，通过调用XPU驱动程序API来实现多级硬件模型接口。
- **[XScheduler](service/server):** 代码中命名为`xserver`，协调来自不同进程的所有XQueue，通过agent报告的事件③监控全局XQueue状态，并在状态发生变化时调用调度策略做出决策。决策通过向agent发送调度操作来强制执行④。该策略是模块化且可定制的，以适应各种工作负载。
- **[XCLI](service/cli):** 一个命令行工具，可以监控XQueue状态、更改策略或提供调度提示（例如，优先级）⑥。
## 开发计划
我们将继续支持更多操作系统和平台上的XSched，并提高XSched的性能。敬请期待！
- [x] 集成到LLM服务系统中（例如 llama.cpp, vLLM）
- [x] 支持Windows
- [ ] 支持MacOS
- [ ] 安装为系统守护进程（Daemon）
## 贡献
XSched设计初衷是可扩展和灵活的。
我们欢迎以下贡献：
- 支持更多平台，或在现有平台上支持更高的抢占级别。请参阅[指南](platforms/example/README.md)
- 实现新的调度策略。请参阅[指南](sched/README.md)
- 将XSched集成到AI驱动的应用程序中。
- 报告或修复问题。
## 引用
如果您在研究中使用了XSched，请引用我们的[论文](docs/xsched-osdi25.pdf)：
```bibtex
@inproceedings{Shen2025xsched,
title = {{XSched}: Preemptive Scheduling for Diverse {XPU}s},
author = {Weihang Shen and Mingcong Han and Jialong Liu and Rong Chen and Haibo Chen},
booktitle = {19th USENIX Symposium on Operating Systems Design and Implementation (OSDI 25)},
year = {2025},
isbn = {978-1-939133-47-2},
address = {Boston, MA},
pages = {671--692},
url = {https://www.usenix.org/conference/osdi25/presentation/shen-weihang},
publisher = {USENIX Association},
month = jul
}
```
XSched的artifact发布在[Github](https://github.com/XpuOS/xsched-artifacts)和[Zenodo](https://doi.org/10.5281/zenodo.15327992)上。
## 联系我们
- 对于技术问题和功能请求，请通过GitHub [Issues](https://github.com/XpuOS/xsched/issues)提交
- 对于合作与伙伴关系，请联系[rongchen@sjtu.edu.cn](mailto:rongchen@sjtu.edu.cn)