登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
登录
注册
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
7
Star
3
Fork
16
src-openEuler
/
vllm
代码
Issues
29
Pull Requests
7
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
19
add resource-isolation patch for v0.7.3
开启的
存在冲突
Dwade:master
src-openEuler:master
Dwade
创建于 2025-04-15 11:12
克隆/下载
HTTPS
SSH
复制
下载 Email Patch
下载 Diff 文件
添加vLLM进程级资源隔离机制:在多机多卡环境下,基于NUMA亲和性对vLLM多进程的CPU、内存资源进行隔离,减少不同vLLM worker进程跨NUMA内存访问以及CPU资源争用。通过系统环境变量识别加速器类型与拓扑,自动选择隔离模式。目前支持 Ascend 910A、910B NPU。 在NPU环境下,可与昇腾卡队列隔离机制协同配合,支持多种隔离模式: 1. 共享模式:多卡vLLM进程以及昇腾卡队列进程 **共享** 亲和NUMA节点 2. 独占模式:每张卡对应vLLM进程以及昇腾卡队列进程 **独占** NUMA节点;进程可拥有更多的CPU与内存资源,但是部分卡对应进程无法利用NUMA亲和性 3. 协同模式:基于共享模式,进一步隔离昇腾卡队列进程与vLLM进程;亲和NUMA节点被 **单独分配** 给昇腾卡队列进程
此 Pull Request 需要通过一些审核项
类型
指派人员
状态
审查
openeuler-ci-bot
进行中
(0/1人)
测试
openeuler-ci-bot
进行中
(0/1人)
此 Pull Request 无法自动合并
尝试通过 WebIDE 解决冲突
怎样手动合并此 Pull Request
git checkout master
git pull https://gitee.com/dwade-wang/vllm.git master
git push origin master
评论
9
提交
1
文件
2
检查
代码问题
0
批量操作
展开设置
折叠设置
审查
Code Owner
审查人员
jimmy_hero
jimmy_hero
Weixi
weixizhu94
sinever
sinever
zhushoukui
zhushoukui
安宏奎
anhongkui
gongzequn
gongzequn
openeuler-ci-bot
openeuler-ci-bot
未设置
最少人数
1
测试
jimmy_hero
jimmy_hero
Weixi
weixizhu94
sinever
sinever
zhushoukui
zhushoukui
安宏奎
anhongkui
gongzequn
gongzequn
openeuler-ci-bot
openeuler-ci-bot
未设置
最少人数
1
优先级
不指定
严重
主要
次要
不重要
标签
openeuler-cla/yes
ci_successful
sig/ai
关联 Issue
未关联
Pull Request 合并后将关闭上述关联 Issue
里程碑
未关联里程碑
合并选项
合并后删除提交分支
提交分支为默认分支,无法删除
合并后关闭提到的 Issue
接受 Pull Request 时使用扁平化(Squash)合并
勾选此选项后,将建议使用 Squash Merge 方式合并以精简提交历史记录
参与者
(3)
1
https://gitee.com/src-openeuler/vllm.git
git@gitee.com:src-openeuler/vllm.git
src-openeuler
vllm
vllm
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册