diff --git "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" index e1483a83997f5b06ed747a50563b334ceff9af2e..fd7e9f5c67ce97522660f3382bb4630ed8a426c2 100644 --- "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" +++ "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" @@ -9,11 +9,9 @@ author: Wuwei --- ### ChatGLM第二弹 为了让更多人体验大模型对话的魅力,建木社区、ChatGLM团队与青田创新赋能中心联手推出了ChatGLM [在线体验](https://mp.weixin.qq.com/s/R3gWvdaq03Je_j497eRPJQ) -活动。 -通过此次活动,建木社区深刻认识到大模型对话领域用户的需求十分旺盛。 +活动。通过此次活动,建木社区深刻认识到大模型对话领域用户的需求十分旺盛。 -为了满足这一需求,建木社区构建了ChatGLM-6B附带开箱即用的web_demo镜像,并将其存放在建木镜像仓库中供开发者免费使用。 -除此之外我们还上传了ChatGLM部署节点到建木节点仓库供ChatGLM的应用开发者编排开发流程,该节点可以为开发者自动化创建一个ChatGLM-6B的web_demo环境。 +为了满足这一需求,建木社区构建了ChatGLM-6B附带开箱即用的web_demo镜像,并将其存放在建木镜像仓库中供开发者免费使用。除此之外我们还上传了ChatGLM部署节点到建木节点仓库供ChatGLM的应用开发者编排开发流程,该节点可以为开发者自动化创建一个ChatGLM-6B的web_demo环境。 ### ChatGLM镜像使用方法 ![](/assets/技术文章/建木社区助你玩转ChatGLM/image.png) @@ -29,13 +27,11 @@ docker run --gpus all -d --runtime=nvidia -e CONC_CNT=10 -e WEB_PORT=3550 -e QUA 更详细的使用教程,请前往建木镜像仓库查看。 使用过程中遇到任务问题,欢迎开issue或者加入建木社区用户群交流。 -### ChatGLM节点使用方法 +### ChatGLM部署节点使用方法 ![](/assets/技术文章/建木社区助你玩转ChatGLM/node.png) ChatGLM-6B部署节点在建木hub的地址:[https://jianmuhub.com/autoops/chatglm_deploy ](https://jianmuhub.com/autoops/chatglm_deploy) -节点描述:在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务, -节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。 -无量化方式将获得更高精度的回答,但是需要更高的显存。 -默认以无量化方式运行,如显存不足可以尝试通过节点配置来量化加载模型。 + +节点描述:在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务,节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。无量化方式将获得更高精度的回答,但是需要更高的显存。默认以无量化方式运行,如显存不足可以尝试通过节点配置来量化加载模型。 使用方法: 在私有部署的最新版本建木中创建自动化流程时直接编排使用 更详细的使用教程,请前往建木节点仓库查看。