From 86dd54e3461b653e359666a7c72e329675823ba0 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=9B=B2=E7=9C=BC=E7=94=BB=E5=B8=88?= <18757793550@163.com> Date: Tue, 9 May 2023 03:05:04 +0000 Subject: [PATCH 1/2] =?UTF-8?q?update=20source/=5Fdrafts/=E5=BB=BA?= =?UTF-8?q?=E6=9C=A8=E7=A4=BE=E5=8C=BA=E5=8A=A9=E4=BD=A0=E7=8E=A9=E8=BD=AC?= =?UTF-8?q?ChatGLM.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 盲眼画师 <18757793550@163.com> --- ...344\275\240\347\216\251\350\275\254ChatGLM.md" | 15 ++++++--------- 1 file changed, 6 insertions(+), 9 deletions(-) diff --git "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" index e1483a8..ad9b47c 100644 --- "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" +++ "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" @@ -9,11 +9,9 @@ author: Wuwei --- ### ChatGLM第二弹 为了让更多人体验大模型对话的魅力，建木社区、ChatGLM团队与青田创新赋能中心联手推出了ChatGLM [在线体验](https://mp.weixin.qq.com/s/R3gWvdaq03Je_j497eRPJQ) -活动。 -通过此次活动，建木社区深刻认识到大模型对话领域用户的需求十分旺盛。 +活动。通过此次活动，建木社区深刻认识到大模型对话领域用户的需求十分旺盛。 -为了满足这一需求，建木社区构建了ChatGLM-6B附带开箱即用的web_demo镜像，并将其存放在建木镜像仓库中供开发者免费使用。 -除此之外我们还上传了ChatGLM部署节点到建木节点仓库供ChatGLM的应用开发者编排开发流程，该节点可以为开发者自动化创建一个ChatGLM-6B的web_demo环境。 +为了满足这一需求，建木社区构建了ChatGLM-6B附带开箱即用的web_demo镜像，并将其存放在建木镜像仓库中供开发者免费使用。除此之外我们还上传了ChatGLM部署节点到建木节点仓库供ChatGLM的应用开发者编排开发流程，该节点可以为开发者自动化创建一个ChatGLM-6B的web_demo环境。 ### ChatGLM镜像使用方法 ![](/assets/技术文章/建木社区助你玩转ChatGLM/image.png) @@ -29,13 +27,12 @@ docker run --gpus all -d --runtime=nvidia -e CONC_CNT=10 -e WEB_PORT=3550 -e QUA 更详细的使用教程，请前往建木镜像仓库查看。 使用过程中遇到任务问题，欢迎开issue或者加入建木社区用户群交流。 -### ChatGLM节点使用方法 +### ChatGLM部署节点使用方法 ![](/assets/技术文章/建木社区助你玩转ChatGLM/node.png) ChatGLM-6B部署节点在建木hub的地址：[https://jianmuhub.com/autoops/chatglm_deploy ](https://jianmuhub.com/autoops/chatglm_deploy) -节点描述：在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务, -节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。 -无量化方式将获得更高精度的回答，但是需要更高的显存。 -默认以无量化方式运行，如显存不足可以尝试通过节点配置来量化加载模型。 + +节点描述：在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务,节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。 +无量化方式将获得更高精度的回答，但是需要更高的显存。默认以无量化方式运行，如显存不足可以尝试通过节点配置来量化加载模型。 使用方法: 在私有部署的最新版本建木中创建自动化流程时直接编排使用 更详细的使用教程，请前往建木节点仓库查看。 -- Gitee From 611e6dfa6ac8acc259239f79632b8928ea8615df Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=9B=B2=E7=9C=BC=E7=94=BB=E5=B8=88?= <18757793550@163.com> Date: Tue, 9 May 2023 03:08:04 +0000 Subject: [PATCH 2/2] =?UTF-8?q?update=20source/=5Fdrafts/=E5=BB=BA?= =?UTF-8?q?=E6=9C=A8=E7=A4=BE=E5=8C=BA=E5=8A=A9=E4=BD=A0=E7=8E=A9=E8=BD=AC?= =?UTF-8?q?ChatGLM.md.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 盲眼画师 <18757793550@163.com> --- ...\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" index ad9b47c..fd7e9f5 100644 --- "a/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" +++ "b/source/_drafts/\345\273\272\346\234\250\347\244\276\345\214\272\345\212\251\344\275\240\347\216\251\350\275\254ChatGLM.md" @@ -31,8 +31,7 @@ docker run --gpus all -d --runtime=nvidia -e CONC_CNT=10 -e WEB_PORT=3550 -e QUA ![](/assets/技术文章/建木社区助你玩转ChatGLM/node.png) ChatGLM-6B部署节点在建木hub的地址：[https://jianmuhub.com/autoops/chatglm_deploy ](https://jianmuhub.com/autoops/chatglm_deploy) -节点描述：在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务,节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。 -无量化方式将获得更高精度的回答，但是需要更高的显存。默认以无量化方式运行，如显存不足可以尝试通过节点配置来量化加载模型。 +节点描述：在指定IP的Linux服务上远程部署ChatGLM-6B模型并启动一个web_demo服务,节点支持web_demo以无量化、4Byte量化和8Byte量化方式加载模型。无量化方式将获得更高精度的回答，但是需要更高的显存。默认以无量化方式运行，如显存不足可以尝试通过节点配置来量化加载模型。 使用方法: 在私有部署的最新版本建木中创建自动化流程时直接编排使用 更详细的使用教程，请前往建木节点仓库查看。 -- Gitee