# VUI天眼精灵agent_GUI+code

**Repository Path**: mtaoh/VUITYJL_agent

## Basic Information

- **Project Name**: VUI天眼精灵agent_GUI+code
- **Description**: VUI天眼精灵（VUTIYJL-agent）是一款CodeAgent与GUIAgent一体化智能框架，整合代码调用与图形界面交互能力，覆盖PC桌面、安卓ADB、Web及客户端UI等多类场景，支持弹窗关闭、弹窗交互、验证ID、等常见交互流程。该框架可将重复性数字劳动转化为无人值守的自动化任务，适用于个人效率提升与企业轻量级RPA场景。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2026-08-30
- **Last Updated**: 2026-09-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: GUI, PRA, Agent, cdoeAgent, GUIagent

## README

#### 1.平台架构介绍
VUI天眼精灵（VUTIYJL-agent）是一款 CodeAgent + GUIAgent 一体化智能Agent框架，具备大型企业级GUI自动化能力，在功能覆盖和操作方式上具有明显优势。它既能通过代码精准调用系统底层能力，又能模拟人类视觉与操作方式，实现对各类图形界面的智能交互（涵盖PC桌面、ADB安卓设备及各类Web/客户端UI），同时对弹窗关闭、账号验证等常见场景也进行了适配支持，实现广泛的界面操作能力。该框架专为非深度编程的日常办公与业务运营场景设计，以低门槛、高覆盖的特性，将多数重复性、流程化的数字劳动转化为无人值守的自动化任务，是个人效率提升与企业轻量级RPA的理想选择。联系邮箱refuel8@163.com，12小时内必定回复（且长期有效支持消息发送），支持Bug反馈、安全建议与使用咨询交流。

![输入图片说明](png/%E5%9B%BE%E7%89%871.png)

#### 2.使用场景部分举例
| 序号 | 行业领域 | 实际应用场景示例 |
| :---: | :--- | :--- |
| 1 | 短视频/直播 | 监控短视频评论区关键词并获客 |
| 2 | 私域销售 | 社交聊天跟进客户与维护销售关系 |
| 3 | 跨境电商 | 多平台店铺商品批量上架与库存同步 |
| 4 | 财务税务 | 跨系统自动抓取票据并完成报销单填报 |
| 5 | 人力资源 | 多招聘平台简历自动筛选与面试邀约发送 |
| 6 | 政务办公 | 内网审批流程自动流转与公文盖章归档 |
| 7 | 医疗健康 | 医院HIS系统患者信息自动录入与报告生成 |
| 8 | 教育培训 | 网课平台自动签到打卡与学习进度统计 |
| 9 | 法律法务 | 裁判文书网类案自动检索与摘要整理 |
| 10 | 物业管理 | 业主报修工单自动派发与回访满意度调查 |
| 11 | 餐饮零售 | 外卖平台差评自动回复与会员优惠券发放 |
| 12 | IT运维 | 老旧内网系统定时巡检与异常告警推送 |
| 13 | 其他 | ...不一 一举例 |

注意：本框架主要面向日常办公与业务运营场景，中高级以上的开发系统或软件编程场景建议结合专业开发工具使用。

#### 3.平台功能介绍
软件操作简单，UI简洁，聚焦核心功能，以结果为导向。

 **功能1.任务会话** 

![输入图片说明](png/图片2-v3.png)

 **功能2.定时任务** 

![输入图片说明](png/%E5%9B%BE%E7%89%873.png)

 **功能3.Skill自定义** 

![输入图片说明](png/%E5%9B%BE%E7%89%874.png)

 **功能4.手机App远程** 
只适用于企业版使用....

#### 4.使用场景举例
以下案例均为功能演示示例，旨在展示框架能力范围。用户在实际使用中，请确保遵守相关平台的使用条款与法律法规。

 **案例1-公域流量互动** ：打开某短视频类网站，搜索指定关键词视频，进入评论区，抽取若干条用户评论并自动生成友好回复，完成基础互动。完成后将互动用户的昵称汇总并发送至指定企业IM群组（如钉钉/飞书等）。（以下只展示部分截图）

![输入图片说明](png/%E5%9B%BE%E7%89%875.png)
 
**案例2-文件协作发送** ：读取本地指定文件夹内的数据表格文件，然后打开常用的即时通讯软件（如微信/企业微信），将文件发送至指定工作群，并附带一条基于文件内容的文本消息（如对优秀员工提出表扬）。设置延迟等待，若群内有新消息，可根据消息内容进行自动响应。（以下只展示部分截图）

![输入图片说明](png/%E5%9B%BE%E7%89%876.png)

 **案例3-服务器运维通知** ：自动打开本地终端/Shell工具，连接指定服务器并查询磁盘、内存使用情况，将结果截图后自动发送至指定邮箱（如demo_test@example.com）。（以下只展示部分截图）

![输入图片说明](png/%E5%9B%BE%E7%89%877.png)

 **案例4-移动端自动化操作** ：通过已连接的ADB投屏，操作手机打开一款主流短视频应用，完成登录流程（手机号接收验证码时需人工协助），登录成功后发布一条图文动态。（以下只展示部分截图）

![输入图片说明](png/%E5%9B%BE%E7%89%878.png)

 **案例5-社交互动与关系维护** ：打开PC端即时通讯软件，进入好友动态列表，为多条好友动态进行点赞和评论。完成后切换至聊天列表，筛选出近期无互动的联系人，自动发送问候消息。（以下只展示部分截图）

![输入图片说明](png/%E5%9B%BE%E7%89%879.png)

#### 5.推荐多模态大模型
建议选用主流高性能多模态大模型（如vLLM等）。不同厂商的更新迭代速度较快，具体版本请自行测试并参考官方最新公告。

自定义模型需满足条件：代码编写、GUI识别、图片理解、Json响应、openAPI兼容的vLLM大模型。模型性能直接影响自动化效果，建议优先选用高性能版本。

![输入图片说明](png/%E5%9B%BE%E7%89%8710.png)

#### 6.关键词
GUI+code自动化、RPA机器人流程自动化、CodeAgent代码智能体、GUIAgent界面智能体、视觉识别自动化、桌面端自动化、安卓ADB自动化、Web界面自动化、弹窗自动处理、自动登录与验证码、无人值守自动化、低代码RPA 
GUI and Code automation、RPA robotic process automation、CodeAgent intelligent agent、GUIAgent visual agent、visual recognition automation、desktop automation、Android ADB automation、Web UI automation、pop-up auto-handler、auto-login and captcha solver、unattended task automation、low-code RPA

#### 7.下载安装 
 **[1] 下载安装包** 

![输入图片说明](png/安装01-v4.png)

 **[2] 解压安装包** 

![输入图片说明](png/安装02-v2.png)

 **[3] 双击打开** 

![输入图片说明](png/安装03-v2.png)

 **[4] 输入内测激活码** 

![输入图片说明](png/安装04-v2.png)

 **[5] 配置大模型接口** 

注意：GUI场景对模型性能要求较高，建议优先选用高性能模型（如km3、qwen3.8及以上版本）以保证效果。 :exclamation:  :exclamation: 
![输入图片说明](png/安装05-v2.png)

 **[6] 接下来就可以聊天拉！！！**