# ARL-Next **Repository Path**: opensource77/ARL-Next ## Basic Information - **Project Name**: ARL-Next - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-07-28 - **Last Updated**: 2026-07-28 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README
# ARL-Next **AI 原生自动化资产侦察与漏洞监控平台** *Next-Generation AI-Native Asset Reconnaissance & Vulnerability Monitoring Platform*

Release Stars License

Docker Python Node.js Vue MCP


--- ## 💡 什么是 ARL-Next? > **ARL-Next** 是 ARL (资产侦察灯塔) 的现代化重构版本。现已进化为 **AI 原生、高性能、全维度闭环的安全监控平台**。 ### ✨ 核心特性 * **🤖 AI 原生**:内置 MCP 接口,允许 AI Agent 直接对话接管系统。(👉 [MCP 配置指南](./mcp-server/README.md)) * **🚀 极速架构**:升级 Chromium 与 Nuclei。耗时任务全面剥离为微服务,根除高并发假死。 * **🌐 资产闭环**:集成 ICP 与天眼查,全自动挖掘企业多维资产。 * **🛡️ 威胁情报**:内置 GitHub 监控雷达,实时追踪最新 CVE 与代码泄露。 * **⚡ 极简运维**:提供 2 分钟极速部署包,支持 Web 端平滑热更新与 Basic Auth 前置防御。
🤔 对比原版 ARL 解决了哪些痛点? 1. **解决任务假死**:高耗能截图与 OSINT 独立成微服务集群,主节点不再阻塞。 2. **告别部署地狱**:直连国内预构建镜像,避开网络阻断,开箱即用。 3. **重构技术底座**:前端升级 Vue3,后端重写高并发数据库索引,清剿数十项深层 Bug。 4. **增强反爬伪装**:升级特征隐藏机制,大幅降低被 WAF 封禁的概率。
--- ## 📸 界面预览 * **全局仪表盘**:实时展示系统资源消耗、后台任务状态、多维风险统计及最新日志流。 仪表盘
🖼️ 点击展开查看更多核心界面 * **OSINT 资产侦察**:支持 ICP 与天眼查等情报关联检索,一键同步企业多维资产并无缝下发任务。 资产侦察 * **任务与指纹管理**:支持任务全生命周期追踪、自定义 PoC 组合及全局指纹检索。 任务新建 任务管理 * **威胁情报雷达**:支持最新 CVE 漏洞追踪与 **GitHub** 代码泄露实时监控。 威胁情报雷达 * **系统设置**:集成 API 热配置、字典云管理、队列并发热扩缩容及告警通道测试。 系统设置
--- ## 🏗️ 架构设计 ARL-Next 采用前后端解耦的微服务架构。下面是系统的完整数据流与模块调度图: ```mermaid graph TD User["👨‍💻 安全分析师"] -->|HTTPS + Basic Auth| Nginx["🖥️ Frontend (Nginx / Vue3)"] Agent["🤖 AI 大模型"] -.->|MCP 协议| MCP["🤖 MCP Server (AI扩展)"] Nginx -->|REST API| Backend["⚙️ Backend API (Flask)"] MCP -->|工具调用| Backend Backend <--> DB[("🗄️ MongoDB (资产大宽表)")] Backend -->|下发任务| MQ(("⚡ RabbitMQ")) MQ -->|异步消费| Workers["⚙️ Celery Workers 集群"] Workers -->|结果落地| DB Workers --> OSINT["🧩 OSINT 情报微服务"] Workers --> Puppeteer["🧩 Puppeteer 截图微服务"] Workers --> Nuclei["🔥 Nuclei 扫描与爬虫引擎"] classDef default fill:#f9f9f9,stroke:#333,stroke-width:1px; classDef core fill:#e1f5fe,stroke:#0288d1,stroke-width:2px; class Nginx,Backend,Workers core; ``` ### 核心模块解析: 1. 🖥️ **展示层 (Frontend)**:基于 **Vue 3.5** + **Vite 5.4** 构建,生产环境由 **Nginx** 托管,提供 HTTPS 安全网关与 **Basic Auth 前置防御**。 2. ⚙️ **业务 API 层 (Backend)**:基于 **Python 3.8+** 与 **Flask**,处理核心业务逻辑与 JWT 鉴权。 3. 🤖 **AI 扩展层 (MCP Server)**:*(新!)* 独立集成 **Model Context Protocol** 服务,赋能外部 AI 大模型/Agent 直接接入并调度底层检索工具。 4. ⚡ **消息与执行层 (Broker & Workers)**:采用 **RabbitMQ** + **Celery** 分布式集群,高效解耦调度 **Nuclei** 扫描与威胁监控等高并发任务。 5. 🗄️ **数据存储 (Database)**:基于 **MongoDB**,承载千万级大宽表资产数据与漏洞结果落地。 6. 🧩 **扩展微服务群 (Microservices)**:*(新!)* 包含 Node.js Puppeteer 渲染容器与 OSINT 情报容器,专职无头渲染与异步信息收集,彻底消除主节点任务阻塞。 --- ## 🚀 部署指南 ### 生产部署 (公网单VPS一键部署) ⭐ 推荐 **适用场景**:国内云服务器、企业内网。 **基准耗时**:裸机从零部署约 **13 分钟**;自带 Docker 环境仅需 **2 分钟**。 **核心优势**: * **⚡ 国内满速**:直连阿里云公开镜像,无惧 GitHub 网络阻断。 * **📦 极简轻量**:免环境配置、免 `docker login`,剔除冗余编译链,镜像减重超 700MB。 * **🛡️ 极致防护**:自动签发 SSL 并强制生成 **Basic Auth 前置拦截**,核心组件全内网隔离。 * **🔄 平滑热更**:支持从 Web 端一键平滑重启升级,彻底免去 SSH 登录。 * **🩺 智能就绪检测**:内置 API 健康轮询机制,确保服务 100% 启动后无缝访问,告别 502 报错。 #### 🚀 部署方式选择 **方法一:防阻断一键部署(⭐ 推荐,适用于国内服务器)** 在全新的 Ubuntu/Debian 终端 (需 root 权限) 直接复制执行以下连缀命令。它会自动安装 Docker、从阿里云镜像提取最新部署脚本并一键拉起: ```bash # 1. 安装基础依赖 apt-get update && apt-get install -y docker.io docker-compose-v2 openssl curl && \ # 2. 创建并进入工作目录 mkdir -p ~/ARL-Next && cd ~/ARL-Next && \ # 3. 从阿里云公开仓库拉取最新镜像 docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \ # 4. 创建临时容器以提取部署所需配置 docker rm -f arl-temp 2>/dev/null || true && \ docker create --name arl-temp crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \ docker cp arl-temp:/code/start-prod.sh ./ && \ docker cp arl-temp:/code/docker-compose.prod.yml ./ && \ docker cp arl-temp:/code/updater ./ && \ docker cp arl-temp:/code/version.txt ./ && \ docker cp arl-temp:/code/frontend ./ && \ docker rm arl-temp && \ # 5. 赋予权限并执行一键安装脚本 chmod +x start-prod.sh && \ bash start-prod.sh ``` **方法二:Github 浅克隆部署(适用于海外服务器 / 需保留源码)** > [!WARNING] > 该方法极度依赖对 Github 的网络连通性。如果 `git clone` 卡住,国内机器请务必使用 **方法一** 或手动下载源码 Zip 包上传。 若网络允许,可直接拉取源码运行: ```bash git clone --depth 1 https://github.com/owl234/ARL-Next.git && cd ARL-Next chmod +x start-prod.sh bash start-prod.sh ``` --- ### 🔑 登录与配置 访问 `https://<你的服务器IP>:5173` 即可登录(首次自签名证书请无视浏览器不安全提示)。 > [!IMPORTANT] > **默认安全凭据(双重验证):** > 1. **首层网关拦截 (Basic Auth)**:弹窗账号 `admin` / 密码 `arl_next` > 2. **系统业务面板**:系统账号 `admin` / 密码 `arlpass` > [!TIP] > **商业证书替换 (可选)**:将您申请的真实 SSL 证书重命名为 `arl.crt` 和 `arl.key` 放至 `ssl-certs/` 目录,然后再次执行 `bash start-prod.sh` 即可。 --- ### 开发环境部署 (前端本地 + Docker后端) - 👥 **适用群体**:二次开发与安全研究者。 - ⚡ **核心优势**:前后端彻底解耦,双端热重载(Hot Reload)极速生效。 - ⚙️ **前置条件**:本地已安装 Docker 与 Node.js (脚本会自动处理 pnpm 依赖)。 #### 🚀 一键启动 ```bash git clone https://github.com/owl234/ARL-Next.git && cd ARL-Next # 自动在后台拉起后端 Docker 容器,并在前台启动 Vite 前端服务 bash start-dev.sh ``` 访问 `http://localhost:5173` 开始开发(默认凭据:`admin` / `arlpass`)。 > [!NOTE] > **开发指南:** > * **双端热重载**:后端修改本地代码保存即生效,前端 Vite 实时热重载。 > * **API与安全**:后端接口暴露于 `5001` 端口;若需开启 HTTPS,请将自签证书放至 `certs/` 目录。 #### 🛠️ 常用容器命令 ```bash # 查看后端组件状态 docker compose -f docker-compose.dev.yml ps # 查看后端实时日志流 docker compose -f docker-compose.dev.yml logs -f # 停止并销毁开发环境容器 docker compose -f docker-compose.dev.yml down ``` --- ## 🗄️ 数据库直连 (开发环境专用) 生产环境默认切断了所有底层端口映射以保证安全。开发调试时,可通过以下凭据直连排查: | 组件名称 | 直连地址 / URI | 账号 | 密码 | 协议/用途 | | :--- | :--- | :--- | :--- | :--- | | **🍃 MongoDB** | `mongodb://admin:admin@127.0.0.1:27018/arl?authSource=admin` | `admin` | `admin` | DB 读写直连 | | **🐇 RabbitMQ** | `http://127.0.0.1:15673` | `admin` | `admin` | Web 管理后台 | | **🐇 RabbitMQ** | `127.0.0.1:5673` | - | - | AMQP 协议端口 | --- ## ❓ 常见问题 (FAQ)
Q: 点击 Web 端的“一键系统更新”时,提示 [ERROR]触发更新失败,服务返回异常状态码 怎么办?
**A:** 这种情况通常是因为底层的守护进程卡死。请通过 SSH 登录到您的宿主机终端,执行以下命令重启更新服务即可恢复: ```bash sudo systemctl restart arl-updater.service ```
--- ## 📜 版本更新历史
🚀 v1.1.7 (当前版本)
* **核心底座**:重构数据库落库机制,全面引入 `bulk_write` 与批量入库,为13张核心资产表增加联合唯一索引,彻底杜绝极端并发下的数据冗余,大幅提升大任务流性能。 * **网络引擎**:重构底层网络请求工具,引入自适应连接池及 10MB 响应截断保护机制,有效防止因恶意站点超大返回包导致的内存泄漏与任务假死。 * **爬虫自愈**:升级浏览器渲染微服务,新增滚动重启(Rolling Restart)与资源防泄漏自愈机制,根除大批量网页截图时可能产生的僵尸进程。 * **安全控制**:系统设置新增对平台 Basic Auth 防护的图形化热切换支持,底层自动重构并重载 Nginx 网关配置。 * **威胁雷达**:重构 Github CVE 与黑客工具监控逻辑,修复时区导致的数据遗漏,全面改用原子级 `upsert` 防竞争锁确保推送不重复。 * **任务调度**:深度重构 WIH 域名的多层级迭代探测逻辑,并增强全线端口扫描、Web 指纹等组件的错误容忍与忙碌重试策略。 * **前端交互**:大幅优化与重构 Dashboard 仪表盘统计、资产搜索、Github 管理、任务详情等多个核心视图页面,带来更优质的信息呈现。 * **UI 修正**:资产站点表格对齐原版经典字段,恢复状态码、标题展示,修复 WIH 来源映射,并修复“添加标签”功能的交互反馈。 * **部署增强**:增加启动环境自动化巡检,自动识别并清理因 Docker 导致错误生成的幽灵 `.htpasswd` 目录以确保服务正常启动。 * **其他杂项**:精简代码库,清理已废弃截图资源,并在开发文档中补充规范了版本推送的消息标准。
v1.1.6
* **架构**:Puppeteer 从后台 Worker 中彻底分离为独立的 Node.js HTTP 微服务容器,大幅释放后台调度压力。 * **性能**:重构指纹识别引擎,引入 Aho-Corasick 多模式匹配算法与内存缓存,极速提升 Web 资产扫描效率。 * **爬虫**:优化 URL 去重算法,底层哈希池引入 Set 结构替代 List,将检索复杂度从 O(N²) 降至 O(1),消除大规模爬取时的 CPU 瓶颈。 * **部署**:支持 Github 浅拉取 (Shallow clone) 部署兼容;启动脚本新增 API 动态健康检测,彻底消除早期 502 报错。 * **修复**:修复了任务列表 (Task List) 与资产侦察 (Asset Recon) 数据展示异常及状态同步问题。
v1.1.5
* **架构**:重构 `icp_query` 为独立 `osint_service` 微服务,引入纯异步调度,降低主节点负载。 * **调度**:实现轻重任务队列分离 (FOFA 等轻查询独立),并在系统设置中支持精细化并发数配置。 * **部署**:自动分配 2G Swap 解决 OOM 崩溃;多阶段构建缩减镜像体积;新增 Autoheal 容器自愈服务,自动监控并重启假死节点。 * **安全**:热更新服务 (`updater.py`) 增设内网白名单拦截机制,阻断公网调用;修复 Nginx 与 SSE 跨域限制。 * **功能**:任务列表新增“模糊/精确/数值”条件过滤及组合导出;核心任务层增加站点防重复插入机制。
v1.1.4
* **修复**:补齐策略中缺失的 Host 碰撞配置,确保后台任务能正常联动与下发。 * **修复**:修复全局背景样式,解决长页面滚动时底部可能出现的白边与背景闪烁问题。 * **部署**:全方位重构一键部署与热更新底层健壮性。新增并发防冲突锁、配置文件原子级写入、网络断连自动重试机制;自动清理遗留幽灵容器与磁盘废弃镜像;增加平滑停机时间(60秒)以防产生扫描脏数据;并修复了多项可能导致部署瘫痪的边缘隐患。 * **构建**:升级 GitHub Actions 构建依赖版本。
v1.1.3
* **AI原生**:首次引入 MCP (Model Context Protocol) Server,赋能外部 AI 大模型无缝接管资产调度与检索。 * **UI重构**:前端样式系统全面解耦重构,新增动态主题色与自定义背景,打造极客专属工作台。 * **安全**:生产环境 Nginx 全面启用 Basic Auth 强制前置拦截,容器启动自动生成强密码凭证,实现极致防护。 * **功能**:新增全局资产指纹细粒度检索功能,支持在全系统中穿透式定位目标站点。
v1.1.2
* **核心**:新增系统一键升级机制,支持平滑热更新。 * **组件**:Nuclei 扫描引擎升级至 v3.11.0。 * **前端**:极致性能优化,修复 Auth 拦截器等验证问题。
v1.1.1
* **资产**:资产范围 (Scope) 扩充,全面支持并严格区分 Domain 与 IP 类型的目标校验与调度。 * **功能**:新增自定义 PoC 源码在线读取、编辑与全可视化创建管理,增强了级联删除逻辑。 * **功能**:新增字典配置模块,提供弱口令字典查询、预览及可视化读写管理。 * **优化**:360 搜索引擎采集逻辑新增反爬熔断保护,追加高价值关键字深度挖掘;生产环境 Nginx 开启 Gzip 压缩。 * **修复**:修复前端详情页高级搜索表单及组件数据联动异常。
v1.1.0
* **新增**:全新引入 GitHub 威胁情报雷达(支持 CVE 漏洞雷达、安全武器库及黑客动态监测)。 * **新增**:完善告警生态,支持 Telegram 机器人推送告警。 * **重构**:前端系统设置与 Github 管理页面结构重构,全面启用 HTTP/2 多路复用,大幅降低前端并发加载延迟。 * **修复**:修复 HTTP 存活检测与站点截图组件在 Docker 下的超时和崩溃 Bug,及仪表盘漏洞趋势无数据的 Bug。
v1.0.9
* **重构**:分离后端 ARL 内部漏洞与 Nuclei 引擎扫描结果的统计逻辑。 * **交互**:Dashboard 漏洞统计卡片 UI 极简重构,支持按漏洞类型与危害等级点击下钻(Drill-down)。 * **交互**:资产查询页面支持接收仪表盘的联动请求,实现页面跳转与高级筛选项的自动填充。
v1.0.8
* **功能**:完善 POC 导入机制,支持批量拖拽上传验证脚本,并提供标准 Python POC 模板下载。 * **架构**:引入 Celery 任务并发热扩缩容机制,修改并发数配置后即时生效,无需重启服务。 * **重构**:重构仪表盘底层查询逻辑,统一基于站点表单库进行海量数据的高效查询。 * **部署**:深度分离开发与生产环境启动脚本,增加 POC 独立数据卷挂载。 * **优化**:优化前端站点截图预览样式防变形,并持续迭代系统内置指纹库。
--- ## 🤝 致谢 本项目站在巨人的肩膀上,特此鸣谢以下项目与团队: * **核心架构**:基于原版 [ARL 灯塔](https://github.com/TophantTechnology/ARL) 重构,并参考了 [Aabyss-Team/ARL](https://github.com/Aabyss-Team/ARL) 与 [adysec/ARL](https://github.com/adysec/ARL) 等优秀衍生版。 * **指纹引擎**:感谢 **威零安全团队** ( 公众号) 提供的万级高质量指纹数据支撑。 * **功能模块**:企业资产查询深度借鉴了 [ICP_Query](https://github.com/HG-ha/ICP_Query),威胁监控模块汲取了 [github-cve-monitor](https://github.com/yhy0/github-cve-monitor) 的设计思路。 ARL-Next 将秉持开源互助的初心,持续为信息安全社区贡献力量! --- ## 💖 赞助与支持 本项目的持续开发与维护离不开社区的支持。感谢以下赞助者为开源生态做出的贡献。如果你觉得本项目对你有帮助,欢迎赞助支持。

Buy Me A Coffee

robotfish-001 phpmac --- ## ⚠️ 声明与免责 > 本工具仅面向合法授权的企业安全建设、SRC 漏洞挖掘及学术研究。使用本工具时,请务必遵守当地法律法规(如《中华人民共和国网络安全法》)及目标平台的测试规范。**未经授权的探测属非法行为。** > > 使用者因使用本工具造成的任何直接或间接的法律责任,由使用者自行承担,项目作者及贡献者不负任何连带责任。 --- ## 💬 问题反馈与交流 - **反馈建议**:如遇 Bug 或有功能建议,欢迎提交 GitHub Issues。 - **技术交流**:欢迎添加个人微信或加入 QQ 群,探讨安全开发与红蓝对抗技术。 - **获取动态**:关注微信公众号【owl安全】,不定期获取安全干货与项目更新提醒!
个人微信 微信公众号 (owl安全) QQ交流群
个人微信 微信公众号 owl安全 QQ交流群
--- ## 🌟 Star History **⭐ 如果本项目为你的安全工作带来了便利,不妨点个 Star 支持一下!**
Star History Chart