# 8zhu_collector

**Repository Path**: guoyuncodeplus/8zhu_collector

## Basic Information

- **Project Name**: 8zhu_collector
- **Description**: 海外平台爬虫采集器, 抓取站点包括tiktok采集, youtube采集, facebook采集, instagram采集,twitter采集,linkedin采集,snapchat采集,pinterest采集, 获取对象包括视频采集, 评论采集, 商品采集, 博主采集, 粉丝采集, 直播采集, 图片采集等
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2026-01-30
- **Last Updated**: 2026-03-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 八猪采集器 (8zhu_collector)

一个完整的数据采集解决方案，包含客户端、后端和前端三个部分。

## 🌐 官网
[http://www.8zhu.net](http://www.8zhu.net)

## 📁 项目结构

### [8zhu_collector_py](/8zhu_collector_py) - 八猪采集器客户端
- **技术栈**: Python
- **描述**: 数据采集客户端，负责从各种数据源收集数据
- **主要功能**:
  - 多数据源采集支持
  - 数据预处理和清洗
  - 任务调度和管理
  - 数据上报到后端系统

### [8zhu_collector_backend](/8zhu_collector_backend) - 八猪采集器后端
- **技术栈**: Java
- **描述**: 采集器后端服务，提供API接口和数据管理功能
- **主要功能**:
  - 用户认证和权限管理
  - 数据存储和处理
  - 任务调度和监控
  - API接口服务
  - 系统管理功能

### [8zhu_collector_front](/8zhu_collector_front) - 八猪采集器前端
- **技术栈**: VUE
- **描述**: 采集器管理界面，提供可视化操作和管理功能
- **主要功能**:
  - 用户友好的数据采集配置界面
  - 实时数据监控和展示
  - 任务管理和状态查看
  - 数据分析和报告生成

 ## 🚀 整体架构图

  ┌─────────────────────────────────────────────────────────────┐
│                       用户界面层                              │
├─────────────────────────────────────────────────────────────┤
│   前端系统 (Vue)        │    移动端       │      API调用       │
└─────────────────────────┴─────────────────┴──────────────────┘
                              │
┌─────────────────────────────────────────────────────────────┐
│                       API网关层                              │
├─────────────────────────────────────────────────────────────┤
│       身份验证 │ 请求路由 │ 限流控制 │ 日志记录 │ 监控报警       │
└─────────────────────────────────────────────────────────────┘
                              │
┌─────────────────────────────────────────────────────────────┐
│                      业务逻辑层                              │
├─────────────────────────────────────────────────────────────┤
│   用户管理   │ 任务调度   │ 数据处理   │ 权限控制   │ 系统配置    │
└─────────────────────────────────────────────────────────────┘
                              │
┌─────────────────────────────────────────────────────────────┐
│                      数据采集层                              │
├─────────────────────────────────────────────────────────────┤
│   Web采集    │ API采集    │ 数据库采集  │ 文件采集   │ 实时流采集  │
└─────────────────────────────────────────────────────────────┘
                              │
┌─────────────────────────────────────────────────────────────┐
│                      存储层                                  │
├─────────────────────────────────────────────────────────────┤
│   MySQL     │ Redis      │ Elasticsearch │ MinIO      │ Kafka  │
└─────────────────────────────────────────────────────────────┘

## 🚀 快速开始

### 环境要求
- Python 3.8+ (客户端)
- JDK 11+ (后端)
- Node.js 14+ (前端)
- MySQL 8.0+ (数据库)
- Redis 6.0+ (缓存)

### 安装步骤

1. **克隆项目**
```bash
git clone https://github.com/guoyunch/8zhu_collector.git
cd 8zhu_collector

2. **后端部署**
cd 8zhu_collector_backend
# 按照backend目录下的README进行配置和启动

3. **前端部署**
cd 8zhu_collector_front
# 按照front目录下的README进行配置和构建

4. **客户端部署**
cd 8zhu_collector_py
# 按照py目录下的README进行配置和运行