# webmagic

**Repository Path**: HuangYangYiGitee/webmagic

## Basic Information

- **Project Name**: webmagic
- **Description**: springboot 整合webmagic
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2026-03-27
- **Last Updated**: 2026-03-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# WebMagic 爬虫项目

## 项目简介

这是一个基于 Spring Boot 集成的 WebMagic 爬虫项目。WebMagic 是一个强大的 Java 爬虫框架，本项目将其与 Spring Boot 结合，实现了异步爬取功能。

## 技术栈

- **Java**：1.8+
- **Spring Boot**：2.4.4
- **WebMagic Core**：0.7.3
- **WebMagic Extension**：0.7.3
- **xsoup**：0.3.1（XPath 支持）
- **Jedis**：3.3.0（Redis 客户端）

## 项目结构

```
src/main/java/com/gitee/webmagic/
├── WebmagicApplication.java     # Spring Boot 启动类
├── constant/
│   └── Constant.java            # 常量定义接口
├── controller/
│   └── BlogController.java      # 爬虫请求控制器
├── manager/
│   └── CrawlerManager.java      # 爬虫任务管理器
└── processor/
    └── BlogPageProcessor.java   # 页面处理器
```

## 核心组件

### 1. WebmagicApplication
Spring Boot 主启动类，启用了异步任务支持。

### 2. BlogController
提供 REST API 接口：
- `GET /acquire` - 触发数据爬取任务

### 3. CrawlerManager
爬虫任务管理器，使用 `@Async` 注解实现异步执行爬虫任务。

### 4. BlogPageProcessor
实现了 WebMagic 的 `PageProcessor` 接口，负责解析爬取的页面内容。

## 快速开始

### 1. 克隆项目
```bash
git clone https://gitee.com/HuangYangYiGitee/webmagic.git
```

### 2. 构建项目
```bash
mvn clean package
```

### 3. 运行项目
```bash
java -jar target/your-jar-name.jar
```

### 4. 触发爬虫
启动成功后，访问以下 URL 触发爬虫任务：
```
http://localhost:8080/acquire
```

## 配置说明

在 `src/main/resources/application.yml` 中配置爬虫相关参数：

```yaml
# 可在此配置爬虫相关参数，如线程数、超时时间等
```

## 许可证

MIT License