# gark-crawlers

**Repository Path**: gark/gark-crawlers

## Basic Information

- **Project Name**: gark-crawlers
- **Description**: 分布式爬虫框架
- **Primary Language**: Go
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-02-18
- **Last Updated**: 2022-12-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# gark-crawlers

### 介绍

分布式爬虫框架

### 架构简介(演进式)

#### 1. 单任务版本

![单任务版本](./doc/单任务版本爬虫架构.jpg)

#### 2. 并发版本

相比较单任务版本, 并发版本在性能和调度上做了功夫, 可以根据节点的网络带宽以及goroutine的个数提升性能
同时增加了程序的可控制性

基本架构如下
![并发版本](./doc/并发版爬虫对列调度器架构.jpg)


#### 3. 分布式版本

相对于分布式爬虫来说, 添加了多节点的设置, 可以同时启动多个worker来爬数据