# 简单实现go爬虫

**Repository Path**: DBlueLeaf/little_crawler

## Basic Information

- **Project Name**: 简单实现go爬虫
- **Description**: No description available
- **Primary Language**: Go
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-02-24
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# go简单爬虫

实现爬取虎扑cba球员的数据  
https://cba.hupu.com/players/

## 框架结构

- config      配置文件
- download    下载器（下载url内容）
- logs        存放日志文件
- parser      解析器（解析url内容）
- scheduler   调度器（负责从url管理器中获取待爬的url进行爬取）
- storage     存储器（存储解析的内容）
- tools       工具包
- types       自定义的一些struct
- queue       待请求队列以及待处理结果队列
- url_manager 已废弃
- main.go     主入口（调用调度器开始工作）

## 更新日志

- v1.0

实现简单爬虫

- v2.0

1、使用channel来保存待请求队列以及待处理结果队列    
2、根据配置文件，开启多个goroutine来获取网页内容    
3、将解析内容保存到mysql中