# MongooCrawler

**Repository Path**: cnazhp/MongooCrawler

## Basic Information

- **Project Name**: MongooCrawler
- **Description**: 一款小巧精悍的分布式爬虫
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2016-09-18
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#MongooCrawler
一款分布式爬虫软件
#特性
高性能 使用异步非阻塞IO，多进程并行执行大大提高爬取效率
可扩展、可扩展性 （第一期）单服务端多客户端，（第二期）服务端多主从，（第三期）服务端集群
动态规则配置 用户可以根据自己的需求定制爬取规则   
高可靠，高可用 故障转移策略和url持久化，心跳管理，url爬取确认机制
智能路由