# light_speed_crawler_frame_proj

**Repository Path**: kokohzh/crawler_frame_proj

## Basic Information

- **Project Name**: light_speed_crawler_frame_proj
- **Description**: 分布式光速爬虫框架
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-03-22
- **Last Updated**: 2021-03-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

光速爬虫框架

光速爬虫框架底层驱动使用的是分布式函数调度框架，里面有详细的文档 



也可以 pip install function_scheduling_distributed_framework

~~~
光速爬虫框架，依靠分布式函数调度框架function_scheduling_distributed_framework来调度。
比任何爬虫速度都要快.
比任何爬虫框架写爬虫时候代码都要少.
比任何爬虫框架对常规同步编码思维入侵都少.
内置一键使的免费代理池。


1、代码写法思路符合正常的同步思维逻辑，平时怎么写代码就怎么写代码。

2、使用分布式函数调度框架来执行函数，函数里面写爬虫请求和解析存储，所以分布式函数调度框架包含分布式爬虫框架。

3、支持随意时候停止程序，不会造已取出来但成正在运行的url丢失

4、代码编写思维除了比scrapy简单，还一定比使用scrapy框架代要写的码少，编码速度更快，运行更快。

5、全量导入分布式函数调度框架，
此框架只实现一个可可轮流切换代理ip供应商，自动重试请求指定次数的请求客户端。
和一个浏览器池。能够大幅提高浏览器并发的浏览器上下文管理器，因为去掉了频繁新建和摧毁浏览器。
~~~