# tai-spider

**Repository Path**: wx-rdc/tai-spider

## Basic Information

- **Project Name**: tai-spider
- **Description**: Scrapy爬虫的Javascript实现，便于在Nodejs环境下使用。
- **Primary Language**: JavaScript
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 7
- **Forks**: 4
- **Created**: 2022-03-05
- **Last Updated**: 2025-03-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Tai Spider

<div style="display:flex; align-items:center;"><img src="logo/tai-spider.jpg" width="100" height="80"/><h1>Tai Spider</h1></div>

Scrapy框架的nodejs版本。

## 动机

虽然Nodejs天然就非常适合用来开发爬虫，但是目前在Nodejs领域使用最广泛的爬虫框架 [node-crawler](https://github.com/bda-research/node-crawler) 比起 [scrapy](https://github.com/scrapy/scrapy) 来说，功能显得过于简单，无法满足企业化爬虫的开发需求。为此，本项目借鉴 `scrapy` 的功能特点，使用Nodejs进行的重写，力图为Nodejs程序员提供一个可用好用的爬虫框架。

## 说明

* 支持JsonResponse，可使用`response.getJSON()`方法获取返回的JSON对象

## 文档

参考手册可以访问：[TaisSpider In Action](https://edward-zhu.gitbook.io/tai-spider/)

## 例子

使用 `TaiSpider` 框架开发的爬虫例子： [tai-spider-example](https://gitee.com/wx-rdc/tai-spider-example.git)


Author: Edward Zhu<zhuhy163#163.com>