# WebSpiderLearnAndTest

**Repository Path**: Richard_Hu/WebSpiderLearnAndTest

## Basic Information

- **Project Name**: WebSpiderLearnAndTest
- **Description**: A simple C# web spider application , It catches all the hotels of hangzhou from xiecheng 【一个简单的爬虫程序，提供了一个基础的框架，实现了对AJAX页面爬虫，并测试学习几个例子，详细见README。】
- **Primary Language**: C#
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2017-09-20
- **Last Updated**: 2023-11-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# WebSpiderLearnAndTest
A simple C# web spider application , It catches all the hotels of hangzhou from xiecheng

[一个简单的C#怕爬虫软件，提供了一个基础的爬虫框架，实现了携程网上对杭州所有的酒店信息爬取到本地，由于网页信息是ajax分页的，所以使用了phantomjs+Selenium来实现功能]

关键爬虫代码参考以下项目：
<ul>
<li>https://github.com/coldicelion/Simple-Web-Crawler</li>
<li>https://github.com/coldicelion/Strong-Web-Crawler</li>
</ul>


## screenshot[以下是示例截图]:
![image](https://github.com/dathlin/WebSpiderLearnAndTest/raw/master/WebSpiderLearnAndTest/screenshots/hotel.png)

## Catch pictures from taobao.com [从淘宝获取淘MM照片]
能获取到绝大多数的照片，但是总会有几个会出现异常。【原因来自几张图片原本就是无法显示的】
![image](https://github.com/dathlin/WebSpiderLearnAndTest/raw/master/WebSpiderLearnAndTest/screenshots/alibaba.png)