Go语言版本妹子图抓取爬虫，项目里用到很多go的语言特性。正所谓寄学习于娱乐，欣赏妹子的同时还可以学到东西，欢迎大家评鉴

使用boost.asio+qt实现的tianya小说阅读器，主要抓爬天涯各种网络小说，支持脱水，排序，下载等功能。 该项目也是一个学习asio编程，特定目标爬虫编程的好示范。

C语言接口的网络爬虫函数库

[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to a Individualized crawler easily or can only use the default crawl components.

一个scrapy爬虫项目，用来进行学习爬虫，提交到开源中国 是为了顺便学习git。

一个简单的web爬虫，采用scala akka实现

运行于java环境的一个免费开源的企业信息采集器（简单的java网络爬虫）。 信息采集完成后自动导出Excel表格。 基于Jsoup+Poi+Sqlite开发完成。

自动抽取网页正文的算法，用JAVA实现

分布式数据抓取平台

基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件，镜像自：https://github.com/xautlx/nutch-htmlunit

牛咖-neocrawler nodejs 的爬虫系统。 特点： 支持web界面方式的摘取规则配置（css selector & regex）； 包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取； 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽； nodejs none-block 异步环境下的抓取性能比较高； 中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量； 支持多种抓取实例并存，定制摘取引擎和存储方式。

webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

A lightweight spider for Elasticsearch.

基于bootstrap的php小说采集系统

强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活