一款分布式爬虫平台,帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则(模版),可使用模版快速定义爬虫,也可当作框架手动开发爬虫
over 1 year ago
13122_fotomxq
使用golang实现,采集各种网站妹子图库和本地类似数据的程序,浏览器可访问采集器和相关数据,可部署到服务器或本地直接运行。
over 2 years ago
58527_cnjack
曾经一度痴迷于看小说,小说给了我第二个世界,脱离于现实生活的世界。虽然因为看小说耽误了很多光阴,但是它也给我带来了很多的快乐,伴随主人公的开心而开心,伴随主人公的伤心而伤心。
13 days ago
1206_xpan-lu
Go语言版本妹子图抓取爬虫,项目里用到很多go的语言特性。正所谓寄学习于娱乐,欣赏妹子的同时还可以学到东西,欢迎大家评鉴
8 months ago
350412_henrylee
surfer [high level concurrency downloader] 是一款Go语言编写的高并发爬虫下载器,拥有surf与phantom两种下载内核,支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式,高度模拟浏览器行为,可实现模拟登录等功能。
over 2 years ago
A lightweight spider for Elasticsearch.
about 1 year ago
[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to a Individualized crawler easily or can only use the default crawl components.
over 4 years ago
Celery-based web crawler admin platform for managing distributed web spiders regardless of languages and frameworks.
1 minute ago

Help Search