10 Star 49 Fork 6

Lione / 妹图狩猎者

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
README.md 851 Bytes
一键复制 编辑 原始数据 按行查看 历史
Lione 提交于 2018-12-17 17:53 . 双层任务捕捉实现

妹图狩猎者

项目开发进度

单层单任务...ok

单层多任务...ok

双层单任务...ok

双层多任务...ok

三层...TODO

项目介绍

妹图狩猎者是一款基于Golang开发的命令行爬虫工具,只需使用者有JQuery和JSON基础再根据example/*.json中的配置文件示例进行修改,即可精确对猎物进行捕获。

项目特色

[1]多任务并发爬虫;[2]捕获日志;[3]捕获下载;[4]DOM定位捕获;[5]捕获源自动翻页

项目依赖

go get github.com/PuerkitoBio/goquery

项目安装[开发阶段不建议安装]

go get gitee.com/Lione/sister_hunter
go install

编译包下载

https://gitee.com/Lione/sister_hunter/attach_files

命令行

./sister_hunter.exe [ -T single -F ./example/单层单任务.json ] [ -H ]
Go
1
https://gitee.com/Lione/sister_hunter.git
git@gitee.com:Lione/sister_hunter.git
Lione
sister_hunter
妹图狩猎者
master

搜索帮助