1 Star 5 Fork 0

友缘 / Yuan-Crawler-Kit

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

YuanCrawlerKit

java jdk License

  • 作者:YouYuan
  • 邮箱:xiyousuiyuan#163.com
  • QQ:1265161633

功能介绍

YuanCrawlerKit是一个爬虫工具箱,可以自动爬取各类信息,目前1.1版本支持企业信息爬取、百度知道答案爬取。

Demo:企业信息爬取

CompanyInfo companyInfo = CompanyInfoCrawler.searchCompanyInfo("腾讯");
System.out.println(companyInfo);

返回结果:

CompanyInfo {
	name: '腾讯科技(深圳)有限公司',
	registeredCapital: '200万美元',
	juridicalPerson: '马化腾',
	businessRegistrationNumber: '440301503270924',
	organizationCode: '71526726X',
	unifiedCreditCode: '9144030071526726XG',
	type: '有限责任公司(台港澳法人独资)',
	TIN: '9144030071526726XG',
	trade: '软件和信息技术服务业',
	timeLimit: '2000-02-24至2020-02-24',
	approvalDate: 'null',
	address: '深圳市南山区高新区科技中一路腾讯大厦35层',
	scopeOfBusiness: 'null',
	companyLink: 'http://www.tencent.com',
	state: '存续'
}

Demo:百度知道爬取

ZhiDaoInfo search = ZhiDaoCrawler.search("中国最值得去的地方");
System.out.println(search);

返回结果:

ZhiDaoInfo{
    question='中国最值得去的地方', 
    answer='敦煌、香格里拉、天涯海角、九寨沟、龙门石窟、坝上草原、天山、日月潭、阿里山、黄山、庐山、嵩山、泰山、玉龙雪山、西安、开封、北京红螺寺、云蒙山、十渡等等啦,我也说不全。总之,中国什么地方都值得我们一去。'
}

最近更新

  • 版本:v1.1
  • 更新日期:2019-04-08
  • 更新内容:
    • 新增百度知道回答内容爬取功能
    • 爬虫新增代理层,支持自动更换代理IP
    • 新增代理层开关

空文件

简介

爬虫获取信息工具箱,目前支持企业信息爬取、百度知道爬取 展开 收起
Java
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/you-yuan/YuanCrawlerKit.git
git@gitee.com:you-yuan/YuanCrawlerKit.git
you-yuan
YuanCrawlerKit
Yuan-Crawler-Kit
master

搜索帮助

14c37bed 8189591 565d56ea 8189591