Ip2region 是一个离线 IP 数据管理框架和定位库,支持 IPv4 和 IPv6,支持亿级别的数据段,10微秒级别的查询性能,提供了许多主流编程语言的 xdb 数据管理引擎的实现。
JFinal 是基于 Java 语言的极速 WEB + ORM 框架,其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful。在拥有Java语言所有优势的同时再拥有ruby、python、php等动态语言的开发效率!为您节约更多时间,去陪恋人、家人和朋友 :)
(因个人精力有限,基本功能已具备,其他操作功能还待继续完善) 整个分布式基于springboot,zookeeper,redis,netty,mysql等基础开源框架实现。 1.springboot作为整个项目的管理容器, 2.zookeeper作为整个集群节点注册和发现, 3.redis用来作为集群缓存和工作空间实现, 由于redis支持rpush lpop队列操作,然后lpop,rpush 操作数据key,hset,hget操作实际存储数据来实现redis队列ack,数据实际处理完后再hdell数据 4.netty用来作为节点间通信, 5.mysql用存储持久化数据. 项目仅仅为一个可执行jar. 下载器:支持okhttp,phantomjs,chrome3种下载方式. 提供了登录,验证码识别接口, 实现了根据站点code切换代理Ip(基于redis实现的http代理管理队列) 解析: 支持普通cssQuery 抽取元素, 表格单条数据抽取,表格多条数据抽取,json抽取,正则抽取。 支持自定义解析结果。 抽取结果存储:支持数据库,http发送 ,文件等存储方式
最近更新: 9年前