一、多数据库的管理 通过本平台管理内网的数据库 具备严格的数据安全控制,普通用户只有查询 dba用户可以审核 二、具备简单的堡垒机 sshweb,可以使用web管理内网的linux机器
最近更新: 4年多前HttpHelper是一个轻量级Http请求框架,致力于为Http请求提供简洁明了的接口,使开发人员更专注于业务,提高效率。 允许开发人员针对REST接口定义客户端对应的请求Interface类,只需要根据接口定义作出对应配置即可实现类似于RPC的声明式调用,可使请求接口简洁,规范,高效,更有可阅读性。请求HTML资源,可以使用WebClient不仅支持JS渲染执行Ajax请求,还提供了一套数据抽取功能,支持xpath,css,regex任意配置到数据字段的规则抽取,可将文本数据抽取为复杂的(嵌套的)格式化的对象数据。一、设计考虑代码的复用,模块的复用,更考虑了模式的复用;请求的Pipeline是针对模版定义,不是针对单一接口,这种约定可以在准备开发新的处理器时需要考虑从更高层的模版共性出发,作出更通用和公用的处理器。同时模版配置TempleConfig支持继承关系,可以先定义通用的顶级父Temple配置,使用继承和泛化思想实现个性化配置。 二、使用规范和约定将针对接口请求的问题转换成根据业务接口的Client定义,仅需Copy接口定义输入输出POJO即可完成一个接口请求的定义。
分布式任务调度框架, 支持 实时任务;支持定时任务 (如:3天之后执行);CronExpression 任务(如:0 0/1 * * * ?)
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了