基于zeus重写的分布式任务调度系统支持任务的定时调度、依赖调度、手动调度、手动恢复支持丰富的任务类型：shell,hive,python,spark-sql,java可视化的任务DAG图展示，任务的执行严格按照任务的依赖关系执行某个任务的上、下游执行状况查看，通过任务依赖图可以清楚的判断当前任务为何还未执行，删除该任务会影响那些任务。支持上传文件到hdfs，支持使用hdfs文件资源支持日志的实时滚动支持任务失败自动恢复实现集群HA，机器宕机环境实现机器断线重连与心跳恢复与hera集群HA，节点单点故障环境下任务自动恢复，master断开，worker抢占master支持对master/work 负载，内存，进程，cpu信息的可视化查看支持正在等待执行的任务，每个worker上正在执行的任务信息的可视化查看支持实时运行的任务，失败任务，成功任务，任务耗时top10的可视化查看支持历史执行任务信息的折线图查看 具体到某天的总运行次数，总失败次数，总成功次数，总任务数，总失败任务数，总成功任务数支持关注自己的任务，自动调度执行失败时会向负责人发送邮件......
spark流式计算：1、主要采用structured streaming2、配置文件的方式完成数据的来源、处理、存储3、主要以SQL的方式进行数据处理
Last updated: 7 years ago基于Spring Boot2.0+Spring Security+Redis集成的OAuth2.0鉴权服务器
Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算的时候，无论你使用哪种API或语言，Spark SQL使用的执行引擎都是同一个。这种底层的统一，使开发者可以在不同的API之间来回切换，你可以选择一种最自然的方式，来表达你的需求。
Last updated: over 7 years agoHi-elk 是基于Docker快速搭建elk服务镜像，Hi-elk采用Alpine Linux系统为底层,专注于打造最简洁最安全最稳定的elk镜像，实现快速搭建elk服务。
Last updated: almost 8 years agoJava 后端项目，大规模集群设备的管理平台，使用 Spring 作为基础框架，使用 Netty 搭建 TCP 服务器与上万台设备组成的集群通信，使用基于 JavaFX 的图形界面应用程序模拟上万台设备的行为，并可对服务器进行压力测试。
Last updated: almost 8 years ago
