DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
springcloud版本的若依,集成springcloud的几大神兽:eureka,gateway,hystrix,feign,config.自定义token实现授权，直接存到redis,集成工作流activiti
前端采用Vue、Element UI。 后端采用Spring Boot、Spring Security、activiti7、Redis & Jwt。 前后端分离工作流脚手架。
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、闲鱼、阿里任务、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家️️️
一个完善的Spark Streaming二次封装开源框架，包含：实时流任务调度、kafka偏移量管理，web后台管理，web api启动、停止spark streaming，宕机告警、自动重启等等功能支持，用户只需要关心业务代码，无需关注繁琐的技术细节，大大提高实时流开发效率和难度(附demo)。
最近更新: 6年前
