DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。
传统大数据分析工具以Hadoop、Spark为代表,集成了大量的技术框架, 对用户来说又重又笨又不灵活,难以维护和驾驭,国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径,以阿里开源的DataX为ETL工具,以列式数据库ClickHouse做为中间数据存储源,通过视图关联构建大数据集,解决亿万级数据的即时分析性能,再辅以强大的数据可视化设计前端,通过用户自定义菜单和模板进行呈现,实现用户的自助式分析和探索。通过灵活的预警功能,设置一些自定义的监控指标,当监控指标超过异常值时,系统会自动以短信、邮件或微信、钉钉等消息推送至相关人员,变原来的被动查询为主动推送,这样就能够及时发现问题。通过结合人工智能算法的预测模型,可以就未来的趋势做一下预测。通过以上的技术实现,实现企业不同数据源的集中整合,统一呈现。
Contributions last year: 0
Max continuous contributions: 0
Recent contributions: 0
Commits, issues, and pull requests will appear on your contribution graph. Only when the email address used for the commits in local configuration is associated with your GitOSC account, the commits' contribution will be counted.