English | 中文

WeDataSphere 已开源组件

Linkis

点我进入Github repo

Linkis是一个打通了多个计算存储引擎如：Spark、Flink、Hive、Python和HBase等，对外提供统一REST/WS/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Scriptis

点我进入GitHub repo

Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本，提交给Linkis执行的交互式数据分析Web工具，且支持UDF、函数、资源管控和智能诊断等企业级特性。

WeDataSphere 即将开源组件

DataSphere Studio

对接了数据中间件Linkis的DataSphere Studio(简称DSS)，在统一的UI下，作为一站式数据应用开发管理门户，定位为闭环涵盖数据应用的全流程，满足从数据导入、脱敏清洗、数据加工、质量校验、可视化展现、定时调度到数据输出的数据应用开发全流程场景需求。

前端方面：Scriptis、Qualitis、可视化BI工具和工作流调度系统的前端合为一体，用户可以在一个工作流的定义中，做数据分析、质量校验、可视化展示、邮件发送、和工作流提交调度。

后台方面：支持简单快速集成新的外部数据应用系统，让数据研发IDE工具的一段代码，快速且顺畅地实现可视化展示，发布到工作流调度工具进行定时调度，无须顾及代码兼容性、UDF、自定义变量和各种Jar的跨系统使用问题。

DataSphere Studio预计将在11月下旬开源，敬请期待！

Qualitis

Qualitis——数据质量管理服务，是微众银行自主研发的，对接了Linkis的数据质量检测系统，包括数据质量模型定义，数据质量结果可视化、可监控。

数据质量管理服务提供一整套统一的流程来定义和检测数据集的质量并及时报告问题。

Qualitis提供了DataSphere Studio插件，支持插拔式集成到DataSphere Studio之中，作为数据应用开发的工作流节点。

Qualitis将在11月下旬开源，敬请期待！

WeDataSphere 介绍

WeDataSphere是一套金融级、一站式、开源开放的大数据平台套件。基础平台由数据交换、数据分发、计算、存储四大层次组成，关注底层数据传输计算存储能力；功能平台由平台工具、数据工具、应用工具三大层次组成，关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系，提供一站式的丰富数据平台组件及功能支撑。

WeDataSphere 核心特点

• 基础能力
  基于开源社区的各种开源组件，如：Hadoop、Spark、Hbase、KubeFlow和FFDL等，构建金融级可靠基础计算存储数据交换能力，及强大的机器学习能力。并在开源版本基础上做加法，解决实际应用场景中遇到的安全、性能、高可用、可管理性等问题及各种bug修复。

• 平台工具
  提供平台门户、数据中间件Linkis和运营管理系统。平台门户支持产品地图、多租户管控、财务计费、接入方案智能推荐、运营报表和云服务申请；Linkis打造数据中间件，提供金融级多租户、资源管控、权限隔离等能力，连接上层应用和下层计算存储系统，主动填补开源社区和行业空白；运营管理系统涵盖集群管理、配置管理、变更管理、监控管理与服务请求自动化，支持一键安装、一键升级和图形化运维，并提供了预警、健康监测诊断、故障自愈等功能，简化平台的运维过程。

• 数据工具
  提供数据地图、数据脱敏工具、数据质量工具和跨Hadoop集群的数据传输工具。数据地图管理全行数据资源，包括元数据管理、数据权限、数据血缘，及开发中的数据质量、数据模型等功能模块。数据脱敏工具支持对高密级数据进行脱敏，避免用户直接接触高密级原始数据。数据质量工具提供一整套统一的流程来定义和检测数据集的质量并及时报告问题。跨Hadoop集群的数据传输工具支持数据传输任务调度、状态、统计、监控等管理工作。

• 应用工具
  提供开发探索工具Scriptis、图形化工作流调度系统、数据展现BI工具和机器学习支持系统。Scriptis支持对接多种计算存储引擎，并提供图形化、多编程语言支持。调度系统提供图形化界面做工作流定义和定时调度执行、依赖展示、状态查看、历史统计、监控配置等功能。BI工具支持通过图形化界面拖拽和简单脚本编写，生成各种图报表，同时支持邮件定时发送功能。机器学习支持系统提供多种模型训练调试方式，集成自研的机器学习算法和多种开源机器学习框架，具备异构高性能集群的多租户管理能力。

WeDataSphere 核心优势

• 丰富的功能工具
  平台工具、数据工具和应用工具的三层工具体系与强大的机器学习能力，构建完整的企业级大数据解决方案

• 两地三中心，跨集群同步
  大数据集群数据跨集群、跨IDC之间高效可靠传输，提供完善的数据备份和容灾解决方案

• 安全可靠
  统一安全管控，全容器化和微服务化、各层级多租户隔离

• 经纬方向打通孤岛
  独有的数据中间件Linkis，打通上下层各系统，使数据血缘、代码通用性、用户资源全部融会贯通。

WeDataSphere Community

如果您想得到最快的响应，请给我们提issue，或者您也可以扫码进群：