你的数据融合新助手
MyData
是一个为业务可持续建设而提供服务的数据平台,如其名“我的数据”旨在让用户更好的掌控和使用数据。
数据资产
是本系统的核心理念,将数据视为具有价值的资产,并采取适当的措施来管理、保护和使用,实现业务的增值和持续发展。
v1 数据集成
:针对多应用之间数据集成的场景,为开发人员提供更安全、更方便的对接集成方案;(进行中)
v2 数据分析
:基于集成的数据,为业务人员提供数据统计和分析服务;
v3 数据资产
:基于集成和分析,融入数据资产管理模式,让数据成为企业优化和增益的资产;
基于Web API、Excel实现数据集成,简化跨系统之间的数据对接;
详见部署文档:https://www.mydata.work/docs#/./docker/
数据管理
增加数据保留历史记录的开关 和 查询历史数据;
业务数据支持单个删除;
字段增加默认值配置,若接口未返回数据 则自动补充默认值;
增加设置字段是否显示,方便查看业务数据时 隐藏无需显示列;
定时任务
执行失败重试的时间间隔逐次递增;
任务管理
数据管理
系统定时
租户管理
项目管理
定时任务
订阅、接收推送任务 支持重试机制,避免一次失败就结束 且不会发送通知邮件;
优化任务的调度控制流程;
订阅任务重试仍失败后 不自动结束任务;
任务管理
提供数据任务 增加订阅模式,实现一个任务触发另一个任务获取数据;
多层订阅任务 支持串连执行,前置任务的业务数据支持共享给后置任务复用;
字段映射 支持{{field}}表达式,实现订阅任务从父任务获取数据;
字段映射 增加数据处理配置,实现获取和消费数据时的进一步处理,包括:
数值:加减乘除;
字符串:md5、base64、prepend、append;
日期:增加秒;
通用:置null、置empty;
字段映射 支持"/"前缀,实现从json根目录获取数据;
字段映射 支持"a.b.c"结构,实现从指定层级获取数据,结合"/"和prefix 实现更灵活的组合;
数据管理
数据量统计,按项目环境隔离 统计业务数据量;
显示有业务数据的环境,以便快速查看数据;
定时任务
消费数据的API为单个对象模式时 支持逐个发送多条数据;
消费任务的API 有body参数时,优先使用body参数传递数据;
API管理
header、param参数支持{field}表达式,实现调用接口时转换为指定业务数据作为参数;
增加body参数,支持环境变量、系统变量、数据变量;
定时任务
增加正在执行过程中的任务队列,不包含缓存中的任务;
任务恢复策略 不恢复正在执行中的任务,避免不必要的恢复;
数据过滤
任务管理
API管理
定时任务
定时任务
当数据因没有配置标识字段而被过滤时 任务日志缺少说明 且状态不准确;
修复单次数据都被过滤后即退出任务,不再执行下一次集成的问题;
修复停止的任务正在执行,导致结束后继续执行,与任务实际状态不一致;
数据管理
任务管理
环境变量任务
任务管理
接收推送
API管理
{field}
格式的变量 适配PathVariable模式,调用API时从数据中提取指定字段值并替换;任务管理
优化cron编辑器,减少占用空间;
简化任务卡片,其他信息通过点击显示;
订阅消费支持选择来源任务,以便指定触发执行的前置任务;
消费数据类型 增加“单数据模式”开关,以便发送一条记录时 用集合或单个对象;
增加下次执行时间,以便了解任务运行情况;
定时任务
任务日志 提前到存入缓存时就生成,以便了解任务运行情况;
增加数据对比,减少无变更数据的更新写入操作;
任务管理
定时任务
增加数据批次标识,解决分批获取数据后订阅任务丢失数据问题;
修复过滤条件值类型不匹配问题;
任务管理
消费数据类型任务 新增“发送邮件”模式,将符合条件的业务数据导出excel 并发送到指定邮箱;
过滤条件支持字段之间的对比查询;
数据管理
集成管理
任务管理
任务管理
任务周期 改用Cron编辑器;
过滤条件的字段 改用下拉框,避免填写出错;
日志列表 增加刷新按钮;
当选择发送邮件时,禁用分批模式;
定时任务
优化整体流程逻辑;
减少日志详情内容量,加快页面加载数据;
改用hashcode对比前后两次对比数据;
失败任务 1分钟后重试,最多5次;
环境管理
任务管理
修复创建任务时,API列表未按类型正确加载问题;
修复字段映射表格 初始加载时不显示数据问题;
修复选择其他环境时 未排除当前环境选项;
修复日志列表 初始显示上次查看的任务日志记录问题;
定时任务
修复数据类型转换的空指针转为“null“字符串问题;
修复内置变量值在任务执行过程中不更新问题;
数据管理
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。