云可观测性_自动化兼容性_全链路压测-利来国际最老品牌网智能

数据库迁移平台

基于日志的结构化数据与非结构化数据实时同步与复制工具

概述

数据迁移工具是一种基于日志的结构化数据与非结构化数据实时同步与复制工具，满足大量交易数据、业务数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟，可实现异构环境的数据迁移与灾备和多种数据源数据的实时数据迁移工具。

价值

NO.1

全量复制
支持从底层数据文件或数据库自有的抽取接口从数据库全量导出，通过网络发送到目标端，再经由目标端装载程序装入相应的数据库，完成源数据库和目标数据库的全量数据复制。
NO.2

增量复制
支持对记录数据库操作与变化的数据库日志文件进行分析，根据配置需要分析的用户、表的变化，通过网络实时发送到目标端，再经由目标端装载程序装入相应的数据库，完成源数据库和目标数据库的增量复制。
NO.3

频繁结构变更同步
支持对记录数据库操作与变化的数据库日志文件进行分析，根据配置需要分析的表结构变更，通过网络实时发送到目标端，再经由目标端装载程序经过不同数据库对等的语法转换装入相应的数据库，完成源数据库和目标数据库的频繁结构变更同步。
NO.4

数据探测
支持对主机资源的内存、CPU、IO、带宽、目录空间等探测；支持对数据库的表种类、表字段类型、表大小、表变化量、表敏感数据、日志变化量大小、表空间大小、对象种类、对象关联等探测。
NO.5

数据转换
支持对存量数据、实时数据的转换。支持的数据转换种类需包括：表名转换、字段名转换、字段类型转换、新增减字段转换、字段值计算、表记录过滤、组合查询语句转换、记录字段额外新增标记、数据库数据转换到格式文本等。
NO.6

数据脱敏
支持对存量数据、实时数据的脱敏。支持的数据脱敏的算法需包括：时间老化、洗盘混淆、码值偏移、字符屏蔽、地址脱敏、姓名脱敏、掩码脱敏等。另外还需支持根据不同用户的权限范围对所查询展示的数据进行脱敏。
NO.7

数据实时质量检测
支持根据配置的对应表的字段记录检测规则，对写入数据库表的字段值进行实时的字段类型检测、字段赋值范围检测、字段具体值检测等进行数据实时质量检测。
NO.8

数据集成
支持对来自于不同数据库、不同数据库版本的数据进行统一的数据分类、数据过滤、数据标签等工作，目录化的存放到消息中间件、MPP服务器、大数据平台从而完成全量数据、实时增量变化数据集成及数据共享。
NO.9

数据校验
提供多种数据校验方式；提供全量比对、增量比对、全量+增量比对等多种比对策略。