产品介绍
产品简介
数据集成（Inspur Data Integration，简称IDI）是可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，提供不同网络环境下的全量/增量/实时数据迁移服务，支持对接关系数据库、文件系统、物联网、大数据、NoSQL等各种数据源。
产品优势
- 支持多种异构数据源
支持20+种异构数据源之间相互数据同步，满足不同数据迁移场景
- 数据迁移方式多样
支持对数据的全量/增量/实时同步等多种数据同步方式
- 迁移效率高
针对常见数据源进行写入深度性能优化，数据迁移效率高
- 简单易用
支持整库迁移和向导式任务开发界面，迁移步骤简单易操作
产品功能
- 表/文件/整库迁移
支持整库数据迁移、文件批量同步，快速实现大量库表和文件的数据同步
- 全量/增量/实时同步
支持全表数据一次性全量采集同步至目标表
支持通过设置增量字段或者读取解析数据库增量日志的方式实现表数据增量采集
- 数据过滤
提供多种数据过滤处理器，用于对采集的数据进行校验和过滤，支持的常见数据清洗类型包括：空值过滤、枚举值过滤、前后缀匹配过滤、正则过滤等
- 数据清洗
提供了多种数据清洗处理器，用于对采集的数据进行校验和清洗，支持的常 见数据清洗类型包括：空值校验与非空校验、前缀校验与后缀校验、数据长 度校验、枚举值校验、正则校验等
- 数据转换
提供了多种数据转换处理器，用于对采集的数据进行转换，支持的常见数据转换类型包括：列名转换、行列转换、数据拆分、数据合并、日期格式转换、字符串替换、空值替换、字典值替换、正则转换等
- 数据加/解密
提供了多种数据加/解密算法，用于对采集的数据进行加密或者解密操作， 支持的常见数据加/解密算法包括：SM3, SM4, MD5, SHA_1, AES等
- 数据脱敏
提供了多种数据脱敏规则，用于对采集的数据进行脱敏操作，支持的常见数 据脱敏规则包括：身份证号脱敏、手机号脱敏、姓名脱敏等
- 文件一致性校验
支持对文件进行基于散列算法产生的散列值的一致性校验。散列算法如：MD5、SHA1、SHA256等
产品架构
应用场景
- 数据批量迁移
用户使用云计算资源对海量数据进行处理，需要将本地数据迁移到云上，并将处理结果迁移到本地业务系统。数据集成提供简单易用的数据同步能力，支持批量同步与整库迁移，帮助用户实现数据在本地和云端迁移。
- 定时增量数据同步
通常数据存在于多个异构数据源中，数据集成帮助用户实现数据在异构数据源之间同步，支持多时间维度的定时调度，让数据在异构数据源之间自动流动，消除数据孤岛。
- 异构数据同步
数据集成支持关系型数据库、大数据、文件、NoSQL等多种数据源，异构数据源中包含AVRO、XML、JSON、CSV、文档、图片、视频等非结构化数据等，数据集成支持结构化非结构化数据源之间直接迁移，无须中转。
- 脏数据清洗
原始数据可能存在大量脏数据，例如数据格式错误、数据空值、字典值异常等，数据集成提供了对脏数据的清洗转换能力，支持自动标记并跳过脏数据，支持清洗转换脏数据，保证同步任务正常运行。原始数据可能存在大量脏数据，例如数据格式错误、数据空值、字典值异常等，数据集成提供了对脏数据的清洗转换能力，支持自动标记并跳过脏数据，支持清洗转换脏数据，保证同步任务正常运行。
