操作指南

此数据集成任务的业务场景:数据由一个MySQL数据库同步到另一个MySQL数据库。

准备数据源

  1. 使用授权后的用户登录数据湖工厂。

  1. 点击【数据源管理】。

  1. 点击右上角“新增”

  1. 点击数据源选项框,选择“JDBC连接”，进入【下一步】

  1. 填写数据库配置信息（填写主机host、端口和数据库信息以及除数据库URL之外的其他必填信息，自动生成数据库URL，该URL也可以直接填写或者进行适当的修改，或者添加适当的参数），点击【测试连接】，根据实际情况修改参数直至出现测试连接成功。

    若出现测试失败，可能的原因:

    1）网络连接不通；

2）端口未开放；

3）自动生成的数据库url不符，请适当修改；

​ 测试成功后，点击下方【保存】，出现提示框，点击【确定】。

  1. 选择刚才创建的数据源，点击【启动】，启动成功

  1. 出现启动成功提示框，配置结束。

  2. 重复上述步骤，配置目标mysql数据库并启动，源数据库和目标数据库的数据源配置成功。

创建数据集成任务并运行

新建一个数据集成任务。

  1. 点击【任务管理】

  1. 鼠标右击【数据集成】->点击【新建任务】

  1. 给新建任务命名，点击【保存】按钮

  1. 点击保存后，开始引导式的配置数据同步任务。

    根据实际情况填写“数据来源”相关信息，包括数据源、数据库、作业模式、数据表。点击【下一步】

  1. 根据实际情况填写“数据去向相关信息”。点击【下一步】

  1. 在字段映射界面根据实际情况选择源数据表到目标数据表的字段映射。配置完成后点击【下一步】

  1. 根据需要配置数据处理。之后点击【下一步】

  1. 配置该任务的调度逻辑。调度模式有手动模式、轮询模式、定时模式、每日模式、每周模式、每月模式、自定义CRON。之后点击【保存】。

  1. 此时会有弹出框提示“任务保存成功，是否进行发布？”，点击【是】发布任务。如果点击了【否】，之后还可以点击右上角的【发布】手动发布任务。

  1. 任务发布成功后，点击右上角的【启动】，启动任务。任务结束后会自动停止。

  1. 至此，数据同步的一个任务从配置到启动已全部完成。
  1. 如需看到详细的nifi流程，根据情况点击【定时任务运维】或者【手动任务运维】，之后点击【定时任务】或者手动任务，在右侧找到想要查看的任务实例。

  1. 点击【高级】。进入到该任务的详细nifi流程界面，如下图所示。