轻易云数据集成方案运行基本流程是什么？

介绍视频

轻易云数据集成平台是一个全异步、支持多种异构系统集成的平台，能够实现不同系统间数据的无缝对接。数据集成过程包含两个主要阶段：数据请求与清洗、以及数据转换和写入。

数据请求与清洗

• 请求调度者负责定时拉取数据，通过配置定时任务自动生成请求，这些请求会被存储在MongoDB的AsynSourceJobStorage，等待处理。
• 当任务在请求队列池中激活时，系统将调用适配器执行任务，拉取数据。
• 拉取的数据会根据预设的元数据配置进行加工和清洗。
• 清洗后的数据保存在MongoDB的DataStorage，标记为待处理状态。
• 此外，外部系统可以通过轻易云开放的API直接向集成方案写入数据，实现被动数据接收。

数据转换与写入

• 写入调度者通过定时任务检查MongoDB中标记为【等待中】的数据，准备进行转换。
• 数据会根据配置逐笔或批量转换，以适配目标系统格式。
• 转换后的数据进入AsynTargetJobStorage的写入队列池，等待写入目标系统。
• 写入过程中，目标平台的响应状态和内容会被记录回AsynTargetJobStorage和DataStorage。
• 若写入过程遇到异常，系统将重新排队尝试写入。

总的来说，轻易云数据集成平台通过异步调度和多阶段处理，高效地实现了不同系统间的数据集成，同时提供了灵活的配置和错误处理机制，保证了数据传输的稳定性和可靠性。