轻易云数据集成平台运行原理

轻易云数据集成平台是一款企业级的集成中间件，其主要工作流程如下：

请求调度

1. 定时计划会自动激活调度者，根据元数据配置生成API请求任务，通过AsynSourceJobStorage类将任务存入MongoDB任务表并排队执行。
2. 进程守护执行源平台请求任务，发送API请求并获取原始数据。
3. 获取到原始数据后，依据元数据配置进行基础加工，加工后的数据逐行通过DataStorage写入MongoDB数据表，此时数据处于待处理状态。
4. 在某些特殊情况下，可能需要先后调用两个接口获取数据。例如，先通过fetch_list获取列表数据的ID主键，再通过get_detail获取对象的数据明细。
5. 可以使用 $this->adapter->getLogStorage()->insertOne 记录日志。

写入调度

1. 定时的写入调度者从MongoDB data表中获取待处理的数据，根据元数据配置加工为目标系统接口接收的数据格式，创建写入API任务，通过 AsynTargetJobStorage 类将任务写入MongoDB任务表并排队执行，同时将数据标记为队列中。
2. 进程守护执行目标平台写入任务，发送API请求向目标系统写入。
3. 写入完成后，根据返回结果标记数據为 '完成' 或 '错误'。

数据加工厂

用户可以自定义脚本代码嵌入到某个环节。源平台加工厂包括以下环节：队列生成后、队列调用前、队列调用后、数据写入后、响应错误后等。目标平台加工厂则包括：队列调度前、接管拉取方法、拉取后、队列生成后、队列执行前、队列执行后、成功和失败等环节。

点击这里查看更多信息