轻易云数据集成平台的加工厂运行原理

轻易云数据集成平台是一款企业级集成中间件，其主要运行原理如下：

一、请求调度

1. 定时计划自动激活调度者，根据元数据配置生成API请求任务，通过AsynSourceJobStorage类将任务存入MongoDB任务表并排队执行。
2. 进程守护执行源平台请求任务，发送API请求并获取原始数据。
3. 获取原始数据后，根据元数据配置进行基础加工，加工后的数据逐行通过DataStorage写入MongoDB数据表，此时数据处于待处理状态。
4. 特殊情况下，可能需要先后调用两个接口获取数据，例如先通过fetch_list获取列表数据的ID主键，再通过get_detail获取对象的数据明细。
5. 可使用$this->adapter->getLogStorage()->insertOne记录日志。

二、写入调度

1. 定时的写入调度者从MongoDB data表获取待处理数据，根据元数据配置加工为目标系统接口接收的数据格式，创建写入API任务，通过AsynTargetJobStorage类将任务写入MongoDB任务表并排队执行，同时将数据标记为队列中。
2. 进程守护执行目标平台写入任务，发送API请求向目标系统写入。
3. 写入完成后，根据返回结果标记数据为’完成/错误’。

数据加工厂是用户可以自定义脚本代码，嵌入到某个环节的功能。源平台加工厂包括队列生成后、队列调用前、队列调用后、数据写入后、响应错误后等环节；目标平台加工厂包括队列调度前、接管拉取数据方法、拉取数据后、队列生成后、队列执行前、队列执行后、队列执行成功后、队列执行失败后等环节。