轻易云数据集成平台：目标平台调度者生命周期详解

轻易云为企业提供全面的数据处理服务，包括数据抽取、清洗、转换和转发。本文将深入探讨“数据转换和写入”阶段的核心组件——目标平台调度者的生命周期和操作流程，帮助工程师更好地理解和实施数据集成方案。

数据转换与写入过程

定时任务调度

• 调度者分配与配置：系统预设20个调度者，通过Linux crontab每分钟执行命令。用户可在配置页面指定“调度号”来分配特定调度者，以优化性能并防止任务阻塞。
• 调度命令执行：每个调度者根据“调度号”启动相应的集成方案。

集成方案遍历与命令生成

• 异步方案识别：遍历集成方案时，首先排除非异步方案。
• 命令创建：对于需要调度的方案，创建一个或多个延迟执行的crontab命令。

调度命令执行与队列管理

• 激活命令：到达指定时间点后，激活命令并放入AsynDispatcher队列池中排队。
• 队列池任务消费：AsynDispatcher队列池处理排队任务，包括确认任务启动条件、检查调度条件及执行工作。

适配器加载与任务执行

• 适配器加载：首先加载源平台适配器。
• 任务执行及数据获取管理：初始化适配器后，执行任务，包括插入日志、生成请求参数、获取数据并标记为“队列中”，将新任务参数写入存储，并将ID插入源任务队列池进行排队。

异步队列池任务消费

异步队列池的任务消费是关键步骤：

• 验证与条件检查：确认状态，检查条件，如有前置任务则确保顺序和依赖性。满足条件后，系统调用方法执行工作。
• 适配器操作与执行：加载并初始化适配器，生成请求参数，获取数据后标记为“队列中”，将参数写入存储，并将ID插入源任务池。

数据写入

适配器完成后的实际数据写入：

• 数据写入执行：根据ID获取详细信息，连接目标平台并成功后请求操作。
• 结果响应处理：处理目标平台响应，包括检查状态，对成功响应进一步处理，并可能触发回调动作。

任务状态管理与日志记录

状态管理和日志记录是核心环节：

• 状态更新：完成后标记为“已完成”，确保正确跟踪。失败时进行错误处理，并判断是否重新排队。
• 日志记录：记录从开始到结束的详细日志，包括时间和状态变更，以及操作日志以便诊断问题和优化性能。

事件关联与触发

通过条件判断和事件关联配置，实现集成方案间相互触发：

• 事件关联配置：检查是否有等待或排队中的数据，有则暂不调度。成功执行的方案可触发其他方案，通过事件关联实现。
• 后续方案触发：成功完成后，根据事件关联配置检查是否触发其他集成方案，保证流程连续性和自动化。

异步队列池中任务的详细过程

系统通过ID获取详情并验证：

• 确认有效性后检测连接。连接成功调用invoke()方法发送请求并获取响应。

接收响应后，根据状态处理。成功进入加工阶段，失败触发错误处理流程。可能再次调用脚本加工厂的方法进行进一步加工或验证。