轻易云数据集成平台的目标平台调度者生命周期

轻易云为企业提供了一体化的数据处理流程，包括数据抽取、清洗、转换和转发。本文将详细解析“数据转换和写入”阶段的关键组件——目标平台调度者的生命周期和操作流程，以便于工程师更好地理解和实施数据集成方案。

数据转换和写入是数据集成的核心步骤，通常通过源平台的定时调度请求任务来实现。该过程包括以下步骤：

定时任务调度
- 调度者分配与配置：轻易云预设了20个调度者，通过Linux crontab实现每分钟的调度命令执行。用户可在配置页面指定“调度号”以分配特定调度者，优化性能，防止任务阻塞。
- 调度命令执行：每个调度者执行命令，根据“调度号”启动相应的集成方案。
集成方案遍历与调度命令生成
- 异步方案识别：遍历集成方案时，首先排除非异步方案。
- 调度命令创建：对于需要调度的方案，创建一个或多个调度命令，这些命令将根据crontab延迟执行。
调度命令执行与队列管理
- 调度命令激活：到达指定时间点后，激活调度命令，放入AsynDispatcher队列池中排队。
- 队列池任务消费：AsynDispatcher队列池处理排队的任务，包括确认任务启动条件、检查调度条件，以及执行调度工作。
适配器加载与任务调度
- 适配器加载：调度过程中首先加载源平台适配器。
- 任务调度执行&获取数据管理中数据：适配器初始化后，执行调度任务，包括插入调度日志、生成写入任务请求参数，获取数据后将数据标记为“队列中”状态，将新任务参数写入任务存储，将任务ID插入源任务队列池进行排队，最后插入调度结束日志。
异步队列池任务消费
异步队列池的任务消费是数据写入阶段的关键。以下是任务验证至执行的流程：
- 任务验证与条件检查：确认任务状态，检查调度条件，如有前置任务在执行则确保调度顺序和依赖性。满足调度条件后，系统调用方法执行调度工作。
- 适配器操作与任务执行：加载并初始化源平台适配器，执行调度方法，生成写入任务请求参数，获取数据后标记为“队列中”状态，将请求参数写入异步源任务存储，将任务ID插入源任务队列池。
数据写入
适配器完成任务调度后，接下来是实际的数据写入：
- 数据写入任务的执行：根据任务ID获取任务详细信息，适配器连接目标平台，成功后执行数据请求操作。
- 数据处理结果响应：适配器处理目标平台的响应数据，包括检查响应状态，处理成功或失败的响应，对成功响应的数据进行进一步处理。处理响应数据后，可能会触发回调配置，执行响应动作。
任务状态管理与日志记录
任务执行过程中，状态管理和日志记录是核心环节：
- 任务状态更新：任务完成后标记为“已完成”，确保任务结果正确跟踪。数据处理完成且目标平台响应正确后，数据状态更新为“已完成”，防止数据重复发送。任务执行失败时，进行错误处理，包括数据状态标记为“错误的”，异常记录，并判断是否需要重新排队。
- 日志记录：系统记录从调度开始到结束的详细日志，包括任务开始、结束时间和状态变更。适配器操作日志也被记录，便于诊断问题和优化性能。
目标平台事件关联与触发
轻易云支持通过执行条件判断和事件关联配置，实现集成方案间的相互触发：
- 事件关联配置：执行调度前需检查是否有等待或队列中的数据，若有则当前方案暂不调度。成功执行的集成方案可触发其他方案的调度，通过源平台事件关联配置实现。
- 后续方案调度触发：方案成功完成后，根据事件关联配置检查是否触发其他集成方案的调度，保证数据集成流程的连续性和自动化。
异步队列池中任务的执行过程
- 任务获取与验证：系统通过任务ID获取任务详情，包括执行所需参数。检查任务状态，如标记为错误或已完成则不再执行并从队列移除。
- 适配器连接与任务执行：确认任务有效后，检测与源平台的连接。连接成功后，调用适配器的invoke()方法，向目标平台发送请求并获取响应。
- 响应处理与数据加工：接收到源平台响应后，根据响应状态处理。成功的响应进入数据加工阶段，失败的响应触发错误处理流程。成功的响应可能触发脚本加工厂的调度方法，执行数据加工。
- 错误处理与任务重排：适配器执行过程中的错误，调用handleError方法处理。包括异常记录和判断是否需要重新排队。任务执行失败可能由临时问题造成，如网络不稳定，系统可能将任务重新放入队列稍后重试。
- 成功响应的后续处理：成功的响应，适配器处理响应数据，可能包括数据解析、格式化等，确保数据能被后续流程正确处理。处理完响应数据后，系统将数据存入数据存储，并更新任务状态。
- 任务完成后的事件触发：任务成功完成并处理响应数据后，系统可能再次调用脚本加工厂的事件，执行特定的后处理脚本，进一步加工或验证数据。

轻易云数据集成平台的目标平台调度者生命周期

轻易云数据集成平台的目标平台调度者生命周期

Hot Discussions