轻易云数据集成平台的数据存储机制

轻易云数据集成平台专为高效的数据集成方案设计了一套精细化的存储机制。每个租户都被分配了一个独立的MongoDB数据库，每个集成方案在该数据库中有专属的数据集合（Collection），确保数据隔离与安全。

数据接收与预处理

当数据集成任务启动时，平台从源系统接收数据。例如，接收到的JSON格式原始数据如下：

{
  "code": 0,
  "message": "",
  "trades": [
    {
      "rec_id": "1",
      "shop_no": "xyp2test",
      "tid": "115580935277840368-1",
      "logistics_type": "12"
    },
    {
      "rec_id": "2",
      "shop_no": "115580935277840368-2",
      "tid": "test0002",
      "logistics_type": "12"
    }
  ]
}

源平台适配器解析这些数据，特别是提取trades数组中的元素，然后将它们逐一写入轻易云数据集成平台的存储系统（ADATA）。在写入过程中，可以通过特定配置（如指定id、number等字段）明确主键或业务编码，以支持后续的数据处理和分析需求。

处理复杂的数据结构

现实世界中，数据结构往往复杂。例如，下述JSON展示了一个多级结构：

{
  "code": 0,
  "message": "",
  "total_count": 1,
  "trades": [
    {
      "trade_id": "168498",
      ...
      ...

默认情况下，平台会遍历trades数组下每个对象并独立存储。但对于如上例中的goods_list数组，平台提供了拍扁功能，将嵌套结构转化为独立记录行。这样，即使是复杂的多级结构也能被有效地存储和处理。

数据存储结构详解

核心数据存储（ADATA）

每个集成方案的核心数据被存储在名为{{方案id}}_ADATA的Collection中。此处不仅包含业务核心内容，还记录了状态、响应等信息。

{
  "_id":"65228287911dac2fbd2e551e",
  ...
}

• _id: 数据记录唯一标识符。
• id: 主键ID。
• number: 编号。
• content: 实际业务信息。
• status: 当前处理状态，如0表示等待处理，1表示重复等。
• relation_id: 跟踪关联其他记录ID。
• response: 平台响应内容。
• response_at: 响应时间戳。 ...

运行日志存储（LOG）

为了详细记录执行细节和状态变化，设计了名为{{方案id}}_LOG的Collection来保存运行日志。这些日志对于问题诊断和性能优化至关重要。

{
  "_id":"6516600ef94af3187d5efd2c",
...
}

• _id: 日志唯一标识符。
• text: 日志文本信息，如“建立连接”。
• content: 日志具体内容。 ...

这就是轻易云数据集成平台的数据存储机制，通过这种方式，我们能够确保高效、安全且准确地进行各种复杂场景下的数据集成。