数据管理里出现了大量的重复数据

重复数据的定义

• 没有拍扁明细时，重复数据是指源平台获取的相同单据编号或ID的数据。
• 在拍扁明细后，重复数据则指明细行ID相同的数据。

产生重复数据的主要原因：错误的主键设置

以下情况下容易产生重复数据：

1. 时间参数未过滤：请求调度者重复请求源平台的数据，通常是因为时间轮询条件覆盖了上一个请求队列的部分范围，或没有对时间参数进行过滤。

2. 主键设置不准确：

   • 请求源平台后返回的数据中不存在主键指定的字段，这时会用随机数代替主键字段，导致数据重复。
   • 主键设置为源平台数据中的变量（如时间变量），导致数据重复。
   • 主键设置拼接了随机数，导致数据重复。