重复数据处理方法

什么是重复数据？

在源平台中，如果单据编号或ID相同，这些数据就被视为重复。对于已经拍扁的数据来说，明细行ID相同的数据也是重复的。

产生原因

主键设置错误

• 时间参数重叠：请求调度者未正确设置时间参数，导致新请求覆盖了前一次请求的数据。
• 主键字段缺失：当源数据没有返回主键字段时，使用随机数代替会引发数据重复的问题。
• 基于时间变量的主键：将时间变量作为主键容易造成数据重复。
• 主键包含随机数：在主键中拼接随机数，会增加数据重复的风险。

解决方案

清理重复数据

首先，需要清除数据管理中的所有重复数据。

优化主键设置

修改请求调度者的主键参数设置，确保其唯一性和准确性。

调整参数范围

重新设定参数范围，以避免时间参数重叠，并重新生成请求队列以准确抓取所需的数据。

相关链接