大家是否遇见过一种很奇怪的问题,那就是ETL中最后输出节点预览数据与已经输出节点数据集数据不一致(一般都是缺数据),或者明细数据出现不一致的情况,这种问题遇到的时候起初会很让人摸不着头脑,有一种“我那么大个数据,哪儿去了???”
那么这类问题的可以怎么着手排查呢
1、首先进入该ETL页面,确定该ETL有没有修改过逻辑,有没有运行过;
如果修改过,出现这种情况的话一定只是保存了没运行,这就需要找到修改者或者点击运行;
2、若没有修改过逻辑,正常运行的话,首先在ETL的输入数据集节点,看一下是否设置了数据筛选;
因为在ETL输入节点处的筛选只对ETL处理过程中生效,预览节点的时候筛选数据,在输出数据集的时候是全量输出的;
一般设置了的对应输入数据集的标会亮着一个筛选符号
3、查一下ETL中是否有去重节点,因为BI的去重是随机的,ETL每运行一次,就有可能结果不一致;
(很坑所以慎用ETL去重节点,可以在卡片里设置去重或者数据在抽取的时候设置去重主键)