让决策更智能
新一代智能数据分析平台

常见问题排查:出现ETL中最后输出节点预览数据与已经输出节点数据集数据不一致(一般都是缺数据)

观小析发表于:2022年02月21日 17:43:49更新于:2022年04月26日 14:58:29

大家是否遇见过一种很奇怪的问题,那就是ETL中最后输出节点预览数据与已经输出节点数据集数据不一致(一般都是缺数据),或者明细数据出现不一致的情况,这种问题遇到的时候起初会很让人摸不着头脑,有一种“我那么大个数据,哪儿去了???”

那么这类问题的可以怎么着手排查呢

1、首先进入该ETL页面,确定该ETL有没有修改过逻辑,有没有运行过;

如果修改过,出现这种情况的话一定只是保存了没运行,这就需要找到修改者或者点击运行;

00162135c1fbae39c3a2bb3e9806448

2、若没有修改过逻辑,正常运行的话,首先在ETL的输入数据集节点,看一下是否设置了数据筛选;

00162135c5e42ec6fd5ecafd904abfa

因为在ETL输入节点处的筛选只对ETL处理过程中生效,预览节点的时候筛选数据,在输出数据集的时候是全量输出的;

一般设置了的对应输入数据集的标会亮着一个筛选符号

00162135c98a52257ff71c5bc22e2ad

3、查一下ETL中是否有去重节点,因为BI的去重是随机的,ETL每运行一次,就有可能结果不一致;

(很坑所以慎用ETL去重节点,可以在卡片里设置去重或者数据在抽取的时候设置去重主键)

00162135ecfab48b75c8c65d7b92f45



    您需要登录后才可以回复