让决策更智能
新一代智能数据分析平台

同环比月末对比问题

观小数发表于:2020年11月05日 18:37:26更新于:2022年04月26日 16:12:11

【优化前】

月同比表现会出现1对多的情况 ,比如 3月30日和3月31日,都对应4月30日,结果4月30日出现了两条数据


0015fa3d52f60b535d81f35a922f425


【优化后】

按照“当前日期 -1 months”的规则去找对比日期。

注意:按照上面这个规则,spark 默认是月末对齐,mysql ,PG等是日期对齐,其他数据库也各有规则。

guanindex数据集、文件数据集等按照spark规则处理,直连数据集按照各自数据库的规则处理。


0015fa3d4ee49f1fc4b17a49d88c290


小结:

优化的逻辑是:

spark 默认是月末对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月31号数据),guanindex数据集、文件数据集、ETL输出数据集等按照spark规则处理;

直连数据集按照各自数据库的规则处理,比如mysql和clickhouse是日期对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月30号数据)



    您需要登录后才可以回复