让决策更智能
新一代智能数据分析平台

ETL管理

观远产品部发表于:2021年03月20日 22:48:06更新于:2021年03月20日 23:23:19

Smart ETL整体概览

对Smart ETL的管理分为两块:

  • 输出前管理:Smart ETL的编辑与设置,主要体现在编辑界面与详情界面

  • 输出与维护:运行后输出数据集以及后续的维护

进入数据中心—智能ETL,可查看有对应权限的Smart ETL,列表中有简要的信息如:“输入/输出”、“最近修改时间”、“最近运行时间”、“上次运行时长”以及编辑、运行等操作。    

001605609f960fc3dcb036c3026851b

点击ETL所在行后面的“···”按钮可以显示具体的操作项:查看运行记录、另存为、移动至、删除。

重点操作项的概念解释 

  • 详情:点击ETL所在行,进入详情界面,查看此ETL的详细信息。在右上角同样有运行、查看运行记录等操作入口。

  • 编辑:进入ETL的编辑界面。

  • 运行:点击运行,初次运行会生成“输出数据集”,再次运行能按照现在的逻辑更新输出数据集。

Smart ETL详情页面

点击进入目标ETL的详情界面,可以看到两个页签:    

  • 数据集,显示所有的输入输出数据集,点击各数据集可以跳转其预览界面    

00160560a60cd627b2ea3c4052c99ef

  • ETL更新,更新方式有手动、定时、勾选的数据集更新后

00160560a90eccc0c46e60bf9594055

勾选的数据集更新后:显示所有输入数据集,勾选/取消勾选后,点击“确定”按钮,可以更改当前数据流更新的触发条件。

触发条件可以选择“任何一个勾选的数据集更新后都会触发ETL”或者“所有勾选的数据集都更新后触发ETL”。

00160560abd691f55f6dea2d2a373b0

运行与维护

Smart ETL保存后,需要运行才可以输出数据集;上面两个小节已对如何“运行”进行了介绍,用户可以直接去ETL中找到对应的ETL处理流运行,也可进入详情界面再运行。

与“运行”相关的意义与要点:

1. 只有通过运行,才可以输出数据集

2. 在必要的时候,可手动更新输出数据集

3. 运行失败,则表明该ETL处理流存在问题,需要进一步做排查、完善

4. 自动运行可以使得从输入数据集到输出数据集的自动执行

5. 对运行记录的统计,可对后续的ETL维护工作提供帮助

6. 对于有多个输入数据源的ETL,若选择“勾选的数据集”来触发更新,建议选定最晚更新时间的输入数据源来进行触发。

Smart ETL所有者转移 

每个ETL代表了一个独立的数据加工流程,只能由其创建者维护,必要时可以将其转移给其他用户,但创建者本人则同时失去管理权限。    

00160560b0b97358d400ebaf4b96d78


    您需要登录后才可以回复