让决策更智能
新一代智能数据分析平台

从Web Service接入数据

观远产品部发表于:2021年03月04日 10:10:56更新于:2021年03月25日 21:13:55

观远数据支持将API数据通过Web Service进行接入,并可自定义灵活配置API返回数据的解析规则和选取所需字段,最后并利用连接创建Web Service数据集。

功能入口

点击导航栏的“数据中心”,进入数据管理中心。点击右上角的“新建数据集”按钮,选择Web Service。

001604041f730f14230e4c69baeedd1

创建Web Service数据集

创建Web Service数据集步骤如下:

    1)创建数据连接

    2)配置数据解析规则

    3)配置数据更新周期并指定数据集的名称以及保存位置。

    4)数据更新——数据更新以及增量更新等。

1.创建数据连接

首先填写Web Service的URL地址、请求方式(支持get/post,默认为get)、请求头、认证(当前只支持API密钥、Token令牌2种认证方式)、请求参数、请求体(只限json格式)。点击“发送请求”可测试连接并查看响应结果,结果包括状态码和响应消息体。

此外在请求参数的参数值和请求体的键值对中的值支持使用动态时间宏,例如在请求参数中添加参数名date和动态时间宏{{{today}}},则会在请求URL地址自动添加$request_url?date={{{today}}} ,系统将解析动态时间宏并自动填充。

001604041f7e29b4026c29b216f0a46

2.配置数据解析

测试连接成功后,可查看API的返回结构。通过使用标准的JSONPath解析JSON的规则,可输入结果字段路径(结果字段路径仅限JSON数组类型),系统将自动解析结果字段路径的1级层级(不含该路径下的嵌套的数组/对象)下所有对象的键值对(key/value)并自动展示一个勾选列表。如果需要额外添加结果字段路径下的嵌套的对象中的某一键值对,则可通过新增字段来添加。最后勾选所需字段,修改字段名称和类型,并可预览30行数据。

001604041f81c18e3e73b8d65b50878

3.配置数据更新周期并指定数据集的名称以及保存位置

接下来可为Web Service数据集设置一个合理的更新周期以及是否需要设置去重主键进行增量更新。最后为数据集指定一个方便辨识的名字,以及指定保存位置。点击“确认”后,数据集创建成功,在对应的文件夹目录下能找到对应数据集。

001604041f7e6a8a83621bf6f68b495

4.数据更新、增量更新操作

Web Service数据集创建完后,您可以在创建的数据集详情中,点击“数据更新”,更改增量更新的相关配置,同时可以手动触发数据集的更新包括覆盖旧数据和追加新数据2种方式。此外请求参数和请求体支持自定义修改,同时也支持使用动态时间宏。

001604041f7b8ad87d37e8c0eedd275

001604041f7aa86d64a82ae1ec24021


    您需要登录后才可以回复