物联网中的数据分析任务创建方法、装置及存储介质.pdf

《物联网中的数据分析任务创建方法、装置及存储介质.pdf》由会员分享，可在线阅读，更多相关《物联网中的数据分析任务创建方法、装置及存储介质.pdf（27页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911405989.3 (22)申请日 2019.12.31 (71)申请人 远景智能国际私人投资有限公司 地址 新加坡上坡大桥科学公园2大道01-03 申请人 上海远景科创智能科技有限公司 (72)发明人 何嘉庆许景楠郑伊翎赵宏 (74)专利代理机构 北京三高永信知识产权代理 有限责任公司 11138 代理人 宁立存 (51)Int.Cl. G06F 8/38(2018.01) G16Y 10/75(2020.01) (54)发明名称 物联网中的数据分析任务创建方法、 装。

2、置及 存储介质 (57)摘要 本申请公开了一种物联网中的数据分析任 务创建方法、 装置及存储介质， 涉及物联网技术 领域。 所述方法包括： 显示可视化的数据分析任 务的创建界面， 该创建界面上显示有算子备选区 以及算子编辑区， 响应于接收到基于算子编辑区 对至少两个目标数据处理算子的用户操作， 根据 用户操作对各个目标数据处理算子进行编辑， 得 到各个目标数据处理算子的执行顺序和执行参 数， 根据各个目标数据处理算子的执行顺序和执 行参数生成数据分析任务。 通过上述方法， 使得 在数据分析任务开发过程中， 将数据分析任务中 的计算步骤算子化， 并利用可视化的创建界面进 行数据分析任务的构建， 。

3、提高了数据分析任务的 开发效率。 权利要求书2页 说明书16页 附图8页 CN 111552470 A 2020.08.18 CN 111552470 A 1.一种物联网中的数据分析任务创建方法， 其特征在于， 所述方法包括： 显示可视化的数据分析任务的创建界面， 所述创建界面上显示有算子备选区以及算子 编辑区， 所述算子备选区提供有n种数据处理算子， n为正整数， 所述数据处理算子用于按照 对应的处理逻辑对输入的数据进行处理， 其中， 所述数据是能源类物联网设备输入的数据； 响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作， 根据所 述用户操作对各个所述目标数据处理算子进行。

4、编辑， 得到各个所述目标数据处理算子的执 行顺序和执行参数， 所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理 算子； 根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务。 2.根据权利要求1所述的方法， 其特征在于， 所述算子编辑区包括算子组合区和参数编 辑区， 所述参数编辑区中提供有算子参数设置控件。 3.根据权利要求2所述的方法， 其特征在于， 所述响应于接收到基于所述算子编辑区对 至少两个目标数据处理算子的用户操作， 根据所述用户操作对所述目标数据处理算子进行 编辑， 得到各个所述目标数据处理算子的执行顺序和执行参数， 包括： 在接收到基于所述算子组合区对各个。

5、所述目标数据处理算子的顺序编排操作后， 根据 各个所述目标数据处理算子在所述算子组合区中的连接关系， 得到各个所述目标数据处理 算子的执行顺序； 在接收到基于所述参数编辑区对各个所述目标数据处理算子的参数设置操作后， 根据 所述参数设置操作对各个所述目标数据处理算子进行参数设置， 得到所述各个所述目标数 据处理算子的执行参数。 4.根据权利要求3所述的方法， 其特征在于， 所述顺序编排操作包括选择操作、 移动操 作以及删除操作中的至少一种； 所述方法还包括： 响应于接收到基于所述算子组合区对所述目标数据处理算子的选择操作， 根据所述选 择操作在所述算子组合区中的所述数据分析任务中增加所述目标数。

6、据处理算子； 响应于接收到基于所述算子组合区对所述目标数据处理算子的移动操作， 根据所述移 动操作在所述算子组合区中的所述数据分析任务中移动所述目标数据处理算子的位置； 响应于接收到基于所述算子组合区对所述目标数据处理算子的删除操作， 根据所述删 除操作在所述算子组合区中的所述数据分析任务中删除所述目标数据处理算子。 5.根据权利要求1所述的方法， 其特征在于， 所述数据处理算子包括资产主数据算子、 数据计算算子、 数据质量算子以及电量计算算子中的至少一种。 6.根据权利要求1所述的方法， 其特征在于， 所述创建界面中还包括校验控件； 所述方法还包括： 响应于接收到基于所述校验控件的校验操作，。

7、 根据预先设置的数据分析任务合法性校 验规则对所述数据分析任务进行合法性校验； 其中， 所述合法性校验包括对所述数据分析任务中各个数据处理算子的执行参数进行 合法性校验， 以及， 对所述数据分析任务中各个数据处理算子之间的组合搭配进行合法性 校验中的至少一种。 7.根据权利要求1所述的方法， 其特征在于， 所述创建界面中还包括预览控件； 所述方法还包括： 权利要求书 1/2 页 2 CN 111552470 A 2 接收预览配置信息， 所述预览配置信息用于验证所述数据分析任务的输入数据和输出 数据是否正常； 响应于接收到基于所述预览控件的预览操作， 基于所述预览配置信息运行所述数据分 析任务。。

8、 8.一种物联网中的数据分析任务创建装置， 其特征在于， 所述装置包括： 显示模块， 用于显示可视化的数据分析任务的创建界面， 所述创建界面上显示有算子 备选区以及算子编辑区， 所述算子备选区提供有n种数据处理算子， n为正整数， 所述数据处 理算子用于按照对应的处理逻辑对输入的数据进行处理， 其中， 所述数据是能源类物联网 设备输入的数据； 编辑模块， 用于响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用 户操作， 根据所述用户操作对各个所述目标数据处理算子进行编辑， 得到各个所述目标数 据处理算子的执行顺序和执行参数， 所述目标数据处理算子是所述n种数据处理算子中被 选择的数据。

9、处理算子； 生成模块， 用于根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析 任务。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器； 所述存储器中 存储有至少一条指令、 至少一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段 程序、 所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的物 联网中的数据分析任务创建方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令、 至 少一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或指令 集由处理器加载并执行以实现如权利要。

10、求1至7任一所述的物联网中的数据分析任务创建 方法。 权利要求书 2/2 页 3 CN 111552470 A 3 物联网中的数据分析任务创建方法、 装置及存储介质 技术领域 0001 本申请实施例涉及物联网技术领域， 特别涉及一种物联网中的数据分析任务创建 方法、 装置及存储介质。 背景技术 0002 随着物联网技术的大规模普及， 物与物、 人与物之间的信息交互日趋频繁， 在信息 交互的过程中， 往往有许多数据源连续产生的数据汇集数据分析平台， 以对这些数据进行 分析， 这些数据称为流数据。 0003 在相关技术中， 物联网数据分析平台的搭建往往需要很长的开发和调试周期， 需 要专业的开发人。

11、员通过开发者的工具构建数据分析任务， 以实现对流数据的分析。 0004 然而， 在上述相关技术中， 由于开发者工具的使用， 需要开发者具有较为专业的代 码编辑能力， 需要较长时间的知识学习和经验积累才能顺利完成该平台搭建的过程， 限制 了数据分析任务的开发效率。 发明内容 0005 本申请实施例提供了一种物联网中的数据分析任务创建方法、 装置及存储介质， 能够简化物联网场景下的数据分析任务的开发进程， 满足普通用户对数据分析任务进行可 视化开发的需求。 所述技术方案如下： 0006 一方面， 提供了一种物联网中的数据分析任务创建方法， 所述方法包括： 0007 显示可视化的数据分析任务的创建界。

12、面， 所述创建界面上显示有算子备选区以及 算子编辑区， 所述算子备选区提供有n种数据处理算子， n为正整数， 所述数据处理算子用于 按照对应的分析逻辑对输入的数据进行处理， 其中， 所述数据是能源类物联网设备输入的 数据； 0008 响应于接收到基于所述算子编辑区对至少两个目标数据处理算子的用户操作， 根 据所述用户操作对所述目标数据处理算子进行编辑， 得到各个所述目标数据处理算子的执 行顺序和执行参数， 所述目标数据处理算子是所述n种数据处理算子中被选择的数据处理 算子； 0009 根据各个所述目标数据处理算子的执行顺序和执行参数生成数据分析任务。 0010 另一方面， 提供了一种物联网中的。

13、数据分析任务创建装置， 所述装置包括： 0011 显示模块， 用于显示可视化的数据分析任务的创建界面， 所述创建界面上显示有 算子备选区以及算子编辑区， 所述算子备选区提供有n种数据处理算子， n为正整数， 所述数 据处理算子用于按照对应的处理逻辑对输入的数据进行处理， 其中， 所述数据是能源类物 联网设备输入的数据； 0012 编辑模块， 用于响应于接收到基于所述算子编辑区对至少两个目标数据处理算子 的用户操作， 根据所述用户操作对各个所述目标数据处理算子进行编辑， 得到各个所述目 标数据处理算子的执行顺序和执行参数， 所述目标数据处理算子是所述n种数据处理算子 说明书 1/16 页 4 C。

14、N 111552470 A 4 中被选择的数据处理算子； 0013 生成模块， 用于根据各个所述目标数据处理算子的执行顺序和执行参数生成数据 分析任务。 0014 可选的， 所述算子编辑区包括算子组合区和参数编辑区， 所述参数编辑区中提供 有算子参数设置控件。 0015 可选的， 所述编辑模块， 包括： 0016 第一获取子模块， 用于在接收到基于所述算子组合区对各个所述目标数据处理算 子的顺序编排操作后， 根据各个所述目标数据处理算子在所述算子组合区中的连接关系， 得到各个所述目标数据处理算子的执行顺序； 0017 第二获取子模块， 用于在接收到基于所述算子组合区对各个所述目标数据处理算 子。

15、的参数设置操作后， 根据所述参数设置操作对各个所述目标数据处理算子进行参数设 置， 得到所述各个所述目标数据处理算子的执行参数。 0018 可选的， 所述顺序编排操作包括选择操作、 移动操作以及删除操作中的至少一种； 所述装置还包括： 0019 增加模块， 用于响应于接收到基于所述算子组合区对所述目标数据处理算子的选 择操作， 根据所述选择操作在所述算子组合区中的所述数据分析任务中增加所述目标数据 处理算子； 0020 移动模块， 用于响应于接收到基于所述算子组合区对所述目标数据处理算子的移 动操作， 根据所述移动操作在所述算子组合区中的所述数据分析任务中移动所述目标数据 处理算子的位置； 0。

16、021 删除模块， 用于响应于接收到基于所述算子组合区对所述目标数据处理算子的删 除操作， 根据所述删除操作在所述算子组合区中的所述数据分析任务中删除所述目标数据 处理算子。 0022 可选的， 所述数据处理算子包括资产主数据算子、 数据计算算子、 数据质量算子以 及电量计算算子中的至少一种。 0023 可选的， 所述创建界面中还包括校验控件； 0024 所述装置还包括： 0025 校验模块， 用于响应于接收到基于所述校验控件的校验操作， 根据预先设置的数 据分析任务合法性校验规则对所述数据分析任务进行合法性校验； 0026 其中， 所述合法性校验包括对所述数据分析任务中各个数据处理算子的执行。

17、参数 进行合法性校验， 以及， 对所述数据分析任务中各个数据处理算子之间的组合搭配进行合 法性校验中的至少一种。 0027 可选的， 所述创建界面中还包括预览控件； 0028 所述装置还包括： 0029 第二接收模块， 用于接收预览配置信息， 所述预览配置信息用于验证所述数据分 析任务的输入数据和输出数据是否正常； 0030 第二运行模块， 用于响应于接收到基于所述预览控件的预览操作， 基于所述预览 配置信息运行所述数据分析任务。 0031 另一方面， 提供了一种计算机设备， 所述计算机设备包括处理器和存储器， 所述存 说明书 2/16 页 5 CN 111552470 A 5 储器中存储有至。

18、少一条指令、 至少一段程序、 代码集或指令集， 所述至少一条指令、 所述至 少一段程序、 所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的物联 网中的数据分析任务创建方法。 0032 另一方面， 提供了一种计算机可读存储介质， 所述存储介质中存储有至少一条指 令、 至少一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或 指令集由处理器加载并执行以实现如上述方面所述的物联网中的数据分析任务创建方法。 0033 本申请提供的技术方案可以包括以下有益效果： 0034 通过在可视化的数据分析任务的创建界面中， 根据接收到的基于算子编辑区对至 少两个目标数据。

19、算子的用户操作， 对各个目标数据处理算子进行编辑， 得到各个目标数据 处理算子的执行逻辑和执行参数， 根据各个目标数据处理算子的执行顺序和执行参数生成 数据分析任务， 使得在数据分析任务开发过程中， 将数据分析任务中的计算步骤算子化， 并 利用可视化的创建界面进行数据分析任务的构建， 提高了数据分析任务的开发效率。 0035 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本申请。 附图说明 0036 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本申请的实施 例， 并与说明书一起用于解释本申请的原理。 0037 图1示出了本申请一个示例性实施例。

20、提供的物联网中的数据分析任务创建方法的 流程图； 0038 图2示出了本申请一个示例性实施例提供的物联网中的数据分析任务创建方法的 流程图； 0039 图3示出了本申请一示例性实施例示出的数据分析任务的创建界面的示意图； 0040 图4示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算 子的示意图； 0041 图5示出了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算 子的示意图； 0042 图6示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意 图； 0043 图7示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意 图； 0044 图8。

21、示出了本申请一示例性实施例提供的物联网中的数据分析任务创建方法的示 意图； 0045 图9示出了本申请一示例性实施例提供的物联网中的数据分析任务创建装置的方 框图； 0046 图10是根据一示例性实施例示出的计算机设备的结构框图； 0047 图11是根据一示例性实施例示出的计算机设备的结构框图。 说明书 3/16 页 6 CN 111552470 A 6 具体实施方式 0048 这里将详细地对示例性实施例进行说明， 其示例表示在附图中。 下面的描述涉及 附图时， 除非另有表示， 不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例 中所描述的实施方式并不代表与本申请相一致的所有实施方式。

22、。 相反， 它们仅是与如所附 权利要求书中所详述的、 本申请的一些方面相一致的装置和方法的例子。 0049 应当理解的是， 在本文中提及的 “若干个” 是指一个或者多个，“多个” 是指两个或 两个以上。“和/或” ， 描述关联对象的关联关系， 表示可以存在三种关系， 例如， A和/或B， 可 以表示： 单独存在A， 同时存在A和B， 单独存在B这三种情况。 字符 “/” 一般表示前后关联对象 是一种 “或” 的关系。 0050 对于数据的分析分析， 往往需要建立相应的数据分析任务， 在物联网场景下， 流数 据的大量分析对应着大量的数据分析任务的建立， 本申请提供一种数据分析任务创建方 法， 可。

23、以实现数据分析任务创建过程的可视化， 降低开发者门槛的同时提高了代码的重复 利用性， 减少了对开发资源的浪费。 为了便于理解， 下面对本申请涉及的几个名词进行解 释。 0051 1)可视化(Visualization) 0052 可视化是利用计算机图形学和图像分析技术， 将数据转换成图形或图像在屏幕上 显示出来， 再进行交互分析的理论、 方法和技术。 0053 2)流数据(Data stream) 0054 流数据是一组顺序、 大量、 快速、 连续到达的数据序列， 一般情况下， 数据流可被视 为一个随时间延续而无限增长的动态数据集合。 0055 流数据具有以下特点： 数据实时到达； 数据到达次。

24、序独立， 不受应用系统所控制； 数据规模宏大且不能预知其最大值； 数据一经处理， 除非特意保存， 否则不能被再次取出处 理， 或者再次提取数据代价较高。 0056 流数据在网络监控、 传感器网络、 航空航天、 气象测控和金融服务等应用领域广泛 出现， 通过对流数据研究可以进行卫星云图监测、 股市走向分析、 网络攻击判断等。 0057 3)算子 0058 算子是处理数据的一种方法。 0059 在本申请中， 算子可以是从物联网中各领域中抽取并封装的各种计算任务中共同 的、 普适的计算逻辑， 也可以是根据物联网场景中的计算任务所设计的定制算子。 支持主数 据关联聚合算法、 插补策略、 基于事件时间的。

25、时间窗口以及阈值过滤等计算。 可供开发者通 过编排算子创建流数据分析任务， 以满足更多复杂的能源类物联网场景的业务计算。 0060 4)StreamSets 0061 StreamSets是一个大数据采集工具， 数据源支持包括结构化和半/非结构化， 目标 源支持HDFS， HBase， Hive， Kudu， Cloudera Search， Elastic Search等。 它包括一个拖拽式 的可视化数据流程设计界面， 实现数据管道(Pipelines)的设计和定时任务调度。 StreamSets具有以下特点： 0062 (1)可视化界面操作， 可以在不写代码的情况下完成数据的采集和流转； 。

26、0063 (2)内置监控， 可实时查看数据流传输的基本信息和数据的质量； 0064 (3)强大的整合力， 对现有常用组件全力支持， 包括50种数据源、 44种数据操作、 46 说明书 4/16 页 7 CN 111552470 A 7 种目的地。 0065 在本申请实施例中， 利用开源的StreamSets框架作为用户开发工具， 可以使任何 无计算背景的用户通过拖拽即可创建、 管理流计算任务， 并能实时预览计算结果， 实现物联 网中数据分析任务开发的可视化。 0066 请参考图1， 其示出了本申请一个示例性实施例提供的物联网中的数据分析任务 创建方法的流程图， 该物联网中的数据分析任务创建方法。

27、可以由计算机设备执行， 该计算 机设备可以为服务器或者安装有数据分析任务可视化制作程序的终端， 如图1所示， 该物联 网中的数据分析任务创建方法可以包括以下步骤： 0067 步骤110， 显示可视化的数据分析任务的创建界面， 该创建界面上显示有算子备选 区以及算子编辑区， 该算子备选区提供有n种数据处理算子， n为正整数， 该数据处理算子用 于按照对应的处理逻辑对输入的数据进行处理， 其中， 数据是能源类物联网设备输入的数 据。 0068 可选的， 该数据分析任务用于处理物联网中的流数据， 其中， 流数据是指具有实时 性和连续性的数据。 0069 以下对物联网中的数据分析任务创建方法的说明均以。

28、数据分析任务处理的数据 为流数据进行说明。 0070 可选的， 该可视化的数据分析任务的创建界面可以是StreamSets框架提供的拖拽 式的可视化流数据分析任务设计界面， 该数据分析任务创建界面中算子备选区中的数据处 理算子是根据物联网场景设计的算子， 区别于StreamSets框架中的原始算子， 数据处理算 子是开发人员为IOT行业专门设计开发的算子， 其中， 该数据处理算子可以包括普适性算子 以及特定任务算子， 普适性算子用以处理数据分析任务中普遍适用于同类型计算的算子， 特定任务算子用以处理数据分析任务中针对特定类型计算的算子， 其中普适性算子可以包 括但不限于Group By Tag。

29、(标签分类)， Window Aggregator(窗口聚合器)算子， Python算子 等等， 特定任务算子可以包括但不限于Delta Calculate(增量计算)算子， SiteAggregator (站点聚合器)算子等等。 0071 流数据分析任务(Pipeline)一般由多个阶段和连线连接而成， 组成有序的通路， 输入该流数据分析任务的数据会通过这个通路按顺序进行有序的流转， 每一个阶段代表了 对数据进行的一次读写或者操作， 这样的流程构成了一条流数据分析任务， 一般来说， 流数 据分析任务至少包含数据源(Origin)、 数据处理器(Processor)和目标源(Destinati。

30、on)三 种类型的阶段。 0072 其中， 数据源是用于指定数据来源的阶段， 数据可以从不同的数据源中抽取， 并将 数据输出传递给后面的阶段进行后续处理。 0073 数据处理器， 是用于进行数据转化的阶段， 在数据处理器中对输入的数据进行规 范化或者流转处理， 比如过滤， 分流， 计算等等。 0074 目标源， 是用于数据存储的阶段， 用于将数据处理器处理完成后的数据存入目标 系统或者转入另一个流数据分析任务进行再次处理。 0075 在本申请实施例中， 可以通过Redis、 阿里云时间序列数据库(Time Series Database， TSDB)、 Kafka等免费高性能的存储方法进行数据。

31、存储， 以支持实时计算的中间状 态和计算结果存储。 说明书 5/16 页 8 CN 111552470 A 8 0076 步骤120， 响应于接收到基于算子编辑区对至少两个目标数据处理算子的用户操 作， 根据用户操作对各个目标数据处理算子进行编辑， 得到各个目标数据处理算子的执行 顺序和执行参数， 目标数据处理算子是n种数据处理算子中被选择的数据处理算子。 0077 由于一条完整的数据分析任务需要由数据源、 目标源和数据处理器组成， 由于数 据源和目标源的不可缺少性， 因此在数据分析任务中至少需要包含有输入数据的数据源算 子和输出数据的目标源算子。 0078 而组成数据处理器的算子安置于数据源。

32、算子与目标源算子之间， 以对数据源算子 中输入的数据进行处理后输出到目标源算子中， 通过目标源算子输出该数据分析任务。 0079 数据源和目标源可以通过具有数据源和目标源功能的算子建立， 或者， 通过在数 据分析任务创建界面中设置相应的控件， 当接收到基于相应控件的用户操作时， 在算子组 合区中设置数据源和目标源算子。 0080 当该数据分析任务创建界面中设置有建立数据源和目标源的控件时， 可选的， 该 方法还包括： 0081 接收建立数据分析任务的资源管理器的用户操作， 根据该用户操作在数据分析任 务的创建界面添加数据源算子和目标源算子， 其中该资源管理器可以是一个通用资源管理 系统， 可为。

33、上层应用提供统一的资源管理和调度， 例如， 该资源管理器可以是新的Hadoop (Hadoop Distributed File System， 海杜普)资源管理器Apache Yarn(Yet Another Resource Negotiator， yarn)； 0082 对数据源算子和目标源算子分别进行参数设置， 以使得数据源算子能够获取指定 数据源中的数据， 目标源算子能够将数据处理器处理完成后的数据存入目标系统或者转入 另一个流数据分析任务进行再次处理。 0083 对构成数据处理器的数据处理算子进行编辑的阶段即为设置数据处理器的阶段， 构成数据处理器的数据处理算子位于数据源控件和目标。

34、源控件之间， 以和数据源算子与目 标源算子一起组成完整的流数据分析任务。 0084 可选的， 该算子备选区中包含具有建立数据源和目标源功能的算子， 可以通过将 算子备选区中具有建立数据源和目标源功能的算子添加到算子组合区域以形成一条数据 分析任务的框架。 0085 当利用算子备选区的具有建立数据源和目标源功能的算子进行数据分析任务搭 建时， 则需要接收到基于算子编辑区对至少两个目标数据处理算子的用户操作， 根据用户 操作对各个目标数据处理算子进行编辑， 得到各个数据处理算子的执行顺序和执行参数， 其中至少需要包括数据源算子以及目标源算子， 以保证数据分析任务中数据的流通性。 0086 步骤13。

35、0， 根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。 0087 对各个目标处理算子的执行顺序和执行参数的设置后所形成的数据处理器， 与数 据源和目标源共同组成了数据分析任务。 0088 综上所述， 本申请实施例中提供的物联网中的数据分析任务创建方法， 通过在可 视化的数据分析任务的创建界面中， 根据接收到的基于算子编辑区对至少两个目标数据算 子的用户操作， 对各个目标数据处理算子进行编辑， 得到各个目标数据处理算子的执行逻 辑和执行参数， 根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务， 使 得在数据分析任务开发过程中， 将数据分析任务中的计算步骤算子化， 并利用。

36、可视化的创 说明书 6/16 页 9 CN 111552470 A 9 建界面进行数据分析任务的构建， 提高了数据分析任务的开发效率。 0089 请参考图2， 其示出了本申请一个示例性实施例提供的物联网中的数据分析任务 创建方法的流程图， 该物联网中的数据分析任务创建方法可以由计算机设备执行， 该计算 机设备可以为服务器或者安装有数据分析任务可视化制作程序的终端， 如图2所示， 该物联 网中的数据分析任务创建方法可以包括以下步骤： 0090 步骤210， 显示可视化的数据分析任务的创建界面， 该创建界面上显示有算子备选 区以及算子编辑区， 该算子备选区提供有n种数据处理算子， n为正整数， 该。

37、数据处理算子用 于按照对应的分析逻辑对输入的数据进行处理， 其中， 数据是能源类物联网设备输入的数 据。 0091 可选的， 该算子编辑区包括算子组合区和参数编辑区， 参数编辑区中提供有算子 参数设置控件。 请参考图3， 其示出了本申请一示例性实施例示出的数据分析任务的创建界 面的示意图， 如图3所示， 在图3所示的数据分析任务的创建界面中， 区域310为算子组合区， 区域320为参数编辑区， 区域330为算子被选区， 在算子备选区中可以包含有数据处理算子 库， 该数据处理算子库中可以包含有多个构建不同物联网场景的数据分析任务所需的数据 处理算子， 针对不同的构建需求， 可以对数据处理算子库进。

38、行选择， 简化了数据处理算子的 查找难度。 0092 在一种可能的情况下， 算子备选区中提供算子检索功能， 用户可以通过在指定搜 索框中输入相应的搜索条件， 便可在所有数据处理算子库中搜索获得相应的数据处理算 子。 0093 数据处理算子用于按照对应的处理逻辑对输入的数据进行处理， 比如， Http Lookup算子可以用于从网络请求中获取数据， Group By Tag算子可以根据输入的数据自动 生成标签， 并将输入数据按照标签分组， Window Aggreator算子可以基于时间事件进行窗 口聚合等等。 0094 其中， 本申请中所述的数据处理算子用以处理能源类物联网设备输入的数据。 可。

39、 选的， 数据处理算子包括资产主数据算子、 数据计算算子、 数据质量算子以及电量计算算子 中的至少一种。 0095 可选的， 按照数据处理算子所对应的不同功能或应用场景， 将数据处理算子分为 资产主数据算子、 数据计算算子、 数据质量算子以及电量计算算子等， 其中资产主数据算子 又包括多种对应于该领域的特定功能算子， 比如， 数据质量算子可以包括： 用以判断迟到数 据， 并对迟到数据点进行数据质量打标的Late Point Tagger(迟到点判断)算子、 对数据进 行阈值判断的Off Limit Tagger(阈值判断)算子。 此处不对各个领域的算子进行列举。 步 骤220， 在接收到基于算。

40、子组合区对各个目标数据处理算子的顺序编排操作后， 根据各个目 标数据处理算子在算子组合区中的连接关系， 得到各个目标数据处理算子的执行顺序。 0096 可选的， 该顺序编排操作包括选择操作、 移动操作以及删除操作中的至少一种。 0097 响应于接收到基于算子组合区对目标数据处理算子的选择操作， 根据选择操作在 算子组合区中的数据分析任务中增加目标数据处理算子； 0098 在一种可能的情况下， 基于算子组合区对目标数据处理算子的选择操作可以是点 击算子备选区中的目标处理算子， 该目标处理算子接收到用户的点击操作时， 当该算子组 合区中只显示有数据源算子和目标源算子时， 则将被选择的数据处理算子添。

41、加到数据源算 说明书 7/16 页 10 CN 111552470 A 10 子和目标源算子之间； 在数据源算子和目标源算子之间已经设置有数据处理算子的前提 下， 则将被选择的数据处理算子添加到该数据分析任务中最后一个数据处理算子之后， 目 标源算子之前。 请参考图4， 其示出了本申请一示例性实施例示出的在数据分析任务中增加 目标数据处理算子的示意图， 如图4所示， 图4中的A部分示出了流数据分析任务中未添加目 标数据处理算子的示意图， 图4中的B部分示出了在流数据分析任务中添加目标数据处理算 子的示意图， 响应于用户基于目标数据处理算子的选择操作， 即对算子1的选择操作， 在未 添加数据处理。

42、算子的数据源算子与目标源算子之间， 添加算子1。 或者， 请参考图5， 其示出 了本申请一示例性实施例示出的在数据分析任务中增加目标数据处理算子的示意图， 如图 5所示， 图5中的A部分示出了流数据分析任务中已经添加有数据处理算子的示意图， 图5中 的B部分示出了在流数据分析任务中添加目标数据处理算子的示意图， 在流数据分析任务 中已经添加有数据处理算子的前提下， 即图5中的流数据分析任务中已经添加有算子1、 算 子2和算子3的基础上， 响应于用户基于目标数据处理算子的选择操作， 即算子4的选择操 作， 将算子4添加在流数据分析任务中的最后一个算子之后， 即算子3之后， 目标源之前的位 置。 。

43、0099 响应于接收到基于算子组合区对目标数据处理算子的移动操作， 根据移动操作在 算子组合区中的数据分析任务中移动目标数据处理算子的位置。 0100 对目标处理算子的移动操作可以通过拖动操作完成， 其中， 该拖动操作可以直接 将目标处理算子从算子备选区域选择出来并放置在数据分析任务中的任意位置， 或者， 在 一种可能的情况下， 也可以将目标处理算子放置在算子组合区的任意位置， 或者， 也可以基 于图4或图5所示的对算子的选择操作， 在数据分析任务中调整算子之间的位置。 请参考图 6， 其示出了本申请一示例性实施例示出的对目标数据处理算子进行移动的示意图， 如图6 所示， 图6中的A部分是用户。

44、通过拖动操作对目标数据处理算子进行选择并移动的示意图， 图6中的B部分是用户通过拖动操作对目标数据处理算子进行选择并移动的结果的示意图， 用户通过对算子1的拖动操作， 选中目标数据处理算子， 即算子1， 并将其放置在数据分析任 务的数据源算子与目标源算子中间， 或者用户也可以将目标处理算子放置在算子组合区的 任意位置(图中未示出)。 或者， 请参考图7， 其示出了本申请一示例性实施例示出的对目标 数据处理算子进行移动的示意图， 如图7所示， 图7中的A部分是用户通过拖动操作对目标数 据处理算子进行选择并移动的示意图， 图7中的B部分是用户通过拖动操作对目标数据处理 算子进行选择并移动的结果的示。

45、意图， 用户通过对算子3进行拖动操作， 将算子3移动到数 据分析任务中的原算子1的位置， 并将其他数据处理算子顺序向后排列。 在一种可能的情况 下， 用户也可以将已经处于数据分析任务中的数据处理算子移动到算子组合区的空白区域 (图中未示出)。 0101 响应于接收到基于算子组合区对目标数据处理算子的删除操作， 根据删除操作在 算子组合区中的数据分析任务中删除目标数据处理算子。 0102 其中， 删除操作可以是用户将目标数据处理算子拖动到指定区域进行删除， 该区 域可以是具有 “垃圾桶” 或者 “回收站” 标志的删除区域， 或者， 可以是通过选中目标数据处 理算子， 在选中目标数据处理算子之后出。

46、现的选项框中， 选择删除选项， 从而将目标数据处 理算子从数据分析任务中删除。 0103 步骤230， 在接收到基于参数编辑区对各个目标数据处理算子的参数设置操作后， 说明书 8/16 页 11 CN 111552470 A 11 根据参数设置操作对各个目标数据处理算子进行参数设置， 得到各个目标数据处理算子的 执行参数。 0104 当用户操作指示选中数据处理任务中的目标数据处理算子时， 在参数编辑区会对 应显示该目标数据处理算子所对应的算子参数设置控件， 以及该算子参数设置控件所对应 的应设置的算子参数内容， 通过对算子参数设置区域的选择来对该目标数据处理算子的各 项参数进行配置， 以完善该。

47、目标数据处理算子的逻辑功能。 其中， 不同数据处理算子所对应 的算子参数设置控件和算子参数设置内容不同， 根据不同数据处理算子所要实现的功能进 行相应的设置。 0105 对目标数据处理算子的参数设置可以在对目标数据处理算子的执行顺序进行设 置之后进行设置， 也可以在数据处理任务的执行顺序建立完成后再对数据处理任务的数据 处理算子进行设置， 也就是说， 对目标数据处理算子的参数设置可以发生在数据处理任务 建立的各个时间节点， 本申请对此不作限制。 0106 步骤240， 根据各个目标数据处理算子的执行顺序和执行参数生成数据分析任务。 0107 在设置好各个目标数据处理算子的执行顺序后， 需要将各。

48、个目标数据处理算子通 过连接线进行连接， 以表示相邻两个数据处理算子之间存在数据交互， 同时需要将数据处 理算子所在的数据处理器与数据源和目标源进行顺序连接， 即以数据源连接数据处理器， 数据处理器连接目标源的顺序进行连接， 以保证数据处理任务中的数据传输， 在配置好数 据处理任务中各个目标数据处理算子的参数以及数据源中数据的来源， 以及目标源的存储 位置后， 即可建立一条数据处理任务。 0108 可选的， 该创建界面中包括有校验控件， 当接收到基于校验控件的校验操作后， 根 据预先设置的数据分析任务合法性校验规则对数据分析任务进行合法性校验， 其中， 该合 法性校验包括对数据分析任务中各个数。

49、据处理算子的执行参数进行合法性校验， 以及， 对 数据分析任务中各个数据处理算子之间的组合搭配进行合法性校验中的至少一种。 比如， 对于某一算子， 在数据分析任务合法性校验规则中其某一执行参数必须设置在0至100的范 围内， 但在设置时， 用户将该执行参数设置为200， 则在合法性校验过程中， 判定该执行参数 设置不合法。 并根据该执行参数不合法的性质， 对用户进行提示操作， 比如在显示界面显示 不合法提示消息， 或者通过发送不合法信息至与创建数据分析任务相连接的电子设备， 或 者， 通过发出报警声音、 语音提示等对用户进行提示。 0109 其中， 根据预先设置的数据分析任务合法性校验规则对数。

50、据分析任务进行合法性 校验的过程可以实现在数据分析任务建立过程中的各个时间节点， 且每个数据处理算子都 有对应的数据处理结果， 以便于开发者在数据分析任务的建立过程中， 能够实时对数据处 理算子之间组合配置的合法性， 以及数据处理算子的参数的合法性进行实时监控， 以便于 按照校验结果更改配置。 0110 可选的， 该创建界面中包含有预览控件， 该方法还包括在数据处理任务建立完成 后， 接收预览配置信息， 该预览配置信息用于验证数据分析任务的输入数据和输出数据是 否正常； 0111 响应于接收到基于预览控件的预览操作， 基于预览配置信息运行数据分析任务。 0112 在数据处理任务建立完成之后， 。