对与服务类别相关联的混合流进行处理相关申请的交叉引用
此申请涉及在2013年4月3日提交的、名称为“修改将在多个执行环境中执行的
操作流”的国际专利申请No.PCT/US2013/035080，其通过引用被纳入本文。
背景技术
可通过不同类型的执行环境来实施对数据的操作。例如，一个执行环境可为数据
库管理系统(DBMS)环境，其中数据被存储于关系表中并接受基于数据库的操作。
作为另一个示例，执行环境可包括Map(映射)Reduce(归约)环境，该环境使用映
射任务和归约任务来实施操作。还可存在其他类型的执行环境。
附图说明
以下参照附图来进行详细说明，其中：
图1示出根据示例的用于对与服务类别相关联的混合流进行处理的方法；
图2示出根据示例的用于对多个执行环境中的资源进行管理的方法；
图3示出根据示例的用于对子流进行验证的方法；
图4示出根据示例的用于支持对与多个服务类别相关联的混合流进行管理的混合
流管理系统；
图5示出根据示例的用于对与服务类别相关联的混合流进行处理的计算机可读介
质。
具体实施方式
企事业单位(例如，商行、教育机构、政府机关等等)可依赖于报告和分析(通
常被称为“计算”)，该报告和分析对来自数据存储库的不同数据集合的数据进行整合，
并使用各种执行环境来对该数据进行操作。在一些示例中，单个分析计算可被建模为
有向图，在有向图中，起始节点为数据源，结束节点为数据目标，中间节点为数据操
作，并且弧表示数据流。这样的计算可被称为分析数据流(或简单地称为“流”)。在
其他示例中，流可能具有不同的表示(除了有向图之外)。一种利用一个以上的数据存
储库或执行环境的分析数据流被称为混合分析数据流(或简单地称为“混合流”)。作
为用于某些目的(例如，流应在最后期限之前完成，或各个流的平均响应时间不应超
过阈值等)的单元被加以管理的分析数据流的集合被称为工作负载。服务类别工作负
载管理器可被用于对与相应的服务类别相关联的流的集合进行管理。
混合流可包括在不同的执行环境中实施的操作集合。在相应的执行环境中实施的
混合流的操作集合可被称为“子流”。在混合流中可能存在被定向于单个执行环境的多
个子流。例如，单个混合流可包括被定向于第一执行环境的三个子流和被定向于第二
执行环境的两个子流。
不同类型的执行环境的示例包括以下中的至少一些：数据库管理系统(DBMS)
环境、映射归约环境、提取转换和加载(ETL)环境、数学和统计分析环境、事件信
息流处理环境或者其他执行环境。每个执行环境都可包括执行引擎和相应的数据存储
库。执行引擎可包括用于将相应的运算符应用于数据的一个或多个执行阶段，其中运
算符可针对数据进行转换或实施一些其他动作。存储库指一个或多个数据集合。执行
环境可在公共云或公共网络中使用，在该情况下，执行环境可被称为公共云执行环境。
可替代地，可在专用网络中使用的执行环境可被称为专用执行环境。
DBMS环境将数据存储在关系表中，并对关系表中的数据应用数据库运算符(例
如，连接运算符、更新运算符、合并运算符等)。映射归约环境包括可分别应用映射函
数和归约函数的映射任务和归约任务。映射任务基于相应的映射函数来对输入数据进
行处理以生成中间结果，所述映射函数用于对由映射任务实施的处理进行定义。归约
任务基于对应的归约函数将来自映射任务的中间结果作为输入分段以产生输出，所述
归约函数用于对由归约任务实施的处理进行定义。
执行环境的另一个示例包括ETL环境，该环境从一个源(或多个源)中提取数据、
转换数据、并将转换后的数据加载到目的地中。数学/统计分析环境可对数组或数据向
量实施数学运算。事件信息流处理环境可对诸如传感器数据等事件信息流实施计算。
尽管上面列出了不同执行环境的具体类型，但应注意到，在其他示例中，可使用
其他类型的执行环境来对数据实施操作。
服务类别可与目标性能目标相关联，其识别通过与服务类别相关的工作负载的执
行而被满足的一个或多个目的。性能目标也可被称为服务等级目标。性能目标的一个
示例涉及到执行时间(例如，用于执行工作负载的持续时间、或完成工作负载的目标
最后期限)。性能目标的另一个示例是资源使用目标，其可规定诸如计算资源、存储资
源或通信资源等资源的使用不应超过目标水平。在其他的示例中，可采用其他性能目
标。
混合流的执行计划规定在哪里(即目标执行环境)执行混合流的子流，并可规定
与子流的执行相关联的其他细节(如顺序)。由于执行环境中功能的重叠、操作的多个
实现细节、执行计划的目标(例如，与容错、延迟等有关的目标)等等，单个混合流
可具有多个可替代的执行计划。基于混合流的执行计划，管理系统可将混合流的子流
部署在目标执行环境中，且可协调安排混合流的执行。
可能存在与在目标执行环境中部署执行计划相关联的几个问题。首先，至少一个
执行环境的计算基础设施的状态可能已在制作执行计划的时间与实施执行计划的时间
之间发生变化。例如，执行环境可能变成过载(使得存在资源竞争)或计算基础设施
可能会遭遇故障。其次，混合流与不得不满足的性能目标相关联。在某些情况下，可
能会规定不满足性能目标的罚则。因此，管理系统应当确保实现目标性能目标。
在一些示例中，工作负载管理器可存在于单独的执行环境中，并且该工作负载管
理器可对任务的优先级、并行运行的任务的数目等进行调整，以增加单独的执行环境
中的工作负载满足相应目标的目标的可能性。但是，在单个执行环境中的工作负载管
理器可能仅作出该环境的最佳决策。这样的工作负载管理器并不知晓其他执行环境的
状态。因此，对于具有在多个不同类型的执行环境中执行的流的工作负载，工作负载
管理变得更富挑战性。
根据一些实施方式，提供混合流管理系统，用以将基于策略的混合流管理应用于
多个服务类别中的混合流。该系统可包括多个服务类别工作负载管理器(例如，针对
每个服务类别一个工作负载管理器)，以便对根据服务类别的混合流进行管理。
在一个示例方法中，可接收与多个服务类别中的一个相关联的混合流。混合流可
包括被定向于多个执行环境的多个子流。可基于标准来生成调度用以在多个执行环境
中运行子流。标准可包括一个或多个与混合流的服务类别相关联的目标、多个执行环
境针对服务类别的资源分配、资源可用性、以及与混合流相关联的参数或约束条件。
一个或多个子流可被分派到执行环境中以进行执行。可对所分派的子流的执行进行监
测以生成统计数据。如果统计数据与目标相差一阈值，则可根据与服务类别相关联的
策略来采取补救动作。因此，可对与服务类别相关联的混合流进行管理以达成性能目
标。此外，可支持多个服务类别，使得与服务类别中的任何一个相关联的混合流都可
被适当地管理以达成与相应的服务类别相关联的性能目标。下面参考附图来描述附加
示例、优点、特征、修改等。
图1示出根据示例的用于对与服务类别相关联的混合流进行处理的方法。方法100
可由诸如混合流管理系统400或计算系统500等计算设备、系统或计算机来实施。用
于实现方法100的计算机可读指令可被存储在计算机可读存储介质上。被存储在介质
上的这些指令在本文中被称为“模块”，并可由计算机执行。
这里要描述的方法100-300涉及图4的混合流管理系统400。系统400可包括一个
或多个计算机和/或由一个或多个计算机来实现。例如，计算机可为服务器计算机、工
作站计算机、台式计算机、笔记本电脑、移动设备等，并可为分布式系统中的一部分。
计算机可包括一个或多个控制器和一个或多个机器可读存储介质。
控制器可包括用于实现机器可读指令的处理器和存储器。处理器可包括至少一个
中央处理单元(CPU)、至少一个基于半导体的微处理器、至少一个如数字图像处理单
元那样的数字信号处理器(DSP)、适用于检索和执行被存储于存储器中的指令的其他
硬件设备或处理元件、或者其组合。处理器可包括一个芯片上的单个或多个内核、在
多个芯片上的多个内核、在多个设备上的多个内核、或者其组合。处理器可从存储器
中取得、解码和执行指令以实现各种功能。作为可替代的或者除了检索和执行指令之
外，处理器可包括包含有用于执行各种任务或功能的多个电子器件的至少一个集成电
路(IC)、其他控制逻辑、其他电子电路、或者其组合。
控制器可包括诸如机器可读存储介质等存储器。机器可读存储介质可为包含或存
储可执行指令的任何电子、磁性、光学或其他物理的存储设备。因此，机器可读存储
介质可包括例如：各种随机存取存储器(RAM)、只读存储器(ROM)、闪存、以及其
组合。例如，机器可读介质可包括非易失性的随机存取存储器(NVRAM)、电可擦可
编程只读存储器(EEPROM)、存储驱动器、NAND闪存等。此外，机器可读存储介
质可以是计算机可读的和非暂时性的。另外，系统400可包括脱离于一个或多个控制
器的一个或多个机器可读存储介质。
混合流管理系统400可包括多个组件。例如，系统400可包括接口410和优化器
420。接口410可接收用于创建或修改流的流定义。作为示例，接口410可提供图形用
户界面(GUI)以允许用户交互地创建或修改流。可替代地，流可采用声明性语言来
编写，并且可通过接口被导入。使用接口410所创建或修改的流可以是混合流。优化
器420生成每个流的多个候选执行计划。优化器420能够考虑用于给定的流的可替代
候选执行计划，并可估计候选执行计划的相应成本。
成本的示例可包括处理资源使用成本、存储资源使用成本、通信成本、输入/输出
(I/O)成本等。可选择来自候选执行计划中的执行计划(可以是最优执行计划)用于
执行，其中最优执行计划可涉及与最低成本相关联的或满足一些其他标准的执行计划。
系统400还可包括执行器430，并可通过网络连接到执行环境490。网络可以是任
何类型的通信网络，包括但并不限于：有线网络(例如，电缆)、无线网络(例如，蜂
窝、卫星)、蜂窝电信网络、以及基于IP的电信网络(例如，互联网协议语音网络)。
网络还可包括传统的固话或公用电话交换网络(PSTN)或上述的组合。
优化器420可将所选择的执行计划提供给执行器430。所选择的执行计划本身是
一个流，并且如果其包括被定向于两个或更多个的执行环境490的子流，则该执行计
划为混合流，现在将参考方法100-300来更详细地描述执行器430。
方法100可开始于110，在110中接收混合流。例如，执行器430可从优化器420
中接收所选择的执行计划420。混合流可与由系统400支持的多个服务类别中的一个
相关联。服务类别是用于针对请求提供差异化服务的方式。
可采用不同的方式为混合流确定和/或指派服务类别。例如，用户可登录到接口410
以创建流。用户可通过用户标识符并凭借用户在企业中的角色而与特定的服务类别相
关联。例如，如果用户标识符对应于企业的首席执行官，则任何所生成的流都可被指
派将确保最高优先级(例如，最快的执行、最大数量的分配资源等)的服务类别。相
比之下，与市场部或工程部相对应的用户标识符可被指派具有较低优先级的服务类别。
服务类别还取决于流的大小、流的类型、流所需的执行环境的数量等。服务类别可通
过发起请求的地理位置和时间来确定。针对流来确定和/或指派服务类别的各种其他方
法也可被采用。
在120，可生成调度以在执行环境中运行混合流的子流。例如，调度器450可被
配置为生成用于执行子流的调度。此外，调度器450可生成用于执行与不同的服务类
别相关联的混合流的单独的调度，使得每个服务类别都具有它自己的调度以执行与该
服务类别相关联的流。
可采用诸如第一适合法或装箱法等不同的调度技术。此外，调度可基于不同的标
准来生成。例如，可基于一个或多个与服务类别相关联的目标、多个执行环境针对服
务类别的资源分配、资源可用性、以及与混合流相关联的参数和/或约束条件来生成调
度。
目标可以是针对服务类别所规定的任何一种服务等级目标(例如，流的90％必须
在不到一分钟内完成，整组流必须按规定时间完成等)。用于给定的服务类别的目标可
被存储在对应的服务类别工作负载管理器480的计算机可读介质486中以作为目标
487。调度器450因此可以在所生成的调度满足目标487这样的约束条件下进行操作。
资源的分配也取决于服务类别。例如，每个服务类别可从每个执行环境中分配到
一组资源。例如，服务类别可被分配多个处理内核、最小量或最大量的存储器、网络
带宽的一小部分等。此外，资源的分配可以具体到每个执行环境490。例如，服务类
别可被分配给处理内核E1的50％而仅分配给处理内核E2的25％。
资源管理器440可被用于通过为服务类别工作负载管理器480指派特定的分配来
管理针对不同服务类别的资源分配。在一个示例中，所有服务类别中的资源分配不应
超过执行环境中的资源总量。在另一个示例中，资源的初始分配可能超过资源总量，
但资源管理器440中的逻辑可确保当临近任何一种资源在使用中的总量时，修改该资
源针对每个服务类别工作负载管理器480的分配量，使得不存在资源竞争。
资源管理器440可执行方法200。在210，资源管理器440可对资源可用性进行监
测。这可以通过经由应用程序接口来查询执行环境490的自身状态而完成。在220，
资源管理器440可管理针对服务类别工作负载管理器480的资源分配。正如上面所讨
论的，资源的分配可取决于服务类别。例如，每个服务类别可以有一组被传送给资源
管理器440的资源请求。由于资源可用性随着时间而变化(比如由于可在执行环境中
使用额外的资源，因此在执行环境中缺乏资源等)，因此资源管理器440可对资源的分
配进行修改。此外，正如后面所讨论的，资源管理器440可响应于来自服务类别工作
负载管理器480的请求而对资源的分配进行修改。资源管理器440也可保持与执行环
境相关联的其他参数和统计数据，例如允许每个环境的多道程序设计级。
最后，返回到方法100，生成调度的标准可包括与混合流相关联的参数和/或约束
条件。例如，在混合流中不同的子流可彼此有依赖性，使得某些子流应同时执行，某
些子流应在其他子流之前或之后执行等。同样，混合流可与到达时间(例如，流首次
到达优化器420或执行器430的时间)和请求的执行时间(例如，由用户通过接口410
输入请求的时间)相关联。参数还可与混合流中的子流的数量、完全执行混合流所需
的最小时间量、流的执行所需的执行环境的数量和类型等有关。还可考虑其他的参数
和约束条件。
调度450可将所有这些标准考虑在内，以生成用于执行混合流的调度。此外，调
度器450可以为与给定的服务类别相关联的多个混合流生成该调度。例如，可以存在
在同一时间由系统400管理的、与给定的服务类别相关联的五个独立的混合流。调度
器450可针对所有五个混合流来考虑这些标准以生成调度，该调度用于在执行环境490
中执行这五个混合流的子流，使得目标和与流相关联的约束条件得到满足。此外，如
果接收到新的流、如果资源重新分配等，调度器450可对调度进行再计算。
在130，一个或多个子流可基于调度被分派到执行环境中以进行执行。例如，分
派器470可被配置为将子流分派到执行环境490中。然而在分派子流之前，可根据图
3的方法300来实施验证处理。验证器460可执行方法300。在310，可以对欲分派的
子流的执行请求进行验证。例如，验证器460可通过资源监视器440来验证子流的执
行所需的所有资源都是可用的，并且都被适当地分配给服务类别。还可对目标487被
满足、所有的依赖关系已被适当满足等进行验证。如果验证成功，则子流可被分派。
在320，如果验证失败，则可采取动作。例如，在发生故障时，验证器460可通
知服务类别工作负载管理器480验证失败。服务类别工作负载管理器480的动作模块
484可随后采取遵循一个或多个策略488的补救动作。可针对每个服务类别来规定策
略488以应对计划失效。针对计划失效的各种情况可存在单独的策略，并且该策略可
导致采取不同的动作。
以下是可采取的补救动作的非详尽列表。例如，服务类别工作负载管理器480可
从一个或多个执行环境490中请求额外的资源。这样的请求可能需要删除已分配给另
一个服务类别的资源，并且将那些资源重新分配给与失效的子流相关联的服务类别。
服务类别工作负载管理器480可请求额外的执行环境的实例。服务类别工作负载管理
器480可请求将给定的子流发送到不同的执行环境中以在其上执行。服务类别工作负
载管理器480可请求将子流分解成更小的片段。服务类别工作负载管理器480可请求
调度器450生成新的调度，该调度使优化器420发送合乎于计算环境的当前状态的新
的执行计划(例如，来自先前生成的执行计划的列表)，或者使优化器420生成完全新
的执行计划。
返回到方法100，可对所分派的子流的执行进行监测。例如，服务类别工作负载
管理器480的监测模块482可对与服务类别相关联的子流的执行进行监测。可根据监
测来生成诸如子流的平均执行时间、所执行的子流的比例、预计的混合流的总执行时
间等统计数据489。如果统计数据与一个或多个目标487相差一阈值，则动作模块484
可如上所述地根据一个或多个策略488来采取动作。
图5示出根据示例的用于处理与服务类别相关联的混合流的计算系统。计算系统
500可包括一台或多台计算机和/或由一台或多台计算机来实现。例如，计算机可为服
务器计算机、工作站计算机、台式计算机、笔记本电脑、移动设备等，并且可为分布
式系统的一部分。正如关联例如混合流管理系统400所描述的，计算机可包括一个或
多个控制器以及一个或多个机器可读存储介质。
此外，计算系统500的用户可通过一个或多个其他计算机来与计算系统500进行
交互，其他计算机可被认为是或不被认为是计算系统500的一部分。作为示例，用户
可通过驻留在系统500上或者驻留在诸如桌面计算机、工作站计算机、平板电脑等另
一台计算机上的计算机应用程序来与系统500进行交互。计算机应用程序可包括用户
接口(例如，触摸界面、鼠标、键盘、手势输入设备)。
计算系统500可执行方法100-300及其变形，并且组件510-540可被配置为执行
方法100-300及其变形的各个部分。此外，由组件510-540实现的功能可以是更大的
软件平台、系统或应用程序等的一部分。例如，这些组件可以是数据分析系统的一部
分。
计算机510可访问数据库540。正如本文所描述的，数据库可包括一个或多个计
算机，并且可包括一个或多个控制器和机器可读存储介质。计算机可通过网络连接到
数据库。网络可以是任何类型的通信网络，包括但并不限于：有线网络(例如，电缆)、
无线网络(例如，蜂窝、卫星)、蜂窝电信网络和基于IP的电信网络(例如，互联网
协议语音网络)。网络还可包括传统的固话或公用电话交换网络(PSTN)或上述的组
合。
处理器520可以是至少一个中央处理单元(CPU)、至少一个基于半导体的微处理
器、适用于检索和执行被存储在机器可读存储介质530中的指令的其他硬件设备或处
理元件、或者其组合。处理器520可包括一个芯片上的单个或多个内核、在多个芯片
上的多个内核、在多个设备上的多个内核、或其组合。处理器520可取得、解码和执
行指令532-538等以实现各种处理。作为可替代的或者除了检索和执行指令之外，处
理器520可包括包含有用于执行指令532-538的功能的多个电子器件的至少一个集成
电路(IC)、其他控制逻辑、其他电子电路、或者其组合。因此，处理器520可在多个
处理单元中被实现，并且指令532-538可在计算机510的不同区域内由不同的处理单
元来实现。
机器可读存储介质530可为包含或者存储可执行指令的任何电子、磁性、光学、
或其他物理的存储设备。因此，机器可读存储介质可包括例如：各种随机存取存储器
(RAM)、只读存储器(ROM)、闪存、以及其组合。例如，机器可读介质可包括非易
失性的随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、存储
驱动器、NAND闪存等。此外，机器可读存储介质530可以是计算机可读的和非暂时
性的。机器可读存储介质530可采用对处理元件进行管理的一系列可执行指令来编码。
由处理器520(例如，通过处理器的一个处理元件或多个处理元件)执行指令
532-538时，会使处理器520实施处理，例如，方法100-300和/或其变形及一部分。
例如，服务类别指令532可使处理器520对与多个混合流中的每一个相关联的服
务类别进行确定。调度指令534可使处理器520基于与每个混合流相关联的参数和约
束条件、与相应的服务类别相关联的目标和资源分配、以及资源可用性，来为每个服
务类别中的混合流生成单独的执行调度。监测指令536可使处理器510对每个混合流
的执行进行监测以产生统计数据。如果给定的混合流的统计数据和与给定的混合流的
服务类别相关联的目标相差一阈值，则动作指令538可使处理器520采取补救动作。
补救动作可取决于与给定的混合流的服务类别相关联的策略。
在前述说明中，阐释了众多细节以提供对本文所公开的主题的理解。然而，可以
在不具有这些细节中的一些或者全部的情况下实施各实施方式。其他的实施方式可包
括上面所讨论的细节的修改和变形。旨在所附权利要求涵盖这些修改和变形。