审计视频分析.pdf

一种用于审计视频分析数据的可编程设备的方法，所述方法包括：接收视频分析组件针对可视图像流触发的警报，其特征在于，所述方法还包括：响应于所述警报，从所述可视图像流生成一组警报图像，所述一组警报图像包括与所触发的警报同时期的图像以及所述可视图像流中在该同时期图像之前或之后出现的至少一个其他图像，使得检查者可以使用所述一组警报图像来检查所述警报是真警报还是假警报；以及所述方法适于根据所述检查者的请求而提供来自所述可视图像流的额外图像以便确认所述警报是真警报还是假警报的判定，使得仅响应于所述请求才提供所述额外图像。

权利要求书一种用于审计视频分析数据的可编程设备的方法，所述方法包括：
接收视频分析组件针对可视图像流触发的警报，
其特征在于，所述方法还包括：
响应于所述警报，从所述可视图像流生成一组警报图像，所述一组警报图像包括与所触发的警报同时期的图像以及所述可视图像流中在该同时期图像之前或之后出现的至少一个其他图像，使得检查者可以使用所述一组警报图像来检查所述警报是真警报还是假警报；以及
所述方法适于根据所述检查者的请求而提供来自所述可视图像流的额外图像以便确认所述警报是真警报还是假警报的判定，使得仅响应于所述请求才提供所述额外图像。
如权利要求1的方法，还包括：
将所述可视图像流归档在存储库中；以及
取回从所述可视图像流提供的所述额外图像。
如权利要求2的方法，还包括：
将与所述同时期图像和所述至少一个其他图像关联的文本数据并入所述一组警报图像中，使得所述检查者可使用所述文本数据。
如权利要求3的方法，其中生成所述一组警报图像的特征还在于：
根据与所触发警报的时间的时间接近度来选择所述至少一个其他图像中的每个图像。
如权利要求4的方法，还包括经由计算机视觉和模式识别来分析所述可视图像流以确定所述触发警报的出现。
如权利要求5的方法，其中所述触发警报指示在物品扫描系统中扫描的物品的可疑虚假扫描事件；
其中所述可视图像流是所述扫描系统中的扫描站的图像的视频流；
其中所述文本数据是在时间上与所述视频流相关的事务日志流；
其中与所述触发警报同时期的图像是所述扫描站的扫描仪区域的视频流中的与所记录的扫描事件同时期出现的帧图像；并且
其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：
所述扫描站的拾取区域的先前帧图像，所述先前帧图像在所述扫描仪区域图像之前出现；以及
所述扫描站的投放区域的稍后帧图像，所述稍后帧图像在所述扫描仪区域图像之后出现。
如权利要求5的方法，其中所述触发警报是可疑物品遗弃；
其中所述可视图像流是视频摄像机流，所述视频摄像机流包括含有所述可疑遗弃物品的区域的图像帧；
其中经由所述计算机视觉和模式识别来分析所述可视图像流以确定所述可疑物品遗弃的出现包括使用遗弃物品检测算法；并且
其中与所述可疑物品遗弃同时期的图像是包括所述可疑遗弃物品的区域的视频摄像机流的帧图像，所述帧图像包括所述可疑遗弃物品；并且
其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：
包括所述可疑遗弃物品的区域的先前帧图像，所述先前帧图像在所述同时期图像之前出现；以及
包括所述可疑遗弃物品的区域的稍后帧图像，所述稍后帧图像在所述同时期图像之后出现。
一种用于审计视频分析数据的系统，所述系统包括：
接收部件，用于接收视频分析组件针对可视图像流触发的警报，
其特征在于，所述系统还包括：
生成部件，用于响应于所述警报而从所述可视图像流生成一组警报图像，所述一组警报图像包括与所触发的警报同时期的图像以及所述可视图像流中在该同时期图像之前或之后出现的至少一个其他图像，使得检查者可以使用所述一组警报图像来检查所述警报是真警报还是假警报；以及
额外图像供应部件，用于根据所述检查者的请求而提供来自所述可视图像流的额外图像以便确认所述警报是真警报还是假警报的判定，使得仅响应于所述请求才提供所述额外图像。
如权利要求8的系统，还包括：
归档部件，用于将所述可视图像流归档在存储库中；以及
取回部件，用于取回从所述可视图像流提供的所述额外图像。
如权利要求9的系统，还包括：
文本并入部件，用于将与所述同时期图像和所述至少一个其他图像关联的文本数据并入所述一组警报图像中，使得所述检查者可使用所述文本数据。
如权利要求10的系统，其中所述生成部件的特征还在于：
选择部件，用于根据与所触发警报的时间的时间接近度来选择所述至少一个其他图像中的每个图像。
如权利要求11的系统，还包括分析部件，用于经由计算机视觉和模式识别来分析所述可视图像流以确定所述触发警报的出现。
如权利要求11的系统，其中所述触发警报指示在物品扫描系统中扫描的物品的可疑虚假扫描事件；
其中所述可视图像流是所述扫描系统中的扫描站的图像的视频流；
其中所述文本数据是在时间上与所述视频流相关的事务日志流；
其中与所述触发警报同时期的图像是所述扫描站的扫描仪区域的视频流中的与所记录的扫描事件同时期出现的帧图像；并且
其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：
所述扫描站的拾取区域的先前帧图像，所述先前帧图像在所述扫描仪区域图像之前出现；以及
所述扫描站的投放区域的稍后帧图像，所述稍后帧图像在所述扫描仪区域图像之后出现。
如权利要求11的系统，其中所述触发警报是可疑物品遗弃；
其中所述可视图像流是视频摄像机流，所述视频摄像机流包括含有所述可疑遗弃物品的区域的图像帧；
其中经由所述计算机视觉和模式识别来分析所述可视图像流以确定所述可疑物品遗弃的出现包括使用遗弃物品检测算法；并且
其中与所述可疑物品遗弃同时期的图像是包括所述可疑遗弃物品的区域的视频摄像机流的帧图像，所述帧图像包括所述可疑遗弃物品；并且
其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：
包括所述可疑遗弃物品的区域的先前帧图像，所述先前帧图像在所述同时期图像之前出现；以及
包括所述可疑遗弃物品的区域的稍后帧图像，所述稍后帧图像在所述同时期图像之后出现。
一种包括计算机程序代码的计算机程序元素，当所述计算机程序代码被载入计算机系统并在其上执行时，将导致所述计算机执行如权利要求1至7中的任一权利要求所述的方法的各步骤。

说明书审计视频分析
技术领域
本发明涉及视频分析，更具体地说，涉及审计视频分析数据以区分错误。
背景技术
视频分析包括多种技术，其使用计算机及其他可编程设备及关联的系统来分析视频输入以获悉视频输入内的特定数据、行为、对象等。可在计算机或设备内(包括在视频摄像机、记录设备或专用视频处理单元中的嵌入式可编程设备平台上)的处理器上运行的软件应用中实现视频分析。视频分析在评估视频的内容以确定关于视频内人物的动作及移动的信息方面可以是有用的。
视频分析是用于评估视频图像的内容以自所述视频图像来确定指定信息的方法、过程及系统。所述信息可易于自图像或图片而获得，例如，检查到图像内的在道路段上的许多车辆可指示交通拥塞。亦可考虑多个图像(可能来自多个相机)来确定指定信息，例如，考虑来自不同时间或来自多个相机馈给(feed)的图像可使得能够确定交通流的速度或预测归因于同一道路上的繁忙交通流而引起的减速。可观察变化的天气型态(预测未来天气)，以及动物的移动及迁移。例如，通过比较图像中的要素与早先图像中的相同要素，亦可观察或检测诸如结构变化及故障的物理现象(例如，结构件中的裂缝、弯曲及下垂、生锈、油漆翘皮或剥落、腐蚀、表面磨损及开裂、河床变化、淤泥积聚等)。因此，通过视频分析来分析图像内容，可由此识别或确定关于自然现象、对象、植物群及动物群的动作及移动的各种指定信息。
视频分析应用在判定视频图像的各方面的意义或含义方面可进一步为有用的，例如，确定由视频输入反映的动作或不动作的动机、含意或意义，以藉此在一方面就预期或指定行为而言确定或预测视频内的人员的动作所展示或暗示的内容。因此，视频分析可用于(例如)藉由分析服装(制服与非制服)、当日时间(在营业时间期间与在营业时间之后)、进入方式(是否与先前通过入场门的移动相关)而确定给定区域中所出现的人员是否正擅自进入，或其存在是否被授权。因此，视频分析在宽广范围的应用中是有用的，且一些说明性而非穷举实例包括财产保护、安全及保安环境。
由计算机及其他可编程设备执行的自动化视频分析系统及方法在提高审计视频数据效率方面可以是有用的，方式为：使得可编程设备能够针对视频馈给执行分析并向人工审计员生成在视频馈给中出现的事件或感兴趣物品的警报，以供人工审计员进一步查看和分析。例如，可藉由应用计算机视觉和模式识别(CVPR)算法至视频馈给输入来产生警报，诸如通过由美国纽约霍桑(Hawthorne)的IBM T.J.华森研究中心(Watson ResearchCenter)的Quanfu Fan等人于CVPR 2009提出的“Recognition ofRepetitive Sequential Human Activity”教导的算法；或者通过由美国纽约霍桑的IBM T.J.华森研究中心的Lei Ding等人于ICASSP 2010提出的“GRAPH BASED EVENT DETECTION FROM REALISTIC VIDEOSUSING WEAK FEATURE CORRESPONDENCE”教导的算法；且对于本领域技术人员而言用于本发明的其他适当实例将为显而易见的。还可以通过应用遗弃行李检测算法来生成视频监视区域内的可能遗弃行李的警报，以便从视频流检测可能的遗弃行李，如由美国宾夕法尼亚州匹兹堡市的卡耐基梅隆大学的Guillaume Milcent及Yang Cai在2005年12月9日于CMU‑CyLab‑05‑008所提出的“Location Based Baggage Detection forTransit Vehicles”教导的算法，且本领域技术人员将知晓适用于本发明的其他实例。
然而，结合了自动化视频分析系统的现有技术系统的效力受到限制。在从假警报裁定并剖析真实感兴趣事件的过程中，通常需要人工审计来应用人工分析及判断力，其需要人工检查由自动化视频分析系统使用的视频馈给以触发警报，且因此此类系统及方法仍需要至人工审计员的视频数据流，从而产生较大带宽和/或存储器存储要求以将实时视频流数据和/或归档视频流数据提供给审计员。由于自动化视频分析系统通常产生大量假警报，因此可能仍需要大量视频流，从而减小了经由对原始视频流的人工分析而实现的带宽、存储及时间节省。
此外，遍历自动化视频分析系统的结果而艰难地处理可为极其劳动密集的过程。人工审计实施的问题及成本亦可随所利用的相机或视频馈给的数目而成比例地升高，而效率随着相机或视频馈给的较大数目而递减。如果正在审计的数据是经由网络系统而访问(例如，通过浏览应用而远程地访问)，则审计系统亦可能受到有限网络带宽的影响。
发明内容
在第一方面中，本发明提供了一种用于审计视频分析数据的可编程设备的方法，所述方法包括：接收视频分析组件针对可视图像流触发的警报，其特征在于，所述方法还包括：响应于所述警报，从所述可视图像流生成一组警报图像，所述一组警报图像包括与所触发的警报同时期的图像以及所述可视图像流中在该同时期图像之前或之后出现的至少一个其他图像，使得检查者可以使用所述一组警报图像来检查所述警报是真警报还是假警报；以及所述方法适于根据所述检查者的请求而提供来自所述可视图像流的额外图像以便确认所述警报是真警报还是假警报的判定，使得仅响应于所述请求才提供所述额外图像。
从所述可视图像流生成的所述一组警报图像构成警报的“可视要素”。也就是说，警报的要素被封装为与该警报同时期的图像和在该警报之前或之后的至少一个其他图像，以便将该警报的可视上下文在所述一组警报图像中封装为该警报的可视要素。人工检查员可以仅从场所的几幅图像就快速知晓发生了何种情况。因此，本发明的实施例将警报的“可视要素”提取为一组图像以作为该警报的简要可视概述，其集成了代表性图像和其他潜在可用的提示。所述可视要素使得检查员能够非常快速地判定是否需要进一步调查而无需检查可视图像流（诸如视频流）。检查员只需在需要进一步证据或上下文时才检查警报时的可视图像流。因此，作为可视要素的一组警报图像提供了最少而充分的信息，以便检查员能够快速过滤出假警报，由此最大化有限人工资源的生产力。所述一组警报图像可以是紧密的和压缩的，使得其相比于可视图像流（诸如视频）而言需要小得多带宽以便在审计系统中可视化。更便利地，所述一组警报图像可以被下载并存储在本地机器中以提供快速系统响应。本发明尤其适合于（例如）零售欺诈检测和遗弃物品检测。
优选地，所述方法还包括：将所述可视图像流归档在存储库中；以及取回从所述可视图像流提供的所述额外图像。
优选地，所述方法还包括：将与所述同时期图像和所述至少一个其他图像关联的文本数据并入所述一组警报图像中，使得所述检查者可使用所述文本数据。
优选地，生成所述一组警报图像的特征还在于：根据与所触发警报的时间的时间接近度来选择所述至少一个其他图像中的每个图像。
优选地，所述方法还包括经由计算机视觉和模式识别来分析所述可视图像流以确定所述触发警报的出现。
优选地，所述触发警报指示在物品扫描系统中扫描的物品的可疑虚假扫描事件；其中所述可视图像流是所述扫描系统中的扫描站的图像的视频流；其中所述文本数据是在时间上与所述视频流相关的事务日志流；其中与所述触发警报同时期的图像是所述扫描站的扫描仪区域的视频流中的与所记录的扫描事件同时期出现的帧图像；并且其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：所述扫描站的拾取区域的先前帧图像，所述先前帧图像在所述扫描仪区域图像之前出现；以及所述扫描站的投放区域的稍后帧图像，所述稍后帧图像在所述扫描仪区域图像之后出现。
备选地，所述触发警报是可疑物品遗弃；其中所述可视图像流是视频摄像机流，所述视频摄像机流包括含有所述可疑遗弃物品的区域的图像帧；其中经由所述计算机视觉和模式识别来分析所述可视图像流以确定所述可疑物品遗弃的出现包括使用遗弃物品检测算法；并且其中与所述可疑物品遗弃同时期的图像是包括所述可疑遗弃物品的区域的视频摄像机流的帧图像，所述帧图像包括所述可疑遗弃物品；并且其中在所述同时期图像之前或之后出现的所述至少一个其他图像包括：包括所述可疑遗弃物品的区域的先前帧图像，所述先前帧图像在所述同时期图像之前出现；以及包括所述可疑遗弃物品的区域的稍后帧图像，所述稍后帧图像在所述同时期图像之后出现。
在第二方面中，本发明相应地提供了一种用于审计视频分析数据的系统，所述系统包括：接收部件，用于接收视频分析组件针对可视图像流触发的警报，其特征在于，所述系统还包括：生成部件，用于响应于所述警报而从所述可视图像流生成一组警报图像，所述一组警报图像包括与所触发的警报同时期的图像以及所述可视图像流中在该同时期图像之前或之后出现的至少一个其他图像，使得检查者可以使用所述一组警报图像来检查所述警报是真警报还是假警报；以及额外图像供应部件，用于根据所述检查者的请求而提供来自所述可视图像流的额外图像以便确认所述警报是真警报还是假警报的判定，使得仅响应于所述请求才提供所述额外图像。
根据第三方面，本发明相应地提供了一种包括计算机程序代码的计算机程序元素，当所述计算机程序代码被载入计算机系统并在其上执行时，将导致所述计算机执行上述方法的各步骤。
附图说明
现在将仅通过实例的方式参考附图描述本发明的优选实施例，这些附图是：
图1是根据本发明的一个优选实施例的用于对视频分析数据进行人工审计的系统的一个实施例的示意图；
图2是根据本发明的一个优选实施例的系统的示意性流程说明；
图3是根据本发明的一个优选实施例的适合于通过可视要素加以分析的物理位置的顶部透视状态图；以及
图4是本发明的一个实施例的计算机化实施方式的示意图。
附图未必按比例描绘。附图仅仅为示意性表示，其不意欲描绘本发明的特定参数。附图意欲仅描绘本发明的典型实施例，且因此不应被视为限制本发明的范围。在附图中，相同编号表示相同要素。
具体实施方式
所属技术领域的技术人员知道，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以具体实现为以下形式，即，可以是完全的硬件、完全的软件（包括固件、驻留软件、微代码等）、或者本文一般称为“电路”、“模块”或“系统”的软件部分与硬件部分的组合。此外，本发明的各方面还可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该介质中包含计算机可读程序码。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质，计算机可读存储介质例如可以是‑但不限于‑电的、磁的、光的、电磁的、红外线的、或半导体的系统、装置、器件或传播介质、或前述各项的任何适当的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或前述各项的任何适当的组合。在本文语境中，计算机可读存储介质可以是任何含有或存储供指令执行系统、装置或器件使用的或与指令执行系统、装置或器件相联系的程序的有形介质。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分传播的带有计算机可读程序代码的数据信号。这样一种传播信号可以采取任何适当的形式，包括但不限于电磁的、光的或其任何适当的组合。计算机可读信号介质可以是不同于计算机可读存储介质的、可以传达、传播或传输供指令执行系统、装置或器件使用的或与指令执行系统、装置或器件相联系的程序的任何一种计算机可读介质。
包含在计算机可读介质中的程序代码可以采用任何适当的介质传输，包括但不限于无线、有线、光缆、射频等等、或上述各项的任何适当的组合。
用于执行本发明的各方面的操作的计算机程序码，可以以一种或多种编程语言的任何组合来编写，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++之类，还包括常规的过程式编程语言—诸如”C”编程语言或类似的编程语言。程序码可以完全地在用户的计算上执行、部分地在用户的计算机上执行、作为一个独立的软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何种类的网络‑包括局域网(LAN)或广域网(WAN)‑连接到用户的计算机，或者，可以（例如利用因特网服务提供商来通过因特网）连接到外部计算机。
以下参照按照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明的各方面。要明白的是，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的部件。
也可以将这些计算机程序指令存储在能指令计算机、其它可编程数据处理装置或其他设备以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制品。
也可以将计算机程序指令加载到计算机、其它可编程数据处理装置或其他设备上，使得在计算机、其它可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
现参考图1，示出根据本发明的用于对视频分析数据进行人工审计的方法或系统的一个实施例。至少一个数据传感器110将可视图像流作为视频数据(其可包括视频、音频、文本等)提供给数据归档管理器112及视频分析组件114。虽然视频分析组件114的功能可由人工审计员通过实时检查视频馈给或其他数据而执行，但本发明的实施例可针对视频分析组件114使用自动化视频分析系统来启用自动化警报生成，其可实现藉由对视频或图像馈给进行简单人工检查所不可能实现的数据吞吐率(例如，自视频图像中的感兴趣区(ROI)中的一些运动来区分并检测其他运动，或区分在特定时间阈值之内及之外与其他事务数据流项目的关联性，如下文更充分地论述的)。
视频分析组件114分析视频数据输入并确定所述视频数据中的一个或多个警报的存在或出现，且在118处输出警报数据及相关联的元数据。所述警报中的每个警报的一组警报图像被生成为“可视要素”116以提供最小但足够的信息，以使人工审计员快速地检查并立即作出关于警报的真假判定，藉此相对于检查较大的原始视频及数据流而言在时间及数据大小方面以更有效的方式及呈现手段来滤除假警报。所述一组警报图像（以下总称为“可视要素”）以如下方式构成并显示于结果显示器120处：使得可快速地检查所述可视要素且相对于检查较大视频馈给而言更快地快速判定警报的准确性。藉由减小必须考虑的视频及其他数据的量以便作出关于由原始视频流表示的事件出现的判定，有限人工审计员资源的生产力可由此得以最大化。
更具体地说，图2示出根据本发明的一个优选实施例的用于根据可视要素数据来审计视频信息的系统或方法。在202处自视频分析警报结果(例如，如从图1的视频分析设备114生成)提供所关心事件的警报。响应于202处的警报，在204处创建可视要素以用于藉由自视频流数据提取图像的子集且可选地并入文本及其他非可视数据而与该警报相关联。可自视频摄像机或其他数据源(例如，条形码扫描仪、十字转门(turnstile)等)或自存储于一个或多个存储设备中的视频及非视频数据(例如，自图1的数据归档管理器112)且根据如由视频分析提供或指示的警报的上下文而实时地直接提取视频及其他数据。所述子集的静态图像及可选文本数据或非可视数据提供根据图像内容及系统上下文而自动地选择的信息的摘要，相对于较大的视频及非可视资源数据而言所述信息集合经压缩，且其被生成为与所述警报相关联的可视要素。所述信息可自多个资源(多个相机、事务日志、识别数据及日志等)导出。
因此，在206处将所述可视要素呈现给与该警报相关联的人工审计员，以在208处使人工分析员能够检查并分析所呈现的可视要素信息以立即作出关于该警报的真假判定，(如果可能)藉此相对于检查较大的原始视频及数据流而言在时间及数据大小方面以更有效的方式及呈现手段来滤除假警报。一般而言，人类可比计算机视频分析系统更快速地剖析出错误及误测。虽然人工智能较佳，但其通常较昂贵且在大量视频数据方面效率较低；本发明的实施例利用可视要素来使人工审计员相比于现有技术的人工及计算机化审计系统而言更为有效且成本更低。如果由可视要素传达的信息是足够的且不需要其他信息或数据，则在212处快速地将该警报检出为假警报。相反，如果所述分析为非决定性的或另外需要更多信息(如210处所指示)，则审计员可请求更多数据(例如，请求额外的数据或流视频)且在214处浏览额外视频。
可视要素包括来自较大的原始数据源(亦即，视频流)及可选的其他相关联数据的单个图像、一组图像或紧密流子集(且可选地并入文本及其他非可视数据)。可视要素相对于视频馈给或其部分而言可具有小得多的数据大小(例如，具有文本的一个、两个或三个图像，相比于一段时间上的具有更多图像的流)，从而减小带宽、存储器及其他系统资源需求。结果显示器120的实例包括显示于计算机桌面中的浏览器窗口、在蜂窝电话及其他移动设备上显示图像的聊天应用及文本消息传送应用，以及对于本领域技术人员将显而易见的额外实施方式。
可视要素116均包括在时间上与触发该可视要素的创建的警报事件同时期的至少一个图像(即，在同一时间出现或在时间上紧邻)，及在该同时期的图像之前或之后出现的至少一个其他图像。接着在120处的结果浏览器或其他呈现设备中将所述可视要素116提供给分析员，以用于进行审计来作出关于该警报的有效性的判定，例如，判定与所生成的可视要素相关联的警报是假警报还是对指定或关联的事件出现的真实指示。
可自数据归档管理器112取回数据以用于在116处生成可视要素，且审计员亦可在120处与数据归档管理器112通信以按需取回额外数据。在本实例中，通过显示设备120将可视要素提供给人工分析员，而在其他实施例中，可单独由应用一个或多个算法的自动化视频分析系统来执行120处的审计，或结合人工审计员来执行所述审计。
根据警报主题上下文而选择可视要素，以使审计员快速地分析并识别源视频数据内的信息，以便在来自视频数据的有限采样的所关注(警报)的指定事件、动作、行为等方面有效地理解所选视频数据的域中所发生的事项，从而(例如)藉由检查仅单个图像或一组较小图像而非检查一组较大图像的大得多(在数据大小及显示时间两者上)的原始视频馈给来判定警报是假还是真。藉由首先提取警报的可视要素来改进对视频分析数据进行的人工审计的效力，所述可视要素提供该警报的集成了代表性图像及其他可用提示的简短摘要。所述可视要素允许审计员快速地(例如，在几秒内)判定是否需要进一步调查而不观察任何源视频或其他非要素视频数据：审计员仅需在必要时探究归档系统以获取更多证据。
由于在212处仅自可视要素即可作出“假”判定，因此可实现优于现有技术系统(其需要浏览视频流或进行一些其他额外数据取回及检查)的检查时间及资源节省。相对于如现有技术中所需的检查较大源视频或多介质流输入而言，本发明的实施例使得审计员能够在较短时间量内剪除大部分假警报，且在视频调查过程中将与视频分析结果相关联的可视要素提供给分析员，所述视频调查过程相对于现有技术的审计过程而言可被缩短而又不损害分析准确性。
本发明的实施例提供用于智能地管理计算资源及带宽资源以维持视频分析的可接受性能水平的架构。因此，可提供架构以用于可视地汇总分析系统的结果，其中可视摘要要素描绘于一个或多个图像及文本(在一些实例中，为附注图像及文本)中。基于对可视摘要或要素图像的分析检查，可请求更多详细信息以用于在120处进行进一步调查，例如自数据归档管理器112取回源视频的较大选择集。也可以预先使可视摘要要素图像成流。
可视要素通常为紧密的和/或压缩的，使得其相比于视频数据而言需要较小带宽来用于审计系统中的可视化；仅需要将帧或有限视频选择集传输至审计员以供检查，而并非如现有技术中通常所需的大得多的或整个视频馈给。较小的可视要素(例如，离散数据文件)亦可较易于下载至并存储于本地机器中以获得相比于较大视频馈给的较快系统响应。另外，由于分析员仅需要关于事件的观察摘要，因此剪除操作较快且其吞吐率可较高。相比于通过经由机器智能滤除进行的审计而获得的结果，人工审计员所犯的错误通常更少，且因此在真实事件可能很少出现的应用中(诸如，在零售欺诈检测或遗弃行李警报中)，人工审计员可提供较佳的效率，且对于本领域技术人员而言其他实例仍将显而易见。
本发明的实施例可用于其中可视事件可与离散的时间有序事务关联的各种应用中。例如，可视事件可关于特定区域中的人工移动而创建，且匹配至十字转门准入、经检测与中转点有关的车辆、来自自动门锁的徽章或磁卡(card swipe)、票亭等，其指示擅自进入、盗窃、对限制区域的未授权进入等。各方法可集中于与人工活动相关联的各种数据输出，例如商业事务日志、零售收据、受伤报告等，且本发明的实施例并不仅限于本文中所提供的这些实例。
可实现本发明的实施例的实例以快速地区分欺诈性零售“私下达成(sweet‑hearting)”事件与“长扫描(long‑scanning)”及与通过检查零售区域或其他扫描区域而触发的警报相关联的其他非欺诈性事件。例如，图3是零售环境(例如，具有扫描通道)中出纳员相对于可能的移动向量152、154的多个可能移动及动作162的顶部透视状态图。(应理解，如本文中使用的“出纳员”是用于表示扫描物品的人员的通用术语，且实施例预期所述扫描人员可以是店员或出纳员，以及消费者、装袋工、管理者或其他人员。)在简单扫描运动路径向量152中，自拾取区域156拾取物品，在扫描区域160中藉由将该物品传递至扫描仪的扫描范围内而进行扫描，且接着将该物品放入装袋区域或投放区域(drop area)164中。拾取区域156的实例包括传入带(intake belt)、柜台、购物篮及购物车，且置放区域164可以是分配带、柜台、购物篮或购物车中的一个或多个，其中每一个可导致不同运动。各向量154均表示与出纳员的其他动作162有关且在视频馈给中可观察的观察运动，其示例性地包括卸载物品，及获取并扫描会员卡、主管/助理更动卡(override card)(SA)、优惠券或其他条形码卡。
零售缩减(retail shrink)的一个重要部分可能归因于雇员，且在销售点(POS)处的出纳员周围出现。私下达成或“虚假扫描”描述以下动作：出纳员故意扫描失败或以其他方式将物品键入零售事务中以便为购买物品的消费者免费地提供商品，其通常藉由掩盖物品的条形码、将物品堆叠于另一物品的顶部以挡住扫描仪使其无法读取条形码，或在扫描运动期间在扫描区域周围传递所述物品以使免费物品的条形码故意避开扫描区域中的条形码读取器，而将物品自输入(拾取)位置移动通过处理(扫描)区域并进入输出(投放或装袋)区域。
虽然视频分析、条形码事务检查及其他技术可检测可能的私下达成活动，且生成用于进一步分析并检查零售扫描区域的视频馈给的警报，但此类警报常常无法区分长扫描事件。长扫描事件展现了对象的给定零售事务中拾取、扫描和/或投放事件之间的长时间间隙，并且其中另外的正当扫描事件可能引起关于遗漏或虚假扫描或无法捕获扫描信息的其他系统故障的错误报告，而扫描出纳员并无恶意。例如，运动向量152、154相对于向量152、154中的其他向量而言可能需要不同运动，且它们亦可具有不同时间签名(例如，相对于传入带拾取或投放而言，伸进购物车拾取或投放可花费较长时间)。自拾取区域156的物品移动可出于正当目的而在进入置放区域164之前绕过扫描区域160，例如在条形码遗失或损坏的情况下结合直接键入物品代码而置于一旁或在称量按重量出售的物品时置于一旁。个别扫描的视频馈给亦可由于不同出纳员或环境特性而不同，例如，照明可归因于当日时间而改变(日光对晚上的人工照明)，且个别出纳员的年龄或身体尺寸或能力可影响手臂运动的范围、所选定的运动路径或相对于其他出纳员而言完成类似路径的时间，并且这些属性中的任一个都可能引起可错误地报告为私下达成的长扫描。例如，在一些现有技术系统中，如果时间间隙比预期或预定时间间隔(例如，两秒、五秒、一分钟，或来自涵盖所述值的范围的另一值，等等)长，则扫描系统可能错误地记录物品扫描，或甚至无法记录所述事务或所扫描的物品，且由此可能在假定出纳员故意地避免扫描物品的情况下发出虚假扫描/私下达成警报，而事实上出纳员可能正适当地执行操作且并未出现任何虚假扫描。
因此，在根据本发明的一个实施例的用于在图3的零售环境中实施的方法或系统的一个实例中，利用自扫描仪区域160以日志数据方式报告的事务条形码事件来生成可视要素数据，所述可视要素数据包括来自原始视频流或较大静态图像集合的离散图像，且根据与条形码事件的时间对准而生成，以便通过视频分析进行分析来产生警报(例如，图2的202处)。在一个实施例中，可视要素包括视频的三个静态图像子集帧的集合：(1)拾取帧{P}，其展示在所记录的条形码事件{b}之前(例如，一秒前)的预定时间量处的拾取区域156，其预期展示零售店员自拾取区域156拾取物品；(2)扫描动作帧{S}，其展示在所记录的条形码事件{b}的时间处的扫描区域160，其预期展示所述店员将所拾取的物品移动越过扫描区域160中的扫描仪；以及(3)存放或投放帧{D}，其在所记录的条形码事件{b}之后(例如，一秒后)的预定时间量处自结账或消费者交货区域164获取，其预期展示所述店员将物品存放在消费者交货区域164中。条形码事务应被生成或以其他方式与以此时间上连续的次序出现的所述三个基本可视事件中的每一个相关联：首先拾取物品，接着扫描所拾取的物品，最后放下所拾取并经扫描的物品。因此，每个条形码扫描{b}应对应于这三个不同图像基元类型{PSD}中的每一个的集合。
所述可视要素亦可被呈现有由扫描仪注册于所记录的条形码事件中的物品的文本识别符，例如“一袋1磅的胡萝卜，条形码#xyz”。因此，人工审计员可将所述三个可视要素图像与该文本识别符相比较，且快速地判定关于欺诈性动作的警报是假(例如，所述图像中的每个图像如所预期地展示一袋1磅的胡萝卜)，还是替代地所述事件可能为真(例如，所述图像中的一个或多个替代地展示一瓶红酒)，而无需如现有技术中需要的那样检查大得多的原始视频选择集。如果需要，审计员可以可选地自数据存储库112请求更多数据(例如，具有相同事件的更多图像的所存储视频流，或与店员或物品有关的历史视频或数据等)以用于额外的真/假判定。
本发明的实施例亦可在公共运输安全应用中提供改进效率。因此，来自数据传感器的数据流可为来自一个或多个相机的视频流，其中视频分析报告关于可能的遭遗弃包裹的警报，例如，通过将遗弃物品检测算法应用于所述视频流而生成可疑遗弃包裹的列表。示例性算法由美国宾夕法尼亚州匹兹堡市的卡耐基梅隆大学的Guillaume Milcent及Yang Cai在2005年12月9日于CMU‑CyLab‑05‑008所提出的“Location Based BaggageDetection for Transit Vehicles”教导，且本领域技术人员将知晓适用于本发明的实施例的其他实例。可视要素数据116可包括可疑遗弃包裹的单个图像；如果该警报由固定人员生成而并非遗弃包裹(例如，某人在乘客终端座位中睡觉且藉此在比预期更长的时间帧内保持固定，从而使自动化系统将该人员误当成大型行李物品)，则检查该单个图像可视要素的人工审计员将快速地判定此并非包裹且该警报为假，在此情况下自动化系统可能需要耗费显著的计算资源来区分人员与对象，或现有技术的审计员将需要检查大得多的视频馈给选择集以作出相同的假警报判定。在另一实例中，快速地比较可疑包裹的单个图像与在触发警报的可疑遗弃识别之前和之后拍下的另一图像，连同文本信息(其指示关于该包裹已被遗留在任何附近人员的明显控制之外所持续的时间的时间帧)，这可使能快速判定该警报为假，因为该图像揭露与该包裹相关联的人员虽然并不紧邻该包裹但仍接近该包裹。照明变化亦可能引起关于对象存在的误会。例如，阴影可能引起对象检测，但对可视要素的快速检查可判定所述阴影并非对象，该判定对于计算机而言可以是非常困难的。
在另一方面中，良好的事件检测或取消率（recall rate）(例如，90%的事件由警报标记并取消)可能需要大量误测来通过绘制结果的敏感度对特异性而生成有意义的接收者操作特性(ROC)曲线。降低返回的误测在现有技术可提供效率，但其亦将损害取消，(例如)从而捕捉仅50%的真实事件。为了在大型事件流内捕捉相对少量的真实事件，必须从假事件生成大量的警报。本发明的实施例能够处理高水平的假事件，其藉由经由对可视要素数据进行快速人工检查而实现对假事件的迅速检选，且由此实现其中真实事件频率可能较低的高取消率。
由计算机和其他可编程设备执行的自动化视频分析系统和方法可对原始视频和其他数据馈给执行分析，以生成在可视要素创建和关联中使用的警报，且一些系统及方法亦可使用此类过程来识别并选择或生成用于可视要素基元中和/或用于制订要素分组的图像。例如，可藉由将计算机视觉和模式识别(CVPR)算法应用于视频馈给输入来生成警报，诸如通过由美国纽约霍桑(Hawthorne)的IBM T.J.华森研究中心(Watson Research Center)的Quanfu Fan等人于CVPR 2009提出的“Recognition of RepetitiveSequential Human Activity”教导的算法；或者通过由美国纽约霍桑的IBMT.J.华森研究中心的Lei Ding等人于ICASSP 2010提出的“GRAPHBASED EVENT DETECTION FROM REALISTIC VIDEOS USINGWEAK FEATURE CORRESPONDENCE”教导的算法；且对于本领域技术人员而言用于本发明的其他适当实例将为显而易见的。
可通过分析来自给定区域的图像内所检测到的活动而生成可视要素图像，在一些实施例中，这与所记录的事件或其他数据流的任何时间关系无关。例如，可在图像内的物理空间内限定不同的感兴趣区(ROI)以用于创建并分析视频图像，且可针对每个帧在每个ROI中对藉由对视频流进行帧差分化(或区别化)而获得的运动像素进行计数，且通过ROI的区域进行正规化。例如，再次参考图3，拾取区域156、扫描区域160及投放区域164可被限定以便总体上响应于与每一区内物品和/或出纳员的一只手(或两只手)的移动关联的运动像素，而根据在所述区域内的运动序列中观察到的图案来创建相应拾取{P}、扫描{S}及投放{D}可视图像基元。每个区域156/160/164自身可限定ROI，其中针对每个帧在每个ROI中对藉由对视频流进行帧差分化而获得的运动像素进行计数，且通过相应ROI156/160/164的区域进行正规化。备选地，任一区156/160/164均可涵盖多个不同(且有时为重叠的)ROI以提供额外的粒度或基元创建能力。用于区分ROI内的所得到的运动序列中观察到的运动模式的适于与本发明的实施例一起实现的一个实例由Quanfu Fan等人于ICCASSP 2009提出的“Detecting Sweethearting in Retail Surveillance Videos”教导。
现参考图4，本发明的一个实施例的示意性计算机化实施方式包括与视频或静态图像设备336(例如，视频摄像机或视频服务器)通信的计算机或其他可编程设备322，其根据本发明(例如)响应于驻留于存储器316或存储系统332内的文件中的计算机可读代码318而通过计算机网络基础结构326生成可视要素数据以用于判定人类行为。所述实施方式旨在证明本发明的实施例可实施于网络环境(例如，因特网、广域网(WAN)、局域网(LAN)或虚拟专用网(VPN)等)中。贯穿网络326的通信可经由各种类型的通信链路的任何组合而发生：例如，通信链路可包括可利用有线和/或无线传输方法的任何组合的可寻址连接。
在通信经由因特网而发生的情况下，可藉由常规的基于TCP/IP套接字的协议来提供连接性，且可使用因特网服务提供商来建立至因特网的连接性。此外，网络基础结构326旨在证明本发明的一个实施例的应用可由服务提供商部署、管理、提供服务等，所述服务提供商为他人实施、部署和/或执行本发明的实施例的功能。
计算机322包括各种组件，其中一些组件例示于计算机322内。更具体地说，如所展示，计算机322包括处理单元(CPU)338，所述CPU 338与存储器316通信且与一个或多个外部I/O设备/资源328及存储系统332通信。一般而言，处理单元338可执行计算机程序代码，诸如用于实施图中例示的过程步骤中的一个或多个的程序代码，所述计算机程序代码可存储于存储器316和/或外部存储系统332或设备328中。
网络基础结构326只是例示用于实施本发明的各实施例的计算机基础结构的各种类型。例如，在一个实施例中，计算机基础结构326包括经由网络进行通信的两个或两个以上计算设备(例如，服务器群集)。此外，计算机322仅代表可包括硬件的众多组合的各种可能计算机系统。就此而言，在其他实施例中，计算机322可包括具有用于执行特定功能的硬件和/或计算机程序代码的任何专用计算制品、具有专用及通用硬件/软件的组合的任何计算制品或其类似者。在每种状况下，可分别使用标准编程及工程技术来创建程序代码及硬件。
此外，处理单元338可包括单个处理单元，或跨(例如)客户端及服务器上的一个或多个位置中的一个或多个处理单元而分布。类似地，存储器316和/或存储系统332可包括位于一个或多个物理位置处的各种类型的数据存储和/或传输介质的任何组合。另外，I/O接口324可包括用于与外部设备328中的一个或多个交换信息的任何系统。另外应理解，一个或多个额外组件(例如，系统软件、数学协处理单元等)(未图示)可包括在计算机322中。
一个实施例在订阅、广告和/或付费的基础上执行本发明的过程步骤。亦即，服务提供商可提供对视频数据的自动化分析以用于判定人类行为。在此状况下，服务提供商可为一个或多个消费者创建、维护及支持计算机基础结构(诸如，执行本发明的实施例的过程步骤的网络计算机基础结构326)。作为回报，所述服务提供商可依据订阅和/或费用协议自消费者接收付款，和/或所述服务提供商可从向一个或多个第三方销售广告内容而接收付款。
在又一实施例中，本发明提供一种计算机实施的方法，其用于执行上文所描述的用于对视频数据进行自动化分析以判定人类行为的过程、系统及物品中的一个或多个。在此状况下，可提供诸如计算机基础结构326的计算机基础结构，且可获得(例如，创建、购买、使用、修改等)用于执行本发明的实施例的过程步骤的一个或多个系统且将其部署至所述计算机基础结构。就此而言，系统的部署可包括以下各项中的一个或多个：(1)在计算设备(诸如，计算机/设备322/336)上安装来自计算机可读介质的程序代码；(2)将一个或多个计算设备添加至所述计算机基础结构；以及(3)并入和/或修改所述计算机基础结构的一个或多个现有系统以使所述计算机基础结构能够执行本发明的过程步骤。
本文中所用的术语，仅仅是为了描述特定的实施例，而不意图限定本发明。本文中所用的单数形式的“一个”和“该”，旨在也包括复数形式，除非上下文中明确地另行指出。还要知道，“包含”和/或“包含”一词在本说明书中使用时，说明存在所指出的特征、整体、步骤、操作、元素和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、元素和/或组件，以及/或者它们的组合。如本文中所使用，应理解术语“程序代码”和“计算机程序码”为同义的且指一组指令的以任何语言、代码或符号表示的任何表达，旨在使具有信息处理能力的计算设备直接执行特定的功能，或者执行以下两者之一或全部后执行特定的功能：a）转换为另一种语言、代码或符号；和/或b）以不同的材料形式再现。就此而言，程序代码可实施为以下各项中的一个或多个：应用/软件程序、组件软件/函数库、操作系统、用于特定计算和/或I/O设备的基础I/O系统/驱动程序等。
本说明书(包括权利要求书)中所描述且如附图中所例示的特定实例及组件可被区分或另外通过唯一形容词来彼此识别(例如，“第一”组件区别于多个组件中的另一“第二”或“第三”组件，“主要”组件区别于“次要”组件或“另一”项目，等等)。此类识别形容词通常用于减少混淆或不确定性，且不应被解释为将权利要求书限于任何特定例示组件或实施例，或暗示任何权利要求组件、限制或过程步骤的任何优先级、排序或排列。
以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的描述其目的在于示意和描述，并非是穷尽性的，也并非是要把本发明限定到所表述的形式。对于所属技术领域的普通技术人员来说，在不偏离本发明范围和精神的情况下，显然可以作出许多修改和变型。对实施例的选择和说明，是为了最好地解释本发明的原理和实际应用，使所属技术领域的普通技术人员能够明了，本发明可以有适合所要的特定用途的具有各种改变的各种实施方式。