视频监控系统日志的处理方法、系统和服务器 【技术领域】
本发明涉及视频监控系统,尤其涉及一种视频监控系统日志的处理方法、系统,以及应用服务器和日志服务器。
背景技术
在视频监控系统中,主要包括前端设备、应用服务器和客户端。其中,前端设备主要包括:视频监控摄像机、IP摄像头(Camera)、数字视频服务器(Digital Video Server,DVS)、数字视频录像机(Digital Video Recorder,DVR)、用于对普通摄像机采集的视频数据进行编码的视频编码器、以及用于将视频数据显示在个人计算机(PC)或电视的视频解码器等。应用服务器主要用于实现设备的统一管理和中心存储。
在视频监控系统运行中,需要各类的日志提供给不同的人群,如,开发人员需要问题的现场信息以进行问题定位,这类日志信息主要包括调试信息与系统信息;管理员需要各种信息以了解与管理其他用户的操作,这类日志信息主要包括用户的操作类信息;运营商需要用于收费的统计信息,这类日志信息主要包括各类操作的统计信息。因为日志是定位问题和记录使用情况的原始数据,因此系统正常运行后对于日志信息的需要与要求都比较高。
现有技术中,对于不同类型的日志信息分别采取不同的流程进行处理。如,对于应用服务器的调试信息,常常是直接调用文件函数接口,在本台应用服务器上写日志文本文件,但这种方式在大量I/O操作时,会影响应用服务器上其他应用程序的性能。又如,对于用户操作类信息及各类操作的统计信息,通常是对应用服务器的数据库执行写日志操作,但这种方式在日志大量记录时也会影响应用服务器上其他应用程序的性能。可见,现有技术中的日志处理方式会降低应用服务器的处理性能。
【发明内容】
有鉴于此,本发明中一方面提供一种视频监控系统日志的处理方法和系统,另一方面提供一种视频监控系统中的应用服务器和日志服务器,以提高应用服务器的处理性能。
本发明所提供的视频监控系统日志的处理方法,包括:
一个或多个应用服务器将自身产生的日志信息以网络包的形式发送给日志服务器;
所述日志服务器接收来自所述应用服务器的网络包,对所述网络包中的日志信息进行存放处理。
较佳地,所述应用服务器将自身产生的日志信息以网络包的形式发送给日志服务器包括:
应用服务器将自身产生的日志信息统一转换为文本形式或二进制形式的日志信息,将所述文本形式或二进制形式的日志信息组装成网络包发送给日志服务器。
较佳地,所述日志信息包括不同类型的日志信息,所述网络包中包括对应所述不同类型日志信息的日志类型标识;
所述对所述网络包中的日志信息进行存放处理包括:根据所述网络包中的日志类型标识,识别对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。
较佳地,所述对不同类型的日志信息分别进行存放处理包括:
对写文本类信息执行写文件处理,对写数据库类信息执行写数据库处理。
较佳地,所述写文本类信息包括:调试信息和系统信息;所述写数据库类信息包括:用户的操作类信息和统计信息。
较佳地,所述数据库包括日志数据库和统计数据库;
所述对写数据库类信息执行写数据库处理包括:对用户的操作类信息执行写日志数据库的操作,对统计信息同时执行写日志数据库和写统计数据库的操作。
较佳地,所述日志信息包括不同类型的日志信息,所述日志服务器包括分别对应不同类型日志信息的多个日志服务器;
所述应用服务器将自身产生的日志信息以网络包的形式发送给日志服务器包括:应用服务器将自身产生的不同类型的日志信息分别以网络包的形式发送给对应的日志服务器。
较佳地,该方法进一步包括:所述日志服务器根据系统设定的或用户制定的日志清理策略对存放的日志信息进行清理。
本发明所提供的视频监控系统日志的处理系统,包括:
一个或多个应用服务器,每个应用服务器用于将自身产生的日志信息以网络包的形式发送给日志服务器;
日志服务器,用于接收来自所述应用服务器的网络包,对所述网络包中的日志信息进行处理。
较佳地,所述日志服务器为1个;所述每个应用服务器包括:
格式转换单元,用于将自身产生地不同类型的日志信息统一转换为文本形式或二进制形式的日志信息;
数据包封装单元,用于将所述文本形式或二进制形式的日志信息组装成网络包,并在所述网络包中对应不同类型的日志信息设置对应的日志类型标识;
发送单元,用于将所述网络包发送给所述日志服务器。
较佳地,所述日志服务器包括:
接收单元,用于接收来自应用服务器的网络包;
解析单元,用于对所述接收单元接收的网络包进行解析,得到不同类型的日志信息及对应的日志类型标识;
处理单元,用于根据所述日志类型标识识别出对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。
较佳地,所述日志服务器进一步包括:
日志清理单元,用于根据系统设定的或用户制定的日志清理策略对存放的日志信息进行清理。
较佳地,所述日志服务器为多个,每个日志服务器分别对应一种类型的日志信息;所述每个应用服务器包括:
格式转换单元,用于将自身产生的各种类型的日志信息分别转换为文本形式或二进制形式的日志信息;
数据包封装单元,用于将不同类型的文本形式或二进制形式的日志信息分别组装成网络包;
发送单元,用于将不同类型日志信息对应的网络包分别发送给对应的日志服务器。
本发明所提供的应用服务器,包括:
格式转换单元,用于将自身产生的不同类型的日志信息统一转换为文本形式或二进制形式的日志信息;
数据包封装单元,用于将所述文本形式或二进制形式的日志信息组装成网络包,并在所述网络包中对应不同类型的日志信息设置对应的日志类型标识;
发送单元,用于将所述网络包发送给所述日志服务器。
本发明所提供的日志服务器,包括:
接收单元,用于接收来自应用服务器的网络包;
解析单元,用于对所述接收单元接收的网络包进行解析,得到不同类型的日志信息及对应的日志类型标识;
处理单元,用于根据所述日志类型标识识别出对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。
较佳地,该日志服务器进一步包括:
日志清理单元,用于根据系统设定的或用户制定的日志清理策略对进行存放处理后的日志信息进行清理。
从上述方案可以看出,本发明中通过提供用于专门处理日志信息的日志服务器,使得视频监控系统中的应用服务器只需将自身产生的日志信息发送给该日志服务器即可,而无需由自身分配资源处理,从而提高了应用服务器的性能。
此外,通过为各种类型的日志信息设置一个统一的日志服务器,使得对于应用服务器来说,日志服务器屏蔽了不同类型日志的不同处理方法,简化了应用服务器的处理过程,进一步提高了应用服务器的性能。
最后,通过在日志服务器中设置日志清理单元(如使用操作系统的计划任务,调用可变策略的程序脚本),实现日志清理,从而有效的实现了对日志信息的管理。
【附图说明】
图1为本发明实施例一中视频监控系统日志的处理系统的原理框图;
图2为本发明实施例一中应用服务器的内部结构示意图;
图3为本发明实施例一中日志服务器的内部结构示意图;
图4为本发明实施例一中视频监控系统日志的处理方法的流程示意图;
图5为本发明实施例二中视频监控系统日志的处理系统的结构示意图;
图6为本发明实施例二中视频监控系统日志的处理方法的流程示意图。
【具体实施方式】
本发明实施例中,为了提高应用服务器的性能,提供了一种视频监控系统中各类日志信息的管理系统。这个系统提供了统一的接口,处理各类日志,并监控磁盘大小,清理无用日志。该管理系统中包括专门用于对应用服务器的日志信息进行管理的日志服务器,并且应用服务器可以不只一个。即一个或多个应用服务器将自身产生的日志信息发送给日志服务器,日志服务器接收这些日志信息,并对该日志信息进行处理。对于网络系统而言,各应用服务器可将自身产生的日志信息以网络包的形式发送给日志服务器,日志服务器接收来自所述应用服务器的网络包,对所述网络包中的日志信息进行处理。
具体实现时,由于应用服务器产生的日志信息的类型可有多种,因此日志服务器可以是对各种类型的应用信息进行统一管理的1个服务器,也可以是分别对一种类型的应用信息进行统一管理的多个服务器。
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
实施例一:
图1为本发明实施例一中视频监控系统日志的处理系统的原理框图。如图1所示,本实施例中的日志服务器为1个。
其中,各应用服务器可将自身产生的不同类型的日志信息以网络包的形式发送给日志服务器。具体实现时,应用服务器可通过统一的接口将不同类型的日志信息统一转换为文本形式或二进制形式,再将文本形式或二进制形式的日志信息组装成网络包进行发送。对应的,网络包中应包括对应不同类型日志信息的日志类型标识。其中,各日志信息可以采用即时发送的方式(即随时产生随时发送)发送给日志服务器。其中,将日志信息转换为二进制形式是为了满足某些场合对网络包安全性的要求。
日志服务器启动日志服务组件,打开相应端口,接收来自应用服务器的网络包,如果网络包为二进制形式,则首先将二进制形式的网络包转换为文本形式,之后对收到的网络包进行解析,根据网络包中的日志类型标识,识别对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。例如,对于识别出的应用服务器的调试信息等写文本类信息,可执行写文本操作;对于识别出的用户的操作类信息以及统计信息等写数据库类信息,则执行写数据库操作。其中,由于统计信息既是一种日志信息,又是进行统计所需的特定信息,因此数据库可进一步包括日志数据库和统计数据库,对于一般的不做统计用的写数据库信息,如用户的操作类信息,只需写入日志数据库即可,而对于需要进行做统计用的统计信息,则在写入日志数据库的同时,还需写入统计数据库中。具体实现时,本实施例中所述的数据库可以是位于日志服务器中的数据库,也可以是位于日志服务器之外的数据库,例如,位于对应的应用服务器中的数据库。
进一步地,为了对过期的日志信息进行清理,日志服务器还可根据系统设定的或用户制定的日志清理策略对存放的日志信息进行清理。例如,预先在日志服务器的操作系统中设置计划任务,或由用户通过系统提供的接口在日志服务器的操作系统中设置计划任务,则日志服务器通过调用该计划任务机制,便可实现对存放的各类日志信息的清理。
具体实现时,各应用服务器的内部结构可有多种具体实现形式,图2为其中一种内部结构的示意图。如图2所示,该应用服务器包括:格式转换单元、数据包封装单元和发送单元。
其中,格式转换单元用于将自身产生的不同类型的日志信息统一转换为文本形式或二进制形式的日志信息。
数据包封装单元用于将所述文本形式或二进制形式的日志信息组装成网络包,并在所述网络包中对应不同类型的日志信息设置对应的日志类型标识。
发送单元用于将所述网络包发送给所述日志服务器。
相应地,日志服务器的内部结构也可有多种具体实现形式,图3为其中一种内部结构的示意图。如图3中的实线部分所示,该日志服务器包括:接收单元、解析单元和处理单元。
其中,接收单元用于接收来自应用服务器的网络包,如果网络包为二进制形式,则首先将二进制形式的网络包转换为文本形式。
解析单元用于对所述接收单元接收的网络包进行解析,得到不同类型的日志信息及对应的日志类型标识。
处理单元用于根据所述日志类型标识识别出对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。
进一步地,如图3中的虚线部分所示,该日志服务器可进一步包括:日志清理单元,用于根据系统设定的或用户制定的日志清理策略对存放的日志信息进行清理。
以上对本发明实施例一中的视频监控系统日志的处理系统进行了详细描述,下面再对本发明实施例中视频监控系统日志的处理方法进行详细描述。
图4为本发明实施例一中视频监控系统日志的处理方法的流程示意图。如图4所示,该流程包括如下步骤:
步骤401,一个或多个应用服务器将自身产生的不同类型的日志信息以网络包的形式发送给日志服务器,所述网络包中包括对应所述不同类型日志信息的日志类型标识。
其中,应用服务器可将自身产生的日志信息统一转换为文本形式或二进制形式的日志信息,然后将所述文本形式或二进制形式的日志信息组装成网络包发送给日志服务器。
步骤402,日志服务器接收来自所述应用服务器的网络包(如果网络包为二进制形式,则首先将二进制形式的网络包转换为文本形式),根据所述网络包中的日志类型标识,识别对应的日志信息的类型,对不同类型的日志信息分别进行存放处理。例如,对于调试信息和系统信息等写文本类信息,可执行写文件处理,对于用户的操作类信息和统计信息等写数据库类信息,可执行写数据库处理。
同样,数据库可包括日志数据库和统计数据库,对于一般的不做统计用的写数据库信息,如用户的操作类信息,只需写入日志数据库即可;而对于需要进行做统计用的统计信息,则在写入日志数据库的同时,还需写入统计数据库中。具体实现时,本实施例中所述的数据库可以是位于日志服务器中的数据库,也可以是位于对应的应用服务器中的数据库。
进一步地,日志服务器还可根据系统设定的或用户制定的日志清理策略对存放的日志信息进行清理。例如,日志服务器使用操作系统的计划任务,调用可变策略的程序脚本,实现日志清理,从而有效的实现对日志信息的管理。
本发明实施例一中通过为各种类型的日志信息设置一个统一的日志服务器,使得对于应用服务器来说,日志服务器屏蔽了不同类型日志的不同处理方法,简化了应用服务器的处理过程,进一步提高了应用服务器的性能。
实施例二:
图5为本发明实施例二中视频监控系统日志的处理系统的结构示意图。如图5所示,本实施例中包括分别对应一种类型日志信息的多个日志服务器,则本实施中的各应用服务器将自身产生的不同类型的日志信息分别以网络包的形式发送给对应的日志服务器。如图5所示,各应用服务器将调试信息、用户的操作类信息和统计信息分别发送给不同的日志服务器,接收调试信息的日志服务器对所接收的调试信息执行写文本操作,接收用户的操作类信息的日志服务器和接收统计信息的日志服务器对所接收的信息执行写数据库操作。其中,数据库可以是分别位于各日志服务器中的数据库,也可以是位于某个日志服务器中的数据库,还可以是位于对应的各应用服务器中的数据库。进一步地,各日志服务器可根据系统设定的或用户制定的日志清理策略分别对存放的日志信息进行清理。
具体实现时,各应用服务器的内部结构同样可如图2所示,包括:格式转换单元、数据包封装单元和发送单元,只是各单元的功能分别如下所示:
格式转换单元用于将自身产生的各种类型的日志信息分别转换为文本形式或二进制形式的日志信息。
数据包封装单元用于将不同类型的文本形式或二进制形式的日志信息分别组装成网络包。
发送单元用于将不同类型日志信息对应的网络包分别发送给对应的日志服务器。
相应地,本实施例二中的视频监控系统日志的处理方法可如图6所示的示意图,包括如下步骤:
步骤601,应用服务器将自身产生的不同类型的日志信息分别以网络包的形式发送给对应的日志服务器。
其中,应用服务器可将自身产生的不同类型的日志信息分别转换为文本形式(或二进制形式),然后将所述文本形式(或二进制形式)的日志信息组装成网络包发送给对应的日志服务器。
步骤602,各日志服务器接收来自所述应用服务器的网络包,对所述网络包中的日志信息进行存放处理。其中,如果网络包为二进制形式,则首先将二进制形式的网络包转换为文本形式。
进一步地,各日志服务器可根据系统设定的或用户制定的日志清理策略分别对存放的日志信息进行清理。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。