支持音视频解码自适应的系统及其方法.pdf

本发明公开了支持音视频解码自适应的系统及其方法，该系统包括：策略配置器、播放框架设备、内存设备和模块管理器；策略配置器，用于根据用户配置的信息，来确定模块管理器所采用的处理策略；播放框架设备，用于保存支持多种格式音视频文件播放的动态绑定协议；内存设备，用于保存处理不同格式音视频文件的模块；模块管理器，用于根据处理策略，对内存设备中的模块进行加载、卸载管理，以及根据所要处理的音视频文件的格式，从播放框架设备中调用与该格式相对应的动态绑定协议到内存设备中，与内存设备中的对应格式的模块进行绑定后，对音视频文件进行解码。本发明解决了移动终端的音视频播放器对音视频文件格式和音视频编码格式的限制问题。

1、  一种支持音视频解码自适应的系统，应用于移动终端的音视频播放器中，其特征在于：包括：策略配置器、播放框架设备、内存设备和模块管理器；其中，
所述策略配置器，用于根据用户配置的信息，来确定所述模块管理器所采用的处理策略；
所述播放框架设备，用于保存支持多种格式音视频文件播放的动态绑定协议；
所述内存设备，用于保存处理不同格式音视频文件的模块；
所述模块管理器，用于根据所述处理策略，对所述内存设备中的模块进行加载、卸载管理，以及根据所要处理的音视频文件的格式，从所述播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。

2、  如权利要求1所述的系统，其特征在于：
所述模块管理器，进一步还用于通过框架协议映射表根据所要处理的音视频文件的格式，从所述播放框架设备中的调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。

3、  如权利要求2所述的系统，其特征在于：
所述模块管理器中包括：静态处理策略模块和动态处理策略模块；所述静态处理策略模块和动态处理策略模块中均包括有替换策略模块，所述替换策略模块包括：基于优先级的替换策略模块和基于内存空间的替换策略模块。

4、  如权利要求1至3中任一权利要求所述的系统，其特征在于，还包括：
二级存储设备，用于保存所述模块管理器需要加载到所述内存设备中的模块，和/或保存所述模块管理器需要从所述内存设备中卸载的模块。

5、  如权利要求4所述的系统，其特征在于：
所述内存设备/二级存储设备中模块的类型包括：分离器模块、音视频解码模块和网络模块；
所述播放框架设备中动态绑定协议的类型包括：分离协议、音视频解码协议和网络协议。

6、  如权利要求1所述的系统，其特征在于：
所述策略配置器中的根据用户配置的信息包括：用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量。

7、  一种支持音视频解码自适应的方法，应用于移动终端的音视频播放器中，其特征在于：包括以下步骤：
所述音视频播放器根据用户配置的信息，确定所采用的处理策略；
所述音视频播放器根据所述处理策略，对该音视频播放器的内存设备中用于处理不同格式音视频文件的模块进行加载、卸载；
所述音视频播放器根据所要处理的音视频文件的格式，从该音视频播放器的播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。

8、  如权利要求7所述的方法，其特征在于：
所述音视频播放器根据所要处理的音视频文件的格式，从该音视频播放器的播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码，进一步为：
所述音视频播放器通过框架协议映射表根据所要处理的音视频文件的格式，从所述播放框架设备中的调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。

9、  如权利要求8所述的方法，其特征在于：
所述处理策略包括：静态处理策略和动态处理策略；所述静态处理策略和动态处理策略均包括有替换策略，所述替换策略包括：基于优先级的替换策略和基于内存空间的替换策略。

10、  如权利要求7至9中任一权利要求所述的方法，其特征在于：
所述音视频播放器根据所述处理策略，对该音视频播放器的内存设备中用于处理不同格式音视频文件的模块进行加载、卸载，进一步为：
所述音视频播放器根据所述处理策略，从所述音视频播放器的二级存储设备中调用需要的处理不同格式音视频文件的模块加载到所述内存设备中，和/或将所述内存设备中处理不同格式音视频文件的模块卸载到所述二级存储设备中。

11、  如权利要求10所述的方法，其特征在于：
所述内存设备/二级存储设备中模块的类型包括：分离器模块、音视频解码模块和网络模块；
所述动态绑定协议的类型包括：分离协议、音视频解码协议和网络协议。

12、  如权利要求7所述的方法，其特征在于：
所述用户配置的信息包括：用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量。

支持音视频解码自适应的系统及其方法
技术领域
本发明涉及嵌入式系统中的多媒体音视频领域，具体地说，本发明涉及一种支持音视频解码自适应的系统及其方法。
背景技术
当前，随着嵌入式系统的软硬件水平的不断提升，各种基于嵌入式系统的多媒体音视频播放应用得到了很大发展。以移动终端(手机)系统为例，不同的厂商相继推出了自己的音视频播放软件，给广大手机用户带来了全新的视听享受。
然而，面对种类众多的音视频编码格式和文件格式，以及相对受限的手机硬件资源。不同的移动终端的音视频播放器对于音视频文件都有严格的规定，只允许的特定的几种音视频文件在其系统上播放，而对于其他格式的音视频文件则不予支持。移动终端用户往往需要通过各种音视频转换工具将不支持的媒体类型转换为支持的媒体类型，才能进行观看，很不方便。
如何降低移动终端的音视频播放器对音视频格式(包括音视频文件格式和音视频编码格式)的限制，提高用户使用移动终端中的音视频播放器的方便性，便成为亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种支持音视频解码自适应的系统及其方法，以解决移动终端的音视频播放器对音视频文件格式和音视频编码格式的限制问题。
为解决上述技术问题，本发明提供了一种支持音视频解码自适应的系统，应用于移动终端的音视频播放器中，包括：策略配置器、播放框架设备、内存设备和模块管理器；其中，
所述策略配置器，用于根据用户配置的信息，来确定所述模块管理器所采用的处理策略；
所述播放框架设备，用于保存支持多种格式音视频文件播放的动态绑定协议；
所述内存设备，用于保存处理不同格式音视频文件的模块；
所述模块管理器，用于根据所述处理策略，对所述内存设备中的模块进行加载、卸载管理，以及根据所要处理的音视频文件的格式，从所述播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
本发明所述的系统，其中：
所述模块管理器，进一步还用于通过框架协议映射表根据所要处理的音视频文件的格式，从所述播放框架设备中的调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
进一步地，其中：
所述模块管理器中包括：静态处理策略模块和动态处理策略模块；所述静态处理策略模块和动态处理策略模块中均包括有替换策略模块，所述替换策略模块包括：基于优先级的替换策略模块和基于内存空间的替换策略模块。
进一步地，其中：
二级存储设备，用于保存所述模块管理器需要加载到所述内存设备中的模块，和/或保存所述模块管理器需要从所述内存设备中卸载的模块。
进一步地，其中：
所述内存设备/二级存储设备中模块的类型包括：分离器模块、音视频解码模块和网络模块；
所述播放框架设备中动态绑定协议的类型包括：分离协议、音视频解码协议和网络协议。
进一步地，其中：
所述策略配置器中的根据用户配置的信息包括：用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量。
为解决上述技术问题，本发明还提供了一种支持音视频解码自适应的方法，应用于移动终端的音视频播放器中，包括以下步骤：
所述音视频播放器根据用户配置的信息，确定所采用的处理策略；
所述音视频播放器根据所述处理策略，对该音视频播放器的内存设备中用于处理不同格式音视频文件的模块进行加载、卸载；
所述音视频播放器根据所要处理的音视频文件的格式，从该音视频播放器的播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
本发明所述的方法，其中：
所述音视频播放器根据所要处理的音视频文件的格式，从该音视频播放器的播放框架设备中调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码，进一步为：
所述音视频播放器通过框架协议映射表根据所要处理的音视频文件的格式，从所述播放框架设备中的调用与该格式相对应的动态绑定协议到所述内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
进一步地，其中：
所述处理策略包括：静态处理策略和动态处理策略；所述静态处理策略和动态处理策略均包括有替换策略，所述替换策略包括：基于优先级的替换策略和基于内存空间的替换策略。
进一步地，其中：
所述音视频播放器根据所述处理策略，对该音视频播放器的内存设备中用于处理不同格式音视频文件的模块进行加载、卸载，进一步为：
所述音视频播放器根据所述处理策略，从所述音视频播放器的二级存储设备中调用需要的处理不同格式音视频文件的模块加载到所述内存设备中，和/或将所述内存设备中处理不同格式音视频文件的模块卸载到所述二级存储设备中。
进一步地，其中：
所述内存设备/二级存储设备中模块的类型包括：分离器模块、音视频解码模块和网络模块；
所述动态绑定协议的类型包括：分离协议、音视频解码协议和网络协议。
进一步地，其中：
所述用户配置的信息包括：用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量。
与现有技术相比，本发明提高用户使用移动终端中的音视频播放器的方便性，解决了移动终端的音视频播放器对音视频文件格式和音视频编码格式的限制问题，同时也解决了有限的移动终端的硬件资源和移动终端所支持多种音视频格式所带来的资源消耗两者之间的矛盾问题。
附图说明
图1为本发明实施例所述系统的框架结构图；
图2为本发明实施例所述系统的具体框架结构图；
图3为本发明实施例所述系统的模块管理器中的框架协议映射表；
图4为本发明实施例所述系统中内存设备或二级存储设备里面的模块的结构示意图；
图5为本发明实施例所述方法的操作流程图。
具体实施方式
本发明的主要思想是解决了移动终端的音视频播放器对音视频文件格式和音视频编码格式的限制问题，同时也解决了有限的移动终端的硬件资源和移动终端所支持多种音视频格式所带来的资源消耗两者之间的矛盾问题。具体地说，本发明所述的系统和方法可以根据移动终端的硬件资源参数和用户的配置信息确定一套最佳的运行时动态调整方案，该调整方案可以根据不同的音视频格式和播放模式(播放模式指用户使用播放器的方式，可以是本地播放模式或网络播放模式)动态调整对资源的占用情况，保证该移动终端可以满足用户当前的需求，从而达到使移动终端支持多种音视频格式文件的目的。以下对具体实施方式进行详细描述，但不作为对本发明的限定。
如图1所示，为本发明实施例所述的一种支持音视频解码自适应的系统的框架结构图。该系统应用于移动终端的音视频播放器中，该系统包括：策略配置器101、模块管理器102、播放框架设备103和内存设备104；其中，
策略配置器101，用于根据用户配置的用户偏好、系统性能参数(即移动终端的处理器频率)，以及动态检测该系统的内存设备104的实际内存容量(目的是矫正用户设置的偏差)，来确定模块管理器102所采用的处理策略。
其中，用户偏好是指用户在策略配置器中设置的对不同的音视频文件格式和编码格式以及播放模式的喜好程度。例如，用户可能经常播放3gp、mp4或avi格式的视频文件，而很少播放flv格式的视频文件，那么用户可以通过策略配置器101对各种视频文件格式进行排序，排位靠前的视频文件格式有较高的优先级。
播放框架设备103，用于保存支持多种格式音视频文件播放的动态绑定协议。
其中，该播放框架设备103中包括：播放请求处理协议单元1031、固定实现协议单元1032和动态绑定协议单元1033；其中，
播放请求处理协议单元1031，用于接收用户的输入请求，并将这些输入请求转换为协议发送给模块管理器102。例如：用户的输入请求包括：用户选择的是本地播放还是网络播放、如果是网络播放，那么网络协议是什么等。
固定实现协议单元1032，用于保存固定任务指示协议(即不受动态加载影响的那些协议。例如：判断音视频文件类型的协议、框架初始化协议等的协议)，当接收到用户的固定任务指示时，将固定任务指示协议发送给模块管理器102。
动态绑定协议单元1033，用于保存支持多种格式音视频文件播放的动态绑定协议(动态绑定协议的类型包括三种，分别是音视频解码协议、分离协议和网络协议)，当收到模块管理器102发送的加载完成某个模块指示后，调用与该模块格式和类型都对应的动态绑定协议，将该动态绑定协议发送到内存设备104中与加载完成的该模块绑定。例如：当前移动终端需要对H263编码格式的视频数据进行解码，本发明所述系统对该视频数据进行解码的一个动态绑定协议是framework_video_decode，该动态绑定协议在模块管理器102对h263视频解码模块被加载之前只是简单的返回，不做任何有意义的操作，而在h263视频解码模块被加载并完成对该动态绑定协议的动态绑定后，该动态绑定协议就可以对h263视频数据进行解码了。具体地说，就是建立起framework_video_decode与h263_video_decode之间的对应关系，这样该动态绑定协议framework_video_decode被调用时将执行h263_video_decode，完成对h263视频数据的解码。
内存设备104，用于保存处理不同格式音视频文件的模块。
其中，该内存设备104中存储有至少一个分离器模块、至少一个音视频解码模块和至少一个网络模块。
具体地，如图1或2所示，在图1中的内存设备104中或图2中的内存设备104中包括有：至少一个分离器模块、至少一个音视频解码模块和至少一个网络模块；图2所示的二级存储设备105，用于保存模块管理器102需要加载到内存设备104中的模块，和/或保存模块管理器102需要从内存设备104中卸载的模块，所述模块也同样包括三种类型的模块，分别是分离器模块、音视频解码模块和网络模块。其中，
分离器模块，用于保存某种音视频文件格式的解析文件，当被模块管理器102调用到内存设备中后，与对应类型的动态绑定协议相结合对符合该种文件格式的音视频数据进行解析，分别获取其中待解码的音频或视频数据。
例如：分离器模块可以对avi、flv、mjpeg文件格式进行分离。
音视频解码模块，用于保存某种音频或视频文件格式的解码数据，当被模块管理器102调用到内存设备中后，与对应类型的动态绑定协议相结合对经过分离器模块处理后的符合该种文件格式的音频或视频数据进行解码，得到原始的数据。
网络模块，用于根据用户指示从网络上接收音视频数据，根据该接收的音视频数据的文件格式，发送给对应文件格式的分离器模块进行处理。
例如：一个网络模块支持HTTP网络协议，另一个网络模块支持RTSP网络协议，当用户选择网络播放模式并选择HTTP网络协议进行流媒体播放时，模块管理器102将HTTP网络协议对应的网络模块加载到内存设备104中，并在动态绑定协议单元1033中调用HTTP网络协议的函数到内存设备104中与加载的网络模块进行绑定，从而使移动终端实现按照HTTP网络协议从网络上获取音视频数据。
模块管理器102，用于根据所采用的处理策略，执行对内存设备104中的模块进行加载、卸载管理，以及通过框架协议映射表(如图3所示)根据所要处理的音视频文件的格式，从播放框架设备103中调用与该格式相对应的动态绑定协议到内存设备104中，与该内存设备104中的对应格式的模块进行绑定后，对该音视频文件进行解码工作。
另外，如图3所示，为模块管理器102中的框架协议映射表。动态绑定协议单元1033中的所有动态绑定协议在框架协议映射表中具有唯一的入口，其中还记录了每个动态绑定协议对应的模块，这样在系统执行某个动态绑定协议时可以执行到对应的模块。例如：动态绑定前动态绑定协议1对应的模块为空，此时执行动态绑定协议1，不会有任何效果；模块管理器102对动态绑定协议1和对应的模块1完成动态绑定后，再执行动态绑定协议1时则对应的模块1被执行，完成特定任务。
另外，模块管理器102执行对内存设备104中的不同模块的加载、卸载管理，进一步为：
模块管理器102将某个模块加载到内存设备104中后，需要调用动态绑定协议单元1033中与该模块对应的动态绑定协议进行重新绑定；
模块管理器102将某个模块从内存设备104中卸载前，需要清空在框架协议映射表中该模块对应的动态绑定协议，然后在从内存设备104中将该模块卸载；
模块管理器102当需要对某个模块进行替换等操作时也伴随着对框架协议映射表中该模块对应的动态绑定协议的绑定与卸载。
其中，模块管理器102中包括：静态处理策略模块和动态处理策略模块；
静态处理策略模块为策略配置器101根据移动终端的处理器频率、内存设备104的实际内存容量和用户偏好的设置，分别确定能够保持在内存设备104中的各个分离器模块、音视频解码模块和网络模块的优先级。高优先级的模块可以同时保持在内存设备104中，这样在内存设备104的空间允许的情况下，内存设备104中可能会同时保持多个不同类型的分离器模块、音视频解码模块或网络模块。
动态处理策略模块为在静态处理策略的基础上，当策略配置器101在一段时间内实际统计发现较低优先级的音视频文件格式经常被播放，而在静态处理策略中设置的较高优先级的音视频文件格式并不被经常播放，则策略配置器101指示模块管理器102将较高优先级的音视频文件格式对应的分离器模块和音视频解码模块卸载，将经常被播放的较低优先级的音视频文件格式对应的分离器模块和音视频解码模块加载并保持在内存设备104中。
静态处理策略的好处是由于用户经常使用这些高优先级的模块，这样可以减少模块管理器102对上述这些高优先级的模块的加载与卸载，减少输入输出操作，提高移动终端播放器的处理性能。
另外，上述两种策略模块中还包括有替换策略模块。替换策略模块是指当模块管理器102根据用户的指示需要加载某个模块(如图2所示，该模块在二级存储设备105中)到内存设备104中时，而内存设备104中的空间无法容纳该模块时，需要将内存设备104中现有的某些模块替换出内存，为待加载的该模块提供空间。目前有两种替换策略模块：
一种是基于优先级的替换策略模块。该基于优先级的替换策略模块，用于在用户偏好设置完成后，每个模块有一个优先级，对当前播放过程中不需要的，且具有低优先级的模块替换出内存设备104中，为待加载的模块提供空间。
另一种是基于内存空间的替换策略模块。该基于内存空间的替换策略模块，用于将当前播放过程中不需要的，且占用空间最大的模块替换出内存设备104中，直到有足够的内存设备104的空间来将待加载的模块转移到内存设备104中。例如：当前内存中同时有h263视频解码模块和mjpeg视频解码模块，而当前播放的视频文件中的视频数据编码方式是h263，那么，h263视频解码模块是被使用的，而mjpeg视频解码模块是未被使用的(即不需要的)且占用空间最大的模块。
如图4所示，为内存设备104或二级存储设备105中的可以动态加载的模块的结构示意图。其中每个模块中除了包含各种完成特定功能的协议外(如图4中协议1到协议N)，还包括有该模块的一些统计信息，如模块标识、处理器参数、内存参数和协议列表等，模块管理器102根据每个模块的内部包含的这些信息来完成模块的加载，并记录下已经加载的所有协议的信息，方便后续的处理。其中，
模块标识是对模块的唯一标识，是个ID，用来区分各个模块；
处理器参数，是指该模块中的协议若要正常运行，需要的处理器频率最低值是多少，如果处理器频率没有达到这个限制值，那么这个模块是不能被加载的；
内存参数，是指该模块中的协议正常运行至少需要多少内存空间，如果内存大小没有达到这个限制值，那么这个模块也是不能被加载的；
协议列表，是记录该模块中各个协议相对于模块起始位置的偏移，其作用在于定位各个协议。
如图5所示，为本发明实施例所述的一种支持音视频解码自适应的方法的操作流程图。该方法应用于移动终端的音视频播放器中，包括步骤：
步骤501，音视频播放器根据用户配置的信息，确定所采用的处理策略；
步骤502，音视频播放器根据处理策略，对该音视频播放器的内存设备中用于处理不同格式音视频文件的模块进行加载、卸载；
步骤503，音视频播放器根据所要处理的音视频文件的格式，从该音视频播放器的播放框架设备中调用与该格式相对应的动态绑定协议到内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
其中，步骤501中所述用户配置的信息包括：用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量。具体的关于用户偏好、系统性能参数以及动态检测所述内存设备的实际内存容量的定义，与前述系统中的内容一致，这里不再进行详述。
步骤501中所述处理策略包括：静态处理策略和动态处理策略；所述静态处理策略和动态处理策略均包括有替换策略，所述替换策略包括：基于优先级的替换策略和基于内存空间的替换策略。具体内容与前述系统中的内容一致，这里不再进行详述。
另外，所述音视频播放器的内存设备中模块的类型包括分离器模块、音视频解码模块和网络模块；所述分离器模块、音视频解码模块和网络模块中的任一模块中均包括：模块标识、处理器参数、内存参数和函数列表。
另外，步骤502，进一步为：
音视频播放器根据所述处理策略，从音视频播放器的二级存储设备中调用需要的处理不同格式音视频文件的模块加载到内存设备中，和/或将内存设备中处理不同格式音视频文件的模块卸载到二级存储设备中。
另外，动态绑定协议的类型包括分离协议、音视频解码协议和网络协议，该动态绑定协议的类型是与内存设备/二级存储设备中模块的类型对应的。具体的关于分离协议、音视频解码协议和网络协议的定义，与前述系统中的内容一致，这里不再进行详述。
另外，步骤503进一步为：音视频播放器通过框架协议映射表(如图4所示)根据所要处理的音视频文件的格式，从播放框架设备中的调用与该格式相对应的动态绑定协议到内存设备中，与该内存设备中的对应格式的模块进行绑定后，对该音视频文件进行解码。
与现有技术相比，本发明提高用户使用移动终端中的音视频播放器的方便性，解决了移动终端的音视频播放器对音视频文件格式和音视频编码格式的限制问题，同时也解决了有限的移动终端的硬件资源和移动终端所支持多种音视频格式所带来的资源消耗两者之间的矛盾问题。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。