用于帧间译码或/帧内译码的候选块的可编程及可缩放搜索.pdf

《用于帧间译码或/帧内译码的候选块的可编程及可缩放搜索.pdf》由会员分享，可在线阅读，更多相关《用于帧间译码或/帧内译码的候选块的可编程及可缩放搜索.pdf（30页完成版）》请在专利查询网上搜索。

1、10申请公布号CN104285446A43申请公布日20150114CN104285446A21申请号201380025027X22申请日2013051061/646,80820120514US13/801,62220130313USH04N19/51201401H04N19/176201401H04N19/5620140171申请人高通股份有限公司地址美国加利福尼亚州72发明人LF黄HG瑟鲁纳盖斯瓦拉姆HG拉尔古迪S莫汉王凯74专利代理机构北京律盟知识产权代理有限责任公司11287代理人宋献涛54发明名称用于帧间译码或/帧内译码的候选块的可编程及可缩放搜索57摘要本发明提供用于帧间译码及/或。

2、帧内译码的候选块的有效搜索的方法及系统。在一个创新方面中，提供一种用于执行运动估计的设备。所述设备包含处理器，其经配置以识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对应于所述视频数据的另一帧的块。所述处理器经进一步配置以基于所述候选块之间的距离来选择待搜索的所述候选块中的一或多者。所述处理器还经配置以基于所述视频数据的格式来选择用于搜索所述选定候选块的方法。所述处理器还经配置以基于所述选定方法及所述选定候选块来估计所述另一帧的所述块的运动。30优先权数据85PCT国际申请进入国家阶段日2014111386PCT国际申请的申请数据PCT/US2013/0405322013051087P。

3、CT国际申请的公布数据WO2013/173185EN2013112151INTCL权利要求书3页说明书15页附图11页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书15页附图11页10申请公布号CN104285446ACN104285446A1/3页21一种用于执行运动估计的设备，所述设备包括处理器，其经配置以识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对应于所述视频数据的另一帧的块；基于所述候选块之间的距离来选择待搜索的所述候选块中的一或多者；基于所述视频数据的格式来选择用于搜索所述选定候选块的方法；及基于所述选定方法及所述选定候选块来估计所述另一帧的所述块的。

4、运动。2根据权利要求1所述的设备，其中所述处理器经进一步配置以识别搜索所述候选块的次序。3根据权利要求1或2中任一权利要求所述的设备，其中所述候选块数目是基于所要编码时间来识别。4根据权利要求1至3中任一权利要求所述的设备，其中所述候选块数目是基于所述视频数据的所述格式来识别。5根据权利要求1至4中任一权利要求所述的设备，其中所述视频数据的所述格式包括所述帧的大小及所述视频数据的帧速率中的至少一者。6根据权利要求5所述的设备，其中所述候选块数目是基于所述帧的所述大小与帧大小阈值之间的比较来识别。7根据权利要求6所述的设备，其中所述候选块数目与所述帧大小阈值减去所述帧的所述大小成正比。8根据权利。

5、要求5至7中任一权利要求所述的设备，其中所述候选块数目是基于所述帧速率与帧速率阈值之间的比较来识别。9根据权利要求8所述的设备，其中所述候选块数目与所述帧速率阈值减去所述帧速率成正比。10根据权利要求1至9中任一权利要求所述的设备，其中候选块经选择以搜索所述候选块与另一候选块之间的距离是否大于可配置值。11根据权利要求10所述的设备，其中所述距离包括运动值。12根据权利要求1至11中任一权利要求所述的设备，其中选择所述用于搜索的方法包括识别块搜索大小；及基于所述所识别块搜索大小及用于多个方法中的每一者的块搜索大小来从所述多个方法中的一者选择所述方法。13根据权利要求12所述的设备，所述块搜索大。

6、小是基于所述帧的所述大小与帧大小阈值之间的比较来识别。14根据权利要求13所述的设备，其中所述块搜索大小与所述帧大小阈值减去所述帧的所述大小成反比。15根据权利要求12至14中任一权利要求所述的设备，其中所述块搜索大小是基于所述帧速率与帧速率阈值之间的比较来识别。16根据权利要求15所述的设备，其中所述块搜索大小与所述帧速率阈值减去所述帧速率成反比。权利要求书CN104285446A2/3页317根据权利要求1至16中任一权利要求所述的设备，其中所述次序是基于用以编码所述视频数据的译码方案来设置。18一种用于执行运动估计的方法，所述方法包括识别待搜索的视频数据的帧的候选块的数目，至少一个候选块。

7、对应于所述视频数据的另一帧的块；基于所述候选块之间的距离来选择待搜索的所述候选块中的一或多者；基于所述视频数据的格式来选择用于搜索所述选定候选块的方法；及基于所述选定方法及所述选定候选块来估计所述另一帧的所述块的运动。19根据权利要求18所述的方法，其中处理器经进一步配置以识别搜索所述候选块的次序。20根据权利要求18或19中任一权利要求所述的方法，其中基于所要编码时间来识别所述候选块数目。21根据权利要求18至20中任一权利要求所述的方法，其中基于所述视频数据的所述格式来识别所述候选块数目。22根据权利要求18至21中任一权利要求所述的方法，其中所述视频数据的所述格式包括所述帧的大小及所述视。

8、频数据的帧速率中的至少一者。23根据权利要求22所述的方法，其中基于所述帧的所述大小与帧大小阈值之间的比较来识别所述候选块数目。24根据权利要求23所述的方法，其中所述候选块数目与所述帧大小阈值减去所述帧的所述大小成正比。25根据权利要求22至24中任一权利要求所述的方法，其中基于所述帧速率与帧速率阈值之间的比较来识别所述候选块数目。26根据权利要求25所述的方法，其中所述候选块数目与所述帧速率阈值减去所述帧速率成正比。27根据权利要求18至26中任一权利要求所述的方法，其中选择候选块以搜索所述候选块与另一候选块之间的距离是否大于可配置值。28根据权利要求27所述的方法，其中所述距离包括运动值。

9、。29根据权利要求18至28中任一权利要求所述的方法，其中选择所述用于搜索的方法包括识别块搜索大小；及基于所述所识别块搜索大小及用于多个方法中的每一者的块搜索大小来从所述多个方法中的一者选择所述方法。30根据权利要求29所述的方法，基于所述帧的所述大小与帧大小阈值之间的比较来识别所述块搜索大小。31根据权利要求30所述的方法，其中所述块搜索大小与所述帧大小阈值减去所述帧的所述大小成反比。32根据权利要求29所述的方法，其中基于所述帧速率与帧速率阈值之间的比较来识别所述块搜索大小。33根据权利要求32所述的方法，其中所述块搜索大小与所述帧速率阈值减去所述帧权利要求书CN104285446A3/3。

10、页4速率成反比。34根据权利要求18至33中任一权利要求所述的方法，其中基于用以编码所述视频数据的译码方案来设置所述次序。35一种用于执行运动估计的设备，所述设备包括用于识别待搜索的视频数据的帧的候选块的数目的装置，至少一个候选块对应于所述视频数据的另一帧的块；用于基于所述候选块之间的距离来选择待搜索的所述候选块中的一或多者的装置；用于基于所述视频数据的格式来选择用于搜索所述选定候选块的方法的装置；及用于基于所述选定方法及所述选定候选块来估计所述另一帧的所述块的运动的装置。36一种包括指令的计算机可读存储媒体，所述指令致使设备进行以下操作识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对。

11、应于所述视频数据的另一帧的块；基于所述候选块之间的距离来选择待搜索的所述候选块中的一或多者；基于所述视频数据的格式来选择用于搜索所述选定候选块的方法；及基于所述选定方法及所述选定候选块来估计所述另一帧的所述块的运动。权利要求书CN104285446A1/15页5用于帧间译码或/帧内译码的候选块的可编程及可缩放搜索技术领域0001本发明涉及视频译码，且明确地说涉及用于帧间译码及/或帧内译码的候选块的有效搜索。背景技术0002数字视频译码用于广泛范围的装置中，包含数字电视、数字直播系统、无线通信装置、个人数字助理PDA、膝上型或台式计算机、数字摄像机、数字记录装置、视频游戏装置、蜂窝式或卫星无线电。

12、电话或类似者。数字视频装置实施视频压缩技术例如，MPEG2、MPEG4或H264/MPEG4高级视频译码AVC以更有效地发射并接收数字视频。0003大体来说，视频压缩技术执行空间预测、运动估计及运动补偿以减少或移除视频数据中所固有的冗余。明确地说，帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间编码依赖于时间预测来减少或移除邻近帧内的视频中的时间冗余。对于帧间译码来说，视频编码器执行运动估计以追踪两个或两个以上邻近帧之间的匹配的视频块的移动。运动估计产生运动向量，所述运动向量指示视频块相对于一或多个参考帧中的对应视频块的位移。运动补偿使用所述运动向量以从参考帧产生预测视频。

13、块。在运动补偿之后，通过从原始视频块中减去预测视频块来形成残余视频块。发明内容0004本发明的系统、方法及装置各自具有若干创新方面，所述方面中没有单个一者单独地负责本文所揭示的所需要的属性。0005在一个创新方面中，提供一种用于执行运动估计的设备。所述设备包含处理器，其经配置以识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对应于视频数据的另一帧的块。处理器经进一步配置以基于候选块之间的距离来选择待搜索的候选块中的一或多者。处理器还经配置以基于视频数据的格式来选择用于搜索选定候选块的方法。处理器还经配置以基于选定方法及选定候选块来估计另一帧的块的运动。0006在另一创新方面中，提供一种用。

14、于执行运动估计的方法。所述方法包含识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对应于视频数据的另一帧的块。所述方法还包含基于候选块之间的距离来选择待搜索的候选块中的一或多者。所述方法进一步包含基于视频数据的格式来选择用于搜索选定候选块的方法。方法还包含基于选定方法及选定候选块来估计另一帧的块的运动。0007在另一创新方面中描述用于执行运动估计的额外设备。所述设备包含用于识别待搜索的视频数据的帧的候选块的数目的装置，至少一个候选块对应于视频数据的另一帧的块。所述设备包含用于基于候选块之间的距离来选择待搜索的候选块中的一或多者的装置。所述设备还包含用于基于视频数据的格式来选择用于搜索选定。

15、候选块的方法的装置。设备进一步包含用于基于选定方法及选定候选块来估计另一帧的块的运动的装置。说明书CN104285446A2/15页60008在另一创新方面中，提供一种包括指令的计算机可读存储媒体。所述指令致使设备识别待搜索的视频数据的帧的候选块的数目，至少一个候选块对应于视频数据的另一帧的块。所述指令进一步致使设备基于候选块之间的距离来选择待搜索的候选块中的一或多者。指令还致使设备基于视频数据的格式来选择用于搜索选定候选块的方法。指令致使进一步致使设备基于选定方法及选定候选块来估计另一帧的块的运动。附图说明0009图1是说明视频编码与解码系统的框图。0010图2是说明视频编码器的实例的框图。。

16、0011图3为说明视频解码器的实例的框图。0012图4A说明可用以识别参考帧中的候选块的运动向量候选者的实例。0013图4B说明用于搜索候选块的次序的实例。0014图5展示用于示范性候选块搜索的过程流程图。0015图6说明低复杂性搜索过程的实例。0016图7说明使用子块级别预测器的中等复杂性搜索过程的实例。0017图8展示使用子块级别预测器的高复杂性搜索过程的实例。0018图9说明用于搜索候选块的示范性过程的流程图。0019图10说明用于执行运动估计的设备的框图。0020图11说明包含候选运动估计处理器的运动估计单元的框图。0021图12说明候选块的有效搜索的过程图。具体实施方式0022大体来。

17、说，本发明是针对用于帧间译码及/或帧内译码的候选块的有效搜索的技术。如本文所使用，术语“译码”可指编码、解码或两者。尽管本发明中所述的技术可适用于广泛多种实际应用，但为了实例及说明目的本发明将参考数字视频编码与解码。0023图1是说明视频编码与解码系统的框图。如图1中所展示，系统10包含源装置12，源装置2经由通信信道16将经编码视频发射到接收装置14。源装置12可包含视频源18、视频编码器20及发射器22。接收装置14可包含接收器24、视频解码器26及视频显示装置28。系统10可经配置以根据本发明将技术应用到数字视频数据的有效译码。0024在图1的实例中，通信信道16可包含任何无线或有线通信。

18、媒体，例如，射频RF频谱或一或多个物理传输线、或无线及有线媒体的任何组合。信道16可形成基于包的网络例如，局域网、广域网或例如因特网的全球网的一部分。通信信道16通常表示用于将视频数据从源装置12发射到接收装置14的任何合适的通信媒体或不同通信媒体的集合。在一些实施方案中，通信信道16为双向的。在此类实施方案中，源装置12可接收来自接收装置14的反馈。所述反馈可用作编码过程的输入。0025源装置12产生用于发射到接收装置14的视频。然而，在一些情况下，源装置12及接收装置14可以实质上对称方式来操作。举例来说，源装置12及接收装置14中的每一者可包含视频编码与解码组件。因此，系统10可支持视频。

19、装置例如，源装置12及接收装置14之间的单向或双向视频传输，例如用于视频流式传输、视频广播或视频电话。对于其说明书CN104285446A3/15页7它数据压缩及译码应用，源装置12及/或接收装置14可经配置以发送及接收或交换其它类型的数据，例如图像、语音或音频数据、或两个或两个以上视频、图像、语音及音频数据的组合。因此，视频编码与解码应用的论述是出于说明的目的而提供且不应被认为限制本发明的各个方面如本文中广泛描述。0026视频源18可包含视频捕捉装置，例如一或多个视频摄像机、含有先前捕捉的视频的视频存档或者来自视频内容提供商的直播视频馈入。作为另一替代方案，视频源18可产生基于计算机图形的数。

20、据作为源视频或实况视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，那么源装置12及接收装置14可形成所谓的摄像机电话或视频电话。因此，在一些方面中，源装置12、接收装置14或两者可形成无线通信装置手机，例如移动电话手机。在每一情况下，所捕捉、预先捕捉或计算机产生的视频可由视频编码器20编码以用于经由发射器22、信道16及接收器24而从视频源装置12发射到视频接收装置14的视频解码器26。显示装置28可包含多种显示装置中的任一者，例如液晶显示器LCD、等离子显示器或有机发光二极管OLED显示器。0027视频编码器20及视频解码器26可经配置以支持可缩放视频译码SVC以实现空间。

21、、时间及/或信噪比SNR可缩放性。在一些方面中，视频编码器20及视频解码器26可经配置以支持用于SVC的精细粒度SNR可缩放性FGS译码。编码器20及解码器26可通过支持基础层及一或多个可缩放增强层的编码、发射及解码来支持各种程度的可缩放性。对于可缩放视频译码来说，基础层载运具有最小质量级别的视频数据。一或多个增强层载运额外的位流以支持较高的空间、时间及/或SNR级别。0028视频编码器20及视频解码器26可部分根据本文所述的技术及部分根据视频压缩标准例如MPEG2、MPEG4、ITUTH263或ITUTH264/MPEG4高级视频译码AVC来操作。举例来说，本文使用的技术可用以增强或取代在视。

22、频压缩标准中所使用的相应技术，如所属领域的技术人员将理解。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器26可分别与音频编码器及译码器集成，且包含适当的MUXDEMUX单元或其它硬件及软件，以处置共同数据流及单独数据流中的音频及视频两者的编码。如果适用，MUXDEMUX单元可符合ITUH223多路复用器协议或例如用户数据报协议UDP等其它协议。0029由ITUT视频译码专家组VCEG与ISO/IEC移动图片专家组MPEG一起将H264/MPEG4AVC标准制定为被称为联合视频小组JVT的集体合作伙伴的产物。H264标准由ITUT研究组描述于ITUT推荐标准H264“用于一般视听服。

23、务的高级视频译码ADVANCEDVIDEOCODINGFORGENERICAUDIOVISUALSERVICES”中且标注日期2005年3月，其在本文中可被称作H264标准或H264规范，或H264/AVC标准或规范。0030在一些方面中，对于视频广播，可将本发明中所述的技术应用到增强H264视频译码，用于例如经由无线视频广播服务器或无线通信装置手机来陆地移动多媒体多播TM3系统中传递实时视频服务。在一些实施方案中，视频可根据其它标准来广播，例如DVBH数字视频广播手持式、ISDBT集成服务数字广播陆地或DMB数字媒体广播。因此，源装置12可为移动无线终端、视频流式传输服务器或视频广播服务器。。

24、然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的情况下，源装置12可广播视频数据的若干信道到多个接收装置，所述接收装置中的每一者可类似于图1的接收装置14。说明书CN104285446A4/15页80031视频编码器20及视频解码器26各自可经实施为一或多个微处理器、数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA、离散逻辑、软件、硬件、固件或其任何组合。因此，可将视频编码器20及视频解码器26中的每一者至少部分地实施为集成电路IC芯片或装置，并包含于一或多个编码器或解码器中，其中任一者可在相应移动装置、订户装置、广播装置、服务器或类似者中集成。

25、为组合式编码器/解码器CODEC的一部分。另外，源装置12及接收装置14各自可在适用时包含用于发射及接收经编码视频的适当调制、解调、频率转换、滤波及放大器组件，包含足以支持无线通信的射频RF无线组件及天线。然而，为了易于说明，图1中未展示此类组件。0032视频序列包含一系列视频帧。视频编码器20对个别视频帧内的像素块进行操作，以便对视频数据进行编码。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧包含一系列切片。每一切片可包含一系列宏块，其可经布置成若干子块。作为实例，ITUTH264标准支持各种块大小的帧内预测例如对于明度分量，16乘16、8乘8或4乘4，及对。

26、于色度分量，8乘8以及各种块大小的帧间预测例如对于明度分量，16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4，及对于色度分量，对应的经按比例缩放的大小。0033较小视频块可提供较佳分辨率，且可用于包含较高细节水平的视频帧的定位。一般来说，可将宏块MB及各种子块视为视频块。另外，可将切片视为一系列视频块，例如，MB及/或子块。每一切片可为可独立解码的单元。在预测之后，可将变换执行于8乘8残余块或4乘4残余块上，及可在使用INTRA_16_BY_16预测模式的情况下将额外变换应用于用于色度分量或明度分量的DC系数。0034图1的系统10的视频编码器20及/或视频解码器26可经配置以并。

27、入下文所描述的方面，以用于针对帧间译码及/或帧内译码的候选块的有效搜索，以减少处理开销、处理复杂性及/或功率消耗。0035图2是说明视频编码器的实例的框图。视频编码器20可至少部分地形成为一或多个集成电路装置，其可统称为集成电路装置。在一些方面中，视频编码器20可形成无线通信装置手机或广播服务器的一部分。视频编码器20可执行对视频帧内的块的帧内及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。对于帧间译码来说，视频编码器20执行运动估计以追踪邻近帧之间的匹配视频块的移动。0036如图2中所示，视。

28、频编码器20接收待编码的视频帧内的当前视频区块30。在图2的实例中，视频编码器20包含运动估计单元32、参考帧存储装置34、运动补偿单元36、块变换单元38、量化单元40、逆量化单元42、逆变换单元44及熵编码单元46。视频编码器20还可包含存储器包含存储器47。可应用回路中解块滤波器未图示以对块进行滤波以移除块假影。视频编码器20还包含加法器48及加法器50。图2说明视频编码器20的用于对视频块进行帧间译码的时间预测组件。尽管为易于说明而未在图2中展示，但视频编码器20还可包含用于对一些视频块进行帧内译码的空间预测组件。0037运动估计单元32比较视频块30与一或多个邻近视频帧中的块以产生一。

29、或多个运动向量。邻近帧可从参考帧存储装置34中检索，参考帧存储装置34可包括任何类型的存储器或数据存储装置以存储从先前经编码块重建构的视频块。可对可变大小的块执行运动说明书CN104285446A5/15页9估计，例如，16乘16、16乘8、8乘16、8乘8或更小的块大小。0038在操作中，运动估计单元32识别邻近帧中的最紧密地匹配当前视频块30的一或多个块例如，基于速率失真模型，且确定邻近帧中的所述块与当前视频块之间的位移。以此为基础，运动估计单元32产生一或多个运动向量MV，其指示当前视频块30与来自用以对当前视频块30进行译码的参考帧的一或多个匹配块之间的位移的量值及轨迹。0039运动向。

30、量可具有二分之一或四分之一像素精度，或甚至更精细的精度，从而允许视频编码器20以比整数像素定位高的精度来追踪运动且获得较佳预测块。在一些实施方案中，这些较精细精度向量可称作子样本。当使用具有分数像素值的运动向量时，在运动补偿单元36中实行内插操作。运动估计单元32使用特定准则例如，速率失真模型针对视频块识别最佳块分割及运动向量。举例来说，在双向预测的情况下，可不仅存在运动向量。使用所得块分割及运动向量，运动补偿单元36形成预测视频块。0040视频编码器20通过在加法器48处从原始当前视频块30减去运动补偿单元36所产生的预测视频块来形成残余视频块。块变换单元38将变换例如H264/AVC中所使。

31、用的4乘4或8乘8整数变换应用到残余块，从而产生残余变换块系数。量化单元40对残余变换块系数进行量化以进一步减小位速率。熵编码单元46对经量化系数进行熵译码以更进一步降低位速率。0041大体来说，视频解码器26执行逆操作包含解码及剖析，以解码及重建构经编码的视频，如例如参考图3将描述。0042逆量化单元42及逆变换单元44分别应用逆量化及逆变换，以重建构残余块。加法器50将经重建构的残余块加到由运动补偿单元36产生的经运动补偿的预测块以产生经重建构的视频块，以存储于参考帧存储装置34中。经重建构视频块由运动估计单元32及运动补偿单元36使用以对后续视频帧中的块进行编码。0043图3为说明视频解。

32、码器的实例的框图。视频解码器26可至少部分地形成为一或多个集成电路装置，其可统称为集成电路装置。在一些方面中，视频解码器26可形成无线通信装置手机的一部分。视频解码器26可执行对视频帧内的块的帧内及帧间解码。如图3中所示，视频解码器26接收来自接收器24图1的已由视频编码器20编码的经编码视频位流。在图3的实例中，视频解码器26包含熵解码单元52、运动补偿单元54、逆量化单元56、逆变换单元58及参考帧存储装置62。视频解码器还可包含存储器包含存储器53，其可由熵解码单元52使用以用于译码数据的存储及检索。视频解码器26还可包含对加法器64的输出进行滤波的回路中解块滤波器未图示。视频解码器26。

33、还包含加法器64。图3说明视频解码器26的用于视频块的帧间解码的时间预测组件。尽管图3中未展示，但视频解码器26还可包含用于一些视频块的帧内解码的空间预测组件。0044熵解码单元52接收经编码视频位流，且根据位流量化的残余系数、宏块译码模式及运动信息其可包含运动向量及块分割来进行解码。0045运动补偿单元54从参考帧存储装置62接收运动向量及块分割与一或多个经重建构的参考帧以产生预测视频块。逆量化单元56逆量化即，解量化经量化的块系数。逆变换单元58将逆变换例如，逆DCT或逆4乘4或8乘8整数变换应用到系数以产生残余块。预测视频块接着通过加法器64用所述残余块产生以形成经解码块。解块滤波器未图。

34、示可应用于对经解码的块进行滤波以移除块假影。接着，将经滤波的块放置于参考帧说明书CN104285446A6/15页10存储装置62中，参考帧存储装置62提供用于解码后续视频帧的参考帧且还产生经解码的视频以驱动显示装置28图1。0046如上文论述，视频编码器20可执行帧内译码及帧间译码或其它译码技术中的一者或两者，所述技术涉及通过搜索同一帧或邻近帧中的块的匹配块来对块还称作“宏块”进行译码。如上文论述，应注意，不同宏块可具有不同的大小及/或形状。待检查或搜索为潜在匹配块的块可在本文被称作“候选块”。0047当编码高分辨率及/或高帧速率视频时，视频编码器20可具有有限的时间量以处理视频的图像。此意。

35、味着可存在针对每一图像的每一宏块的有限处理时间。0048此外，在一些情况下，视频编码器20除了编码高分辨率及/或高帧速率视频之外，还可用以编码低分辨率及/或低帧速率视频。因此，本文描述提供用于译码的候选块的有效搜索的系统及方法的技术，所述技术减少处理时间且进一步例如在搜索执行多长时间及什么复杂性级别方面例如，取决于待译码的视频的方面例如，分辨率、帧速率等为可调整的例如，可编程的。本文描述各种方面。应注意，这些方面可以任何组合来执行，包含视频编码器20或其它合适的硬件及/或软件的任何方面或将前述方面排除在外。0049在一些方面中，视频编码器20经配置以用待编码的视频的格式例如，帧大小及帧速率来进。

36、行缩放。明确地说，视频编码器20可为可编程的，因为其经配置以调整所使用的处理循环的数目以便搜索候选块。所使用处理循环的数目可经手动调整，例如通过改变与视频编码器20相关联的编程例如，调整寄存器值、算术逻辑等以反映处理循环的适当数目。在一些方面中，所使用处理循环的数目可自动地调整，例如基于待编码视频的格式例如，帧大小、帧速率等及/或用以编码所述视频的译码方案例如，标准例如，H264、VP8、MPEG4等。举例来说，较高帧速率及/或较大帧大小例如，阈值以上可花费较多处理时间来编码全部，因此可分配较少数目个处理循环来搜索候选块。类似地，较低帧速率及/或较小帧大小例如，阈值以下可花费较少处理时间来编码。

37、全部，因此可分配较大数目个处理循环来搜索候选块。0050在一些方面中，视频编码器20还可为可编程的，因为其经配置以根据可调整优先权方案来搜索候选块。举例来说，可基于用以编码视频数据的译码方案例如，H264、VP8、MPEG4等来调整优先权方案。因此，可将执行候选块的搜索的次序优化为特定译码方案。举例来说，一个优先权方案可包括在视频帧的中心附近的第一搜索候选块及在所述帧的周边的较迟搜索候选块。另外或替代地，取决于译码方案，可在帧内候选块使用空间预测器之前搜索帧间候选块使用时间预测器，或在帧间候选块之前搜索帧内候选块。举例来说，在一些译码方案中，帧间候选块可使用比帧内候选块少的位来译码，且因此被首。

38、先搜索。在另一实例中，候选块可使用一或多个方法来搜索例如，帧间时间搜索、帧内空间搜索、子样本搜索引擎SSE搜索、运动向量预测MVP搜索等。这些一或多个方法可取决于用于编码的译码方案而按特定次序来搜索。0051图4A说明可用以识别参考帧中的候选块的运动向量候选者的实例。候选块是参考帧中像素值的群组，例如参考帧的宏块。运动向量候选者与候选块可互换地使用。在帧425的宏块MB内展示兴趣点POI。除了兴趣点之外，可将若干个额外块用作候选块。举例来说，在图4A中，提供时间预测器值T1、T2、T3及T4430。0052还可将若干空间预测器包含在所述帧的兴趣点附近。如图4A中所示，提供空间预说明书CN104。

39、285446A107/15页11测器值S1、S2、S3、S4、S5及S6。在一些实施方案中还可提供子样本搜索引擎值435。图4A中所示的兴趣点与SSE1、SSE2、SSE3、SSE4、SSE5、SSE6、SSE7及SSE8所识别的八个子样本搜索引擎值相关联。如上文论述，可用于搜索的候选块可包含比图4A中所示的多或少的值。0053图4B说明用于搜索候选块的次序的实例。图4B中所示的次序是基于图4A中识别的候选块。每一运动向量候选者450与识别符ID455相关联。候选块450的排序未必意味着将搜索候选块。如将描述，可从搜索视频数据的特定部分中省略一些候选块450。0054在图4B中展示的实施方案中。

40、，按优选搜索的次序来组织候选块450。待搜索的第一块为兴趣点。待搜索的第二块为与兴趣点偏移的块。举例来说，所述偏移可沿着垂直及/或水平偏移。待搜索的第三块为运动向量预测MVP。MVP候选者对应于预测运动向量周围的搜索候选块。待搜索的第四块为在第一子样本搜索引擎候选块SSE1所识别的区域周围的候选块。可接着搜索空间预测例如，帧内块S1S6中的每一者。可接着搜索SSE2及SSE3周围的候选块，之后接着时间帧间候选块T1到T4。接着可将搜索SSE4到SSE8所识别的剩余候选块。0055图4B中所示的排序仅为排序的一个实例，且可有利地供特定译码方案、帧大小及帧速率使用。所述排序可用以识别将用于搜索候选。

41、块450的块的进程。0056图5展示用于示范性候选块搜索的过程流程图。图5中所示的过程可由本文所描述的装置例如源装置12经由，例如视频编码器20来执行。图5中所示的过程将例如图4B中所示的候选块的排序用作输入。为易于解释，将使用图4B的排序来描述图5。然而，将理解所述排序可在一些实施方案中不同，图5的过程可适用于多种排序。所述过程的第二输入为使用三种方法中的每一者的待搜索的候选者数目。0057在一些方面中，视频编码器20可以编程方式经配置以执行所示过程。视频编码器可经配置以将彼此不同的搜索候选块优先化。举例来说，一些候选块可在空间上靠近给定帧中的同一位置，且因此可包含类似的图像数据。搜索这些类。

42、似候选块可浪费有价值的存储器例如，随机存取存储器RAM带宽、处理功率及/或其它源装置12资源。因此，视频编码器20可经配置以忽略例如，排除搜索其中已执行候选块的搜索的位置附近的候选块。0058所述排除可基于可配置距离值或阈值。因此，如果若干候选块在空间上彼此在距离值或阈值距离例如，从候选块的中心测量，从候选块的最近外围测量等内，那么可针对此类候选块的小于全部例如，一个来搜索与宏块的潜在匹配，同时排除搜索其它此类候选块。在一些方面中，用以界定待搜索的候选块的块的选择/移除可与视频编码器20或其它硬件组件所执行的其它处理例如，运动向量处理平行执行，以便最大化处理循环的使用。举例来说，如将在下文进一。

43、步论述，图4B的某些候选块可由于与将搜索的候选块之间的类似性而从所述搜索过程移除。0059在一些方面中，视频编码器20为可编程的，因为其经配置以在搜索候选块中具有可调整的搜索复杂性。举例来说，高复杂性搜索可导致搜索较低数目个候选者，而低复杂性搜索可导致搜索较高数目个候选者。因此，视频编码器20可经编程以适应待搜索的图像。举例来说，对于较高分辨率，较大大小的视频宏块可具有类似于例如，较大的块在一帧内空间上类似或在多个帧之间时间上类似较低分辨率视频的运动向量，且因此可利用低复说明书CN104285446A118/15页12杂性搜索来搜索较多候选者。然而，较低分辨率视频可不具有有类似运动向量的较大大。

44、小的宏块，而是可仅具有有类似运动向量的较小宏块。因此，对于此类较低分辨率视频，可利用高复杂性搜索，其搜索具有较佳质量的较少候选者。因此，视频编码器20通过调整待搜索的候选块的大小例如，16乘16、16乘8、8乘16、8乘8等而为可编程的/经配置以调整搜索候选块中的复杂性。可基于待搜索的图像例如，图像的分辨率、视频的帧速率等来调整大小。此外，可取决于待搜索的图像来使用不同组合中的一或多个大小的一或多个搜索。0060在图5中，在节点502，使用低复杂性搜索来搜索兴趣点候选者。在宏块为16乘16宏块的实施方案中，将使用16乘16块来搜索兴趣点。0061图6说明低复杂性搜索过程的实例。在一些实施方案中。

45、，可仅基于16乘16大小的候选块来搜索图像。因为在宏块级别确定运动值，所以推测包含在宏块中的每一子块具有相同运动向量。0062在低复杂性搜索中，搜索16乘16候选块中的整个区域以匹配所述块及较小子块，成本是免费的例如，没有计算成本。由于将相同运动向量用于所有的块，所以搜索的准确性可降低。举例来说，可针对较大帧大小及/或较高帧速率例如，阈值以上来使用此类方面。在另一方面中，可基于16乘16大小的候选块来搜索一些块，基于16乘8大小的候选块来搜索其它块，基于8乘16大小的候选块来搜索其它块，及基于8乘8大小的候选块来搜索再其它块。可使用媒体及/或高复杂性搜索来完成这些，如将在后续段落中描述。006。

46、316乘16候选块可分为8乘8大小的四个相等子块。如图6中所展示，子块5SB5、子块6SB6、子块7SB7及子块8SB8包含在16乘16候选块中。每一子块具有相关联的成本值。在一个实例中，所述成本值可为像素之间的绝对差的总和。可将这些子块的成本值相加以产生较大子块的成本。举例来说，可将SB5与SB6相加以产生具有16乘8尺寸的子块1SB1。可将SB7与SB8相加以产生也是16乘8子块的子块2SB2。SB5与SB7的相加产生具有8乘16尺寸的子块3SB3。可将SB6与SB8相加以产生也是8乘16子块的子块4SB4。整个候选块的成本值用子块0SB0来表示，其未必为子块，而是每一构成子块SB5SB8。

47、的成本值的聚合。SB0具有16乘16的尺寸。0064返回到图5，对于给定宏块、帧或视频输入，可提供全局运动值。全局运动值指示用于宏块、帧或视频输入的像素的全部位移。在节点504，使用低复杂性搜索来搜索全局运动偏移候选者。如果全局运动偏移值为零，那么此搜索将与在节点502执行的搜索相同。在此类实施方案中，可跳过节点504处的搜索。如果全局运动偏移非零例如，具有X偏移及/或Y偏移值，那么搜索位于兴趣点处的候选块加或减全局偏移值。0065在节点502处使用低复杂性搜索来搜索兴趣点候选者提供匹配的粗糙粒度确定，这是因为比较是基于仅具有用于宏块的16乘16预测器的搜索。0066在节点508，排除进一步考。

48、虑候选块。所述排除是基于候选块到其它候选块的距离。可考虑的一个距离为距其它候选块的像素距离。如果用于候选块的距离小于指定阈值，那么可排除进一步考虑候选块，这是因为与候选者相关联的运动与其它候选块相比太小。可沿着X及/或Y运动值来指定阈值。所述阈值可针对装置例如，存储在存储器中静态配置，经用户配置，或基于例如待编码的输入视频、装置的操作条件例如，负载、网络业务、资源可用性及其类似者而动态确定。说明书CN104285446A129/15页130067如果排除考虑太多候选者，那么视频编码器20可经编程以搜索重要候选者周围例如兴趣点、MVP、子样本搜索引擎候选者，使得所分配搜索时间可用于宏块。如上文论。

49、述，不同译码方案可受益于不同的排序，如所属领域的技术人员将理解。0068在节点510，使用低复杂性搜索来搜索非排除候选块的运动向量。0069由于可已排除考虑一些候选块，所以需要产生成本值的候选块的数目可小于针对每个候选块执行计算的数目。作为一个非限制性益处，此提供编码视频数据所消耗的资源减少，这是因为处理较少候选块可需要比处理全部候选块集合少的处理时间、功率、存储器等。在一些实施方案中，运动向量值可通过与候选者运动向量处理器耦合的绝对差引擎的总和来产生。所述过程可使用其它估计程序例如，平方差总和、绝对变换距离总和或相同者或组合所述其它估计程序而获得非排除候选者的运动向量信息。0070在决策节点。

50、512，进行关于经由节点502到510搜索的候选块数目是否大于待使用低复杂性搜索来搜索的候选者的所要数目的确定。0071如果所搜索候选块的数目不大于低复杂性搜索的所要数目，那么过程继续到节点514。在节点514，使用低复杂性搜索来搜索非排除子样本搜索引擎周围的候选块及运动向量预测器候选块。此允许在尚未排除的子样本及运动向量预测器候选块周围的额外搜索，且因此可表示对当前宏块的有希望的匹配。过程接着继续到如将在下文描述的节点516。返回到决策节点512，如果所搜索候选块的数目小于或等于中等复杂性搜索的所要数目，那么过程继续到节点516。0072在节点516，使用例如图7中所示的中等复杂性搜索来搜索。