《特征位置信息的译码.pdf》由会员分享,可在线阅读,更多相关《特征位置信息的译码.pdf(30页完整版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103843011 A (43)申请公布日 2014.06.04 CN 103843011 A (21)申请号 201280038785.0 (22)申请日 2012.07.31 61/522,171 2011.08.10 US 13/229,654 2011.09.09 US G06K 9/46(2006.01) G06T 9/00(2006.01) G06F 17/18(2006.01) (71)申请人 高通股份有限公司 地址 美国加利福尼亚州 (72)发明人 尤里娅列兹尼克 奥努尔C哈姆西奇 桑迪普瓦达迪 约翰H洪 重U李 (74)专利代理机构 北京律盟知识产权。
2、代理有限 责任公司 11287 代理人 宋献涛 (54) 发明名称 特征位置信息的译码 (57) 摘要 本发明揭示用于对特征位置进行译码的方法 和装置。 在一个实施例中, 一种对图像的特征位置 信息进行译码的方法包含 : 产生六角形网格, 其 中所述六角形网格包含多个六角形单元 ; 使用所 述六角形网格对图像的特征位置进行量化 ; 产生 直方图以记录特征位置在每一六角形单元中的出 现 ; 以及根据特征位置在每一六角形单元中的出 现对所述直方图进行编码。所述对所述直方图进 行编码的方法包含 : 应用相邻六角形单元的上下 文信息对所述直方图中待编码的后续六角形单元 的信息进行编码, 其中所述上下文。
3、信息包含来自 所述待编码的后续六角形单元的一级相邻单元的 上下文信息和来自所述待编码的后续六角形单元 的二级相邻单元的上下文信息。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.02.08 (86)PCT国际申请的申请数据 PCT/US2012/049055 2012.07.31 (87)PCT国际申请的公布数据 WO2013/022656 EN 2013.02.14 (51)Int.Cl. 权利要求书 4 页 说明书 15 页 附图 10 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书15页 附图10页 (10)申请公布号 CN 。
4、103843011 A CN 103843011 A 1/4 页 2 1. 一种对图像的特征位置信息进行译码的方法, 其包括 : 产生六角形网格, 其中所述六角形网格包含多个六角形单元 ; 使用所述六角形网格对图像的特征位置进行量化 ; 产生直方图以记录特征位置在每一六角形单元中的出现 ; 以及 根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码。 2. 根据权利要求 1 所述的方法, 其中产生六角形网格包括 : 根据特征位置信息的预定量化等级确定所述六角形单元的大小。 3. 根据权利要求 1 所述的方法, 其中对特征位置进行量化包括 : 对于每一特征位置, 产生所述特征位置的从二维。
5、平面到三维空间的经变换的坐标 ; 将所述经变换的坐标舍入成对应最接近的整数 ; 以及 验证所述经变换的坐标属于所述三维空间中的六角形平面。 4. 根据权利要求 3 所述的方法, 其中验证所述经变换的坐标包括 : 计算所述经变换的坐标的总和 ; 以及 验证所述经变换的坐标的所述总和等于零。 5. 根据权利要求 1 所述的方法, 其中产生直方图包括 : 产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射。 6. 根据权利要求 5 所述的方法, 其进一步包括 : 产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数。 7. 根据权利要求 1 所述的方法, 其中对直方图进行编码包。
6、括 : 将所述直方图转换成唯一词典式索引 ; 以及 使用固定长度代码对所述唯一词典式索引进行编码。 8. 根据权利要求 1 所述的方法, 其中对直方图进行编码进一步包括 : 将所述直方图的空块以光栅扫描次序转换成游程长度 ; 以及 使用熵译码器对所述游程长度进行编码。 9. 根据权利要求 8 所述的方法, 其中所述熵译码器采用哥伦布 - 莱斯代码。 10. 根据权利要求 8 所述的方法, 其中所述熵译码器采用霍夫曼代码。 11. 根据权利要求 8 所述的方法, 其中所述熵译码器采用算术代码。 12. 根据权利要求 1 所述的方法, 其中对所述直方图进行编码进一步包括 : 应用相邻六角形单元的上。
7、下文信息对所述直方图中的待编码的后续六角形单元的信 息进行编码。 13. 根据权利要求 12 所述的方法, 其中所述上下文信息包括 : 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。 14. 根据权利要求 13 所述的方法, 其中所述上下文信息进一步包括 : 来自所述待编码的后续六角形单元的二级相邻单元的上下文信息。 15. 根据权利要求 12 所述的方法, 其中将上下文信息用作算术编码器的输入。 16. 一种移动装置, 其包括 : 图像模块, 其经配置以获得图像 ; 视觉搜索模块, 其经配置以产生所述图像的经编码的特征位置信息 ; 以及 控制器, 其经配置以经由无线网络将所述图像。
8、的所述经编码的特征位置信息传送到服 权 利 要 求 书 CN 103843011 A 2 2/4 页 3 务器 ; 其中所述视觉搜索模块包含 用于产生六角形网格的逻辑, 其中所述六角形网格包含多个六角形单元 ; 用于使用所述六角形网格对图像的特征位置进行量化的逻辑 ; 用于产生直方图以记录特征位置在每一六角形单元中的出现的逻辑 ; 以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的逻辑。 17. 根据权利要求 16 所述的移动装置, 其中用于产生六角形网格的逻辑包括 : 用于根据特征位置信息的预定量化等级确定所述六角形单元的大小的逻辑。 18. 根据权利要求 16 所述的。
9、移动装置, 其中用于对特征位置进行量化的逻辑包括 : 对于每一特征位置, 用于产生所述特征位置从二维平面到三维空间的经变换的坐标的 逻辑 ; 用于将所述经变换的坐标舍入成对应最接近的整数的逻辑 ; 以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的逻辑。 19. 根据权利要求 18 所述的移动装置, 其中用于验证所述经变换的坐标的逻辑包括 : 用于计算所述经变换的坐标的总和的逻辑 ; 以及 用于验证所述经变换的坐标的所述总和等于零的逻辑。 20. 根据权利要求 16 所述的移动装置, 其中用于产生直方图的逻辑包括 : 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射。
10、的逻辑。 21. 根据权利要求 20 所述的移动装置, 其进一步包括 : 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的逻 辑。 22. 根据权利要求 16 所述的移动装置, 其中用于对直方图进行编码的逻辑包括 : 用于将所述直方图转换成唯一词典式索引的逻辑 ; 以及 用于使用固定长度代码对所述唯一词典式索引进行编码的逻辑。 23. 根据权利要求 16 所述的移动装置, 其中用于对直方图进行编码的逻辑进一步包 括 : 用于将所述直方图的空块以光栅扫描次序转换成游程长度的逻辑 ; 以及 用于使用熵译码器对所述游程长度进行编码的逻辑。 24. 根据权利要求 16 所述的移动。
11、装置, 其中用于对所述直方图进行编码的逻辑进一步 包括 : 用于应用相邻六角形单元的上下文信息对所述直方图中的待编码的后续六角形单元 的信息进行编码的逻辑。 25. 根据权利要求 24 所述的移动装置, 其中所述上下文信息包括 : 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。 26. 根据权利要求 25 所述的移动装置, 其中所述上下文信息进一步包括 : 来自待编码的所述后续六角形单元的二级相邻单元的上下文信息。 27. 一种移动装置, 其包括 : 图像模块, 其经配置以获得图像 ; 视觉搜索模块, 其经配置以产生所述图像的经编码的特征位置信息 ; 以及 权 利 要 求 书 CN。
12、 103843011 A 3 3/4 页 4 控制器, 其经配置以经由无线网络将所述图像的所述经编码的特征位置信息传送到服 务器 ; 其中所述视觉搜索模块包含 用于产生六角形网格的装置, 其中所述六角形网格包含多个六角形单元 ; 用于使用所述六角形网格对图像的特征位置进行量化的装置 ; 用于产生直方图以记录特征位置在每一六角形单元中的出现的装置 ; 以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的装置。 28. 根据权利要求 27 所述的移动装置, 其中用于对特征位置进行量化的装置包括 : 对于每一特征位置, 用于产生所述特征位置的从二维平面到三维空间的经变换的坐标 的。
13、装置 ; 用于将所述经变换的坐标舍入成对应最接近的整数的装置 ; 以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的装置。 29. 根据权利要求 27 所述的移动装置, 其中用于产生直方图的装置包括 : 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射的装置。 30. 根据权利要求 29 所述的移动装置, 进一步包括 : 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的装 置。 31. 根据权利要求 27 所述的移动装置, 其中用于对所述直方图进行编码的装置进一步 包括 : 用于应用相邻六角形单元的上下文信息对所述直方图中待编码的后续六角形单元。
14、的 信息进行编码的装置。 32. 根据权利要求 31 所述的移动装置, 其中所述上下文信息包括 : 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。 33. 根据权利要求 32 所述的移动装置, 其中所述上下文信息进一步包括 : 来自待编码的所述后续六角形单元的二级相邻单元的上下文信息。 34. 一种用于对图像的特征位置信息进行译码的计算机程序产品, 其包括存储有供一 个或一个以上计算机系统执行的计算机程序的非暂时媒体, 所述计算机程序产品包括 : 用于产生六角形网格的代码, 其中所述六角形网格包含多个六角形单元 ; 用于使用所述六角形网格对图像的特征位置进行量化的代码 ; 用于产生。
15、直方图以记录特征位置在每一六角形单元中的出现的代码 ; 以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的代码。 35. 根据权利要求 34 所述的计算机程序产品, 其中用于对特征位置进行量化的代码包 括 : 对于每一特征位置, 用于产生所述特征位置的从二维平面到三维空间的经变换的坐标 的代码 ; 用于将所述经变换的坐标舍入成对应最接近的整数的代码 ; 以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的代码。 36. 根据权利要求 34 所述的计算机程序产品, 其中用于产生直方图的代码包括 : 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射的。
16、代码。 权 利 要 求 书 CN 103843011 A 4 4/4 页 5 37. 根据权利要求 36 所述的计算机程序产品, 进一步包括 : 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的代 码。 38. 根据权利要求 36 所述的计算机程序产品, 其中用于对所述直方图进行编码的代码 进一步包括 : 用于应用相邻六角形单元的上下文信息对所述直方图中的待编码的后续六角形单元 的信息进行编码的代码。 权 利 要 求 书 CN 103843011 A 5 1/15 页 6 特征位置信息的译码 0001 相关申请案的交叉参考 0002 本申请案主张2011年9月9日申请的第。
17、13229,654号美国申请案 “特征位置信 息的译码 (Coding of Feature Location Information)” 的权益, 所述申请案又主张 2011 年 8 月 10 日申请的第 61 522, 171 号美国临时申请案 “特征位置信息的译码 (Coding of Feature Location Information)” 的权益。 前述美国申请案的全文以引用的方式并入本文 中。 技术领域 0003 本发明涉及处理数字图像数据的领域。确切地说, 本发明涉及图像的特征位置信 息的译码。 背景技术 0004 随着相机电话和个人数字助理 (PDA) 在市场上广泛使用, 。
18、这些装置变成用于视觉 搜索和移动增强现实应用的广泛平台。为了支持需要图像比较的应用, 需要从移动装置向 服务器上载信息, 或者需要从服务器向移动装置下载信息。有待经由无线网络发射和或 接收的数据量对于这些应用的性能和易用性变得至关重要。 0005 常规基于特征的检索系统通常采用直接方案对位置信息进行译码。在这些系统 中, 每一特征的 (x, y) 坐标被量化成某个固定分辨率, 例如每个特征位置 8 位。接着存储和 发射这些经量化的 (x, y) 对。举例来说, 在使用具有一千个特征和 8 位分辨率的图像的情 况下, 这个方案将需要每个图像大约 2K 字节的数据。这些数据译码方案产生大量需要经由。
19、 无线网络发射的数据, 这又会不利地影响视觉搜索和移动增强现实应用的性能和易用性。 0006 因此, 需要用于对特征位置信息进行译码的可以解决常规系统的上述问题的系统 和方法。 发明内容 0007 本发明涉及图像的特征位置信息的译码。根据本发明的实施例, 一种对图像的特 征位置信息进行译码的方法包含 : 产生六角形网格, 所述六角网格包含多个六角形单元 ; 使用所述六角形网格对图像的特征位置进行量化 ; 产生直方图以记录特征位置在每一六角 形单元中的出现 ; 以及根据特征位置在每一六角形单元中的出现次数对直方图进行编码。 0008 所述产生六角形网格的方法包含根据特征位置信息的预定量化等级确定。
20、六角形 单元的大小。所述对特征位置进行量化的方法包含 : 执行每一特征位置从二维平面到三维 空间的坐标变换 ; 将经变换的坐标舍入成对应的最接近的整数 ; 以及验证经变换的坐标属 于所述三维空间中的六角形平面。应注意, 所述变换是可逆的。为了验证经变换的坐标属 于三维空间中的六角形平面, 所述方法计算经变换的坐标的总和, 并且验证经变换的坐标 的总和等于零。 0009 所述产生直方图的方法包含产生经配置以包含特征位置在每一六角形单元中的 说 明 书 CN 103843011 A 6 2/15 页 7 出现的直方图映射, 以及产生经配置以描述特征位置在每一六角形单元中的出现次数的直 方图计数。 。
21、所述对直方图进行编码的方法可包含应用相邻六角形单元的上下文信息对在直 方图中待编码的后续六角形单元的信息进行编码, 其中所述上下文信息包含来自待编码的 后续六角形单元的一级相邻单元的上下文信息和来自待编码的后续六角形单元的二级相 邻单元的上下文信息。 0010 在另一实施例中, 一种移动装置包含 : 图像模块, 其经配置以获得图像 ; 视觉搜索 模块, 其经配置以产生图像的经编码的特征位置信息 ; 以及控制器, 其经配置以经由无线网 络将图像的经编码的特征位置信息传送到服务器。所述移动装置的视觉搜索模块包含 : 用 于产生六角形网格的逻辑, 其中所述六角形网格包含多个六角形单元 ; 用于使用所。
22、述六角 形网格对图像的特征位置进行量化的逻辑 ; 用于产生直方图以记录特征位置在每一六角形 单元中的出现的逻辑 ; 以及用于根据特征位置在每一六角形单元中的出现对直方图进行编 码的逻辑。 附图说明 0011 在配合以下图式阅读了本发明的实施例的详细描述之后, 本发明的前述特征和优 点及其额外特征和优点将可更加明确地理解。 0012 图 1a-1b 图解说明根据本发明的一些方面产生特征位置直方图的方法。 0013 图 2 图解说明根据本发明的一些方面产生特征位置直方图的另一方法。 0014 图3a图解说明根据本发明的一些方面在三维(3D)空间中用六角形平面表示特征 位置信息的方法。 0015 图。
23、 3b 图解说明根据本发明的一些方面的六角形单元的特性。 0016 图 4a-4b 图解说明根据本发明的一些方面对直方图值的自适应统计编码应用上 下文配置。 0017 图 5 图解说明根据本发明的某一方面利用正方形网格和六角形网格的特征位置 译码方案的比较。 0018 图 6a 图解说明根据本发明的一些方面经配置以执行视觉搜索的移动装置的框 图。 0019 图 6b 图解说明根据本发明的实施例的用于图像检索的方法。 0020 图 6c 图解说明根据本发明的实施例对图像的特征位置信息进行译码的方法。 0021 图 7a-7b 图解说明根据本发明的实施例的视觉搜索功能性的示范性实施方案。 0022。
24、 图 8a-8b 图解说明根据本发明的实施例在特征位置编索引时使用词汇树和相关 联的倒排索引。 具体实施方式 0023 本发明揭示对特征位置信息进行译码的实施例。 呈现以下描述以便使得所属领域 的技术人员能够制作和使用本发明。具体实施例和应用的描述仅是作为实例提供。所属领 域的技术人员将容易明白本文所述的实例的各种修改和组合, 并且在不脱离本发明的精神 和范围的情况下, 本文中所界定的一般原理可以应用于其它实例和应用。 因而, 本发明并不 希望限于所描述和展示的实例, 而是应被赋予符合本文揭示的原理和特征的最宽范围。 说 明 书 CN 103843011 A 7 3/15 页 8 0024 图。
25、 1a 图解说明如 2009 年 9 月 国际移动多媒体通信会议论文集 中蔡 (Tsai) 等 人的 “用于移动图像检索系统的位置译码(Location coding for mobile image retrieval systems)” 所描述的使用矩形网格产生特征位置直方图的方法。这份参考文献的全文以引 用的方式并入本文中。在 102 中, 黑点表示图像的特征。在 104 中, 图像上覆盖着正方形网 格, 其中所述正方形网格包含多个正方形单元。根据应用, 每一正方形单元的大小可以从 2x2个正方形像素向32x32个正方形像素变化。 在106中, 产生直方图映射以展示图像的特 征的位置。直。
26、方图映射中的含有黑点的单元用灰色展示, 并且不含有黑点的单元用白色展 示。在特征处于两个正方形单元之间的边界上的情况下, 选择含有较大特征区域的正方形 单元。在特征在两个单元之间同等分布的情况下, 可以选择所述单元中的任一者。在 108 中, 基于 106 的直方图映射产生直方图计数。正方形单元中的数字表示 106 的属于直方图 映射中的所述单元中的特征的数目。 0025 根据本发明的实施例, 假设n指示图像的特征的数目, 并且假设m指示直方图中的 单元的数目。接着, 在给定视频图形阵列 (VGA) 图像的情况下, 并且使用比例不变特征变换 (SIFT) 或加速稳固特征 (SURF), 在 n。
27、=1000 的情况下, 于是 m=640*480 w2, 其中 w 是所述 单元的大小 ( 以像素为单位 )。 0026 应注意, 可以使用多重集的观念来表示特征位置信息的直方图, 在多重集中允许 成员出现一次以上。一个元素属于多重集的次数是所述成员的多重性。多重集中的元素的 总数 ( 包含重复的成员 ) 是多重集的基数性。举例来说, 在多重集 a, a, b, b, b, c 中, 成 员 a、 b 和 c 的多重性分别是 2、 3 和 1, 并且多重集的基数性是 6。 0027 在图 1a 中所示的实例中, 基数性的多重集的数目 n( 其中元素是取自基数性 m 的 有限集 ) 是多重集系数。
28、或多重集数目。通过多重集系数表示具有 m 个单元和 n 个总数的可 能直方图的数目 : 0028 0029 因此, 假设所有直方图的概率相等, 可能花费大约 0030 0031 个位对其进行编码。在上述表达式中, O 表示大 O 符号, 其描述当自变量倾向于特 定值或无限大时 ( 通常就较简单的函数而言 ) 所述函数的限制性行为。大 O 符号根据函数 的增长率表征函数, 以使得具有相同增长率的不同函数可以使用相同 O 符号表示。并且, 假 设 是常数, 并且 H(.) 是熵函数以使得 : 0032 H(x)=-xlogx-(1-x)log(1-x)。 0033 在n1000并且m=640*48。
29、0w2的情况下展示通过使用这个公式获得的数字, 其 中 w 表示位置直方图的块大小。图 1b 中展示每个特征位置的位对位置直方图块大小 w 的 曲线图。在这个曲线图中, 当块大小较小 ( 例如, 2 个像素 ) 时, 对特征位置信息进行译码 说 明 书 CN 103843011 A 8 4/15 页 9 的速率较大 ( 大约 8 位特征 )。随着块大小增加, 对特征位置信息进行译码的速率减小。 当块大小大约是 30 像素时, 译码速率大约是 1 位特征。图 1b 包含蔡等人的文章中报告 的经验熵估计。 应注意, 经验熵估计并未考虑到模型信息的发射成本, 并且因而其在上述公 式预测的曲线稍微下方。
30、。总的来说, 其遵循相对于位置直方图块大小 w 的类似趋势。 0034 还应注意, 通过这个方案引入的失真 ( 覆盖半径 ) 可以与块大小 w 成正比, 并且在 给定点 q 和其对应经重建点 q的情况下, 其是 : 0035 0036 0037 0038 使用上述关系, 可以如下表达用于直方图位置译码的速率失真特性(例如, 针对L2 范数 ) : 0039 0040 其中 W 和 H 指代输入图像的宽度和高度, n 是特征的数目, 并且其中右侧渐进表述 是针对高保真度 ( 0) 体系获得的。 0041 图2图解说明根据本发明的一些方面产生特征位置直方图的另一方法。 在202中, 黑点表示图像的。
31、特征。在 204 中, 图像上覆盖着六角形网格 ( 也称为六角形栅格 ), 其中所 述六角形网格包含多个六角形单元。在 206 中, 可以形成直方图映射以展示图像的特征的 位置。 在这个实例中, 直方图映射中含有黑点的单元用灰色展示, 而不含有黑点的单元用白 色展示。在特征处于两个六角形单元之间的边界上的情况下, 选择含有较大特征区域的六 角形单元。在特征在两个单元之间同等分布的情况下, 可以选择所述单元中的任一者。在 208中, 可以基于206的直方图映射形成直方图计数。 六角形单元中的数目表示属于206的 直方图映射中的所述单元中的特征的数目。应注意, 可以采用不同大小的六角形单元来产 生。
32、特征位置信息上的不同量化等级, 例如每个特征 4、 5 或 6 个位。举例来说, 六角形网格中 的六角形单元的一条边可以具有 2、 4、 8、 16 或 32 个像素的大小。对于每一大小的六角形单 元, 直方图映射的熵可以每个特征具有不同位速率且每个图像具有不同位速率, 并且直方 图计数的熵可以每个特征具有不同位速率, 其中位速率可以针对不同图像而变化。 类似地, 每一大小的六角形单元 ( 即 2、 4、 8、 16 或 32 个像素 ) 可以产生特征位置信息上的不同量化 等级。直方图映射和直方图计数可以分开编码, 并且当对直方图映射进行译码时可以使用 相邻六角形单元的特征的空间关系。 004。
33、2 图 2 中展示的方法用六角形栅格分区替代了空间特征位置的正方形栅格分区。使 用这种方法, 计算被量化成六角形栅格的特征位置的直方图, 并且接着对计算结果进行编 码。创建特征位置直方图的目标是减少对每一特征的位置信息进行编码所需的位的数目。 一种方法不是对每一特征的位置信息进行译码, 而是将特征的位置信息转换成位置直方 说 明 书 CN 103843011 A 9 5/15 页 10 图, 并且对所述位置直方图进行译码。将位置信息转换成位置直方图和对直方图进行译码 存在若干益处。 首先, 其允许译码方法不基于经译码的项目的次序, 并且因而减少译码的位 速率。 此外, 因为特征可以是图像中的结。
34、构点, 所以可以在译码过程中采用特征之间的空间 结构关系。 0043 图3a图解说明根据本发明的一些方面在三维(3D)空间中用六角形平面表示特征 位置信息的方法。如图 3a 中所示, 3D 空间被展示为通过 u 轴、 v 轴和 w 轴所界定的立方体 302。六角形平面 304 可以如所示形成为具有在 305、 306、 307、 308、 309 和 310 上的顶点。 这个实例中的六角形平面 304 的中心 312 还是立方体 302 的中心, 其具有坐标 (0.0, 0.0 和 0.0)。 0044 根据本发明的实施例, 用六角形平面表示特征位置信息的方法可以将图像特征的 坐标 (x, y。
35、) 从二维 (2D) 空间投影到 3D 空间中的六角形平面 304。当 3D 空间中的点的 u、 v 和 w 坐标的总和满足以下条件时, 这个点位于六角形平面上。 0045 u+v+w=0。 0046 在一种示范性方法中, 使用以下矩阵将 2D 空间中的点变换到 3D 空间 : 0047 0048 并且上述矩阵满足以下条件 : 0049 0050 这意味着以下变换 : 0051 (u, v, w)=(x, y)M 0052 可以是可逆的 : 0053 (x, y)=(u, v, w)MT 0054 图3a中展示了这个变换的实例。 u+v+w0平面上的六角形栅格是一组具有整数 坐标的点, 例如点。
36、 314a 和 314b : 0055 (u, v, w)lattice 3。 0056 根据本发明的实施例, 一种对 3D 空间中的经变换的点进行量化的方法包含以下 计算。 0057 在给定 3D 空间中的具有以下坐标的点 q 的情况下 0058 q=(uq, vq, wq) 0059 界定点 : 0060 q =(uq ,vq ,wq ) 0061 其中 x 指示最接近实数 x 的整数。 0062 计算总和并且验证经量化点是否位于六角形平面上 : 0063 =uq +vq +wq 。 0064 如果 =0, 这意味着经量化点位于六角形平面上, 那么这个过程完成。换句话说, q属于六角形平面。
37、 (u+v+w=0), 并且因而其是有效的栅格点。 0065 计算误差 : 说 明 书 CN 103843011 A 10 6/15 页 11 0066 =(uq-uq , vq-vq , wq-wq ) 0067 并且对误差进行排序以使得 0068 0069 如果 0, 那么从 q的具有最高误差值 i的 个分量减去 1。如果 0, 那么 向具有最小误差值 i的 q的 | 个分量加上 1。为了控制图像特征位置 (x, y) 向栅格 点的映射的粗度, 可以引入比例参数 。应注意, 整个量化过程可以描述成一系列变换 : 0070 (x, y) (u, v, w)=-1(x, y)M (u, v, 。
38、w)lattice 0071 经重建值 (x, y ) 如下获得 : 0072 (u, v, w)lattice (u, v, w)latticeMT (x, y ) 0073 根据本发明的实施例, 存在可以枚举和编码栅格点的几种技术。一种方法是遵循 其中随着所述方法执行图像坐标 (x, y) 的光栅扫描出现六角形单元的次序。或者, 所述方 法根据六角形单元的坐标的值的字典次序枚举六角形单元。 0074 在一些实施方案中, 所述方法扫描含有图像坐标的单元, 并且对变成映射到每一 单元的特征的数目进行计数。在计算了直方图之后, 其可以映射到唯一索引并且接着被编 码。如上文所指示, 可以通过多重集。
39、系数表示具有 m 个单元和 n 的总数的可能直方图的数 目 : 0075 0076 并且表示直方图索引所需的速率是 : 0077 个位。 0078 根据本发明的实施例, 可以采用各种译码技术对图 2 的直方图映射 206 和直方 图计数 208 进行译码。在一种方法中, 直方图可以转换成唯一的词典式索引, 并且接着使 用具有 R(m, n) 位的固定长度代码经编码。如 Y.A. 瑞斯尼克 (Y.A.Reznik) 在 “用于离 散概率分布的量化的算法 (An Algorithm for Quantization of Discrete Probability Distributions)” (。
40、 数据压缩会议论文集 (DCC 11) , 2011 年 3 月, 第 333-343 页, 其全部 内容以引用的方式并入本文中 ) 中描述的, 在给定具有 m 个二进制数、 n 个总计数和每一二 进制数中的各个计数 k1, km 的直方图的情况下, 可以如下获得唯一索引 I(k1, ., km) : 0079 0080 这个公式通过归纳 ( 从 m=2, 3, . 开始 ) 继续, 并且实施各种类型的字典式枚举。 举例来说, 0081 I(0, 0, ., 0, n)=0, 0082 I(0, 0, ., 1, n-1)=1, 0083 0084 在另一方法中, 直方图映射中的空的块可以用光。
41、栅扫描次序转换成游程长度。接 着使用熵译码器对游程长度进行译码。熵译码器可以采用哥伦布 - 莱斯代码、 霍夫曼代码 或算术代码中的至少一者。 在另一方法中, 所述方法采用可变长度译码方案, 其捕获关键点 说 明 书 CN 103843011 A 11 7/15 页 12 的空间分布的特性。在又一方法中, 将几个周围六角形单元中的直方图值用作上下文。进 一步结合图 4a 和图 4b 描述这些上下文配置。 0085 图 4a-4b 图解说明根据本发明的一些方面对直方图值的自适应统计编码应用上 下文配置。在图 4a 中, 为了对六角形网格中的六角形单元 X 进行编码, 可以使用来自一级 相邻单元 A。
42、、 B 和 C 的上下文信息对六角形直方图映射和直方图计数进行编码。在这个实例 中, 一级相邻单元 A、 B 和 C 是先前已经编码的六角形单元, 并且六角形单元 X 是待编码的后 续六角形单元。类似地在图 4b 中, 为了对六角形网格中的六角形单元 Y 进行编码, 可以使 用来自一级和二级相邻单元 (A、 B、 C、 D、 E、 F、 G、 H 和 I) 的上下文信息对六角形直方图映射 和直方图计数进行编码。一级和二级相邻单元 A、 B、 C、 D、 E、 F、 G、 H 和 I 是先前已经编码的 六角形单元, 并且六角形单元 Y 是待编码的后续六角形单元。 0086 应注意, 与正方形栅格。
43、相比, 六角形栅格提供可以用作上下文的点的更好放置。 举 例来说, 在图 4a 中, 三个一级相邻六角形单元 A、 B 和 C 可以用作上下文。虽然在正方形栅 格中, 仅存在两个可供使用的这些一级相邻正方形单元, 即上方的正方形单元和左侧的正 方形单元, 假设扫描方向是从左到右并且从上到下。 0087 应注意, 与正方形栅格相比, 六角形栅格产生二维 (2D) 空间的更薄覆盖。这会改 进特征位置表示的准确性。如图 4a 和 4b 中所示, 对于六角形空间的映射从上下文建模和 熵译码观点看是有益的。应注意, 图像特征位置到六角形空间的转译方法并不会修改实际 像素值, 这意味着其就计算资源而言可以。
44、用有效的方式执行。 0088 以下段落分析利用六角形栅格对特征位置信息进行译码的益处。 一种方法是估计 所提议的方案的速率失真特性, 并且与利用正方形栅格对特征位置信息进行译码的方案比 较。 0089 考虑两个栅格点 : (0, 0, 0)和(0, 1, 1), 并且将其转换回像素域。 请记住, 这个转换 是通过映射进行的 : 0090 (u, v, w)lattice (u, v, w)latticeMT (x, y ) 0091 其中 是比例参数。这得出 : 0092 并且 0093 0094 像素域中的这些点之间的距离是 : 0095 0096 应注意, 栅格域中的相同距离对应于图 3b。
45、 中所展示的六角形单元的高度是 : 0097 0098 像素域中的单元半径可以表达成 ; 说 明 书 CN 103843011 A 12 8/15 页 13 0099 0100 类似地, 单个六角形单元占据的区域可以表达成 : 0101 0102 在具有 H x w 个像素的图像的情况下, 其将需要至少 0103 0104 个六角形单元对其进行覆盖。在这种情况下, 基于 L2 范数的量化误差等于覆盖半 径 : 0105 0106 这进一步产生以下关系 : 0107 0108 以及速率失真函数 : 0109 0110 比较起来, 用于正方形栅格的速率失真函数是 : 0111 0112 因此, 所。
46、提议的量化方案可以节省大约 0113 0114 位特征点, 同时保持相同的最坏情况精确度。 0115 图 5 图解说明根据本发明的某一方面利用正方形栅格和六角形栅格的特征位置 译码方案的比较。曲线 502 表示使用六角形栅格译码方案的每个特征位置的位对量化误 差。曲线 504 表示使用正方形栅格译码方案的每个特征位置的位对量化误差。这两个曲线 说 明 书 CN 103843011 A 13 9/15 页 14 都使用具有大约一千个特征的 VGA 图像。如这个实例中所示, 如果位置译码在 5 位特征 的位速率下操作, 那么六角形栅格译码方案具有优于正方形栅格译码方案的大约 8.16的 位速率改进。
47、。 0116 本发明的实施例描述用于图像特征位置信息的译码的改进型技术。 所述技术利用 用于特征位置的量化的六角形栅格、 特征位置在栅格单元中的出现的直方图的构造和此直 方图的编码。分析了这种技术的性能, 并且将这种技术与利用正方形栅格 ( 位置参数的标 量量化 ) 的直方图译码的性能加以比较。展示了所提议的方案导致了位置译码的位速率的 明显改进。所述技术适合于在移动平台上实施。 0117 所揭示的方法可以适用于其中视觉搜索和增强现实 (AR) 系统依赖于特征位置信 息来执行多个任务的移动装置。举例来说, 特征位置信息可以用于 1) 图像之间匹配的几 何验证 ; 2) 计算相同对象的视图之间的。
48、几何变换的参数 ; 3) 定位和投影所关注的对象的边 界 ; 以及 4) 使用额外信息增强所俘获图像或视频中的所辨识对象的视图, 和其它目的。 0118 在一些情况下, 如果用紧凑并且易用的形式表示位置信息, 那么 AR 和视觉搜索系 统可以受益。如果需要经由无线网络发射位置信息, 那么紧凑性尤其重要。还可允许位置 信息的某一精确度损失, 但仅允许某一程度的损失, 因为这可能会影响到检索准确性以及 几何变换的匹配区域对象和参数的局部化的准确性。 0119 图 6a 图解说明根据本发明的一些方面经配置以执行视觉搜索的移动装置的框 图。在移动装置处, 天线 602 从基站接收经调制信号, 并且将接收到的信号提供到调制解调 器 604 的解调器 (DEMOD) 部分。解调器处理 ( 例如, 调节和数字化 ) 接收到的信号并且获 得输入样本。其进一步对输入样本执行正交频分多路复用 (OFDM) 解调, 并且提供所有子载 波的频域接收到的符号。RX 数据处理器 606 处理 ( 例如, 符号解映射、 解交错和解码 ) 频域 接收到的符号, 并且将经解码的数据提供到移动装置的控制器处理器 608。 0120 控制器处理器 608 可经配置以控制移动装置经由无线网络与服务器通信。TX 数据处理器610产生信令符号、 数据符号。