根据无线显示协议制备视频数据 本申请案主张 2009 年 8 月 6 日申请的第 61/231,921 号美国临时申请案的优先权。
本专利申请案有关于以下共同待决的美国专利申请案 ：
与本专利申请案同时申请的美国专利申请案 “根据人类视觉系统反馈度量变换视 频数据 (Transforming Video Data in Accordance with Human Visual System Feedback Metrics)” ， 所述案的代理人案号为 091730， 所述案已转让给本受让人且以引用的方式明确 地并入本文中 ；
与本专利申请案同时申请的美国专利申请案 “根据三维输入格式变换视频数据 (Transforming Video Data in Accordance with Three Dimensional Input Formats)” ， 所述案的代理人案号为 091765， 所述案已转让给本受让人且以引用的方式明确地并入本文 中； 及
与本专利申请案同时申请的美国专利申请案 “根据输送协议封装三维视频数 据 (Encapsulating Three-Dimensional Video Data in Accordance with Transport Protocols)” ， 所述案的代理人案号为 091674U2， 所述案已转让给本受让人且以引用的方式 明确地并入本文中。
技术领域
本发明涉及视频数据处理， 且更特定来说， 涉及用于呈现给观看者的视频数据的递送。 背景技术 视频显示装置呈现视频数据以供用户观看。通常， 由显示装置呈现的视频数据包 含预期用于以给定速率 ( 例如， 每秒 29.97 个帧， 如国家电视系统委员会 (NTSC) 标准中所 阐述 ) 重放的一系列连续视频帧。因为此视频数据并不含有任何深度信息， 所以所述视频 数据特征化为二维 (2D) 视频数据。呈现此 2D 视频数据的显示装置常称作 “2D 显示器” 。
当前， 正开发三维 (3D) 显示装置以呈现三维 (3D) 视频数据。这些所谓的 “3D 显 示器” 可能需要额外观看附件 ( 例如， 快门式眼镜、 偏光式眼镜或双色眼镜 ( 例如， 具有一个 红色透镜及一个绿色透镜的眼镜 )) 以适当地观看所呈现的 3D 视频数据。需要额外观看附 件的 3D 显示装置常称作 “眼镜式立体 3D 显示器” 。被称作 “裸眼式立体 3D 显示器” 的其它 3D 显示装置能够呈现可由观看者观看的 3D 视频数据， 而无需任何额外观看附件。
不管是眼镜式立体 3D 显示器还是裸眼式立体 3D 显示器， 不同制造商的 3D 显示器 通常需要遵照供货商或制造商特定的输入文件格式的 3D 视频数据。举例来说， 一种所提议 的 3D 视频数据格式包含 2D 视频数据加上深度信息， 且称作 “2D+ 深度” 。 “2D+ 深度” 显示 装置仅可呈现以 “2D+ 深度” 3D 视频数据格式提供的 3D 视频数据。其它类型的 3D 显示器 可需要呈多视图 2D 串流格式的 3D 视频数据。多视图 2D 串流格式封装多个 2D 串流， 其中 所述 2D 串流各自是通过不同俘获元件 ( 例如， 相机 ) 同时 ( 理想地， 同步 ) 从同一场景获 取。由于这些不同且通常专属的 3D 视频数据格式， 来自一个制造商的给定 3D 显示装置仅
可呈现根据此制造商的专属 3D 视频数据格式而格式化的 3D 视频数据。 发明内容 大体来说， 描述用于实现跨平台三维 (3D) 视频数据重放的技术。术语 “平台” 大 体上指代特定视频显示装置及 / 或例如音频 / 视频接收器等任何支持装置的软件及硬件计 算框架结构， 及关于视频解码及重放的此框架结构的限制及功能性。 在各种方面中， 所述技 术可以实现在不同 3D 视频重放平台上重放的方式将视频数据变换成 3D 视频数据， 而不管 所述视频数据为二维 (2D) 视频数据还是 3D 视频数据。就此来说， 所述技术可在各种方面 中促成跨平台 3D 视频重放。
在一个方面中， 一种便携式装置包含 ： 用以存储视频数据的模块 ； 无线显示器主 机模块， 其确定所述便携式装置外部的三维 (3D) 显示装置的一个或一个以上显示参数， 且 基于所述所确定的显示参数而制备所述视频数据以产生 3D 视频数据 ； 及无线接口， 其将所 述 3D 视频数据无线地发射到所述外部 3D 显示装置。
在另一方面中， 一种方法包含 ： 通过便携式装置存储视频数据 ； 通过所述便携式 装置的无线显示器主机模块确定所述便携式装置外部的三维 (3D) 显示装置的一个或一个 以上显示参数 ； 通过所述无线显示器主机模块基于所述所确定的显示参数而制备所述视频 数据以产生 3D 视频数据 ； 及通过所述便携式装置将所述 3D 视频数据发射到所述外部 3D 显 示装置。
在另一方面中， 一种便携式装置包含 ： 用于存储视频数据的装置 ； 用于确定所述 便携式装置外部的三维 (3D) 显示装置的一个或一个以上显示参数的装置 ； 用于基于所述 所确定的显示参数而制备所述视频数据以产生 3D 视频数据的装置 ； 及用于将所述 3D 视频 数据发射到所述外部 3D 显示装置的装置。
在另一方面中， 一种计算机可读存储媒体包含若干指令， 所述指令使处理器 ： 存储 视频数据 ； 确定便携式装置外部的三维 (3D) 显示装置的一个或一个以上显示参数 ； 基于所 述所确定的显示参数而制备所述视频数据以产生 3D 视频数据 ； 且将所述 3D 视频数据发射 到所述外部 3D 显示装置。
在附图及下文描述中阐述所述技术的一个或一个以上方面的细节。 所述技术的其 它特征、 目标及优点将从所述描述及所述图式及从权利要求书而显而易见。
附图说明 图 1 为说明一系统的框图， 在所述系统中， 移动装置实施本发明的技术的各种方 面以促成跨平台视频数据重放。
图 2 为更详细地说明图 1 的移动装置的框图。
图 3 为更详细地说明图 2 的移动装置的变换模块及离线处理模块的框图。
图 4A 及 4B 为说明一装置在实施本发明中所描述的技术的各种方面时的实例操作 的流程图。
图 5 为说明实施本发明中所描述的技术的各种方面的实例装置的框图。
图 6 为说明一移动装置在执行本发明中所描述的技术的各种方面时的实例操作 的流程图。
图 7 为说明三维 (3D) 视频内容的框图， 所述三维 (3D) 视频内容已根据本发明中 所描述的技术的各种方面而格式化。
图 8A 到 8C 为说明实例区段的框图， 在所述实例区段中， 已根据本发明中所描述的 技术的各种方面而嵌入元数据。
图 9 为说明无线显示器 (WD) 主机单元在执行本发明中所描述的技术的格式化方 面时的实例操作的流程图。
图 10A 到 10E 为说明各种系统的框图， 所述系统实施本发明中所描述的技术的一 个或一个以上方面以促成跨平台视频重放。 具体实施方式
本发明是针对促成跨平台三维 (3D) 视频重放的技术。术语 “平台” 大体上指代一 特定视频显示装置及 / 或例如音频 / 视频接收器等任何支持装置的软件及硬件计算框架结 构， 及关于视频解码及重放的此框架结构的限制及功能性。二维 (2D) 显示装置通常提供借 以接收、 解码并呈现根据动画专家组 (MPEG) 标准第二部分 ( 通常称为 “MPEG-2” ) 格式化 的视频数据的平台。能够呈现 2D 视频数据与三维 (3D) 视频数据两者的其它混合显示装置 可提供能够接收、 解码并呈现根据 MPEG-2 标准及特定 3D 视频数据格式 ( 例如， 专属制造商 特定格式 ) 格式化的视频数据的混合平台。专属格式的实例包括 “2D+ 深度” 格式 ( 其可称 作 “2D+z” 格式， 其中 “z” 代表深度 )、 “2D+ 深度、 遮蔽及全局效果” ( 其中透明度为特定类 型的全局效果 ) 及多视图 2D 串流格式。仅 3D 显示装置通常提供借以接收、 解码并呈现根 据制造商特定 3D 格式中的一者格式化的 3D 视频数据的平台。
所述技术通过实现在若干不同 3D 视频平台上进行 3D 视频重放而促成跨平台 3D 视频重放。当前， 没有一个制造商特定的、 专属的或甚至开放源码或其它 “自由” 3D 视频格 式得以标准化或得到产业范围接受。实情为， 与这些各种格式中的每一者相关联的制造商 正试图在市场中促成此标准化。此外， 归因于不同格式之间的竞争， 这些 3D 视频格式中没 有一者支持跨平台 3D 视频重放。跨平台 3D 视频重放大体上指代一个平台重放经格式化以 用于不同平台的 3D 视频数据的能力。 因此， 以一种格式格式化的 3D 视频数据通常无法由提 供接收、 解码并呈现以另一不同格式格式化的 3D 视频数据的平台的 3D 显示装置显示。就 此来说， 本发明的技术可通过将 3D 视频数据从一种格式变换成另一格式而促成跨平台 3D 视频重放。
跨平台 3D 视频重放还涉及将 2D 视频数据变换成 3D 视频数据以用于在 3D 显示装 置上重放。术语 “跨平台” 因此还可包括 2D 平台以及 3D 平台， 其中所述技术可包含接收 2D 视频数据且将此 2D 视频数据变换成根据由特定 3D 显示装置或混合 2D/3D 显示装置支持的 3D 视频数据格式而格式化的 3D 视频数据。混合 2D/3D 显示装置包含能够进行 2D 视频解码 及重放与 3D 视频解码及重放两者的显示装置。
所述技术可在若干方面中促成跨平台 3D 视频重放。在一个方面中， 所述技术可促 进视频显示器询问以根据询问确定由视频显示装置支持的 3D 视频数据格式。可自动地发 生此询问， 或在无除用以选择用于询问的一个或一个以上 3D 显示装置的初始用户输入外 的用户输入的情况下发生此询问。在自动地确定 3D 显示装置的此 3D 视频数据格式之后， 所述技术可涉及根据所述自动确定的 3D 视频数据格式自动地 ( 例如， 在无任何用户输入的情况下 ) 配置将 2D 视频数据转换成 3D 视频数据的一个或一个以上模块， 以便产生 3D 视频 数据。所述经配置的模块接着接收 2D 视频数据且将此 2D 视频数据变换或以其它方式转换 成遵照显示装置的自动确定的输入格式的 3D 视频数据。此 3D 视频数据发送到 3D 显示装 置， 所述 3D 显示装置进行解码并呈现此 3D 视频数据以供用户观看。
在另一方面中， 所述技术可通过基于所监视的参数而重新配置将视频数据变换成 3D 视频数据的所述模块中的一者或一者以上来促成跨平台 3D 视频重放， 所述所监视的参 数反映在通过特定 3D 显示装置重放 3D 视频数据期间 3D 视频数据的 3D 可视化的质量。可 在视频数据的变换期间动态地发生此重新配置。所述模块的重新配置精细化 3D 视频数据 的产生， 以动态地改善由 3D 显示装置产生的 3D 可视化的质量。所述模块的重新配置还可 用于降低可接受的 3D 视频质量的处理复杂性的目的。可通过根据所述重新配置参数停用 所述模块中的一些模块的执行或选择较简单的过程来执行相同功能性来降低处理复杂性。 较简单的过程可诱发降低的 3D 视频质量， 所述降低的 3D 视频质量根据用户定义的准则仍 应被视为可接受的。降低处理复杂性可降低电力消耗或可加速执行所述模块的功能性。值 得注意的是， 可近实时地发生或在将 3D 视频数据流式传输到 3D 显示装置的同时发生参数 的监视与用以将视频数据 (2D 视频数据或 3D 视频数据 ) 变换成经格式化以用于特定 3D 显 示装置的 3D 视频数据的模块的重新配置。 在另一方面中， 所述技术可促成提供无线接口的某一类别的 3D 显示装置进行跨 平台 3D 视频重放。实施所述技术的此方面的装置可包含 ： 用以存储视频数据的第一模块 ； 及确定便携式装置外部的显示装置的一个或一个以上显示参数的无线显示器主机模块。 这 些显示参数可包含显示装置的显示分辨率、 由显示装置支持的文件格式、 由显示装置支持 的视频数据编码器 / 解码器技术 ( 所谓的 “视频编解码器” )、 由显示装置支持的音频编解码 器、 显示装置是否支持 3D 视频数据重放， 及关于显示装置的能力或额外方面的其它参数。 实施所述技术的此方面的装置还可包括 ： 第三模块， 其基于所述所确定的显示参数而制备 视频数据以产生用于在外部显示装置上重放的视频数据 ； 及无线模块， 其将 3D 视频数据无 线地发射到外部显示装置。
值得注意的是， 可由便携式装置实施所述技术的各种方面， 所述便携式装置包括 无线蜂窝式手持机 ( 其常称作蜂窝式或移动电话 )。可实施所述技术的各种方面的其它便 携式装置包括所谓的 “智能电话” 、 极易便携式计算装置 ( 称作 “迷你笔记型计算机” )、 膝上 型计算机、 便携式媒体播放器 (PMP)， 及个人数字助理 (PDA)。还可由例如以下各者的大体 上非便携式的装置实施所述技术 ： 桌上型计算机、 机顶盒 (STB)、 工作站、 视频重放装置 ( 例 如， 数字视频光盘或 DVD 播放器 )、 2D 显示装置及 3D 显示装置。因此， 虽然在本发明中关于 移动或便携式装置来描述所述技术的各种方面， 但可由能够接收视频数据并将视频数据转 发到外部显示装置的任何计算装置实施所述技术的各种方面。
图 1 为说明系统 10 的框图， 在系统 10 中， 移动装置 12 实施本发明的技术的各种 方面以促成跨平台视频数据重放。如图 1 的实例中所展示， 系统 10 包括源装置 14 及显示 装置 16， 所述源装置 14 与显示装置 16 两者分别经由无线通信信道 13 及 15 与移动装置 12 通信。 源装置 14 可包括通用多媒体装置， 例如个人计算机、 工作站、 个人数字助理 (PDA)、 移 动电话 ( 包括所谓的 “智能电话” )， 或包含能够执行软件 ( 且特定来说， 多媒体软件 ) 的通 用处理器的任一其它类型的装置。源装置 14 或者可包含专用多媒体装置， 例如视频摄录一
体机、 数字视频光盘 (DVD) 播放器、 电视机、 机顶盒 (STB)、 压缩光盘 (CD) 播放器、 数字媒体 播放器 ( 例如， 所谓的 “MP3” 播放器或组合 MP3/MP4 播放器， 以及播放其它格式的其它媒体 播放器， 包括高级音频译码 (AAC)、 Windows 媒体视频 (WMV) 及波形音频视频 (WAV) 格式 )、 数字视频记录器 (DVR)、 全球定位系统 (GPS) 装置， 或专用于一组一个或一个以上多媒体应 用且通常并不实现对多媒体软件的加载及执行的用户控制的任一其它装置。
显示装置 16 大体上表示能够经由显示器进行视频重放的任一装置。显示装置 16 可包含电视机 (TV) 显示器， 其可取决于显示装置 16 支持 2D 视频数据重放、 3D 视频数据重 放还是 2D 与 3D 视频数据重放的组合而被称作 2D 视频显示装置、 3D 视频显示装置或混合 2D/3D 视频显示装置。显示装置 16 或者可包含具有显示器的任一其它装置， 例如膝上型计 算机、 个人媒体播放器 (PMP)、 桌上型计算机、 工作站、 PDA， 及便携式数字媒体播放器 ( 例 如， 便携式 DVD 播放器 )。出于说明的目的， 假定显示装置 16 表示与移动装置 12 无线地通 信的无线电视机。然而， 本发明的技术不应限于无线电视机。
源装置 14 包括存储模块 18， 其存储 2D 视频内容 20 及 3D 视频内容 22 中的一 者或一者以上。存储模块 18 可包含存储器 ( 易失性或非易失性存储器 )， 包括随机存取 存储器 (RAM)、 静态 RAM(SRAM)、 动态 RAM(DRAM)、 快闪存储器、 只读存储器 (ROM)、 可编程 ROM(PROM)、 可擦除 PROM(EPROM)， 及电可擦除 PROM(EEPROM)。存储模块 18 或者可包含存储 装置， 例如硬盘驱动器、 光驱、 磁带驱动器及磁盘驱动器。在一些例子中， 存储模块 18 可包 含一个或一个以上存储器及一个或一个以上存储装置的组合。 2D 视频内容 20 表示根据特定 2D 视频数据文件格式而格式化的 2D 视频数据。实 例 2D 视频数据文件格式可包括由动画专家组 (MPEG)4 第 14 部分所定义的 MP4 文件格式。 MP4 文件格式是通常用以存储数字音频及数字视频串流的容器文件格式。其它容器文件格 式包含 MP4 文件格式的简化版本 ( 称作 3GP)、 高级系统格式 (ASF)、 高级视频交错 (AVI) 文 件格式、 DivX 媒体格式 (DMF)、 增强型视频对象 (EVO) 文件格式， 及快闪视频文件格式。在 此方面或其它方面中， 文件格式还可指代关于特定输送及 / 或应用层协议 ( 例如， 实时输送 协议 (RTP) 及串流控制传输协议 (SCTP)) 而使用的文件格式。
3D 视频内容 22 表示根据特定 3D 视频数据文件格式而格式化的经译码的 3D 视频 数据。示范性 3D 视频数据格式包含 “2D+ 深度” ( 其通常称作 “2D+z” 格式 )、 “2D+ 深度、 遮 蔽及全局效果” 或多视图 2D 串流文件格式。就此来说， 视频数据文件格式大体上指代封装 视频数据的标准方式 ( 不管视频数据是否经编码 )。因此， 视频数据文件格式可定义大体 上封装视频数据或其部分以促进视频数据的存储及 / 或发射的方式。可使用例如以下各者 的多种编解码器来编码视频数据 ： MPEG-2 或任一其它编解码器， 包括国际电信联盟标准化 部门 (ITU-T)H.264/MPEG-4 第 10 部分高级视频译码 (AVC) 标准 ( 在下文中称作 “H.264/ MPEG-4AVC” 标准 ) 中所定义的编解码器。在一些例子中， 还可使用称作 H.265( 或， 根据其 名称， 称作下一代视频译码 (NGVC)) 的编解码器来编码视频数据， 所述编解码器是由 ITU-T 视频译码专家组 (VCEG) 开发。在本发明中使用术语 “视频内容” 来指代根据特定视频数据 文件格式封装的经译码的视频数据。
虽然为了便于说明而在图 1 中未展示， 但源装置 14 可包括额外模块， 例如用于俘 获 2D 视频内容 20 及 3D 视频内容 22 的视频俘获模块。或者， 源装置 14 可充当用于存储内 容 20、 22 的归档存储单元或储集器。在一些例子中， 源装置 14 可经由源装置 14 内所包括
的接口 24 而无线地接收内容 20、 22。 即， 源装置 14 包括借以与外部装置无线地通信的接口 24。在一些例子中， 这些外部装置可经由接口 24 与源装置 14 介接以将内容 20、 22 存储到 存储模块 18。
出于说明性目的， 显示装置 16( 如上文所注明， 其可表示无线电视机显示器 ) 包括 接口 26、 文件格式模块 27、 视频解码器 28 及显示器 30。接口 26( 类似于接口 24) 表示显示 装置 16 外部的装置可借以与显示装置 16 通信的接口。在此实例中， 假定接口 24 及 26 中 的每一者表示无线接口。文件格式模块 27 表示实施上文所描述的文件格式中的一者或一 者以上的硬件或硬件与软件模块的组合。通常， 文件格式模块 27 执行解封装以移除封装经 译码的视频数据的文件格式标头且借以输出经译码的视频数据。
视频解码器 28 可表示实施用于解码经译码的视频数据的一个或一个以上视频编 解码器的硬件或组合硬件与软件模块。 值得注意的是， 使用术语 “编解码器” ， 而不管视频解 码器 28 是否实施给定编解码器的编码 ( 即， 压缩 ) 与解码 ( 即， 解压缩 ) 方面两者。因此， 可将视频解码器 28 解释为通过仅实施编解码器的解压缩方面而实施此编解码器。就此来 说， 视频解码器 28 可实施编解码器， 而不管视频解码器 28 是实施编解码器的压缩与解压缩 方面两者还是仅实施编解码器的解压缩方面。 虽然在图 1 的实例中未展示， 但显示装置 16 还可包括表示实施一个或一个以上音 频编解码器的硬件或硬件与软件的组合的其它模块。在一些例子中， 视频模块与音频模块 可组合于同一模块中， 所述同一模块通常称作音频 / 视频 (A/V) 解码器。显示器 30 可包含 任何类型的显示器， 包括有机发光二极管 (OLED) 显示器、 发光二极管 (LED) 显示器、 等离子 显示器， 及阴极射线管 (CRT) 显示器。
在图 1 的实例中， 移动装置 12 还包括一个或一个以上接口 32， 其大体上类似于相 应源装置 14 及显示装置 16 的接口 24 及 26。移动装置 12 还包括实施本发明中所描述的技 术的一个或一个以上方面的控制单元 34。 控制单元 34 可包含一个或一个以上处理器 ( 图 1 中未展示 )， 所述一个或一个以上处理器执行存储到例如以下各者的计算机可读存储媒体 ( 在图 1 中也未展示 ) 的软件指令 ( 例如， 用以定义软件或计算机程序的软件指令 ) ： 存储 装置 ( 例如， 磁盘驱动器或光驱 ) 或存储器 ( 例如， 快闪存储器、 随机存取存储器， 或 RAM)， 或存储指令 ( 例如， 呈计算机程序或其它可执行程序的形式 ) 以使可编程处理器执行本发 明中所描述的技术的任一其它类型的易失性或非易失性存储器。或者， 控制单元 34 可包含 专用硬件， 例如一个或一个以上集成电路、 一个或一个以上专用集成电路 (ASIC)、 一个或一 个以上专用特殊处理器 (ASSP)、 一个或一个以上现场可编程门阵列 (FPGA)， 或用于执行本 发明中所描述的技术的专用硬件的上述实例的任一组合。
控制单元 34 包括变换模块 36、 参数发现模块 38 及人类视觉系统 (HVS) 反馈模块 40(“HVS 反馈模块 40” )。根据本发明中所描述的技术的各种方面， 变换模块 36 表示将 2D 视频内容 20 与 3D 视频内容 22 中的一者或两者变换成可为显示装置 16 接受或与显示装 置 16 兼容的视频数据的一个或一个以上可配置硬件模块或一个或一个以上硬件与软件可 配置模块的组合。当所得的经变换的视频数据是根据由视频解码器 28 支持的视频编解码 器来编码且根据由文件格式模块 27 支持的文件格式来格式化时， 视频数据可与显示装置 16“兼容” 。
根据本发明中所描述的技术的一个或一个以上方面， 参数发现模块 38 表示与显
示装置 16 介接以发现显示装置 16 的一个或一个以上参数 42( 包括由显示装置 16 支持的 一个或一个以上文件格式 ) 的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中 的一些模块可执行软件。这些格式通常包含由显示装置 16 的文件格式模块 27 支持的一个 或一个以上文件格式。通常， 格式 42 暗示由视频解码器 28 支持的一个或一个以上类型的 编解码器且因此参数发现模块 38 还可发现由视频解码器 28 支持的特定编解码器。
除文件格式外， 参数 42 可包括所支持的分辨率、 当前分辨率、 所支持的对比度、 当 前对比度、 显示器或屏幕大小、 由显示装置 16 支持的音频及视频编解码器、 接口 26 的列表、 当前清晰度、 所支持的清晰度、 所支持的色温、 当前色温、 所支持的亮度、 当前亮度、 所支持 的显示格式、 当前显示格式、 所支持的色彩设定、 当前色彩设定、 所支持的输入格式、 显示器 类型、 显示器制造商、 所支持的深度范围、 当前深度范围、 会聚平面的所支持的位置、 会聚平 面的当前位置、 所支持的背景对象平滑度、 当前背景对象平滑度、 所支持的目距配置、 当前 目距配置、 所支持的优势眼配置、 当前优势眼配置、 所支持的视图数目、 当前视图数目、 所支 持的观看距离、 当前观看距离、 所支持的观看角度、 当前观看角度、 在屏幕内的 3D 视频内容 的所支持的显示位置、 及在屏幕内的 3D 视频内容的当前位置， 及与显示装置 16 及其能力有 关的任何其它参数。
在任一情况下， 参数发现模块 38 发现格式， 所述格式可包括文件格式与译码格式 或技术 ( 例如， 所支持的编解码器 ) 两者。举例来说， 发现称作 “2D+ 深度” 的 3D 文件格式 暗示 ： 视频解码器 28 支持 3D 视频编解码器， 所述 3D 视频编解码器能够解码根据 ( 例如 ) MPEG-2 标准译码的 “2D+ 深度” 文件格式的经译码的 2D 视频数据部分， 同时还解码 “2D+ 深 度” 文件格式的深度部分以再现 3D 视频数据以用于经由显示装置 30 重放。
HVS 反馈模块 40 表示分析关于由显示装置 16 进行的 3D 视频数据的显示的定性及 定量度量的一个或一个以上硬件模块或硬件与软件模块的组合。 根据本发明中所描述的技 术的各种方面， HVS 反馈模块 40 可分析定性及定量度量且接着重新配置变换模块 36 以改 善输入视频数据 ( 例如， 2D 视频内容 20 或 3D 视频内容 22) 到遵照由参数发现模块 38 发 现的输入格式的视频数据的变换。HVS 反馈模块 40 可与显示装置 16 介接以检索由显示装 置 16 的视频解码器 28 输出的视频数据 44， HVS 反馈模块 40 接着分析所述视频数据 44 以 确定这些定性及定量度量。HVS 反馈模块 40 可经由变换模块 36 的此重新配置而促成较佳 质量的 3D 视频数据重放。
根据本发明中所描述的技术的一个方面， 移动装置 12 自动地确定 3D 显示装置的 3D 输入文件格式且将 2D 视频内容 20 变换成 3D 视频数据以便遵照所述 3D 输入文件格式。 出于说明的目的， 假定显示装置 16 包含能够呈现 2D 视频内容 20 与 3D 视频内容 22 两者的 混合 2D/3D 无线电视机。移动装置 12 的参数发现模块 38 可经由无线通信信道 15 与显示 装置 16 介接以询问文件格式模块 27， 以便确定由文件格式模块 27 支持以接收 3D 视频数 据的至少一个输入文件格式。如上文所描述， 文件格式可包含一个或一个以上 3D 文件格式 ( 例如， “2D+ 深度” 或多视图 2D 串流格式 )， 以及由视频解码器 28 实施以解码 3D 视频数据 的一个或一个以上编解码器 ( 其可通过所确定的文件格式来暗示 )。
值得注意的是， 显示装置 16 可实施第一文件格式， 而图 1 中未展示的其它显示装 置可实施不同于所述第一文件格式的多个不同文件格式。 所述多个不同文件格式可防止 2D 视频数据 ( 但更特定来说， 3D 视频数据 ) 的跨平台重放， 这是因为 3D 视频文件格式尚未得以标准化或大体上未在产业内采用。 通过发现显示文件格式且接着将任何输入或源视频数 据变换成所发现的文件格式可克服当试图在接受第二不同文件格式的显示装置上解码并 呈现以第一文件格式格式化的 3D 视频数据时可能出现的跨平台重放问题。
最初， 移动装置 12 的用户或其它操作者可与由用户接口模块 ( 为便于说明， 在图 1 中未展示 ) 呈现的用户接口介接， 以选择或以其它方式发现显示装置 16。用户接口可呈 现位于移动装置 12 的给定范围内的或连接到移动装置 12 同样连接的网络 ( 例如， 802.11x TM 无线网络、 超宽带 (UWB) 网络， 及 / 或 Bluetooth 网络 ) 的装置的列表。操作者可与用户 接口介接以选择装置 ( 例如， 显示装置 16)， 此后用户接口模块向参数发现模块 38 通知选定 的显示装置 16。
虽然可以此方式发生手动选择， 但参数发现模块 38 可自动地与列表中的每一装 置介接以发现用于列表上的每一装置的参数 ( 例如， 文件形式 )。 用户接口可接着呈现所述 列表且接收来自操作者或其它用户的选择所述装置中的一者的输入。换句话说， 参数发现 模块 38 可响应于用户选择移动装置 12 可介接的装置的列表上的给定装置或并不等待此选 择而自动地发现参数 ( 包括格式 )。 在无任何其它用户输入的情况下发生发现的意义上， 发 现可为 “自动的” 。参数发现模块 38 可与显示装置 16 介接， ( 例如 ) 询问文件格式模块 27 且接收由显示装置 16 支持的格式作为参数 42 中的一者， 而无需任何用户输入。
参数发现模块 38 经由接口 32 中的一个适当接口与显示装置 16 介接， 所述适当接 口经由通信信道 15 耦合到显示装置 16 的接口 26。 参数发现模块 38 可实施借以与文件格式 模块 27 通信的询问协议。举例来说， 参数发现模块 38 可实施显示接口协议或标准 ( 例如， 高清多媒体接口 (HDMI) 协议或无线 HDMI(WHDMI) 协议 ) 的各种方面， 所述显示接口协议或 标准提供借以确定各种参数的通信信道， 所述各种参数可特征化为显示装置 16 的能力及 特性。虽然尚未阐述定义 WHDMI 的特定标准， 但期望 HDMI 的有线版本， 如日期为 2006 年 11 月 10 日的题目为 “高清多媒体接口规范 1.3A 版 (High-Definition Multimedia Interface Specification Version 1.3A)” 的规范 ( 所述规范借此以全文引用的方式并入本文中 ) 中 所阐述， 存在借以询问或以其它方式确定显示装置 16 的参数 42( 包括所支持的文件格式 ) 的显示数据信道 (DDC)。
虽然在本发明中关于 HDMI 及 WHDMI 来描述所述技术， 但所述技术可根据开放标准 ( 例如， 非专属标准 ) 以及并非受具体支持或尚未并入到任一标准中的其它规范 ( 专属的或 开放的 ) 来实施。举例来说， 参数发现模块 38 可实施移动显示数字接口 (MDDI)， 其为在由 视频电子标准协会支持的开放标准中定义的接口。或者， 或结合 MDDI， 参数发现模块 38 可 实施 MDDI 的无线扩展 ( 称作无线 MDDI(WMDDI))。 此外， 所述技术可关于移动产业处理器接 口 (MIPI) 来实施。就此来说， 所述技术因此不应限于任一个标准接口 ( 例如， HDMI)， 而是 可关于 ... 来实施。
在以此方式发现格式 42 之后， 参数发现模块 38 接着与变换模块 36 介接以配置变 换模块 36， 如上文所描述， 变换模块 36 表示将 2D 视频数据与 3D 视频数据两者转换成遵照 所确定的输入格式 42 的 3D 视频数据的一个或一个以上模块。参数发现模块 38 可确定配 置数据且将此配置数据加载到变换模块 36 中以便配置变换模块 36， 以将视频内容 ( 例如， 2D 视频内容 20) 变换成根据输入格式 42 格式化的 3D 视频内容。
上文所描述但为便于说明而在图 1 中未展示的用户接口还可呈现另一装置列表( 其可称作 “源列表” ) 以区分此列表与显示器列表 ( 其可特征化为 “目的地列表” )， 所述 “源列表” 包括视频内容的源。移动装置 12 可经由接口 32 发现这些装置， 类似于发现目的 地列表的装置。作为一个实例， 移动装置 12 经由接口 32 及通信信道 13 发现源装置 14， 其 中用户接口呈现包括源装置 14 的源列表。假定操作者选择源装置 14， 则控制单元 34 可指 示接口 32 与源装置 14 介接以确定存储到源装置 14 的存储模块 18 的内容 20 及 22。控制 单元 34 的用户接口可接着呈现代表所确定的 2D 视频内容 20 及 3D 视频内容 22 的文件名、 图像或其它数据。操作者可选择 2D 视频内容 20 或 3D 视频内容 22 以用于显示于选定的目 的地装置 ( 例如， 显示装置 16) 上。
假定操作者选择 2D 视频内容 20 以用于以 3D 显示于选定的显示装置 16 上， 则变 换模块 36 开始接收 2D 视频内容 20， 所述 2D 视频内容 20 可以上文所描述的 2D 文件格式中 的一者来格式化且根据第一编解码器来译码。经配置的变换模块 36 可动态地 ( 可能实时 地或近实时地 ) 将 2D 视频内容 20( 其包含经格式化的文件及经译码的视频数据 ) 转换成 以遵照自动确定的输入格式 42 的文件格式译码并格式化的 3D 视频数据。变换模块 36 接 着经由通信信道 15 及接口 32、 26 将以遵照自动确定的输入格式 42 的文件格式译码并格式 化的动态产生的 3D 视频数据 ( 在图 1 中展示为 3D 视频内容 48) 转发到显示装置 16。 显示装置 16 的文件格式模块 27 接收 3D 视频内容 48， 其包含根据由视频解码器 28 支持的编解码器译码且接着根据由文件格式模块 27 支持的 3D 文件格式而格式化的 3D 视频数据。文件格式模块 27( 归因于兼容文件格式化 ) 解封装 3D 视频内容 48 以产生经译 码的 3D 视频数据 50。视频解码器 28 接着使用适当编解码器解码经译码的 3D 视频数据 50 以产生 3D 视频数据 44， 显示器 30 呈现所述 3D 视频数据 44 以供观看者 ( 例如， 移动装置 12 的操作者 ) 消耗。
以此方式， 所述技术的此方面通过以下操作来促进跨平台 3D 视频重放 ： 动态地配 置变换模块 36 以从 2D 视频内容 20 产生 3D 视频数据以使得所述 3D 视频数据遵照由显示 装置 16 支持的格式 42。通常， 此 2D 视频内容 20 可限于 2D 平台且虽然可假定混合 2D/3D 显示装置 16 可利用混合 2D/3D 平台的 2D 部分来呈现 2D 视频内容 20， 但在无根据本发明中 所描述的技术执行的移动装置 12 的介入或中间变换能力的情况下， 观看者将被拒绝 3D 观 看体验。就此来说， 本发明的技术使移动装置 12 能够通过促进 2D 视频内容 20 在 3D 视频 重放平台上重放来促成跨平台视频重放。
当变换模块 36 变换 2D 视频内容 20 以产生呈由显示装置 16 支持的格式的 3D 视 频数据 ( 在图 1 中展示为 3D 视频内容 48) 且将所变换的 3D 视频内容 48 转发到显示装置 16 时， HVS 反馈模块 40 可使用 HVS 模型确定一个或一个以上度量， 所述一个或一个以上度 量关于人类视觉系统反映所产生的 3D 视频内容 48 的 3D 可视化的质量。更特定来说， 在一 些实例中， HVS 反馈模块 40 与显示装置 16 介接以确定 3D 视频数据 44， 且使用所述 HVS 模 型分析 3D 视频数据 44 以确定所述一个或一个以上度量。
所述一个或一个以上度量可包含通过 3D 视频数据 44 描绘的一个或一个以上对象 中的每一者的大小及 / 或深度度量 ( 其中， 在一些例子中， 深度度量可随时间而变来表达 )、 通过 3D 视频数据 44 描绘的一个或一个以上阴影中的每一者的阴影度量、 背景对比度度量、 清晰度度量、 空间频率度量以及广泛各种其它度量， 所述度量中的每一者更详细描述于下 文中。另外， HVS 反馈模块 40 可与参数发现模块 38 介接以接收由参数发现模块 38 确定的
一个或一个以上参数， 例如所支持的分辨率、 当前分辨率、 所支持的对比度、 当前对比度、 显 示器或屏幕大小、 文件格式或与显示装置 16 及其能力有关的任何其它参数。HVS 反馈模块 40 可使变换模块 38 的重新配置至少部分地基于这些参数 42。
HVS 反馈模块 40 还可存储定义例如以下各者的一个或一个以上用户偏好的用户 偏好数据 ： 所要的清晰度、 所要的对比度、 所要的显示格式、 所要的色温、 所要的色彩设定、 所要的亮度、 所要的最大深度范围、 会聚平面的所要的位置、 所要的背景对象平滑度、 所要 的目距配置、 所要的优势眼配置、 所要的视图数目、 所要的观看距离、 所要的观看角度、 在屏 幕内的 3D 视频内容的所要的显示位置及分辨率， 或与由显示装置 ( 例如， 显示装置 16) 进 行的 2D 或 3D 视觉显示有关的任一其它偏好。此外， HVS 反馈模块 40 还可至少部分基于这 些用户偏好而重新配置变换模块 38。即， HVS 反馈模块 40 可包含 HVS 模型， 所述 HVS 模型 是根据用户偏好数据而配置以便产生用以至少部分基于这些用户偏好而重新配置变换模 块 38 的配置数据。
以此方式， 当变换模块 36 当前正变换 2D 视频内容 20( 或， 在替代例子中， 3D 视频 内容 22) 时， HVS 反馈模块 40 与变换模块 36 介接， 以至少基于经由 3D 视频数据 44 的分析 而确定的度量来重新配置变换模块 36， 以精细化 3D 视频内容 48 的产生。就此来说， HVS 反 馈模块 40 可动态地重新配置变换模块 36 以自动地精细化 ( 且很可能改善 )3D 视频内容 48 的所感知的视觉质量。如果此精细化除基于从 3D 视频数据 44 确定的度量外还基于用户偏 好数据， 则 HVS 反馈模块 40 可针对特定用户或逐个用户地自动地重新配置变换模块 36 以 精细化 3D 视频内容 48 的所感知的质量。因此， 所述技术可不仅促进跨平台视频重放， 而且 促成跨平台视频重放所需的任何变换的动态精细化， 以潜在地逐个用户地改善观看体验。 在一些例子中， 移动装置 12 经由无线通信媒体与显示装置 16 介接。给定显示装 置 16 表示混合 2D/3D 无线显示装置的上述假定， 则移动装置 12 与显示装置 16 无线地介接。 当与显示装置 16 无线地介接时， 参数发现模块 38 可特征化为确定显示装置 16 的一个或一 个以上显示参数 42 的无线显示器 (WD) 主机。参数发现模块 38 接着以一方式配置变换模 块 36 以使得变换模块 36 基于显示参数而制备视频数据以便产生 3D 视频内容 48。
此制备可涉及根据输送协议格式化 ( 或更具体来说， 封装 )3D 视频数据。所述输 送协议定义视频数据区段、 音频数据区段及深度数据区段中的每一者在多个包中的一不同 者中的封装。在一些例子中， 可依序地将视频、 音频及深度数据存储于单一包内。输送协议 模块将用于增强 3D 视频内容的重放的元数据添加于所述多个包中的一者的标头中的任选 数据字段内。此元数据可提供促进在具有特定能力的装置上重放的提示或其它指示。元数 据还可定义用于产生或以其它方式变换 3D 视频数据以实现在具有特定能力或参数的不同 2D 或 3D 显示装置上重放的技巧或规范。
执行此制备的输送协议单元可包含实时输送协议 (RTP) 单元， 实时输送协议 (RTP) 单元包含硬件或硬件与软件的组合， 其为应用层 ( 且还称为 “层 7” 或 “L7” ) 协议单 元。术语 “层” 指代开放系统互连参考模型 (“OSI 模型” ) 内的层。通常， 将输送协议视为 属于 OSI 模型的输送层 ( 其还称作 “层 4” 或 “L4” ) 内。RTP 依赖于称作通用数据报协议 (UDP) 的输送层协议来使用应用层功能性提供增强的输送协议。在此意义上， 虽然事实为 RTP 驻留于应用层而非输送层， 但可将 RTP 视为输送协议。术语 “输送协议” 因此不应限于 输送层协议， 而是可包括 OSI 模型中提供输送层功能性的任一层的任一协议。
在以上文所描述的方式制备 3D 视频内容 48 之后， 变换模块 36 将内容转发到接口 32 中的一个无线接口， 所述无线接口将包发射到显示装置 16。显示装置 16 接收包， 解格 式化所述包以解封装经编码的音频、 经编码的视频及深度数据以及元数据， 根据元数据解 码经编码的音频及经编码的视频数据以产生音频及增强的视频数据， 且经由音频重放模块 ( 图 1 中未展示 ) 及显示器 30 呈现音频及增强的视频数据以供观看者消耗。视频数据得以 “增强” ， 这是因为 ： 元数据可改善得益于元数据而解码的所得视频数据的解码及重放。
就此来说， 所述技术的各种方面促成内聚跨平台视频重放系统。 在一个方面中， 以 上文所描述的方式发现文件格式且使用所述文件格式来配置变换模块 36 以改善跨平台的 重放。在另一方面中， 所述技术经由使用 HVS 模型所确定的动态反馈来促进重放的质量， 以 便在变换期间精细化 3D 视频重放的质量。在又一方面中， 自动地确定参数且使用所述参数 来制备用于由 3D 显示装置重放的 3D 视频数据的递送。此制备可涉及将元数据嵌入到用于 将 3D 视频内容无线地发射到显示装置的包中， 其中此元数据可定义促进 3D 视频内容的解 码及进一步变换的参数。在一些方面中， 可嵌入此元数据以使得其对于并不支持 3D 视频重 放的显示器 ( 例如， 仅 2D 显示装置 ) 来说为透明的。
虽然展示为单独的装置， 但源装置 12 及移动装置 16 可包含并入有源装置 12 的功 能性及移动装置 16 的功能性的单一装置。在一些例子中， 移动装置 12 可并入有源装置 14 的功能性。就此来说， 所述技术不应限于图 1 中所展示的实例。
此外， 虽然上文关于移动装置 12 来描述所述技术， 但可由能够进行与本发明中所 描述的技术一致的视频变换的任一装置实施所述技术。这些装置在本文中大体上可称作 “视频处理装置” 。此外， 就此来说， 所述技术不应限于图 1 中所展示的实例。
图 2 为更详细地说明图 1 的移动装置 12 的实例的框图。在图 2 的实例中， 移动装 置 12 包括多个接口 32， 例如无线接口 32A 及有线接口 32B。无线接口 32A 可包含以下接口 中的一者或一者以上 ： 无线因特网接口 ( 例如， 通过 IEEE 802.11x 标准套件定义的接口 )、 TM Bluetooth 无线接口、 无线 HDMI 接口、 红外线无线接口， 或可借以发生无线通信的任一其 它接口。有线接口 32B 可包括以下接口中的一者或一者以上 ： 通用串行总线 (USB) 接口、 微 型 USB 接口、 HDMI 接口、 复合电缆接口、 同轴电缆接口、 视频图形阵列接口， 或可借以发生有 线通信的任一其它接口。
移动装置 12 还包括视频俘获装置 50、 本地存储模块 52 及内部显示器 54。视频俘 获装置 50 表示实施用于记录 3D 视频数据的眼镜式立体 3D 视频相机或用于记录 2D 视频数 据的 2D 视频相机的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬 件模块可执行软件。本地存储模块 52 表示用于在本地存储数据 ( 包括 2D 视频数据及 3D 视频数据， 或如果经译码及格式化， 则包括经译码及格式化的内容 ) 的硬件或硬件与软件 模块的组合。本地存储模块 52 可包含静态或动态存储器及 / 或存储装置， 例如上文关于控 制单元 34 所列出的存储器及 / 或存储装置中的任一者。内部显示器 54 表示呈现视频数据 及图像数据以供内部显示器 54 的观看者消耗的硬件或硬件与软件模块的组合。内部显示 器 54 可包含上文关于显示装置 16 的显示器 30 所注明的显示器中的任一者。
视频俘获装置 50、 本地存储模块 52 及内部显示器 54 中的每一者耦合到控制单元 34， 控制单元 34 已在图 2 中加以进一步详细说明。在图 2 的实例中， 控制单元 34 包含变换 模块 36、 参数发现模块 38 及 HVS 反馈模块 40， 其与关于图 1 所展示者相同。然而， 这些模块 36 到 40 在图 2 的实例中被进一步详细展示为包括若干子模块及数据。举例来说， 变换 模块 36 包括预处理模块 56、 2D 到 3D 处理模块 58、 后处理模块 60、 再现模块 62 及显示格式 模块 64。
虽然关于图 3 更详细描述这些模块中的每一者， 但简要来说， 预处理模块 56 表示 执行预处理以确定用于执行从一个平台到另一平台的视频数据转换的信息的一个或一个 以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。 2D 到 3D 处理 模块 58 表示用于 ( 如名称表明 ) 基于由预处理模块 56 确定的信息执行 2D 视频数据到 3D 视频数据的转换的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件 模块可执行软件， 其中此信息可称作 “预处理信息” 。后处理模块 60 表示修改或以其它方式 调整所产生的 3D 视频数据 ( 例如， 深度图 ) 以精细化 3D 视频重放的质量的一个或一个以 上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。再现模块 62 表 示模型化 3D 场景、 产生额外视图且以其它方式进一步精细化 3D 视频重放的一个或一个以 上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。显示格式模块 64 表示根据给定文件格式将所产生且随后精细化的 3D 视频数据格式化的一个或一个以上 硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
作为另一实例， HVS 反馈模块 40 可包括定性评估模块 66 及定量评估模块 68。定 性评估模块 66 表示对由移动装置 12 外部的显示装置 ( 例如， 外部显示装置 16 的视频解码 器 28) 解码的 3D 视频数据 44 执行定性分析以确定度量 70 中的一者或一者以上的一个或 一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件， 所述度 量 70 关于人类视觉系统部分地定义 3D 视频数据 44 的 3D 可视化的质量的所感知的质量。 定量评估模块 68 对由变换模块 36 的各种子模块 ( 例如， 后处理模块 60、 再现模块 62 及显 示格式模块 64) 产生的 3D 视频数据执行定量分析。此分析可导致确定度量 70 中的额外度 量。这些度量 70 可接着形成用于后续修改或重新配置形成变换模块 36 的模块 56 到 64 中 的一者或一者以上以精细化由变换模块 36 产生的 3D 视频内容 48 的基础。此精细化可依 据定性度量 70 与定量度量 70 两者引起 3D 视频数据 44 的改善的重放。
控制单元 34 还包括先前关于图 1 的实例未展示的两个额外模块 ： 离线处理模块 72 及用户接口模块 74。离线处理模块 72 表示大体上关于属性 ( 例如， 照明类型及照明方 向、 对象反射率、 纹理效果及氛围效果 ) 执行图像 ( 或视频帧 ) 的描述符的统计分析及模型 化的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软 件。这些描述符可包含遵照定义用于多媒体内容描述符的标准的 MPEG-7 标准 ( 有时称作 多媒体内容描述接口 ) 的描述符。在任何情况下， 描述符大体上可表示定义通过视频数据 描绘的视觉特征的描述的数据。 通常， 描述符描述这些视觉特征的基本特性， 例如与这些特 征相关联的形状、 色彩、 纹理或运动。
用户接口模块 74 表示呈现用户接口的一个或一个以上硬件模块或硬件与软件模 块的组合， 移动装置 12 的操作者与所述用户接口互动以输入并接收来自移动装置 12 的数 据。通常， 用户接口模块 74 将图形用户接口 (GUI) 呈现给内部显示器 54， 内部显示器 54 可 将 GUI 提供给用户。在一些例子中， 内部显示器 54 可包含所谓的 “触控式屏幕” ， 用户可通 过所述 “触控式屏幕” 与内部显示器 54 互动以输入定义由 GUI 呈现的各种项目的选择的数 据。在此意义上， 与内部显示器 54 在图 2 的实例中与用户接口模块 74 分离的示范性描绘相反， 可将内部显示器 54 视为用户接口模块 74 的一部分。
最初， 移动装置 12 的操作者可与由用户接口模块 74 呈现的用户接口介接， 以选择 一个或一个以上源， 所述一个或一个以上源包括操作者希望经由一个或一个以上目的地显 示器显示的视频内容。这些源可包括视频俘获装置 50 及本地存储模块 52， 以及经由无线 接口 32A 及有线接口 32B(“接口 32” ) 以通信方式耦合到移动装置 12 的源装置， 例如图 1 的实例中所展示的源装置 14， 其经由无线通信信道 13 以通信方式耦合到接口 32。目的地 显示器可包含内部显示器 54 及以通信方式耦合到接口 32 的一个或一个以上目的地显示装 置， 例如图 1 的实例中所展示的目的地显示装置 16， 其经由无线通信信道 15 以通信方式耦 合到接口 32。
在选择一个或一个以上源之后， 操作者还可与此用户接口或由用户接口模块 74 呈现的另一用户接口介接， 以选择由选定源存储的特定内容。 举例来说， 操作者可选择源装 置 12 作为视频内容的源。响应于此， 用户接口模块 74 可与源装置 12 介接以确定由源装置 14 存储于存储模块 18 内的内容 20 及 22。用户接口模块 74 可接着更新当前用户接口或呈 现借以显示可用于由目的地重放的内容 20、 22 的另一用户接口。操作者可与所呈现的用户 接口互动以选择 2D 视频内容 20 及 3D 视频内容 22 中的一者或一者以上。 出于说明的目的， 假定操作者选择 2D 视频内容 20。
在选择 2D 视频内容 20 之后， 操作者可与当前用户接口、 先前用户接口或另一用户 接口介接， 以选择一个或一个以上目的地。此外， 出于说明的目的， 假定操作者与此目的地 用户接口互动以输入选择显示装置 16 的数据。在选择显示装置 16 作为由源装置 14 存储 到存储模块 18 的选定的 2D 视频内容 20 的目的地后， 用户接口模块 74 即刻接收指示所述 选择的此数据， 且指示适当接口 32 开始接收选定的 2D 视频内容 20 并传送经由由变换模块 36 进行的 2D 视频内容 20 的变换而产生的 3D 视频内容 48。用户接口模块 74 还可与参数 发现模块 38 介接以向参数发现模块 38 指示选定的目的地， 以使得参数发现模块 38 可根据 本发明中所描述的技术与适当目的地介接以确定参数 76。
移动装置 12 的操作者还可与先前用户接口、 当前用户接口或可能的由用户接口 模块 74 呈现的不同用户接口介接， 以输入指定一个或一个以上用户偏好 78(“用户偏好 78” ) 的数据。用户偏好 78 可包括优势眼偏好、 对比度偏好、 清晰度偏好、 色调偏好、 色温偏 好， 或与视频数据的显示有关的任何其它偏好。用户偏好 78 还可包括音频偏好 ( 例如， 环 绕声偏好及音量偏好 )， 且所述技术不应限于仅视频用户偏好。用户接口模块 74 将这些用 户偏好 78 转发到 HVS 反馈模块 40， 所述 HVS 反馈模块 40 可根据本发明中所描述的技术在 配置或重新配置变换模块 36 时使用这些偏好 78。
在任何情况下， 在选择源装置 12 及目的地显示装置 16 及潜在的存储到源装置 12 的内容 20 及 22 中的一者或一者以上之后， 参数发现模块 38 可与选定的目的地 ( 例如， 显 示装置 16) 介接以确定参数 76。参数发现模块 76 可 ( 例如 ) 经由遵照所注明的 HDMI 标准 的有线接口 32 与显示装置 16 介接。使用 HDMI 标准的各种方面， 参数发现模块 76 可确定 参数 76， 例如由文件格式模块 27 支持以用于接收 3D 视频内容的输入文件格式。其它参数 76 包括上文所注明的与显示器 30 的各种能力或参数有关的参数， 例如所支持的分辨率、 当 前分辨率、 显示大小、 所支持的色温、 当前色温， 或与显示器 30 及视频解码有关的任何其它 参数 ( 包括由视频解码器 28 支持的编解码器 )。如下文更详细描述， 参数发现模块 38 还可被特征化为无线显示器 (WD) 主机， 其代 管借以无线地发现这些参数的会话。 通常， 当实施这些无线显示器主机技术时， 参数发现模 块 38 实施称作 “无线 HDMI” 或 “WHDMI” 的形式的 HDMI。
在发现参数 76 之后， 参数发现模块 38 可与变换模块 36 的显示格式模块 64 介接 以配置显示格式模块 64， 以便根据由选定的目的地显示装置 16 的文件格式模块 27 支持的 文件格式适当地格式化 3D 视频数据。参数发现模块 38 可自动地执行参数 76( 其包括输入 文件格式 ) 的发现与显示格式模块 64 的配置两者。
如上文所注明， 术语 “自动地” 的使用通常表明执行表示为自动地发生的那些动作 无需操作者介入。 然而， 此术语的使用并不意味着暗示 ： 起始所注明的自动操作可不需要操 作者或用户输入。 为了说明， 考虑其中操作者与各种用户接口互动以选择源、 内容及装置的 上述实例。与用户接口的互动并不减损确定参数 76 及显示格式模块 64 的自动性。因为在 上述实例中不需要用户提供指定参数发现模块 38 确定这些参数 76 且接着配置显示格式模 块 64 的任何输入或数据， 所以操作者可能不知晓这些自动操作。就此来说， 从操作者的观 点来说， 因为操作者未主动地指示执行这些操作， 所以可将自动操作解释为显而易见地发 生。
参数发现模块 38 可经由应用程序编程接口 (API) 调用来配置显示格式模块 64， 参 数发现模块 38 可通过所述应用程序编程接口 (API) 调用来指定显示装置 16 的所确定的输 入文件格式。在接收 2D 视频内容 20 之前， HVS 反馈模块 40 还可与预处理模块 56、 2D 到 3D 处理模块 58、 后处理模块 60、 再现模块 62 及显示格式模块 64 介接， 以基于用户偏好 78 而 配置这些模块 56 到 64。举例来说， 用户偏好 78 中的一者可定义优选清晰度， HVS 反馈模块 40 可在配置 2D 到 3D 处理模块 58 时利用所述优选清晰度。HVS 反馈模块 40 可利用优选清 晰度作为 2D 到 3D 处理模块 58 计算在清晰图像不连续性下的深度值的准确度的指示。在 另一实例中， 用户偏好 78 中的一者可定义会聚平面的优选位置或优选深度范围， HVS 反馈 模块 40 可在配置再现模块 62 时利用会聚平面的所述优选位置或所述优选深度范围。HVS 反馈模块 40 可利用优选会聚平面位置或深度范围来调整模块 62 的再现参数。
在任何情况下， 参数发现模块 38 与 HVS 反馈模块 40 两者可配置变换模块 36 的 模块 56 到 64 中的一者或一者以上。变换模块 36 一旦经配置便可接收 2D 视频内容 20， 2D 视频内容 20 可包含单视图或多视图 2D 视频数据。单视图 2D 视频数据可包含来自单一视 频俘获装置的单视图拍摄。多视图 2D 视频数据可包含来自多个视频俘获装置的多视图拍 摄。通常， 多视图 2D 视频数据实现所述多个视图中的任一者的重放且观看者通常可在重放 期间在所述多个视图之间切换， 然而， 2D 显示装置通常并不将所述多个视图中的两者或两 者以上彼此同时地呈现。
预处理模块 56 通常接收 2D 视频内容 20。离线处理模块 72 并不接收 2D 视频内 容， 而是以下文关于图 3 所描述的方式来支持预处理模块 56。简要来说， 离线处理模块 72 通常实施如上文所注明的借以执行统计分析及模型化以产生用于供预处理模块 56 使用的 模型的各种算法。
预处理模块 56 接收 2D 视频内容 20 且确定关于形成 2D 视频内容 20 的各种图像 或帧的全局信息。此全局信息可与 2D 视频内容 20 的单一图像或帧或若干图像或帧有关。 举例来说， 全局信息可定义氛围效果 ( 例如， 指示雨、 雪、 风等的存在的信息 )。预处理模块56 还可确定 2D 视频内容的给定图像或帧的局部信息。用以确定所述局部信息的此局部处 理可涉及确定与以下各者有关的信息 ： 边缘的位置及强度、 边缘的分类、 对象的分段、 照明 属性的检测， 及感兴趣的区域的检测。 在预处理并确定全局及局部信息之后， 预处理模块 56 将 2D 视频内容 20 以及全局及局部信息转发到 2D 到 3D 处理模块 58。
2D 到 3D 处理模块 58 处理所接收的 2D 视频内容 20 以提取深度信息。2D 到 3D 处 理模块 58 可基于由预处理模块 56 确定的全局及局域信息而提取深度信息。举例来说， 2D 到 3D 处理模块 58 可从几何线性信息 ( 例如， 通过预处理模块 56 所确定的信息而定义的边 缘信息 ) 提取深度信息。2D 到 3D 处理模块 58 可实施若干深度提取算法以 ( 例如 ) 从以下 各者提取深度信息或值 ： 几何结构及运动、 聚焦 / 散焦、 着色及阴影， 及上文所注明的几何 线性信息。 2D 到 3D 处理模块 58 可合并经由这些算法中的一者或一者以上所提取的深度以 产生深度图。所述深度图可将深度值指派给 2D 视频内容 20 的每一图像或帧的每一像素， 借以产生 3D 视频数据， 2D 到 3D 处理模块 58 将所述 3D 视频数据转发到后处理模块 60。
后处理模块 60 接收由 2D 到 3D 处理模块 58 产生的此 3D 视频数据且修改所述 3D 视频数据以精细化深度图。举例来说， 后处理模块 60 可修改深度图， 以改善所得的经变换 的 3D 视频内容 48 在经由显示装置 16 显示时的可视化的质量。此修改可涉及全局地使深 度图平滑或选择性地修改对应于深度图的帧中的感兴趣的特定区域的深度信息。 在以此方 式精细化深度图之后， 后处理模块 60 将经精细化的 3D 视频数据转发到再现模块 62。
再现模块 62 接收经精细化的 3D 视频数据且针对需要一个或一个以上视图的情形 ( 例如在显示装置 16 的所确定的输入格式为多视图串流格式时或显示装置 16 以其它方式 支持多个 “2D+ 深度 (z)” 视图时的状况 ) 而模型化 3D 场景。在此视图再现之后， 再现模块 62 将潜在的多视图 3D 视频数据转发到显示格式模块 64， 显示格式模块 64 进行根据由显示 装置 16 支持的经配置的输入文件格式而格式化多视图 3D 视频数据以产生经变换的 3D 视 频内容 48。显示格式模块 64 接着将经变换的 3D 视频内容 48 转发到显示装置 16 以用于呈 现给观看者。
当以上文所描述的方式变换 2D 视频内容 20 时， HVS 反馈模块 40 与显示装置 16 介 接以检索由显示装置 16 的视频解码器 28 输出的 3D 视频数据 44。HVS 反馈模块 40 接着执 行经解码的 3D 视频数据 44 的定性及定量评估。更具体来说， 定性评估模块 66 执行与经解 码的 3D 视频数据 44 的可视化质量有关的定性评估， 以确定度量 70( 可称作 “定性度量 70” ) 中的一者或一者以上。此可视化质量还可包括给定观看者在观看 3D 视频数据 44 时的舒适 度 ( 如通过用户偏好 78 定义 )。为了说明， 考虑右眼优势观看者在观看 3D 视频数据 44 时 喜欢用其右眼。在此状况下， 定性评估模块 66 可分析 3D 视频数据 44 以确保右眼串流比左 眼串流有利。即， 如果观看者为右眼优势， 则定性评估模块 66 可在确定给定帧或图片群组 的总度量时将右眼串流度量高于左眼串流度量而加权。
定量评估模块 68 可执行 3D 视频数据 44 的定量分析以确定度量 78( 其可称作 “定 量度量 78” ) 中的一者或一者以上。举例来说， 定量评估模块 68 可评估由后处理模块 60、 再现模块 62 及显示格式模块 64 中的一者或一者以上产生的 3D 视频数据的一个或一个以 上帧中的对象的深度与大小之间的关系。定量度量 78 可包括对象的深度与大小之间的此 关系作为一个度量。其它定量度量 78 可包括与基于深度图像的再现有关的度量， 例如， 过 滤功效度量、 可见不连续性度量及内插功效度量。定量度量 78 还可包括在深度的正规化中有用的度量。定量度量 78 因此可包括与以下各者有关的至少一个度量 ： 通过 3D 视频数据 定义的对象的深度与大小之间的关系、 3D 视频数据的深度不连续性与平均区域色彩不连续 性之间的关系、 过滤功效度量、 内插功效度量、 在深度的正规化中有用的度量， 及与测量沿 着时间的深度不连续性有关的度量。定量评估模块 68 可进一步测量由模块 60 到 64 产生 的视频数据的沿着时间的深度不连续性， 且执行大量其它形式的定量分析。
使用定性评估模块 66 及 / 或定量评估模块 68， HVS 反馈模块 40 可执行大量的分 析。如上文部分注明， 此分析可涉及测量及调整由模块 56 到 64 中的一者或一者以上产生 或从显示装置 16 接收作为 3D 视频数据 44 的 3D 视频数据的给定帧或图像中的任一对象的 深度与大小之间的关系。所述分析还可涉及测量沿着时间的深度不连续性、 阴影或着色效 果、 背景对比度及空间频率。
基于这些度量， HVS 反馈模块 40 可接着基于度量 70 而确定配置数据 80 且与变换 模块 36 的模块 56 到 64 中的一者或一者以上介接， 以重新配置这些模块 56 到 64 以便精细 化经变换的 3D 视频内容 48 的所感知的视觉质量。除基于度量 70 而确定配置数据 80 外， HVS 反馈模块 40 还可基于参数发现模块 38 可转发到 HVS 反馈模块 40 的参数 76 而确定配 置数据 80。此外， HVS 反馈模块 40 可确定或以其它方式定制配置数据 80 以适应用户偏好 78。因此可根据广泛多种度量、 参数及偏好来确定配置数据 80。 作为一个实例， HVS 反馈模块 80 可定制配置数据 80 以修正缺乏眼追踪功能性的显 示装置的聚焦线索。聚焦线索包含针对不同焦距描述跨越给定帧的图像的明确度的数据。 在此实例中， 参数 76 可指示显示装置 16 缺乏眼追踪功能性。在此情形下， 为了修正聚焦线 索 ( 其可包含 HVS 借以解译聚焦的在 3D 视频内容 48 中的线索 )， HVS 反馈模块 40 可确定 用于 2D 到 3D 处理模块 58 及 / 或再现模块 62 的配置数据 80， 以便约束由 2D 到 3D 处理模 块 58 执行的深度提取及 / 或约束由再现模块 62 进行的多视图再现的深度解译。
HVS 反馈模块 40 可基于指示显示装置 16 的显示器 30 的大小的参数 76 而产生此 配置数据 80， 这是因为聚焦可取决于视场及标准观看距离， 视场与标准观看距离两者可从 显示器的大小来导出。聚焦还可取决于眼间隔 ( 其通常经定义为左眼与右眼之间的距离 ) 且用户偏好 78 可存储标准眼间隔偏好。HVS 反馈模块 80 因此可存取用户偏好 78 与参数 76 两者以产生配置数据 80， 以便修正不具有借以提供上述反馈 ( 例如， 实际观看距离、 实际 眼位置， 及实际眼间隔 ) 的眼追踪机构的显示装置 30 中的聚焦误用线索。
如果可经由显示装置 16 利用眼追踪， 则 HVS 反馈模块 40 可经由 HVS 反馈模块 40 借以接收 3D 视频内容 44 的同一接口接收此反馈。此机构可为耦合到显示装置 16 的外部 此眼追踪机构可整合于显示装置 16 内。名称 “眼追踪” 在一些实例中可为误 装置。或者， 称， 这是因为所述机构无需追踪眼移动但可更大体上追踪每一用户的位置， 在所述状况下， 可导出观看距离及眼位置。
在一些例子中， HVS 反馈模块 40 可产生配置数据 80， 以按不同方式修正眼镜式立 体显示器及裸眼式立体显示器的聚焦线索。显示装置 16 为眼镜式立体显示装置 ( 需要例 如快门式眼镜等额外观看设备来适当地呈现 3D 视频数据的显示装置 ) 还是裸眼式立体显 示装置 ( 不需要额外观看设备来适当地呈现 3D 视频数据的显示装置 ) 可由参数发现模块 38 来确定且作为参数 38 中的一者来存储。
考虑称作 “体积型显示器” 的特定类型的裸眼式立体显示器 ( 其再次可经由参数
38 中的一者来指示 )。体积型显示器可能不能够呈现用于多个同时视点 ( 其中每一视点用 于一不同观看者 ) 的真实光场。因此， 这些体积型显示器在用作裸眼式立体显示器时通常 无法正确地呈现视图相依的照明 ( 例如， 遮蔽、 单向反射及反射 )。HVS 反馈模块 40 可配置 变换模块 36 的各种模块 56 到 64 以校正观看位置， 以便改善体积型显示器的立体感知。
眼镜式立体显示器与裸眼式立体显示器之间的其它差异可担保不同配置且 HVS 反馈模块 40 可基于这些参数 78 而定制配置数据 80。举例来说， 在裸眼式立体显示器与眼 镜式立体显示器之间通常存在深度感知与深度性能之间的差异。 HVS 反馈模块 40 可基于这 些装置能力或参数差异而以不同方式定制配置数据 80。
如上文所注明， HVS 反馈模块 40 可基于显示装置 18 的不同形状因数 ( 且更特定 来说， 显示器 30 的大小 ) 而定制配置数据 80 以约束聚焦线索。内部显示器 54 通常具有远 小于外部显示装置 16 的显示器 30 的形状因数的形状因数， 且这些不同形状因数可暗示建 置及显示立体图像的方式的差异。 此外， 形状因数可指示观看观众量的潜在的大小， 其中较 小形状因数可表明单一观看者， 而较大显示器可表明多个观看者。HVS 反馈模块 40 可产生 配置数据 80 以便考虑这些不同形状因数。
具体来说， 在一个实例中， HVS 反馈模块 40 可充分利用 HVS 的已知方面来基于形 状因数产生配置数据 80。在一个方面中， 通过人眼的空间及聚焦分辨率来规定最佳立体像 素分布。给定人眼的此已知限制， 则 HVS 反馈模块 40 基于显示器的类型 ( 眼镜式立体或裸 眼式立体， 包括此两种类型的 3D 显示技术的不同子类别 ) 及显示器的大小而确定特定空间 及聚焦分辨率。HVS 反馈模块 40 可接着产生用于 2D 到 3D 处理模块 56 的配置数据 80 以修 改深度处理。
HVS 反馈模块 40 还可基于关于显示装置 16 的观看者的特定视轴线或观看角度而 精细化或潜在地最优化如通过度量 70 中的一者指示的空间频率。此视轴线或观看角度可 通过 3D 视觉数据 44 来提供， 或参数发现模块 38 可与显示装置 16 介接以发现作为参数 76 中的一者的此视轴线或观看角度 ( 因为其与整合于显示装置 16 内的眼或观看者追踪设备 有关 )。HVS 反馈模块 40 还可利用指定当前显示分辨率的参数 76 中的一者或一者以上， 这 是因为此显示分辨率可影响聚焦线索。HVS 反馈模块 40 可接着基于这些参数 76 而产生配 置数据 80。
在另一实例中， HVS 反馈模块 40 可产生配置数据 80 以精细化或潜在地最优化基 于深度图像的再现 (DIBR)。HVS 反馈模块 40 可分析 3D 视频数据 44 及由后处理模块 60、 再现模块 62 及显示格式模块 64 产生的 3D 视频数据以精细化 DIBR 的各种方面。在一个例 子中， HVS 反馈模块 40 分析此视频数据 44 或由模块 60 到 64 中的一者或一者以上产生的 视频数据， 以确保深度维度的适当过滤， 以最小化且可能潜在地消除视觉假象。常常， 深度 过滤精细化涉及特定显示技术或能力， 所述特定显示技术或能力再次可由参数发现模块 38 发现且因此经由参数 76 中的一者或一者以上而知晓。为了说明， 考虑归因于未经深度过滤 的再现而产生的可见不连续性潜在地在相减式显示器中大得多， 这是因为这些显示器可使 来自背光的直接照明可见。 HVS 反馈模块 40 因此可产生配置数据 80 以调整深度过滤， 以便 考虑不同显示能力。
HVS 反馈模块 40 还可基于与用于填充孔的目的 ( 例如， 内插， 其可在调整 2D 视频 内容 20 的分辨率以适应当前分辨率时出现 ) 的过滤有关的度量 70 而产生配置数据 80 以精细化 DIBR 的各种方面。过滤可包含高斯过滤或基于边缘的过滤。HVS 反馈模块 40 还可 基于与特定文件格式 ( 例如， 称作 P3D 的文件格式 ) 有关的度量 70 而产生配置数据 80 以 精细化 DIBR， 以便使特定像素的深度值强制为零 ( 其中预期在给定图像或帧中发生遮蔽 )。
仍关于精细化 DIBR， HVS 反馈模块 40 可基于与阴影效果及着色有关的度量 70 而 产生配置数据 80， 以便使用可见相邻像素增加区域中的阴影效果 / 着色。HVS 反馈模块 40 还可增大边缘以经由高频增强 (HFE) 精细化 DIBR， 以最小化归因于深度过滤而产生的模 糊， 所述模糊往往使边缘不连续性平滑。另外， HVS 反馈模块 40 可通过产生配置数据 80 来 精细化 DIBR， 以促进深度图的动态范围再成形， 借此此配置数据 80 扩大较高深度值且压缩 较低深度值。在一些例子中， HVS 反馈模块 40 可基于给定观看者的 HVS 的感知力或灵敏度 ( 如通过用户偏好 78 中的一者定义 ) 而调制扩大及压缩的范围。
还可通过 HVS 反馈模块 40 产生配置数据 80 而发生此 DIBR 精细化， 所述配置数据 80 基于与眼偏好或优势有关的用户偏好 78 中的一者或一者以上而调整 DIBR。为了说明， 考虑 ： 针对任一视图， 观看者可为左眼优势或右眼优势， 且观看者可将此优势作为用户偏好 78 中的一者来指示。值得注意的是， 观看者可经历经由用户接口呈现的测试以确定优势或 可仅选择所述优势。在任何情况下， HVS 反馈模块 40 可产生配置数据 80， 其基于与眼优势、 灵敏度或感知力差异有关的用户偏好 78 中的若干偏好而调整各种视图， 以使得视图在沿 着视轴线 +/-20 度或高达 50 度的范围内细化以获得高达 120 色彩像素密度 (cpd) 的优良立 体像素分辨率。在适当的情况下， HVS 反馈模块 40 可产生配置数据 80 以采用不对称质量， 以便改善深度感知， 其中此不对称质量表示左眼视图的所感知质量与右眼视图的所感知质 量不对称或不相等。
在又一实例中， HVS 反馈模块 40 可基于与眼灵敏度有关的用户偏好 78 以及与内容 类型、 照度级及其类似者有关的度量 70 中的一者或一者以上而产生配置数据 80 以正规化 深度。由 HVS 反馈模块 40 进行的深度的正规化也可取决于最大深度， 所述最大深度是基于 视频数据 44 及与场景改变、 内容类型及构成 ( 例如， 如果存在处于无限焦距下的对象 ) 有 关的度量 70 来确定。由 HVS 反馈模块 40 进行的深度的正规化除了取决于与再现方法有关 的定量度量 70 外还可取决于参数 76( 例如， 显示器类型 )。
在另一实例中， HVS 反馈模块 40 可产生配置数据 80 以精细化 3D 可视化， 以便最 小化压力 ( 例如， 眼疲劳及恶心 )。在一些方面中， HVS 反馈模块 40 可产生配置数据 80 以 最优化 3D 可视化， 以便最小化压力 ( 例如， 眼疲劳及恶心 )。HVS 反馈模块 40 可约束深度 以最小化压力， 基于场景中的对象的类型而执行选择性深度提取， 对场景中感兴趣的特定 对象执行用于特定深度提取的选择性深度再现， 或仅提取高于特定置信等级的深度值。以 此方式， HVS 反馈模块 40 可基于度量 70、 参数 76 及用户偏好 78 而产生配置数据 40， 且重 新配置变换模块 36 的一个或一个以上模块 56 到 64 以便精细化 ( 如果不可能改善或甚至 最优化 )2D 视频内容 20 到 3D 视频内容 48 的变换。
变换模块 36 的经重新配置的模块 56 到 64 可接着继续根据配置数据 80 将 2D 视 频内容 20 变换成 3D 视频内容 48。变换模块 36 可接着在此动态重新配置之后开始将经精 细化的 3D 视频内容 48 转发到显示装置 16， 此后， 显示装置 16 便可经由显示器 30 呈现此 经精细化的 3D 视频内容 48 以供一个或一个以上观看者消耗。此反馈机构， 在此反馈机构 中， HVS 反馈模块 40 可在 2D 视频内容 20 到 3D 视频内容 48 的整个变换期间继续以便持续地精细化此视频数据， 或在一些方面中最优化此视频数据， 以用于在由操作者选择的特定 平台 ( 例如， 显示装置 16) 上重放。就此来说， HVS 反馈模块 40 可实现透明 ( 从观看者的观 点来说 ) 的实时或近实时动态反馈， 所述透明的实时或近实时动态反馈以定制 3D 视频内容 48 以用于在具体选定的显示装置 ( 例如， 显示装置 16) 上重放给特定观看者的方式精细化 且潜在地改善 ( 如果并不最优化 )3D 视频内容 48， 如通过用户偏好 78 定义。下文阐述 HVS 反馈模块 40 产生配置数据 80 且根据配置数据 80 重新配置变换模块 36 的模块 56 到 64 中 的各种模块的实例。HVS 反馈模块 40 还可实现透明 ( 从观看者的观点来说 ) 的实时或近实 时动态反馈， 所述透明的实时或近实时动态反馈可用以重新配置模块 56 到 64， 以使得计算 复杂性降低同时保留根据用户偏好的可接受的 3D 视频质量。
图 3 为更详细地说明图 2 的移动装置 12 的变换模块 38 及离线处理模块 72 的框 图。如图 3 的实例中所展示， 模块 56 到 62 中的每一者包含执行 2D 或 3D 视频内容到经变 换的 3D 视频内容 48 的变换的各种方面的额外单元。举例来说， 预处理模块 56 包含至少三 个全局处理单元 82A 到 82C， 其在图 3 的实例中展示为氛围效果检测单元 82A(“氛围效果 检测单元 82A” )、 场景改变检测单元 82B 及相机运动检测单元 82C。将这些模块视为全局处 理单元， 这是因为其全局地分析 2D 视频内容 20 的整个帧或多个帧 ( 例如 ) 以检测相应的 氛围效果、 场景改变及相机运动。
预处理模块 56 还包括局部处理单元 84A 到 84C， 其分别每次处理用于单一帧内的 相邻像素的给定区域的输入视频数据 20 或 22( 此处理被视为局部化或局部处理 )， 以检测 感兴趣的区域 (ROI)、 边缘及对比度及 / 或照明。 在图 3 的实例中， 将这些局部处理单元 84A 到 84C 展示为 ROI 检测单元 84A、 边缘检测单元 84B 及对比度 / 照明检测单元 84C(“对比 度 / 照明检测单元 84C” )。ROI 检测单元 84A 表示检测 ROI( 例如， 面部或人体 ) 的一个或 一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。边缘检 测单元 84B 表示定位边缘并将其分类 ( 例如， 将边缘分类为限定实际对象的边界、 分类为定 义阴影边界， 或分类为定义着色效果 ) 的一个或一个以上硬件模块， 所述一个或一个以上 硬件模块中的一些硬件模块可执行软件。此分类还可涉及确定边缘的强度。对比度 / 照明 检测单元 84C 表示检测照明属性的一个或一个以上硬件模块， 所述一个或一个以上硬件模 块中的一些硬件模块可执行软件。
虽然出于便于说明的目的在图 3 中未展示， 但预处理模块 56 可包括额外的全局或 局部处理单元。举例来说， 预处理模块 56 可包括另一局部处理单元， 其基于给定图像或帧 的色度分量、 所述图像或帧的色彩分量或所述图像或帧的色度分量与色彩分量两者而执行 对象的分段。本发明中所阐述的技术因此不应限于图 3 中所展示的实例， 而是可包括额外 的全局及局部处理单元。可将由单元 82A 到 82C 及 84A 到 84C 提取的各种信息转发到 2D 到 3D 处理以促进深度提取。
2D 到 3D 处理模块 58 包括用以执行多帧深度提取技术与单帧深度提取技术两者的 若干单元。多帧深度提取单元包括相机模型化单元 86A 及移动对象模型化单元 86B。相机 模型化单元 86A 表示模型化几何结构及运动 ( 例如， 模型化俘获几何结构及运动的相机 ) 以提取深度值的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模 块可执行软件。移动对象模型化单元 86B 表示将独立移动对象的背景分段以提取深度值的 一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可执行软件。单帧提取单元包括透镜模型化单元 88A、 遮蔽模型化单元 88B、 照明模型化单元 88C 及几何模型化单元 88D。透镜模型化单元 88A 表示基于在给定帧或图像中检测到的聚 焦及散焦线索而提取深度值的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中 的一些硬件模块可执行软件。遮蔽模型化单元 88B 表示将给定帧或图像中的各种对象之间 的遮蔽模型化或以其它方式检测给定帧或图像中的各种对象之间的遮蔽且基于这些遮蔽 提取深度值的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块 可执行软件。照明模型化单元 88C 表示基于所检测的阴影及着色效果而提取单一帧或图像 的深度值的一个或一个以上硬件模块， 所述一个或一个以上硬件模块中的一些硬件模块可 执行软件。几何模型化单元 88D 表示基于单一帧或图像内的几何线性透视图的模型化而提 取所述单一帧或图像的深度值的一个或一个以上硬件模块， 所述一个或一个以上硬件模块 中的一些硬件模块可执行软件。
如上文所注明， 这些单元 86A 到 86B 及 88A 到 88D 中的许多单元依赖于由预处理 模块 56 的单元 82A 到 82C 及 84A 到 84C 提取的信息。举例来说， 照明模型化单元 88C 可使 深度的提取基于由对比度 / 照明检测单元 84C 及边缘检测单元 84B 确定的对比度 / 照明信 息。 作为另一实例， 遮蔽模型化单元 88B 可使用由边缘检测单元 84B 检测到的边缘信息来模 型化遮蔽。作为又一实例， 透镜模型化单元 88A 可使深度提取基于由边缘检测单元 84B 确 定的边缘信息。作为另一实例， 几何模型化单元 88D 可基于由边缘检测单元 84B 确定的边 缘信息而提取深度值。相机模型化单元 86A 及移动对象模型化单元 86B 可基于由氛围效果 检测单元 82A、 场景改变检测单元 82B 及相机运动检测单元 82C 确定的信息而提取深度值。 以此方式， 2D 到 3D 处理模块 58 可从 2D 视频内容 20 与 3D 视频内容 22 两者提取深度值。
值得注意的是， 针对多视图串流， 变换模块 36 可包括多个 2D 到 3D 处理模块 ( 例 如， 可调用多个 2D 到 3D 处理模块 ) 以处理同时从多个俘获系统获取或俘获的一不同串流 的每一帧。甚至针对单视图串流， 变换模块 36 还可包含借以处理两个或两个以上连续帧或 图像的多个 2D 到 3D 处理模块。在此单视图串流例子中， 所述多个 2D 到 3D 处理模块中的 每一者将提取特征点及用于这些点的描述符。 这些描述符将接着用以设定不同帧中的特征 点之间的对应性， 其中对应点的位置将与由相机模型化单元 86A 实施的投影几何相机模型 一起使用以提取深度值。
关于通过不同相机单元 ( 每一相机位于一不同空间点处， 具有相同或不同的相机 参数 ) 同时获取每一视图的多视图串流， 2D 到 3D 处理单元 58 可包括类似于透镜模型化单 元 88A 的多个相机模型化单元。这些透镜模型化单元 88A 中的每一者处理一不同多视图的 一帧， 其中这些帧中的每一者是同时俘获。 针对单视图串流， 2D 到 3D 处理单元 58 可调用相 机模型化单元 88A 以每次处理所述单视图串流的单一图像或帧。
在使用多帧处理单元 86A 到 86B 及单帧处理单元 88A 到 88D 中的一者或一者以上 确定深度值之后， 2D 到 3D 处理模块 58 可合并来自各种多帧及单帧处理单元 86A 到 86B 及 88A 到 88D 的深度值或以其它方式整合这些深度值， 以针对给定视图串流 ( 或， 在多视图串 流的状况下， 针对所述视图串流中的每一者 ) 的每一帧建立复合深度图。所述深度图将深 度值指派给给定帧或图像的每一像素。关于 “2D+ 深度” 文件格式， 作为一个实例， 将每一帧 的深度图表示为灰阶图像， 其中所述灰阶图像的每一 8 位像素值定义帧中的对应像素的深 度值。HVS 反馈模块 40 可产生配置数据 80 以配置 2D 到 3D 处理模块， 以便约束由多帧及 单帧深度提取处理单元 86A 到 86B 及 88A 到 88D 中的一者或一者以上进行的深度提取。作 为一个实例， HVS 反馈模块 40 可产生配置数据 80 以配置相机模型化单元 86A， 以使得用以 模型化相机系统的线性方程式体系通过使用来自其它单元 ( 例如， 单元 86B 及 88A 到 88D) 的结果而消除歧义且加速， 以约束一组有效对应点。
HVS 反馈模块 40 还可产生配置数据 80 以影响由多帧及单帧处理单元 86A 到 86B 及 88A 到 88D 产生的深度图的合并。举例来说， 2D 到 3D 处理模块 58 可使用加权平均合并 函数来合并这些深度图， 所述加权平均合并函数将不同权重指派给所述所确定或所提取的 深度图中的每一者。HVS 反馈模块 40 可产生配置数据 80 以修改或配置这些权重以调整所 得复合深度图。此调整可改善经变换的 3D 视频内容 48 的可视化质量， 或以其它方式降低 与观看经变换的 3D 视频内容 48 相关联的压力。
在以此方式处理 2D 视频内容 20 之后， 2D 到 3D 处理模块 58 将 2D 视频内容 20 及 所述所产生的一个或一个以上 ( 如在多视图串流的状况下 ) 复合深度图转发到后处理模块 60。 后处理模块 60 包括深度感知单元 90， 其修改所述所得一个或一个以上深度图以精细化 经变换的 3D 视频内容 48 的可视化质量。在一些例子中， 深度感知单元 90 修改所述所得一 个或一个以上深度图以改善经变换的 3D 视频内容 48 的可视化质量。深度感知单元 90 可 在代表变换模块 36 的模块 56 到 64 的管线中引入一单元， 借此 HVS 反馈模块 40 可进行调 解以精细化深度图。为了说明， 深度感知单元 90 可表示 HVS 反馈模块 40 可与之互动以加 载配置数据 80 以使得 HVS 反馈模块 40 可在所述管线中进行调解以执行深度图的后处理的 接口。 在一个实例中， HVS 反馈模块 40 可产生用于深度感知单元 90 的配置数据 80， 以便 配置深度感知单元 90 以执行以下操作 ： 全局地使深度图跨越多个帧或整个 3D 视频数据而 平滑， 及 / 或选择性地修改由 ROI 检测单元 84A 识别的感兴趣的特定区域的深度信息。在 另一实例中， HVS 反馈模块 40 可基于配置深度感知单元 90 以执行以下操作的参数 76 而产 生配置数据 80 ： 修改及约束深度值的范围， 以使得这些值经定制以用于特定显示器 ( 例如， 显示装置 16)。在另一实例中， HVS 反馈模块 40 可基于配置深度感知单元 90 以执行以下操 作的度量 70 而产生配置数据 80 ： 动态地修改深度图以促进经变换的 3D 视频数据的定量改 善。
在精细化所述一个或一个以上深度图之后， 后处理模块 60 将 2D 视频内容及所述 一个或一个以上经精细化的深度图转发到再现模块 62。再现模块 62 包括 3D 模型化单元 92、 照明模型化单元 94( “照明模型化单元 94” ) 及内插单元 96。3D 模型化单元 92、 照明模 型化单元 94 及内插单元 96 中的每一者表示模型化 3D 场景的各种方面以便实现从 2D 视频 内容 20 产生一个或一个以上额外视图的一个或一个以上硬件模块， 所述一个或一个以上 硬件模块中的一些硬件模块可执行软件。
3D 模型化单元 92 可利用来自后处理模块 60 的深度图来促进 3D 场景的产生及一 个或一个以上额外视图的后续产生。 照明模型化单元 94 可利用由照明模型化单元 88C 及 / 或对比度 / 照明检测单元 84C 确定的照明信息来促进 3D 场景的产生及一个或一个以上额 外视图的后续产生。内插单元 96 可利用 2D 视频数据的像素信息来促进 3D 场景的产生及 一个或一个以上额外视图的后续产生。就此来说， 再现模块 62 产生额外视图以便实现从单
视图 2D 视频内容 20 产生呈多视图串流格式的 3D 视频内容。
虽然为便于说明而未将显示格式模块 64 展示为包含类似于模块 56 到 62 的额外 单元， 但显示格式模块 64 可调用各种单元以根据由参数发现模块 38 确定的输入文件格式 98 格式化从再现模块 62 接收的 3D 视频数据。在一个实例中， 显示格式模块 64 调用色彩 交错单元， 以按不同色彩分量 ( 在需要时， 例如， 根据互补色 (anaglyph) 文件格式 ) 交错不 同视图。作为另一实例， 显示格式模块 62 调用空间交错单元以按不同像素位置交错不同视 图。当产生多个视图时， 显示格式模块 64 可调用在时间上多路复用各种视图以用于帧切换 式显示的多视图单元， 所述帧切换式显示可通过配置数据 80 来指示且经由参数 76 中的一 者而获悉。除显示格式要求外， HVS 反馈模块 40 还可基于配置显示格式模块 64 以强调、 过 滤或大体上修改 3D 视频串流的度量 70 及 / 或用户偏好 78 而产生配置数据 80。
离线处理模块 72 大体上可关于训练集合的各种属性执行训练集合的各种帧或图 像的特定描述符的统计分析及模型化。各种属性可包括照明的类型及照明的方向、 对象反 射率、 纹理及氛围效果。离线处理模块 72 通过建立供预处理模块 56 的各种单元 82A 到 82C 及 84A 到 84C 使用的一个或一个以上模型来提供对预处理模块的支持。
离线处理模块 72 包括机器学习单元 100 以执行统计分析及模型化。机器学习单 元 100 可定义且模型化一考虑归因于着色而产生的跨越边缘的强度变化的描述符 ( 作为一 个实例 ) 或一考虑由阴影造成的跨越边缘的强度变化的描述符 ( 在另一实例中 )。在另一 实例中， 机器学习单元 100 可定义且模型化一考虑在特定照明条件下的场景中的对象的反 射率属性的描述符。
机器学习单元 100 使用训练集合 ( 图 3 中未展示 ) 离线地模型化每一描述符的统 计行为。此训练集合可由一组图像组成， 所述组图像是在影响每一描述符的属性的所有潜 在变化下获得。由机器学习单元 100 在使用训练集合经历训练之后建立的模型因此俘获描 述符针对给定情况条件 ( 例如， 给定照明方向 ) 为特定值的概率。统计行为的模型接着由 预处理模块 56 的单元在线使用。预处理模块 56 利用这些模型来确定以下情况的最大似然 性： 针对从预处理模块 56 当前正处理的所述一个或一个以上图像或帧获得的给定描述符 的特定值， 场景的条件为特定条件 ( 例如， 特定照明方向 )。
可将这些模型不仅扩展到照明相关情况， 而且扩展到场景中的氛围效果 ( 霾、 雨、 雪等 ) 或纹理变化。所述描述符还可为局部的 ( 如果其俘获像素的邻域内的信息 ) 或全 局的 ( 如果其俘获整个图像的信息 )。所述模型可使用马尔可夫随机场 (Markov random field) 俘获若干描述符之间的关系的统计行为。 就此来说， 离线处理模块 72 可通过产生供 预处理模块 56 使用的模型的机器学习单元 100 来支持预处理模块 56。 值得注意的是， 机器 学习单元 100 可接收新训练集合， 所述新训练集合可实现改善的模型化及后续变换。
图 4A 及 4B 为说明移动装置 ( 例如， 图 2 的移动装置 12) 在实施本发明中所描述的 技术的各种方面时的实例操作的流程图。首先参看图 4A， 移动装置 12 的控制单元 34 内所 包括的用户接口模块 74 最初可呈现一用户接口， 移动装置 12 的用户或其它操作者可与所 述用户接口互动以输入定义用户偏好 78 的数据。 用户接口模块 74 接收定义用户偏好 78 的 此数据且将用户偏好 78 转发到 HVS 反馈模块 40 以用于配置或重新配置变换模块 36(102)。
用户接口模块 74 还可呈现同一用户接口或另一用户接口， 用户可与所述同一用 户接口或另一用户接口互动以选择一个或一个以上源装置及一个或一个以上目的地装置。用户接口模块 74 可接着接收选择一个或一个以上源装置 ( 例如， 图 1 的实例中所展示的源 装置 14) 及一个或一个以上目的地装置 ( 例如， 外部显示装置 16) 的数据 (104)。基于这 些选择， 用户接口模块 74 可与无线接口 32A 及有线接口 32B 中的各种接口介接， 以分别与 所述选定的一个或一个以上源装置 ( 例如， 源装置 14) 及所述选定的一个或一个以上目的 地装置 ( 例如， 外部显示装置 16) 建立通信链路或信道 13 及 15。在确保建立这些信道 13 及 15 之后， 用户接口模块 74 可接着与参数发现模块 38 介接以起始关于显示装置 16 的能 力的参数 76 的发现。
参数发现模块 38 以上文所描述的方式经由已建立的通信信道 15 与显示装置 16 介接以确定参数 76(106)。参数发现模块 38 可将这些参数 76 转发到 HVS 反馈模块 40， HVS 反馈模块 40 又可在配置或重新配置变换模块 36 时使用这些参数 76。参数 76 中的一者可 包含由外部显示装置 16 支持的一个或一个以上输入文件格式以接受 2D 及 / 或 3D 视频内 容。 参数发现模块 38 可与变换模块 36( 且， 更具体来说， 显示格式模块 64) 介接以根据所确 定的输入文件格式配置显示格式模块 64， 以格式化经变换的 3D 视频数据 48(108)。或者， HVS 反馈模块 40 可与显示格式模块 64 介接， 以按上文关于参数发现模块 38 所描述的方式 配置显示格式模块 64。HVS 反馈模块 40 还可与其它模块 56 到 62 介接， 以最初基于参数 76 及用户偏好 78 而配置变换模块 36 的这些模块 56 到 62， 以便根据用户偏好 78 定制用于由 外部显示装置 16 呈现的 3D 视频内容 48 的产生。
变换模块 36 一旦经配置便经由通信信道 13 与源装置 12 介接， 以从源装置 12 检 索 2D 及 / 或 3D 视频内容 20、 22(110)。在接收到 ( 例如 )2D 视频内容 20 后， 变换模块 36 即刻将 2D 视频内容 20 的视频数据转换成 3D 视频内容 48， 所述 3D 视频内容 48 是根据所确 定的输入文件格式而格式化 (112)。 变换模块 36 接着将根据所确定的输入文件格式而格式 化的 3D 视频数据作为 3D 视频内容 48 输出， 移动装置 12 将 3D 视频内容 48 转发到显示装 置 16(114、 116)。
参看图 4B， 在接收到 3D 视频内容 48 的至少一部分之后， 显示装置 16 通过移除输 入文件格式化标头来解封装所接收的 3D 视频内容 48 以产生经译码的 3D 视频数据 50。显 示装置 16 接着解码经译码的 3D 视频数据 50 以产生 3D 视频数据 44， 显示装置 16 经由显示 器 30 向一个或一个以上观看者呈现 3D 视频数据 44 以供其消耗。当呈现此视频数据 44 时 且当变换模块 36 将 2D 视频内容 20 转换成 3D 视频内容 48 时， HVS 反馈模块 40 与显示装 置 16 介接以检索视频数据 44(118)。
如上文所描述， HVS 反馈模块 40( 且， 更具体来说， HVS 反馈模块 40 的定性评估模 块 66) 分析经解码的视频数据 44 以确定如上文所描述的定性度量 70， 其中这些定性度量 70 描述经解码的视频数据 44 的可视化质量 (119)。HVS 反馈模块 40 还可使用定量评估模 块 66 来确定定量度量 70， 定量度量 70 在定量方面描述经解码的视频数据 44 的质量。基于 这些度量 70， HVS 反馈模块 40 重新配置变换模块 36 的模块 56 到 64 以精细化经解码的视 频数据 44 的可视化质量 (120)。
HVS 反馈模块 40 还可使模块 56 到 64 的此重新配置基于度量 70、 参数 76 及用户 偏好 78 中的两者或两者以上的组合。举例来说， 给定与用户的优选对比度等级有关的用户 偏好 78 中的一个特定用户偏好， 则 HVS 反馈模块 40 可鉴于此优选对比度等级来分析度量 78( 例如， 所感知的对比度等级 )， 且产生精细化 3D 视频内容 48 的后续产生的配置数据， 以使得视频数据 44 展现接近 ( 如果不等于 ) 所述优选对比度等级的对比度等级。HVS 反馈 模块 40 还可鉴于参数 76 来分析度量 78 以便精细化 3D 视频内容 48 的产生， 以使得从后续 视频数据 44 进行的度量 78 分析关于通过参数 78 定义的特定显示能力得以改善。在一些 例子中， 可以上述方式使用度量 70、 参数 76 及用户偏好 78 全部三者以产生 3D 视频内容 48 的后续产生， 所述 3D 视频内容 48 是在给定参数 76 及用户偏好 78 的情况下相对于度量 70 而精细化。
在以上文所描述的方式重新配置变换模块 36 之后， 变换模块 36 继续将 2D 视频内 容 20 转换成 3D 视频内容 48(122)。变换模块 36 接着输出 3D 视频内容 48， 所述 3D 视频内 容 48 包含根据所确定的输入格式而格式化的 3D 视频数据 (124)。移动装置 12 将 3D 视频 内容 48 转发到外部显示装置 16(126)。上述过程可以可特征化为一反复过程的此方式继 续， 以使得针对反复中的每一者， 相对于定义视频数据 44 的可视化的所感知质量的度量 70 来精细化视频内容 48(118 到 126)。
虽然上文关于 HVS 反馈模块 40 分析经解码的 3D 视频数据来描述， 但 HVS 反馈模 块 40 或者可分析经译码的 3D 视频数据。此外， 显示装置 16 可包括其自身的类似于 HVS 反 馈模块 40 的 HVS 反馈模块， 其分析经译码的 3D 视频数据或经解码的 3D 视频数据。以此方 式， 显示装置 16 可自身分析 3D 视频数据且将通过其自身的 HVS 反馈模块确定的所述一个 或一个以上度量转发到 HVS 反馈模块 40， 所述 HVS 反馈模块 40 可使用这些度量来调整视频 数据到 3D 视频数据的变换。所述技术因此不应限于此方面。
图 5 为说明实施本发明中所描述的技术的各种方面的实例移动装置 128 的框图。 移动装置 128 可大体上类似于图 1 的移动装置 12。虽然关于特定装置 ( 例如， 移动装置 128) 来描述所述技术， 但所述技术可由任一类型的装置实施， 包括上文注明为能够实施关 于移动装置 12 所描述的技术的各种方面的那些其它装置。
类似于图 2 的实例中所展示的移动装置 12， 移动装置 128 包括无线接口 32A、 有线 接口 32B、 视频俘获模块 50、 本地存储模块 52 及用户接口模块 74。无线接口 32A、 有线接口 32B、 视频俘获模块 50 及本地存储模块 52 中的每一者可为视频数据及 / 或内容的 “源” ( 即， 提供视频数据及 / 或内容 )， 且由于此原因， 其可大体上被称作 “源” 。这些源可提供视频数 据 130， 所述视频数据 130 可包含 2D 视频数据或 3D 视频数据 ( 其可包括 2D 视频数据 + 额 外深度信息， 或 2D 视频数据 + 额外深度及遮蔽区信息， 或 2D 视频数据 + 深度、 遮蔽区及全 局效果信息 )。
移动装置 128 还包括图像 / 视频处理单元 132、 图像 / 视频编码器单元 134、 图像 / 视频缓冲器单元 136、 显示处理单元 138、 内部显示器 140、 无线显示器 (WD) 主机单元 142， 及无线显示接口 144。图像 / 视频处理器单元 132 表示处理视频数据 130 以产生 3D 视频数 据 146 的硬件单元或组合硬件与软件单元。图像 / 视频编码器单元 134 表示根据由图像 / 视频编码器单元 134 支持的一个或一个以上编解码器中的一者编码视频数据 146 以产生经 编码的视频数据 148 的硬件单元或硬件单元与软件单元的组合。虽然展示为编码器， 但图 像 / 视频编码器单元 134 还可执行解码。编码器单元 134 输出存储到图像 / 视频缓冲器单 元 136 的经编码的视频数据 148， 所述图像 / 视频缓冲器单元 136 可包含存储器或存储装置 ( 例如， 上文所描述的存储器与存储装置两者的实例 )。
在一些例子中， 移动装置 128 提供借以在在内部显示器 140 上本地预览 3D 视频数据 146 的预览模式， 所述内部显示器 140 可包含发光二极管 (LED) 显示器、 有机 LED(OLED) 显示器、 阴极射线管显示器、 等离子显示器、 液晶显示器 (LCD) 或任一其它类型的显示器。 在此预览模式中， 图像 / 视频处理单元 132 可产生预览视频数据 150A、 150B(“预览视频数 据 150” )。预览视频数据 150A 可包含形成 3D 视频数据 146 的右眼透视图的右眼视频数据。 预览视频数据 150B 可包含形成 3D 视频数据 146 的左眼透视图的左眼视频数据。当视频俘 获装置 50 包含 3D 视频俘获装置时， 此 3D 视频俘获装置 50 可产生右眼视频数据 150A 与左 眼视频数据 150B 两者， 图像 / 视频处理单元 132 可将所述右眼视频数据 150A 与所述左眼 视频数据 150B 转发到显示处理单元 138。
显示处理单元 138 表示处理经缓冲的视频数据 152 以根据由外部显示装置中的一 者或一者以上 ( 例如， 外部显示装置 154A 到 154N(“外部显示装置 154” ) 中的一者或一者 以上 ) 支持的输入格式而格式化经缓冲的视频数据 152 的硬件单元或硬件单元与软件单元 的组合。显示处理单元 138 可将此经格式化的经缓冲的视频数据 152 作为 3D 视频内容 156 输出。显示处理单元 138 可包括借以确定由外部显示装置 154 中的一者或一者以上支持的 输入文件格式的显示格式接口 (DFI)， 出于便于说明的目的， 在图 5 中未展示所述显示格式 接口 (DFI)。
显示处理单元 138 还可接收预览视频数据 150 中的一者或一者以上且格式化此预 览视频数据 150 以用于由内部显示器 140 呈现。显示处理单元 138 可将此经格式化的预览 视频数据 150A、 150B 作为预览视频内容 158A、 158B(“预览视频内容 158” ) 输出， 内部显示 器 140 可与将 3D 视频内容 156 输出到外部显示装置 154 中的一者或一者以上同时而将预 览视频内容 158A、 158B 中的一者或两者呈现给移动装置 128 的用户。
在内部显示器 140 支持 3D 视频内容重放的例子中， 预览视频数据 150 可包含显示 处理单元 138 进行格式化以用于由内部显示器 140 显示或呈现的 3D 视频数据。在内部显 示器 140 支持 3D 视频内容重放与 2D 视频内容重放两者的例子中， 图像 / 视频处理单元 132 可基于以下各者而确定将预览视频数据 150 作为 2D 视频数据还是作为 3D 视频数据产生 ： 用户偏好、 应用类型 ( 例如， 2D 视频数据通常对于电子邮件 / 文本来说优选， 而计算机图形 (CG) 通常再现为 3D 视频数据 )、 操作功率模式、 可用电池电力， 及通常影响此类型的决策的 其它偏好、 度量及参数。
图像 / 视频处理单元 132、 图像 / 视频编码器单元 134 及显示处理单元 138 可包 含以下各者中的一者或一者以上 ： 例如执行存储到计算机可读媒体的一个或一个以上指令 的通用处理器 ( 其可称作计算机处理单元或 CPU) 的处理器、 数字信号处理器 (DSP)、 图形 处理单元 (GPU)， 或任一其它类型的处理器。或者， 图像 / 视频处理单元 132 可包含专用硬 件， 例如现场可编程门阵列 (FPGA) 及专用集成电路 (ASIC)。在一些例子中， 可将专用硬件 与一个或一个以上处理器两者组合以提供本发明中关于单元 132、 134 及 138 所描述的各种 操作。
虽然上文描述根据由外部显示装置 154 支持的输入文件格式而格式化经缓冲的 视频数据 152 以产生 3D 视频内容 156， 但显示处理单元 138 一般仅支持用于有线接口的文 件格式， 例如 HDMI、 DVI 及其它有线文件格式。特定来说， 考虑到迄今为止尚不存在任何正 式或标准化的无线文件格式， 显示处理单元 138 不可支持无线文件格式。 然而， WD 主机单元 142 可支持无线显示文件格式且提供到这些无线显示器的接口以便确定外部显示装置 154中的一者或一者以上是否支持无线文件格式。 WD 主机单元 142 因此可表示提供借以确定由 外部显示装置 154 中的一者或一者以上支持的无线显示格式的接口且接着根据所确定的 无线显示格式而格式化经缓冲的 3D 视频数据 152 的硬件单元或硬件单元与软件单元的组 合。因此， WD 主机单元 142 可通过使移动装置 128 能够根据由一个或一个以上外部显示装 置 154 支持的无线文件格式无线地发射 3D 视频内容来促进跨平台重放。
WD 主机单元 142 可 ( 例如 ) 实施上文所描述的 WHDMI 或 WMDDI 协议以确定关于 外部显示装置 154 中包含无线显示器的那些显示装置的能力的无线显示参数， 包括所支持 的无线文件格式。WD 主机单元 142 可接收来自显示处理单元 138 的经缓冲的 3D 视频数据 152， 根据无线输入文件格式中的一个所确定的无线输入文件格式而格式化或重新格式化 ( 在显示处理单元 138 最初格式化此数据的状况下 ) 经缓冲的 3d 视频数据 152， 且将 3D 视 频内容 156 返回到显示处理单元 138。显示处理单元 138 将此 3D 视频内容 156 转发到无线 显示接口 144， 所述无线显示接口 144 可包含无线接口 32B 中的一者， 但出于说明的目的而 展示为分离的。无线显示接口 144 接着将此 3D 视频内容 156 转发到外部显示装置 154 中 的一者或一者以上。
虽然展示为包括于移动装置 128 内， 但 WD 主机单元 142 可驻留于移动装置 128 外 部且经由无线接口 32A 或有线接口 32B 中的一者与移动装置 128 介接。当 WD 主机单元 142 位于移动装置 128 外部时， WD 主机单元 142 可包含类似于无线显示接口 144 的无线显示接 口或促进与 WD 客户端单元 ( 其更详细描述于下文中 ) 的通信的另一类似接口。在一些例 子中， WD 主机单元 142 可包含由显示处理单元 138 执行以便显示处理单元 138 执行无线文 件格式化的软件模块。就显示处理单元 138 包括上述例子中用以执行 WD 主机单元 142 的 硬件来说， 可将 WD 主机单元 142 视为包括硬件单元与软件单元两者。
在一些例子中， WD 主机单元 142 可识别选定的目的地装置 ( 例如， 外部显示装置 154) 中的两者支持不同的无线文件格式。在此例子中， WD 主机单元 142 产生根据第一确定 的无线文件格式而格式化的第一 3D 视频内容 156 及根据第二确定的无线文件格式而格式 化的第二 3D 视频内容 156。无线显示接口 144 接着将第一及第二 3D 视频内容 156 转发到 外部显示装置 154 中的适当者。因此， 虽然在图 5 的实例中展示为仅发送单一 3D 视频内容 156， 但 3D 视频内容 156 可包含第一及第二版本或， 更大体来说， 3D 视频内容 156 的多个版 本， 其中每一版本是根据不同的无线文件格式而格式化。
一种无线格式可包含充分利用例如实时输送协议 (RTP) 的输送协议来将 3D 视频 内容的视频数据区段、 音频数据区段及深度数据区段封装于多个包中的一不同者中的格 式。此外， 所述格式可充分利用此输送协议来封装对应于遮蔽信息及 / 或全局效果信息的 额外信息区段， 如下文关于图 8 的实例所展示。WD 主机单元 142 包括输送单元 158， 其实施 此输送协议以将 3D 视频内容 156 的各种区段封装于多个包中的一不同者中。在将各种区 段封装到不同包之后， 输送单元 158 将用于增强 3D 视频内容 156 的重放的元数据添加于所 述多个包中的一者的标头中的任选数据字段内。 此元数据可定义促进额外视图的再现的参 数及促成特定显示器上的重放的参数。 元数据还可定义用户偏好， 例如所要的对比度、 清晰 度、 色温、 2D 或 3D 屏幕分辨率， 及 2D 或 3D 重放格式 ( 加左右黑边 (pillared box)、 拉伸、 原始状态等 )。
在根据涉及输送协议的此文件格式而格式化 3D 视频数据 152 之后， WD 主机单元142 可将所得 3D 视频内容 156 转发到无线显示接口 144， 所述无线显示接口 144 将所述包 发射到外部显示装置 154 中的一者或一者以上。当无线显示接口 144 将此内容 156 发射到 外部显示装置 154 中的两者或两者以上时， 所述发射可称作 3D 视频内容 156 的 “WD 多播” 。 在任何情况下， 此发射可与经由内部显示器 140 进行的预览视频数据 150 的显示同时发生。 通常， 将预览视频数据 150 与 3D 视频内容 156 的呈现同步。或者， 可在由外部显示装置 154 中的一者或一者以上进行的 3D 视频内容 156 的呈现之前发生预览视频数据 150 的呈现。
图 6 为说明移动装置 ( 例如， 图 5 的实例中所展示的移动装置 128) 在执行本发明 中所描述的技术的各种方面时的实例操作的流程图。最初， 移动装置 128 的用户或其它操 作者可与由用户接口模块 74 呈现的用户接口互动， 以输入选择视频内容的一个或一个以 上源及外部显示装置 154 中支持无线视频内容递送的一者或一者以上 ( 其可称作 “外部无 线显示装置” ) 的数据。用户接口模块 74 因此接收选择所述一个或一个以上源及外部无线 显示装置 154 中的一者或一者以上的数据 (162)。用户接口模块 74 将外部无线显示装置 154 中的选定的一者或一者以上的所述选择转发到 WD 主机单元 140。
WD 主机单元 140 接着经由无线显示接口 ( 例如， 无线显示接口 144) 与外部无线 显示装置 154 中的所述选定者介接， 以确定定义外部无线显示装置 154 中的所述选定者的 一个或一个以上能力的参数 (164)。这些参数可类似于由参数发现模块 38 发现的参数 76。 一个实例参数可包括由外部无线显示装置 154 中的所述选定者支持的无线输入文件格式。 同时， 图像 / 视频处理单元 132 可接收来自选定源 32A、 32B、 50 及 52 中的一者或 一者以上的视频数据 130(166)。依据源 50( 其在图 5 中展示为 “视频俘获装置 50” )， 视频 俘获装置 50 可包含具有两个图像传感器的立体相机， 所述两个图像传感器同时俘获同时 入射于所述两个传感器上的图像以提供给定图像 ( 或在视频俘获的状况下， 图像系列 ) 的 两个视点。
视频俘获装置 50 可以若干方式来以同步方式俘获视频数据。在第一方式中， 使用 通过缓冲器进行的快速串行俘获或并行俘获中的任一者经由同一存储器总线接收源自所 述两个传感器的数据。在串行俘获的状况下， 图像 / 视频处理单元 132 考虑在深度提取期 间的两个不同视图的串行俘获之间的时间偏移。在第二方式中， 经由不同存储器总线接收 源自所述两个传感器的数据以避免当在所述两个传感器之间共享单一总线时出现复杂化。 在第三方式中， 源自所述两个传感器的数据通常呈流式传输格式， 且写入到显示缓冲器以 在嵌入式或外部显示器上预览。
在此预览模式中， 通常可仅预览所述两个 2D 视点中的一者， 或换句话说， 可预览 来自所述两个传感器中的一者的数据串流， 以节省存储器带宽及 / 或电力。经由用户接口 模块 74 输入的用户偏好可指示是 2D 还是 3D( 例如， 一个视点或两个视点被发送到显示处 理器 )。可针对给定视频记录或图像俘获会话实时地或近实时地键入用户输入或可将用户 输入指定为一般偏好。用户偏好也可基于给定应用而指示是以 2D 来呈现数据还是以 3D 来 呈现数据， 以使得 ( 如上文所描述 )2D 用于文本、 电子邮件及网页浏览且 3D 用于摄录一体 机及媒体播放器。图像 / 视频处理单元 132 可基于可用电池电力或电源管理设定 ( 在具有 或无用户输入 / 介入的情况下， 无用户输入 / 介入可称作 “自动地” 发生 ) 而确定是将视频 数据 130 变换成 2D 视频数据还是 3D 视频数据。
在 3D 预览的状况下 ( 其中， 内部显示器 140 以 3D 来呈现预览视频数据 150)， 显示处理单元 138 可接收作为两个单独串流 ( 例如， 预览视频数据 150A 及 150B) 的两个视点 的原始 ( 未经压缩 )3D 或图像数据。显示处理单元 138 还可接收直接来自传感器的 2D 视 频数据 130 及来自图像 / 视频处理单元 132、 图像 / 视频编码器单元 134 或来自 3D 经译码 图像 / 视频文件的 3D 深度信息。显示处理单元 138 还可接收来自 3D 编码图像 / 视频文件 ( 例如， 存储到本地存储模块 52) 的经压缩的 3D 数据， 所述经压缩的 3D 数据可经由有线接 口或无线接口 32A、 32B 而串流到外部显示装置 154 中的一者。在此状况下， 如果启用显示 器镜射， 则内部显示器 140 可获得来自传感器 / 信号处理器的未经压缩但经处理的视频串 流。任选地， 内部显示器 140 可仅再现 2D 图像 ( 例如， 预览视频数据 150 中的一者 )。显示 处理单元 138 还可接收来自视频俘获装置 50 的单一传感器的 2D 数据， 其中图像 / 视频处 理单元 132 可包含类似于图 2 中所展示的变换模块 36 的 2D 到 3D 变换模块 58 的 2D 到 3D 处理模块， 其将 2D 数据转换成 3D 数据。
在任何情况下， 图像 / 视频处理单元 132 可将所接收的视频数据 130 变换成 3D 视 频数据或以其它方式精细化 3D 视频数据以产生 3D 视频数据 146 及潜在的预览视频数据 150(167)。 图像 / 视频处理单元 132 接着将此数据转发到 3D 图像 / 视频编码器， 所述 3D 图 像 / 视频编码器编码 3D 视频数据 146 以输出经编码的 3D 视频数据 148。图像 / 视频缓冲 器单元 136 缓冲或以其它方式存储经编码的 3D 视频数据 148， 且显示处理单元 138 从图像 / 视频缓冲器单元 136 检索经缓冲的视频数据 152 以用于根据输入文件格式进行格式化。 显示处理单元 138( 如上文所注明 ) 还可接收预览视频数据 150， 且与经缓冲的 3D 视频数据 152 的格式化同时地将此视频数据格式化以用于显示于内部显示器 140 上。
然而， 给定显示处理单元 138 可能不支持用于将 3D 视频数据 152 递送到外部无线 显示器 154 中的所述选定者的无线 3D 文件格式， 则显示处理单元 138 将数据 152 转发到 WD 主机单元 142。WD 主机单元 142 接着以上文所描述的方式根据所确定的参数制备 3D 视频 数据 152(168)。特定来说， WD 主机单元 142 可根据由外部无线显示装置 154 中的所述选定 者中的一者或一者以上支持的无线 3D 文件格式而格式化 3D 视频数据 152。
WD 主机单元 142 接着将所制备的 3D 视频数据转发回到显示处理单元 138， 所述显 示处理单元 138 将此所制备的 3D 视频数据 ( 其还可称作 “3D 视频内容 156” ) 转发到无线 显示接口 144。无线显示接口 144 与外部无线显示装置 154 中的所述选定的一者或一者以 上介接， 以将此所制备的 3D 视频数据 156 无线地发射到外部无线显示装置 154 中的此一者 或一者以上 (170)。
或者， 如上文所注明， WD 主机单元 142 可与无线显示接口 144 整合， 此后显示处理 单元 138 将经缓冲的 3D 视频数据 152 转发 ( 不执行任何格式化 ) 到无线显示接口 144。在 此例子中， WD 主机单元 142 根据由外部无线显示装置 154 中的所述选定者支持的所确定的 无线文件格式而格式化经缓冲的 3D 视频数据 152。无线显示接口 144 接着将此所制备的 3D 视频数据 156 转发到外部无线显示装置 154 中的所述选定者。
图 7 为说明已根据本发明中所描述的技术的各种方面而格式化的 3D 视频内容 ( 例如， 关于图 5 的实例所展示的 3D 视频内容 156) 的框图。特定来说， WD 主机单元 142 的 输送单元 158 已根据 RTP 而格式化 3D 视频内容 156。输送单元 158 接收经缓冲的 3D 视频 数据 152， 所述经缓冲的 3D 视频数据 152 包含若干不同部分 172A 到 172N(“部分 172” )。 这些部分可包含经缓冲的 3D 视频数据 152 的一部分， 且可对应于数据 152 的一帧、 一片段、一图片群组、 一个或一个以上宏块、 一个或一个以上块、 一个或一个以上像素值或任一其它 部分， 而不管是经定义的 ( 例如， 通过标头或其它标记定义 ) 还是未经定义的。 虽然未展示， 但缓冲器单元 136 还可缓冲音频数据， 所述音频数据可与经缓冲的视频数据 152 一起转发。
部分 172 中的每一者可包含经缓冲的视频数据 152 的各种区段， 包括视频区段 174A 到 174N(“视频区段 174” ) 与深度区段 176A 到 176N(“深度区段 176” ) 两者， 以及 经缓冲的音频数据的区段 178A 到 178N(“音频区段 178” )。输送单元 158 为这些部分 172 中的每一者指派对应时间戳记 180A 到 180N(“时间戳记 180” )， 其在图 7 的实例中展示为 “TS 1” 到 “TS N” 。输送单元 158 接着将区段 174、 176 及 178 中的每一者与指派给驻留区段 174 到 178 中的每一者的部分 172 中的对应一者的时间戳记 180 中的对应一者一起封装。
举例来说， 输送单元 158 将时间戳记 180A “TS 1” 指派给驻留区段 174A 到 178A 的 部分 172A。输送单元 158 接着将区段 174A、 176A 及 178A 中的每一者与时间戳记 180A “TS 1” 一起封装， 从而产生图 7 的实例中所展示的经封装的区段。此封装可符合 RTP。输送单 元 158 还可根据 RTP 将区段 174 到 178 中的每一者与其它标头信息一起封装， 以形成含有 区段 174 到 178 中的一不同者的包， 而且， 产生上文所描述的元数据并将元数据嵌入于这些 包中的每一者的标头中， 此情形关于图 8 更详细描述于下文中。
关于 RTP 及根据 RTP 的包的形成的更多信息可见于以下意见请求 (RFC) 中 ： 日期 为 1998 年 1 月的题为 “用于 MPEG1/MPEG2 视频的 RTP 有效负载格式 (RTP Payload Format for MPEG1/MPEG2 Video)” 的 RFC2250 ； 日期为 1999 年 12 月的题为 “RTP 有效负载格式规 范的作者指南 (Guidelines for Writers of RTP Payload Format Specification)” 的 RFC 2736 ； 日期为 2000 年 11 月的题为 “用于 MPEG-4 音频 / 视觉串流的 RTP 有效负载格式 (RTP Payload Format for MPEG-4 Audio/Visual Streams)” 的 RFC3016 ； 日期为 2003 年 7 月的题为 “RTP ： 用于实时应用的输送协议 (RTP ： A transport Protocol for Real-Time Applications)”的 RFC 3550 ； 日期为 2003 年 11 月的题为 “用于 MPEG-4 基本串流的输 送的 RTP 有效负载格式 (RTP Payload Format for Transport of MPEG-4 Elementary Streams)” 的 RFC 3640 ； 日期为 2005 年 2 月的题为 “用于 H.264 视频的 RTP 有效负载格式 (RTP Payload Format for H.264 Video)” 的 RFC 3984 ； 及日期为 2009 年 10 月的题为 “用 于具有 MPEG 环绕多通道音频的基本串流的 RTP 有效负载格式 (RTP Payload Format for Elementary Streams with MPEG Surround Multi-Channel Audio)” 的 RFC 5691， 所述 RFC 中的每一者以全文引用的方式并入本文中。
以此方式充分利用 RTP 来产生格式化为 RTP 串流的 3D 视频内容 156 可在以下意 义上促进向后兼容性 ： 仅 2D 显示装置可接收此 3D 视频内容 156 且仅呈现视频区段 174 而 不考虑深度区段 176。即， 此仅 2D 显示装置可丢弃深度区段 176 或以其它方式不辨识深度 区段 176 且仅呈现作为视频区段 174 发送的 2D 视频数据。就此来说， 充分利用 RTP 的扩展 性来递送与仅 2D 显示装置向后兼容的深度区段 176 的上述文件格式可通过此向后兼容性 而促成跨平台 3D 视频重放。
图 8A 到 8C 为说明实例区段 181A 到 181C 的框图， 在所述实例区段 181A 到 181C 中， 已根据本发明中所描述的技术的各种方面而嵌入元数据。图 8A 为说明根据本发明中所 描述的技术的各种方面存储深度元数据的实例区段 181A 的框图。区段 181A 包括有效负载 类型字段 182A(“有效负载类型 182A” )、 深度范围字段 182B(“深度范围 182B” )、 深度分辨率字段 182C(“深度分辨率 182C” )、 相机模型参数字段 182D(“相机模型参数 182D” )、 最 佳观看参数字段 182E(“最佳观看参数 182E” ) 及压缩类型字段 182F(“压缩类型 182F” )。
有效负载类型字段 182A 存储被存储到所述区段的数据 ( 其在此实例中指示深度 数据 ) 的类型， 所述数据还可称作 “有效负载” 以区别此数据与封装所述有效负载的标头数 据。深度范围字段 182B 存储针对给定 3D 视频图像或视频的深度平面的宽度及大小的数 据。深度平面的大小可与当前图像的大小相同或小于当前图像的大小。相机模型参数字段 182D 存储与非固有及固有相机模型参数有关的数据。最佳观看参数字段 182E 存储针对以 下各者的数据 ： 通过观看屏幕的大小及观看距离定义的观看角度， 以及会聚平面、 上文所注 明的深度范围、 亮度及若干其它有关参数。压缩类型字段 182F 存储描述用于视频或音频区 段的有效负载中的压缩的类型的数据， 其可指示 JPEG、 H.264 或专属压缩算法。
图 8B 为说明根据本发明中所描述的技术的各种方面存储遮蔽元数据的实例区段 181B 的框图。区段 181B 包括有效负载类型字段 184A(“有效负载类型 184A” )、 基线字段 184B( “基线 184B” )、 遮蔽分辨率字段 184C( “遮蔽分辨率 184C” ) 及压缩类型字段 182D( “压 缩类型 182D” )。有效负载类型字段 184A 存储被存储到所述区段的数据 ( 其在此实例中指 示遮蔽数据 ) 的类型， 所述数据还可称作 “有效负载” 以区别此数据与封装所述有效负载的 标头数据。基线字段 184B 存储定义关于第一视图 ( 当前图像已从所述第一视图获取 ) 的 位置而移位的水平距离的数据。遮蔽分辨率字段 184C 存储定义遮蔽平面的宽度及大小的 数据， 遮蔽平面的大小可与当前图像的大小相同或小于当前图像的大小。压缩类型 184D 可 大体上类似于压缩类型 182F。
图 8C 为说明根据本发明中所描述的技术的各种方面存储全局效果元数据的实例 区段 181C 的框图。区段 181C 包括有效负载类型字段 186(“有效负载类型 186” ) 及多个 参数 188A 到 188N(“参数 188” )。有效负载类型字段 184A 存储被存储到所述区段的数据 ( 其在此实例中指示全局效果数据 ) 的类型， 所述数据还可称作 “有效负载” 以区别此数据 与封装所述有效负载的标头数据。参数 188 存储对应于全局效果 ( 例如， 霾、 雨、 雪及烟 ) 的数据。参数 188 中的每一者可与不同类型的全局效果有关且指定给定全局效果的类型、 密度、 位置及重复。参数 188 可存储此信息， 以按类似于在计算机图形中描述这些全局效果 的方式的方式来定义全局效果。
图 9 为说明无线显示器 (WD) 主机单元 ( 图 5 的实例中所展示的 WD 主机单元 142) 在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。最初， WD 主机单元 142 可接收来自显示处理单元 138 的经缓冲的 3D 视频数据 152 及音频数据 (200)。在接收 到 3D 视频数据后， WD 主机单元 142 的输送单元 158 即刻确定 3D 视频数据的视频区段及深 度区段 (202)， 例如图 7 的实例的视频区段 174 及深度区段 176(202)。同样， 输送单元 158 确定音频数据的音频区段 ( 例如， 音频区段 180)(204)。
输送单元 158 接着确定视频数据 152 及音频数据的部分 172 中的每一者的时间戳 记 180， 如上文所描述 (206)。输送单元 158 将部分 172 中的同一者的区段 174 到 178 与时 间戳记 180 中的对应一者一起封装以形成包， 也如上文所描述 (208)。WD 主机单元 142 可 以上文所描述的方式确定元数据， 此后输送单元 158 将所确定的元数据嵌入于所述包的标 头中 (210、 212)。具有嵌入的元数据的所得包可类似于图 8 的实例中所展示的包。在嵌入 元数据之后， 输送单元 158 将所述包转发到无线装置接口 144， 所述无线装置接口 144 进行将所述包转发到外部无线显示装置 154 中的所述选定者 (214)。
图 10A 到 10E 为说明各种系统 216A 到 216E 的框图， 所述系统 216A 到 216E 实施 本发明中所描述的技术的一个或一个以上方面以促成跨平台视频重放。 更具体来说， 图 10A 为说明系统 216A 的框图， 所述系统 216A 包括外部 WD 主机单元 218 及外部 WD 客户端单元 222， 所述外部 WD 主机单元 218 与所述外部 WD 客户端单元 222 两者实施本发明中所描述的 技术的各种方面。外部 WD 主机单元 218 可包含与系统 216A 的移动装置 217 介接的装置。 移动装置 217 可类似于图 5 的移动装置 128， 但移动装置 217 不包括类似于移动装置 128 的 WD 主机单元 142 的整合式 WD 主机单元或内部 WD 主机单元。外部 WD 主机单元 218 可包含 所谓的 “硬件锁” ， 其经由类似于移动装置 128 的有线接口 32B 中的一者的有线接口与移动 装置 217 介接。举例来说， 外部 WD 主机单元 218 可经由通用系统总线 (USB) 或微型 USB 有 线接口与移动装置 217 介接。
外部 WD 客户端单元 222 同样包含与系统 216A 的显示平台 223 介接的装置。类似 于外部 WD 主机单元 218， 外部 WD 客户端 222 可包含所谓的 “硬件锁” ， 其经由有线接口 ( 例 如， USB 接口、 复合音频 / 视频 (A/V) 接口、 HDMI 接口或任一其它有线接口 ) 与显示平台 223 介接。
显示平台 223 可表示与系统 216A 的 3D 显示装置 228 介接的装置， 例如数字视频光 TM 盘 (DVD) 播放器、 音频 / 视频接收器、 Bluray 光盘播放器、 多媒体播放器、 数字视频记录器 (DVR)， 或提供用于与 3D 显示装置 228 介接的平台的任一其它装置。在一些例子中， 显示平 台 223 可包含个人计算机 ( 例如， 膝上型计算机或桌上型计算机 )， 或专用于执行 2D 到 3D 转换的装置。3D 显示装置 228 可类似于图 5 的实例中所展示的外部显示装置 154。虽然展 示为与 3D 显示装置 228 分开， 但显示平台 223 可整合到 3D 显示装置 228 中。
如上文所注明， 迄今为止尚不存在借以将视频数据无线地转发到显示装置的任何 标准化的无线显示协议。给定标准化的无线显示协议的此缺乏， 则大多数显示平台 ( 例如， 显示平台 223) 不支持无线视频数据接收或发射。外部 WD 主机单元 218 及外部 WD 客户端 单元 222 的使用可克服此限制。
为了说明， 考虑移动装置 217 可为 2D 视频数据 221 的源， 外部 WD 主机单元 218 可 经由移动装置 217 与外部 WD 主机单元 218 之间的有线连接 ( 上文所注明 ) 接收所述 2D 视 频数据 221。外部 WD 主机单元 218 可与外部 WD 客户端单元 222 建立无线链路 220 且接着 经由无线链路 220 建立会话。此会话可包含 RTP 会话。当外部 WD 主机单元 218 接收到 2D 视频数据 221 时， WD 主机单元 218 根据由外部 WD 客户端单元 222 支持的无线显示协议格 式化 2D 视频数据 221。举例来说， WD 主机单元 218 可通过根据图 7 的实例中所展示的文件 格式而格式化 2D 视频数据 221 来制备 2D 视频数据 218， 但以下情况除外 ： 2D 视频数据 221 不包括任何深度区段， 且因此所得的经格式化的数据不包括任何深度包， 从而使得每一部 分仅具有视频及音频区段。
外部 WD 主机单元 218 还可与外部 WD 客户端单元 222 介接， 以确定定义显示平台 223 及 / 或 3D 显示装置 228 的能力的参数。外部 WD 主机单元 218 可与外部 WD 客户端单元 222 介接以请求这些参数。响应于此请求， 外部 WD 客户端单元 222 可经由有线接口与显示 平台 223 介接， 以按上文所描述的方式 ( 例如， 使用 WHDMI) 发现显示平台 223 的能力。当 显示平台 223 使用 ( 例如 )HDMI 与 3D 显示装置 228 介接时， 显示平台 223 还可能已发现 3D显示装置 228 的参数。显示平台 223 可接着返回描述显示平台 223 及 3D 显示装置 228 中 的一者或两者的能力的参数， 外部 WD 客户端单元 222 将所述参数转发到外部 WD 主机单元 218。外部 WD 主机单元 218 可接着基于这些参数而产生元数据且将此元数据嵌入到各种包 的标头中， 如上文所描述。
在任何情况下， WD 主机单元 218 经由无线链路 220 将经格式化的 2D 视频数据 221 发射到外部 WD 客户端单元 222。在接收到此经格式化的 2D 视频数据 221 后， 外部 WD 客户 端单元 222 可解封装各种区段以重新形成 2D 视频数据 221， 而且， 提取嵌入于包标头中的元 数据。外部 WD 客户端单元 22 接着将重新形成的 2D 视频数据 221 连同元数据一起转发到 显示平台 223。
如图 10A 的实例中所展示， 显示平台 223 包括可类似于图 2 的 2D 到 3D 处理模块 58 及显示格式模块 64 的 2D 到 3D 处理模块 224 及显示格式模块 226。虽然类似， 但 2D 到 3D 处理模块 224 及显示格式模块 64 可具有较有限的特性在于 ： 2D 到 3D 处理模块 224 仅可 支持特定 3D 视频数据 ( 例如， 与另一视图相对比的深度 ) 的产生， 且显示格式模块 226 仅 可支持特定装置特定 3D 输入文件格式 ( 例如， 与多视图串流相对比的 “2D+Z” )。虽然 2D 到 3D 处理模块 224 与显示格式模块 226 两者具有较有限的特性， 但模块 224 与 226 两者可 配置达特定程度且可利用经转发的元数据来改善从所接收的 2D 视频数据 221 产生 3D 视频 内容 227。3D 显示装置 228 接收并呈现 3D 视频内容 227。 2D 到 3D 处理模块 224 可包含 ( 作为一个实例 ) 用于基于硬件或基于软件的媒体 播放器的插件程序或其它软件模块。显示格式模块 226 也可包含 ( 在一个实例中 ) 用于基 于硬件或基于软件的媒体播放器的插件程序或其它软件模块。显示格式模块 226 可执行显 示格式交错， 所述显示格式交错可为多视图显示所必要的。
如上文所描述， 2D 到 3D 处理模块 224 通过提取深度信息来将 2D 视频数据 221 转 换成 3D 视频内容 227 的 3D 视频数据。此深度提取可涉及识别来自 2D 视频数据 221 的一 个或一个以上帧的大型及小型特征且将其分段。深度提取还涉及将 2D 视频数据 221 分类 成若干区域， 例如背景区域、 遮蔽区域及前景区域。一旦经分类， 深度提取便基于 2D 视频数 据 221 中的结构及运动而识别 3D 模型中的移动对象的位置及定位。深度提取的结果为用 于 2D 视频数据 221 的 2D 图像 ( 或帧 ) 中的每一像素的深度值， 其是作为用于每一帧的 N 位位图图像来存储。 或者， 可产生用于每一区域的深度图且在再现期间在运行中构成场景。
在采用经 “2D+ 深度” 格式化的 3D 视频内容 227 作为输入的眼镜式立体显示器的状 况下， 将深度图中的信息及 2D 视频数据 221 格式化成 “2D+z” 文件格式以输入到 3D 显示装 置 228。如果 3D 显示装置 228 的显示输入文件格式为多串流文件格式 ( 其中视频的多个串 流或视图封装于单一容器中 )， 则 2D 到 3D 处理模块 224 可基于 2D 视频帧及相关联的深度图 而产生对应于 2D 视频数据 221 的一个或一个以上额外辅助视点 (secondary viewpoint)。 显示格式模块 226 接着取决于所需的观看角度、 视图的数目及经定义以用于显示或由用户 定义的其它参数 ( 例如， 作为元数据 ) 而通过辅助视图交错原始 2D 视频数据或 2D 视频数 据 221。
图 10B 为说明系统 216B 的框图， 所述系统 216B 包括外部 WD 主机单元 218 及内部 WD 客户端单元 230， 所述外部 WD 主机单元 218 与所述内部 WD 客户端单元 230 两者实施本 发明中所描述的技术的各种方面。系统 216B 大体上类似于系统 216A， 但以下情况除外 ： 显
示平台 223′包括内部 WD 客户端单元 230( 而不是如同图 10A 中的状况， 与外部 WD 客户端 装置介接， 在图 10A 中， 显示平台 223 与外部 WD 客户端单元 222 介接 )。由于此原因， 通过 紧接于参考数字 “223” 之后的一个撇号来表示显示平台 223′。内部 WD 客户端单元 230 可 以大体上类似于外部 WD 客户端单元 222 的方式操作， 但经由有线接口与显示平台 223′介 接除外。实情为， 内部 WD 客户端装置 230 整合于显示平台 223′内且借以避免在外部与显 示平台 223′介接。
图 10C 为说明另一系统 216C 的框图， 所述系统 216C 包括外部 WD 主机单元 218 及 外部 WD 客户端单元 222， 所述外部 WD 主机单元 218 与所述外部 WD 客户端单元 222 两者实施 本发明中所描述的技术的各种方面。系统 216C 类似于系统 216A， 但系统 216C 的显示平台 223″包括深度到多视图 (Z 到 MV) 处理模块 234。为了指示此差异， 通过在参考数字 “223” 之后的两个撇号来表示显示平台 223″。系统 216A 与 216C 之间的另一差异在于 ： 移动装 置 217 输出根据 “2D+z” 文件格式而格式化的 3D 视频数据 232。
移动装置 217 可接收来自上文所描述的所述源中的任一者的 2D 视频数据且非实 时或实时或近实时地执行 2D 到 3D 处理。 或者， 移动装置 217 可接收 3D 视频内容且将 3D 视 频内容变换成 “2D+z” 格式 ( 如 MPEG-C 第 3 部分中所指定 )。移动装置 217 可使用现有文 件格式 ( 例如， MP4) 封装此 3D 视频数据 232， 所述现有文件格式已经修改以每一帧载运一 额外包以用于深度图 ( 或 “z” ) 信息。用于深度包的封装标头可为文件格式规范中作为信 息元素而经指定以用于用户数据的标头。使用此信息元素可实现与 2D 视频显示器的向后 兼容性。此 MP4 无线显示协议中的深度包可经由时序 / 同步信息而与对应视频包相关联， 或者， 经由用于视频包的帧唯一识别信息 ( 例如， 序号 ) 同样可用于所述相关联。
在系统 216C 中， 外部 WD 主机单元 218 接收 3D 视频数据 232 且根据无线显示协议 而格式化此数据 232， 从而产生类似于图 7 中所展示的 3D 视频数据的经格式化的 3D 视频 数据 232。WD 主机单元 218 可在用于 MP4 文件的剖析器处截取 3D 视频数据 232 且检索视 频、 音频及深度包。WD 主机单元 218 接着重新封装这些包与 RTP 标头以形成 RTP 串流， WD 主机单元 218 经由实时流式传输协议 (RTSP) 将所述 RTP 串流流式传输到外部 WD 客户端装 置 222。可根据上文关于图 7 的实例所描述的格式化而格式化这些串流。实际上， WD 主机 单元 218 修改输送协议 ( 例如， RTP) 以载运 “2D+z” 3D 视频数据 232。
外部 WD 客户端单元 222 经由无线链路 220 接收这些串流， 解封装所述串流以重 新形成根据 “2D+z” 编码而编码的 3D 视频数据 232 且将此 3D 视频数据 232 转发到 Z 到 MV 处理模块 234。Z 到 MV 处理模块 234 通过从 3D 视频数据 232 再现多视图而将 3D 视频数据 232 从 “2D+z” 编码格式转换成多视图串流编码格式。显示格式模块 226 接着以上文所描述 的方式交错这些多视图以产生 3D 视频内容 236， 3D 显示装置 228 接收且呈现所述 3D 视频 内容 236 以供一个或一个以上观看者消耗。
图 10D 为说明另一系统 216D 的框图， 所述系统 216D 包括外部 WD 主机单元 218 及 内部 WD 客户端单元 230， 所述外部 WD 主机单元 218 与所述内部 WD 客户端单元 230 两者实 施本发明中所描述的技术的各种方面。如图 10D 中所展示， 系统 216D 类似于系统 216B 在 于： 系统 216B 与 21D 两者包括移动装置 217、 外部 WD 主机单元 218、 内部 WD 客户端单元 230 及一个或一个以上 3D 显示装置 228。然而， 系统 216D 包括移动多媒体装置 237， 所述移动 多媒体装置 237 包括内部 WD 客户端单元 230， 而在系统 216B 中， 显示平台 223′包括内部WD 客户端单元 230。由于此原因， 通过在参考数字 “223” 之后的三个撇号来表示显示平台 223 以识别此差异。
移动多媒体装置 237 可包括移动多媒体处理器 ( 图 10D 中未展示 )， 其包括内部 WD 客户端单元 230 及 Z 到图形处理单元 (GPU) 处理模块 238(“Z 到 GPU 处理模块 238” )。 所述多媒体处理器可包括 GPU。在此意义上， 可将 WD 客户端单元 230 及 Z 到 GPU 处理模块 238 视为代管于具有 GPU 的多媒体处理器上。Z 到 GPU 处理模块 238 执行深度到多视图转 换过程， 以便将根据 “2D+z” 格式编码的 3D 视频数据 232 转换成多视图编码格式。内部 WD 客户端单元 230 与外部 WD 主机单元 218 可以与上文关于图 10B 的系统 216B 中的这些相同 单元所描述的方式相同的方式彼此通信， 唯一不同在于 ： 所述通信涉及如关于图 10C 的系 统 216C 所描述的 3D 视频数据 232。
在任何情况下， 内部 WD 客户端单元 230 接收根据无线显示协议而格式化的经封装 的 3D 视频数据 232， 且解封装此经封装的 3D 视频数据 232 以重新形成 3D 视频数据 232。 内部 WD 客户端单元 230 将此数据 232 转发到 Z 到 GPU 处理模块 238， 所述 Z 到 GPU 处理模 块 238 将 GPU 用作借以执行转换过程以产生根据多视图编码格式而格式化的 3D 视频数据 242 的通用计算引擎。将 GPU 用作通用计算引擎可涉及使用 OpenCL， 其包含用于撰写跨越 由 CPU 及 GPU 组成的异质平台执行的程序的框架结构。OpenCL 包括用于撰写在 OpenCL 装 置上执行的函数的语言， 加上用以定义且接着控制平台的应用程序设计器接口 (API)。
Z 到 GPU 处理模块 238 可使用 GPU 执行实时或近实时深度到多视图转换， 且借以 可实现与接受呈不同格式 ( 例如， “2D+z” 格式及多串流视频格式 ) 的 3D 内容的异质显示 器介接。举例来说， Z 到 GPU 处理模块 238 可产生根据 “2D+z” 格式而格式化的 3D 视频数 据 240， 3D 显示器 228A 可直接接受所述 3D 视频数据 240 而无需显示平台 223″进行介入处 理。Z 到 GPU 处理模块 238 还可产生根据多视图格式而格式化的 3D 视频数据 241， 且将此 数据 241 转发到显示平台 223″′。显示平台 223″′的显示格式模块 226 可交错来自经 多视图格式化的 3D 视频数据 241 的串流以产生 3D 视频数据 242， 3D 显示装置 228B 可接收 且呈现所述 3D 视频数据 242。
图 10E 为说明另一系统 216E 的框图， 所述系统 216E 执行本发明中所描述的技术 的一个或一个以上方面。系统 216E 可类似于图 10D 的系统 216D， 但移动多媒体装置 237′ 包括内部 WD 客户端单元 230 及 2D 到 3D 处理模块 224 除外。为了表示此差异， 移动多媒体 装置 237′包括在参考数字 “237” 之后的一个撇号。
在任何情况下， 移动装置 217 可将 2D 视频内容或 3D 视频内容 244 转发到外部 WD 主机单元 218， 所述外部 WD 主机单元 218 以上文所描述的方式根据无线显示协议封装此内 容 244 且经由无线链路 220 将经格式化的内容 244 转发到内部 WD 客户端单元 230。如果 所述内容为 2D 视频内容 244， 则内部 WD 客户端单元 230 可接着将此数据 244 转发到 2D 到 3D 处理单元 224 以执行实时或近实时 2D 到 3D 转换 ( 例如， 深度提取 )。如果显示器 228A、 228B 中的一者或两者需要， 则 2D 到 3D 处理模块 224 可将 3D 视频数据转发到 Z 到 GPU 处 理模块 238 以产生经多视图格式化的 3D 视频数据， 如上文所描述。或者， 如果内部 WD 客户 端单元 230 接收 3D 视频内容 244 且显示器 228A、 228B 中的一者或两者需要多视图文件格 式， 则内部 WD 客户端单元 230 可将 3D 视频内容 244 转发到 Z 到 GPU 处理模块 238， 所述 Z 到 GPU 处理模块 238 产生根据多视图文件格式而格式化的 3D 视频数据 241。移动多媒体装置 237′可接着将内容 240 转发到 3D 显示装置 228A， 如上文所描 述。或者， 移动多媒体装置 237′可将 3D 视频数据 241 转发到显示平台 223″′， 如上文所 描述。显示平台 223″′ ( 再次如上文所描述 ) 可使用显示格式模块 226 交错多个视图且 将所得 3D 视频内容 242 转发到 3D 显示装置 228B。
在系统 216E 中， 移动装置 217 可选择经由通过外部 WD 主机单元 218 及内部 WD 客 户端单元 230 实施的无线显示协议来驱动 2D 或 3D 视频内容。如上文所注明， WD 主机单 元 218 与 WD 客户端单元 230 可交换描述连接到客户端的显示器 ( 一个或一个以上， 经由镜 射 ) 的参数， 其中这些参数包括由这些显示器支持的 3D 内容格式。取决于无线链路 220 上 的可用带宽， WD 客户端单元 230 可执行 2D 到 3D 转换过程 ( 而不是移动装置 217 执行所述 过程 )。在移动多媒体装置 237′内执行转换还可促成较佳用户体验及视觉质量。此外， 取 决于 3D 显示器的参数， 执行深度到多视图转换过程。 另外， 移动多媒体装置 237′可执行从 无线显示协议到显示格式的格式转换。
在所有系统 216A 到 216E 中， 各种组件可利用 WD 主机及客户端单元来使传统上有 线的显示器能够变成无线显示器或至少变成可经由无线连接存取。因此， 各种内部及外部 WD 主机及客户端单元可通过将有线显示器转换成无线显示器而促成跨平台 3D 视频重放。 此外， 各种 WD 主机及客户端单元并不强制实行特定 3D 内容格式， 而是仅提供借以高效率地 无线地发射 3D 视频数据同时仍实现与仅 2D 显示装置的向后兼容性的无线显示输送协议。 就此来说， 各种内部及外部 WD 主机及客户端单元可进一步促成跨平台 3D 视频重放。
可以硬件、 固件或其任一组合实施本文中所描述的技术。 在一些例子中， 硬件也可 执行软件。描述为模块、 单元或组件的任何特征可一起实施于整合式逻辑装置中或分离地 实施为离散但可互操作的逻辑装置。 在一些状况下， 各种特征可实施为集成电路装置， 例如 集成电路芯片或芯片组。如果以软件实施， 则可至少部分通过计算机可读媒体来实现所述 技术， 所述计算机可读媒体包含在执行时使处理器执行上文所描述的方法中的一者或一者 以上的指令。
计算机可读媒体可形成计算机程序产品的一部分， 其可包括封装材料。计算机可 读媒体可包含计算机数据存储媒体， 例如随机存取存储器 (RAM)、 同步动态随机存取存储器 (SDRAM)、 只读存储器 (ROM)、 非易失性随机存取存储器 (NVRAM)、 电可擦除可编程只读存储 器 (EEPROM)、 快闪存储器、 磁性或光学数据存储媒体及其类似者。另外或其它， 所述技术可 至少部分通过计算机可读通信媒体来实现， 所述计算机可读通信媒体载运或传达呈指令或 数据结构的形式的代码且可由计算机存取、 读取及 / 或执行。
可由以下各者执行代码或指令 ： 一个或一个以上处理器 ( 例如一个或一个以上 DSP)、 通用微处理器、 ASIC、 现场可编程逻辑阵列 (FPGA) 或其它等效集成或离散逻辑电路。 因此， 如本文中所使用的术语 “处理器” 可指代上述结构中的任一者或适合于实施本文中所 描述的技术的任一其它结构。 另外， 在一些方面中， 本文中所描述的功能性可提供于专用软 件模块或硬件模块内。本发明还预期多种集成电路装置中的任一者， 所述集成电路装置包 括用以实施本发明中所描述的技术中的一者或一者以上的电路。 此电路可提供于单一集成 电路芯片中或所谓的芯片组中的多个可互操作的集成电路芯片中。 这些集成电路装置可用 于多种应用中， 其中一些可包括用于无线通信装置 ( 例如， 移动电话手持机 ) 中。
已描述本发明的各种实例。这些及其它实例在所附权利要求书的范围内。