《与弯曲显示器的触摸交互.pdf》由会员分享，可在线阅读，更多相关《与弯曲显示器的触摸交互.pdf（28页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103955308 A (43)申请公布日 2014.07.30 CN 103955308 A (21)申请号 201410145785.1 (22)申请日 2009.07.24 61/083,679 2008.07.25 US 12/344,377 2008.12.26 US 200980130059.X 2009.07.24 G06F 3/041(2006.01) G06F 3/042(2006.01) G06F 3/0486(2013.01) G06F 3/0488(2013.01) (71)申请人 微软公司 地址 美国华盛顿州 (72)发明人 H本克 AD威尔。
2、森 B陈 R巴拉克里什南 PM巴蒂舒 (74)专利代理机构 上海专利商标事务所有限公 司 31100 代理人 胡利鸣 (54) 发明名称 与弯曲显示器的触摸交互 (57) 摘要 公开了与弯曲显示器的触摸交互。通过各种 用户界面 (UI) 特征来实现与弯曲显示器 ( 例如， 球体、 半球体、 圆柱体等等 ) 的触摸交互。在一个 示例实施例中， 监视弯曲显示器以便检测触摸输 入。如果基于监视动作检测到触摸输入， 那么， 确 定触摸输入的一个或多个位置。响应于所确定的 触摸输入的一个或多个位置， 实现至少一个用户 UI 特征。示例 UI 特征包括环状召唤姿势特征、 基 于旋转的拖曳特征、 发送到暗侧。
3、的交互特征以及 通过代理表示进行对象表示和操纵特征。 (30)优先权数据 (62)分案原申请数据 (51)Int.Cl. 权利要求书 2 页 说明书 12 页 附图 13 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书12页 附图13页 (10)申请公布号 CN 103955308 A CN 103955308 A 1/2 页 2 1. 一种实现与显示器进行触摸交互的设备 (300)， 所述设备包括 ： 显示器 (102) ； 以及 处理单元 (310)， 所述处理单元 (310) 包括检测单元 (314) 和交互单元 (302) ； 所述检 测单元用于。
4、监视 (402) 所述显示器以便检测 (404) 触摸输入并确定 (406) 所述触摸输入的 一个或多个位置， 所述交互单元用于响应于所确定的所述触摸输入的一个或多个位置实现 (408) 至少一个用户界面 (UI) 特征 ； 所述交互单元包括基于旋转的拖曳单元， 所述基于旋转的拖曳单元通过旋转所拖曳的 对象以表示在拖曳开始的初始点与所述拖曳终止的结束点之间的移动来使得对象能围绕 所述显示器移动。 2. 一种实现与弯曲显示器进行触摸交互的设备 (300)， 所述设备包括 ： 弯曲显示器 (102) ； 以及 处理单元 (310)， 所述处理单元 (310) 包括检测单元 (314) 和交互单元 。
5、(302) ； 所述检 测单元用于监视 (402) 所述弯曲显示器以便检测 (404) 触摸输入并确定 (406) 所述触摸输 入的一个或多个位置， 所述交互单元用于响应于所确定的所述触摸输入的一个或多个位置 实现 (408) 至少一个用户界面 (UI) 特征 ； 所述交互单元包括发送到暗侧的交互单元， 所述发送到暗侧的交互单元用于响应于在 对象上检测到满足预定义大小阈值的触摸接触持续预定义时间阈值来将对象从所述弯曲 显示器的一侧扭转到所述弯曲显示器的另一侧。 3. 一种实现与弯曲显示器进行触摸交互的设备 (300)， 所述设备包括 ： 弯曲显示器 (102) ； 以及 处理单元 (310)，。
6、 所述处理单元 (310) 包括检测单元 (314) 和交互单元 (302) ； 所述检 测单元用于监视 (402) 所述弯曲显示器以便检测 (404) 触摸输入并确定 (406) 所述触摸输 入的一个或多个位置， 所述交互单元用于响应于所确定的所述触摸输入的一个或多个位置 实现 (408) 至少一个用户界面 (UI) 特征 ； 所述弯曲显示器是球形或半球形的 ； 其中所述交互单元包括环状召唤姿势单元， 所述 环状召唤姿势单元用于响应于检测到满足预定义大小阈值且关于所述弯曲显示器的固定 点基本对称的至少两个触摸接触来呈现菜单或切换模式。 4. 如权利要求 3 所述的设备， 其特征在于， 所述环。
7、状召唤姿势单元使得能通过原地旋 转所述菜单来选择所述菜单上的选项。 5. 一种实现与弯曲显示器进行触摸交互的设备 (300)， 所述设备包括 ： 弯曲显示器 (102) ； 以及 处理单元 (310)， 所述处理单元 (310) 包括检测单元 (314) 和交互单元 (302) ； 所述检 测单元用于监视 (402) 所述弯曲显示器以便检测 (404) 触摸输入并确定 (406) 所述触摸输 入的一个或多个位置， 所述交互单元用于响应于所确定的所述触摸输入的一个或多个位置 实现 (408) 至少一个用户界面 (UI) 特征 ； 所述交互单元包括通过代理表示进行对象表示和操纵单元， 所述通过代理。
8、表示进行对 象表示和操纵单元用于显示用于相对应的对象的代理表示， 并且使得能通过用户对所述代 理表示的操纵来操纵所述相对应的对象。 6. 如权利要求 5 所述的设备， 其特征在于， 可以在激活发送到暗侧的交互机制时交换 权 利 要 求 书 CN 103955308 A 2 2/2 页 3 所述代理表示的位置与所述相对应的对象的位置， 所述发送到暗侧的交互机制跨所述弯曲 显示器地交换代理表示和它们的相对应的对象。 7. 如权利要求 2、 3 或 5 所述的设备， 所述设备进一步包括 ： 显示器组件， 所述显示器组件包括投影组件和检测组件 ； 所述投影组件适于将图像投 影到所述弯曲显示器上， 而所。
9、述检测组件适于在所述弯曲显示器上检测所述触摸输入的所 述一个或多个位置 ； 其中所述弯曲显示器具有内部和外部， 以及从所述弯曲显示器的所述外部可见的被显 示的对象 ； 以及 其中所述处理单元进一步包括投影单元， 所述投影单元指令所述投影组件根据所实现 的至少一个 UI 特征来显示对象。 8.如权利要求2、 3或5所述的设备， 其特征在于， 所述检测单元通过检测所述触摸输入 的大小并将所检测的触摸输入的所述大小与预定大小阈值进行比较来检测在所述弯曲显 示器处发生的是手指大小还是手掌大小的触摸输入 ； 并且其中所述交互单元将基于所检测 到的触摸输入是手指大小还是手掌大小来实现所述至少一个 UI 特。
10、征。 9.如权利要求2、 3或5所述的设备， 其特征在于， 所述弯曲显示器是球形的、 半球形的、 立方形的或圆柱形的。 权 利 要 求 书 CN 103955308 A 3 1/12 页 4 与弯曲显示器的触摸交互 0001 本发明专利申请是国际申请号为 PCT/US2009/051659， 国际申请日为 2009 年 7 月 24 日， 进入中国国家阶段的申请号为 200980130059.X， 名称为 “与弯曲显示器的触摸交互” 的发明专利的分案申请。 技术领域 0002 本发明涉及显示器， 尤其涉及与显示器的触摸交互。 0003 发明背景 0004 来自计算机和其他电子设备的视觉输出在历。
11、史上已经被呈现在平面屏幕上。 在阴 极射线管 (CRT) 监视器于最近若干年让位于液晶显示器 (LCD) 时， 屏幕保持为平面。用户 与这样的平面屏幕交互最初至少主要是通过起源于先前存在的打字机的键盘来实现。 在20 世纪 70 年代和 20 世纪 80 年代， 图形用户界面 (GUI) 技术使得鼠标和其他指针型设备被用 于输入。 0005 当指针型设备被用来输入时， 用户操纵设备以便在显示屏幕四周移动指针。 通常， 借助于设备通过点击给定屏幕位置， 例如图标或按钮， 来激活功能。 随着涉及指点和点击的 用户界面的增大的普及性， 开发了触摸屏界面。 通过触摸屏幕， 用户可以通过在给定屏幕位 置。
12、上物理地触摸和 / 或按压来激活功能。然而， 这样的触摸屏仍然是平面的。 0006 然而， 近来， 已经创造了一些弯曲显示器。例如， 已经开发出某些类型的球形显示 器。这些球形显示器尤其被用于促销环境或用于三维 (3D) 数据的显示。球形显示器可以 向多个用户提供无阻碍的 360视场。这允许观看者通过在显示器周围物理移动来探究所 显示的数据的不同视角。 0007 观众可以使用显示器的球形性质、 他们的物理身体位置和定向以及来自周围环境 的附加暗示来帮助他们在空间上查找和理解正被显示在球形表面上的数据。 球形形状因子 的显示器的特性可提供超过借助于更为普遍的平面显示器所可能提供的有趣使用场景。 。
13、球 形显示器还提出了种种的交互挑战。遗憾的是， 常规用户界面 (UI) 技术植根于传统的平面 显示器。结果， 常规 UI 技术无法利用弯曲显示器的有趣使用场景， 且无法解决弯曲显示器 的种种交互挑战。 发明内容 0008 通过各种用户界面(UI)特征来实现与弯曲显示器(例如， 球体、 半球体、 圆柱体等 等 ) 的触摸交互。在一示例实施例中， 监视弯曲显示器以便检测触摸输入。如果基于监视 动作检测到触摸输入， 那么， 确定触摸输入的一个或多个位置。 响应于所确定的触摸输入的 一个或多个位置， 实现至少一个用户 UI 特征。示例 UI 特征包括环状召唤姿势特征、 基于旋 转的拖曳特征、 发送到暗。
14、侧的交互特征以及通过代理表示进行对象表示和操纵特征。 0009 对于环状召唤姿势特征的示例实现， 菜单的呈现或任务的切换是通过这样来调用 的 ： 以关于例如球形弯曲显示器的顶部等固定点基本对称的方式进行相对较大的触摸接 触。对于基于旋转的拖曳特征的示例实现， 使用由拖曳运动定义的弧表示的旋转来跨弯曲 说 明 书 CN 103955308 A 4 2/12 页 5 显示器地移动被拖曳的对象。 0010 对于发送到暗侧的交互特征的示例实现， 对象上相对较大的接触持续预定义时间 阈值促成对象从弯曲显示器的一侧扭转 （warp） 到另一侧。对于通过代理表示进行对象表 示和操纵特征的示例实现， 显示用于。
15、弯曲显示器另一侧上的相对应对象的代理表示。在相 对应的对象中反映对代理表示的操纵。 0011 提供本概述以便以简化形式介绍下面在详细描述中进一步描述的概念的选集。 本 概述不旨在标识所要求保护的主题的关键特征或必要特征， 也不旨在用于帮助确定所要求 保护的主题的范围。 此外， 在此描述其他系统、 方法、 设备、 介质、 装置、 配置和其他示例实施 例。 附图说明 0012 使用相同附图标记贯穿附图地指代类似和 / 或相对应的方面、 特征和组件。 0013 图 1 图解用于弯曲显示器的示例用户交互环境。 0014 图 2 描绘用于使用可通过触摸来操纵的显示器实现拖曳操作的简单方法。 0015 图。
16、 3 是具有弯曲显示器和响应于经由交互单元的触摸输入实现交互的能力的示 例设备的框图。 0016 图 4 是图解用于与弯曲显示器进行触摸交互的方法的示例的流程图。 0017 图 5 是 具 有 以 下 四 个 示 例 单 元 的 交 互 单 元 的 框 图 ： 环 状 召 唤 （orb-likeinvocation） 姿势单元、 基于旋转的拖曳单元、 发送到暗侧的交互单元和通过代 理表示进行对象表示和操纵单元。 0018 图 6A 图解用于环状召唤姿势单元的示例机制。 0019 图 6B 是图解用于环状召唤姿势技术的方法的示例的流程图。 0020 图 7A 图解用于基于旋转的拖曳单元的示例机制。
17、。 0021 图 7B 是图解用于基于旋转的拖曳技术的方法的示例的流程图。 0022 图 8A 图解用于发送到暗侧的交互单元的示例机制。 0023 图 8B 是图解用于发送到暗侧的交互技术的方法的示例的流程图。 0024 图 9A 图解用于通过代理表示进行对象表示和操纵单元的示例机制。 0025 图 9B 是图解用于通过代理表示进行对象表示和操纵技术的方法的示例的流程 图。 0026 图 10 是图解可用于实现用于与弯曲显示器进行触摸交互的实施例的示例设备的 框图。 具体实施方式 0027 如以上在此所解释， 常规 UI 技术植根于传统的平面显示器。因此， 它们无法利用 弯曲显示器的有趣使用场。
18、景， 且它们还无法解决弯曲显示器的种种交互挑战。 相反， 在此描 述的某些实施例提供了促进在弯曲显示器周围的交互和协作的一组触摸交互机制和技术。 用于引导触摸交互的方法包括解决在弯曲显示器上拖曳、 缩放、 旋转和其他对象操纵的那 些方法。附加方法提供了姿势交互并实现适应视觉界面的弯曲性质的触摸 UI 概念。下面 在此进一步描述示例实施例和实现。 说 明 书 CN 103955308 A 5 3/12 页 6 0028 图 1 图解用于弯曲显示器 102 的示例 UI 环境 100。如所例示的那样， UI 环境 100 包括弯曲显示器 102、 对象 104 和多个部位 106。更具体地， 对象。
19、 104 被呈现在弯曲显示器 102 上。两个部位 106a 和 106b 被示出为正与弯曲显示器 102 交互。由虚线形成的椭圆形 指示弯曲显示器 102 是三维的。 0029 一般地， 实现弯曲表面上的用户交互涉及实现基本操作， 例如选择、 拖曳、 旋转、 缩 放等等。 可以进一步要求提供对浏览、 任务切换等等的支持。 每个对象(例如， 照片、 视频等 等 ) 可以被独立地拖曳、 旋转和缩放。如同大多数触敏应用程序一样， 通过落在对象上的触 摸接触来隐式地触发对对象的选择。 落在视频对象上的触摸接触充当单个播放触发器 如果视频被暂停则其开始视频播放， 或者如果视频正播放则停止视频播放。 0。
20、030 对于示例实施例， 弯曲显示器 102 的所显示元件可以由部位 106 操纵。部位 106 可以是一根或多根手指、 一只或多只手、 一个或多个手掌、 其组合等等。部位 106 可以属于 相同或不同的用户。尽管对象 104 被示出为照片或视频， 但对象 104 可以是任何可显示的 元件 ( 例如， web 页面、 文本文档、 电子表格、 原始数据或图像、 其组合等等 )。 0031 而且， 尽管弯曲显示器 102 被示出为球体， 但它可以替代地是圆柱形、 立方体、 半 球形、 其组合等等。尽管图中图解的弯曲显示器 102 是球形且在此描述频繁地描述为是球 形的， 但这仅仅作为示例。 应理解。
21、， 在此解释的原理和交互可一般地应用于弯曲显示器102。 0032 用户交互 108 可以包括例如许多不同的类型的触摸。触摸可以在大小、 持续时间、 位置、 移动、 其组合等等方面不同。用户交互 108 还可以包括姿势、 姿态、 其组合等等。可以 定义和 / 或组合这些用户交互 108 以便实现不同的 UI 方法 110， 例如 UI 技术和机制。在此 描述利用弯曲显示器的性质和/或适应弯曲显示器的特殊特性的不同的UI方法110。 下面 描述这样的性质和特性。 0033 非平面交互式显示器具有不同于它们的平面对应物的若干性质。 不同的交互概念 因此可以应用于弯曲显示器。具体地， 弯曲显示器具有。
22、以下三个示例固有困难。第一， 显示 器表面不是传统的欧几里德空间， 且不容易映射到平面空间。使得难以进行传统的平面交 互， 例如 2D 平移。下面具体参考图 2 在此更详细地描述该第一困难。第二， 视觉元件在表 面周围的移动可导致已位移元件的潜在可能的笨拙定向， 包括关于可围绕弯曲显示器的多 个合作者的视点。第三， 用户会被限于最多看到一个半球体， 因为位于另一侧 ( 例如， 相反 的半球体 ) 的数据或其他对象由于显示器的弯曲而对当前用户而言是不可见的。 0034 弯曲显示器固有地拥有许多其他不同的特性。例如， 它们不具有自然的 “主用户” 位置。可以替代地向每一用户提供均等的用户体验。而且。
23、， 对每一用户可见的内容随他们 的高度和位置而改变。 此外， 当用户改变他们的高度和位置时， 球形显示器可以看上去在垂 直表面和水平表面之间平滑地转换。 0035 当用户围绕弯曲显示器移动时， 它看上去是无界的， 尽管它实际上是有限的。 并且 还明显不存在自然定向地标。然而， 在实践中， 顶部 ( 或球形显示器的 “北极” ) 可以被认为 是弯曲显示器的最自然的地标。另外， 因为用户通常被限于看到最多弯曲显示器的一半所 以弯曲显示器的其他区域提供了伪隐私换句话说， 一个用户在一个半球体中所看到的与正 在观看相反半球体的其他用户的视线被相对地阻隔开来。 0036 在以下图 2 的描述介绍用于弯曲。
24、显示器的促进在弯曲显示器周围的交互和协作 的一组多触摸交互机制 ( 或特征 ) 和技术。下面具体参考图 5 的单元在此描述了四个示例 说 明 书 CN 103955308 A 6 4/12 页 7 实施例。这四个示例实施例分别具体参考图 6A 图 /6B、 图 7A/ 图 7B、 图 8A/ 图 8B 和图 9A/ 图 9B 更详细地描述。 0037 图 2 描绘了用可通过触摸来操纵的显示器实现拖曳操作的简单方法 200。正如所 图解的那样， 方法200包括部位106、 两个点1和2、 以及向量在触摸显示器时， 部位106 从点1移至点2。 此移动定义向量向量具有沿着两个或三个正交分量的组合维。
25、度。 它 还可以被认为是具有方向分量和幅度分量两者。 向量可以被用于在欧几里德空间中 例如在平面显示器上平移对象。 0038 另一方面， 使得用户能在球形显示器周围拖曳对象不像最初看上去的那样简单。 一种困难在于， 球形表面的弯曲几何形状与平面空间彻底不同。在欧几里德空间 ( 标准 2D 和3D环境属于此类别)中， 移动可以由将移动的方向和幅度封装在特定线中的位移向量 来表示。然而， 球形表面不是欧几里德空间。在球体上不存在直线， 因为所谓的 “线” 实际 上是更准确地由弧来表示的曲线。尽管在一些情况中， 欧几里德几何可能提供合理的局部 近似， 但是用向量表示球体上的位移最终导致有问题的行为。。
26、 0039 因而， 弯曲显示器需要造成 UI 困难的许多性质。这些性质包括具有非欧几里德空 间以及具有可以与给定用户的视野阻隔开来的区域。此外， 弯曲显示器可以具有在用户不 在显示器周围移动到不同位置的情况下用户不能达到的区域。 0040 为了至少改善或以其他方式解决这些所描述的弯曲显示器的困难、 特性和 / 或性 质中的一个或多个， 某些示例实施例要求实现定制到弯曲显示器的 UI 方法。例如， 交互技 术和用户界面机制可以促进在弯曲表面上所显示的对象的多触摸操纵。 这些方法可使得能 通过利用弯曲表面的不同特性来在多个用户之间进行更容易的协作。 0041 示例 UI 方法涉及环状召唤姿势。在示。
27、例实现中， 经由在弯曲显示器的顶部上特定 需用双手的手势调用模式切换或菜单。该姿态是相对容易记忆的， 但是相对难以不经意地 调用。另一示例 UI 方法涉及促进沿着弯曲表面拖曳对象。在示例实现中， 旋转定向的移动 而非平移定向的位移向量被用作拖曳的基本单元。 0042 又另一种示例 UI 方法涉及发送到暗侧的交互。在示例实现中， 用户可以将对象 “瞬间” 扭转 / 移动到弯曲显示器的相反侧。又另一种示例 UI 方法涉及阴影对象表示和操 纵。在示例实现中， 使用户能在更靠近用户的半球上使用他们的代理表示来有效地 “看到” 和操纵弯曲显示器的另一侧上的对象(例如， 至少以其他方式部分地可见的对象)。。
28、 举例来 说， 代理表示可以是实际对象的阴影或轮廓表示。 0043 图 3 是具有弯曲显示器 102 并具有响应于经由交互单元 302 的触摸输入实现交互 的能力的示例设备 300 的框图。正如所例示的那样， 设备 300 包括弯曲显示器 102、 显示组 件 304 和处理单元 310。显示组件 304 包括投影组件 306 和检测组件 308。处理单元 310 包括投影单元 312、 检测单元 314 和交互单元 302。部位 106 被示为接近弯曲显示器 102。 0044 在各示例实施例中， 弯曲显示器 102 可以是具有内部和外部的任何类型的弯曲显 示器。 弯曲显示器102可以具有用。
29、于显示由投影组件306投影到其上的图像的漫反射表面。 弯曲显示器 102 的示例包括但不限于球体、 圆柱体、 半球体、 立方体、 其组合等等。在各示例 实现中， 弯曲显示器 102 至少部分地封闭空间。它还可以完全地封闭空间， 例如通过完整球 体或立方体或 “实心的” 圆柱体。替代地， 它可以部分地封闭空间， 例如通过开放的半球体 或带有开放平面末端的圆柱体。还可以实现其他替换物。 说 明 书 CN 103955308 A 7 5/12 页 8 0045 在示例实施例中， 显示组件304至少是设备300的主要硬件组件。 投影组件306使 得能将图像 ( 例如， 从弯曲显示器的内部 ) 投影到弯。
30、曲显示器 102 上。举例来说， 它可以被 实现为关于可见光谱中的光的投影仪和广角镜头。检测组件 308 使得能检测至少一个部位 106 在弯曲显示器 102 上的一个或多个触摸接触。作为示例而非限制， ( 诸 ) 部位 106 可以 是手指、 多根手指、 手、 多只手、 一个或多个手掌、 其某种组合等等。部位 106 可以源自同一 个人或不同的人。 0046 检测组件308适于检测部位106在何时以及在何处触摸/接触弯曲显示器102。 举 例来说， 检测组件 308 可以被实现为一组红外 (IR) 调谐发光二极管 (LED)， 该组红外 (IR) 调谐发光二极管 (LED) 沿着检测 IR 。
31、光何时从弯曲显示器 102 反射回来的 IR 检测器发射到 弯曲显示器 102 中和 / 或向其发射。IR 光可以通过例如部位 106 的触摸从弯曲显示器 102 被反射回到检测组件 308。检测组件 308 适于检测部位 106 在弯曲显示器 102 上的单次触 摸或多次触摸的一个位置或多个位置。此外， 检测组件 308 可以检测部位 106 的触摸的大 小 ( 例如， 手指还是手掌 )。这些检测可以被提供给处理单元 310 的检测单元 314 以进行分 析， 以便促进经由触摸弯曲显示器 102 与设备 300 进行交互。 0047 处理单元 310 可以被实现为例如带有一个或多个处理器和至。
32、少一个存储器。在示 例操作中， 检测单元314将检测到的触摸接触的位置和/或大小提供给交互单元302。 交互 单元 302 将使得能经由弯曲显示器 102 与设备 300 进行 UI 交互。在一示例实施例中， 检测 单元 314 通过检测触摸输入的大小并将检测到的触摸输入的大小与预定大小阈值进行比 较来检测在弯曲显示器 102 处发生的是手指大小还是手掌大小的触摸输入。然后， 交互单 元 302 可以基于检测到的触摸输入是手指大小还是手掌大小来实现 UI 特征。 0048 交互单元 302 将用于操纵 UI 元件和其他显示项目的显示命令发送给投影单元 312。投影单元 312 可以控制什么图像。
33、被投影组件 306 投影到弯曲显示器 102 上。作为示 例， 交互单元 302 可以实现在此进一步描述的实施例中的一个或多个。这些实施例 (i) 一 般地参考图 4 作为示例流程图且 (ii) 更具体地参考图 5 来描述。更详细地参考图 6A- 图 9B 描述各示例实施例。 0049 图 4 是图解用于与弯曲显示器进行触摸交互的方法的示例的流程图 400。流程图 400 包括四个框 402-208。流程图 400 的实现可以被实现为例如处理器可执行指令和 / 或 ( 图 3 的 ) 处理单元 310 的部分， 至少部分地包括投影单元 312、 检测单元 314 和 / 或交互 单元 302。。
34、下面参考图 1 和图 3 的元件描述用于实现流程图 400 的示例实施例。 0050 可以在许多不同的环境中以及使用各种不同的设备， 例如通过 ( 例如， 图 10 的 ) 一个或多个处理设备， 来执行在此描述的流程图 400 的动作 ( 以及其他流程图的那些动 作)。 描述方法的次序不旨在被解释成限制， 而是任何数量的所描述的框可以被组合、 扩充、 重排和 / 或省去， 以便实现相应的方法或与其等价的替代方法。尽管在流程图的描述中引 用了某些其他附图的特定元件， 但其方法可以使用替换性元件来执行。 0051 对于各示例实施例， 在框402， 监视弯曲显示器的触摸输入。 例如， 可以由检测组件。
35、 308 和 / 或检测单元 314 监视弯曲显示器 102 的触摸输入。在框 404， 判断是否检测到触摸 输入。例如， 检测单元 314 可以监视弯曲显示器 102 以检测一个或多个部位 106 的触摸输 入。如果没有检测到触摸， 那么， 监视继续进行 ( 在框 402)。 0052 另一方面， 如果检测到触摸输入 ( 在框 404)， 那么， 在框 406， 确定触摸输入的一 说 明 书 CN 103955308 A 8 6/12 页 9 个或多个位置。例如， 可以确定 ( 诸 ) 部位 106 在弯曲显示器 102 上的 ( 诸 ) 触摸输入的 ( 诸 ) 位置。这些确定可以要求探知触。
36、摸输入的大小 ( 例如， 手指还是手掌 )、 探知弯曲显 示器上的触摸输入的数量(例如， 手指、 手掌、 人等等的数量)、 跟踪触摸输入的(诸)移动、 监视触摸输入的持续时间、 其某种组合等等。 0053 在框408， 响应于触摸输入的一个或多个位置而实现至少一个UI特征。 例如， 可以 由交互单元 302 响应于所确定的触摸输入的 ( 诸 ) 位置来实现至少一个 UI 方法 ( 例如， 机 制和 / 或技术 )。 0054 下面具体参考图 5 在此一般地描述示例 UI 方法。更具体地参考图 6A- 图 9B 描述 附加示例实施例。示例 UI 方法包括涉及移动所显示的对象的那些方法、 涉及检测。
37、手掌大小 的触摸 ( 例如， 有别于手指大小的触摸 ) 以及相应的响应的那些方法、 其组合等等。 0055 图 5 是 ( 图 3 的 ) 交互单元 302 的示例单元 502-508 的框图。如图所示， 交互单 元 302 包括环状召唤姿势单元 502、 基于旋转的拖曳单元 504、 发送到暗侧的交互单元 506 以及通过代理表示进行对象表示和操纵单元 508。这些单元中的每一个都能实现至少一个 UI 特征。 0056 可以将交互单元 302 的这些单元 502-508 组织成类别。例如， 基于旋转的拖曳单 元504和通过代理表示进行对象表示和操纵单元508可以被分类为涉及所显示的对象围绕 。
38、弯曲显示器的移动。而且， 环状召唤姿势单元 502 和发送到暗侧的交互单元 506 可以被分 类为涉及通过适当的 UI 响应检测手掌大小的触摸。 0057 应注意， 替代性分类可以被应用到各种所描述的实施例。此外， 应理解， 不同的实 施例可以被置于不同的类别或多个类别。例如， 发送到暗侧的交互单元 506 还可以被分类 为涉及所显示的对象围绕弯曲显示器的移动。 0058 在关于环状召唤姿势单元 502 的一个示例实施例中， 两个手掌触摸弯曲显示器调 用了 UI 特征。当检测到两个手掌大小的触摸 ( 例如， 关于以北极为中心的触摸 ) 达预确时 间段时， 由环状召唤姿势单元 502 实现 UI。
39、 特征。UI 特征可以是菜单呈现、 模式切换等等。 菜单可以圆形、 半圆形等等。下面具体参考图 6A 和图 6B 在此进一步描述用于环状召唤姿 势单元 502 的示例机制和技术。 0059 在关于基于旋转的拖曳单元 504 的一个示例实施例中， 至少部分地使用旋转来完 成对象在弯曲显示器 102 上的移动。所显示的对象的移动表现为绕着弯曲显示器的中心的 旋转 ( 例如， 绕着球体的中心 )。举例来说， 可以确定轴， 且绕着轴的角度可以定义所显示 的对象的移动。基于旋转的拖曳单元 504 还可被用于连同其他实施例一起促进对象移动。 下面具体参考图 7A 和图 7B 在此进一步描述用于基于旋转的拖。
40、曳单元 504 的示例机制和技 术。 0060 在关于发送到暗侧的交互单元 506 的一个示例实施例中， 对象可以被发送到弯曲 显示器的相反侧。在示例操作中， 对对象的发送由手掌触摸对象来发起。发送到暗侧的交 互单元 506 响应于持续预定义时间阈值 ( 例如， 大致一秒 ) 的手掌大小的触摸 ( 例如， 满足 预定义大小阈值的触摸 ) 来执行发送。所触摸的对象被 “扭转” 大约 180 度到弯曲显示器 的相反侧。在一种实现中， 当对象被扭转到相反侧时， 对象的纬度 ( 依照球形类型的弯曲显 示器 ) 保持相同。换句话说， 可以认为对象的高度保持相同。在替代的实现中， 通过弯曲显 示器的 “中。
41、心” 来扭转对象， 以使得对象的 “高度” 还因扭转而改变。下面具体参考图 8A 和 说 明 书 CN 103955308 A 9 7/12 页 10 图 8B 在此进一步描述用于发送到暗侧的交互单元 506 的示例机制和技术。 0061 在关于通过代理表示进行对象表示和操纵单元 508 的一个示例实施例中， 可以使 用代理表示将在弯曲显示器的暗侧上显示的对象再现到更靠近用户的一侧。 代理表示可以 被用于使用通过代理表示进行对象表示和操纵单元 508 来操纵 ( 例如， 确定大小、 移动等 等 ) 另一侧上的实际对象。相对应的对象及其代理表示的位置可从一侧被交换到另一侧 ( 例如， 使用发送到。
42、暗侧的交互单元 506)。对象和它们各自的代理表示可以被个别地交换 或者成组地交换， 包括交换当前存在的每一代理表示。下面具体参考图 9A 和图 9B 在此进 一步描述用于通过代理表示进行对象表示和操纵单元 508 的示例机制和技术。 0062 环状召唤姿势单元 0063 在交互系统中常常提供用于在任务之间切换以及选择不同的选项的能力。 环状召 唤姿势技术可以提供此能力。 在示例实现中， 圆形菜单被调用， 且允许用户在多个应用程序 之间进行选择。菜单可以按围绕 ( 例如， 球形 ) 显示器的顶部的圆形布置的形式来显示。 因此其对大多数用户是可见的。 然而， 当用户的位置已知时， 菜单可以被置于。
43、面向用户的半 圆。对选项的选择可以通过触摸选项来执行。替代地， 可以通过原地旋转菜单来实现选择。 一旦移除触摸接触， 就选择突出显示的选项。通过将环状召唤与通过旋转的选择组合起来 ( 而不是直接触摸 )， 可以在一次连续交互中执行任务切换 ( 例如， 放置手以便调用选项的 菜单， 将所需选项旋转就位， 并且抬起以便选择选项 )。 0064 图6A图解用于环状召唤姿势单元的示例机制600A。 如图所示， 环状召唤姿势机制 600A 包括部分 (a)( 附图的上半部 ) 处的示例环状召唤姿势的 3D 表示以及部分 (b)( 附图 的下半部 ) 处的示例菜单 602。对于部分 (a)， 带有两个部位。
44、 106a 和 106b 的用户与弯曲显 示器 102 交互。环状召唤姿势调用模式切换、 菜单等等。正如具体地示出的那样， 圆形菜单 602 被调用。 0065 对于示例实施例， 用于此姿势的姿态可以唤起与占卜魔法水晶球进行交互的感 觉。它涉及与例如球体的顶部等预定点相距大致相等的距离放置两只手 ( 例如， 以张开手 掌的姿态)。 姿态被设计为促进弯曲显示器上的模式切换或菜单调用。 对于所例示的示例， 圆形菜单 602 淡入， 伴随有增强体验的声效。 0066 在好玩并且像魔法的同时， 此双手姿态姿势也是非常难忘的、 容易重复且相对难 以不经意地调用。因而， 手掌大小的接触基本上大于大多数其他。
45、触摸接触。因而， 两个接触 的大小以及此姿态的特定对称安排共同地保证手势不容易被错误地触发。 0067 可以调用不同的菜单 602。然而， 所例示的菜单 602 是圆形的。它可以包括任何数 量的不同的菜单选项。在图例 604 中示出六个示例菜单选项 A-F。它们包括导航、 照片、 视 频、 游戏、 环球和表示替换性选项的 “其他” 类别。其他替换性选项包括但不限于全向数据 查看器、 画图应用程序、 浏览器等等。在菜单 602 中可以由图标或文本或两者表示各选项。 每一选项的文本可以面向用户， 可以以圆的形式排列， 等等。 0068 图6B是图解用于环状召唤姿势技术的方法的示例的流程图600B。。
46、 流程图600B包 括五个框 652-660。对于示例实施例， 在框 652， 检查弯曲显示器的表面上是否存在多个触 摸接触。 如果是， 那么， 在框654， 检查这多个触摸接触是否包括大到足以满足预定义大小阀 值的至少两个触摸。举例来说， 这可以将手掌触摸与 “纯粹的” 手指触摸区分开来。 0069 如果是， 那么， 在框 656， 检查两个大的触摸接触 ( 满足预定义大小阈值的那些触 说 明 书 CN 103955308 A 10 8/12 页 11 摸接触 ) 的位置是否关于弯曲表面上的固定点基本对称。举例来说， 固定点可以是球形或 半球形弯曲显示器的顶部。此基本对称检查可以使用许多不同。
47、的方法中的任一种来执行。 然而， 作为示例， 描述涉及角度阈值和半径阈值的方法。为了实现角度阈值， 可以将两个接 触约束为关于固定点而言仅仅是不离开 180 度内的 “X” 度。为实现半径阈值， 可以将两个 接触点约束为落在离开固定点的阈值距离值之内。 0070 如果两个大的接触的位置关于弯曲表面上的固定点基本对称(正如在框656所检 查的 )， 那么， 在框 658， 执行对模式切换或菜单呈现的调用。换句话说， 如果每一检查动作 产生肯定的结果， 则可以执行对模式切换、 菜单呈现或其他交互特征的调用。 菜单可以与所 例示的圆形任务切换菜单 ( 例如， 图 6A 的菜单 602) 相同或相似。。
48、模式切换可以在菜单选 项中循环或以其他方式切换到不同操作模式、 交互等等。如果在框 652、 框 654 或框 656 的 检查中的任一个是否定的， 那么， 在框660， 继续UI处理。 所继续的UI处理可以对应于在此 描述的任何技术或其他 UI 相关的处理。 0071 基于旋转的拖曳单元 0072 如上面具体参考图 2 在此描述的， 弯曲表面不是欧几里德空间。因此， 利用传统的 2D 或 3D 线性定向的向量来实现对象平移在弯曲显示器导致有问题的行为 ( 例如， 畸变 )。 为避免这些有问题的行为， 可以利用弧定向的旋转来实现弯曲显示器上的对象移动。可以 使用例如四元数、 欧拉角、 绕轴的弧。
49、长、 其组合等等来实现旋转。 0073 图7A图解用于基于旋转的拖曳单元的示例机制700A。 如图所示的， 基于旋转的拖 曳机制 700A 包括弯曲显示器 102、 部位 106 和四元数 702。部位 106 与弯曲显示器 102 触 摸接触。部位 106 被从点 1 移动到点 2， 这定义了弯曲显示器 102 上的弧。尽管在图 7A 中 参考四元数 702 例示了旋转定向的移动， 但这仅仅作为示例。可以以替代的方式来实现旋 转。 0074 在一个示例实施例中， 所定义的弧被解释为旋转或被映射到旋转。 因而， 替代将线 性向量用于平移位移， 弯曲显示器上的移动由旋转 ( 例如， 四元数、 欧拉角、 绕轴的弧长等 等 ) 来表示。此基于旋转的表示可以影响弯曲表面上的许多交互。例如， 在 2D 和 3D 环境 中使用的传统的平移 + 旋转 + 缩放操纵模型被转换成弯曲表面上 ( 例如， 球形显示器上 ) 的复合旋转 + 缩放操纵模型。旋转常常是复合动作， 因为对象可。