用于控制软件应用的用户界面技术领域
本发明涉及用于控制软件应用的用户界面。本发明具有众多可能的用途，
尤其适用于媒体制作领域，包括音频、视频、电影和多媒体制作。其特别适合
的制作任务诸如有编辑、合成、效果处理、格式转换、输送用于对这些媒体的
内容进行数字化处理的数据，但是其并不限于这些用途。
背景技术
计算机如今可快速地提供彩色图形和设计精美的图形用户界面，该图形用
户界面主要通过鼠标、键盘或其他周边设备来驱动。然而，鼠标界面虽然容易
学，其速度却最终受到有关具体命令所需的手眼运动量的限制。其很适合偶尔
或临时的使用，但是对于专业的使用，其很容易被专门的硬件界面胜出，在所
述硬件界面上，使用者的手学习动作顺序，以将意识思维腾出来集中到当前任
务的内容上。真正的“盲打”操作的实现只能通过将功能布置于使用者的手的
接触范围内。例如，音乐家在不看键盘或指板时通常演奏得更好。
触摸屏能够根据内容改变功能和外观，这已经成了非常成功的模式，尤其
是在智能手机和销售点应用上。然而，触摸屏不能单独适用于复杂的高产量场
合。例如在复杂的视听制作环境中，当操作者需要专注于视频片段、配音或诸
如控制杆、增益调节器、或旋钮的其他控制元件时，结合了身体“感觉”的界
面可增强工作速度。触摸屏缺少触觉反应，从而没有物理反馈。
尽管固定键控制器上的按钮可提供即时的触觉反应，但是在需要大量的功
能情况下，所得到的控制器的占地范围却难以实现。一组键盘快捷键和/或编辑
器(临时改变一些键的功能)可被结合至固定键控制器，以增加更多的功能至
更小的占地范围，但是通常操作人员只能学会小部分快捷键，因为他们的可用
学习时间是有限的。
因此，随着功能的增加，尤其在复杂的高产量场合，仍然需要提供改进的
用于控制软件应用的用户界面。
本发明的目的在于充分地克服或者至少改善现有技术的一个或多个缺点。
发明内容
在一个方面，本发明提供一种装置，该装置被构造为用于控制软件应用的
用户界面，该装置包括：
显示屏；
触控元件阵列；
遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，
其中一个显示区域用于显示至少一个触控元件的当前功能(function)；和
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个
软件应用的功能，其中，用户发起事件包括启动触控元件来执行显示在显示区
域上的触控元件的当前功能，
其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用
的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能
布局。
在另一个方面，本发明提供一种装置，其被构造为用户界面，该装置包括：
显示屏；
触控元件阵列；
至少一个布局控制元件
遮盖元件，其被构造成遮隐显示屏的至少一部分并露出至少一个显示区域，
其中至少一个显示区域用于显示至少一个触控元件的当前功能；和
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个
软件应用的功能，其中，用户发起事件包括启动触控元件来执行显示在显示区
域上的触控元件的当前功能，
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息
被显示在至少一个显示区域中，包括显示对应于一个或多个触控元件的当前功
能的信息；
其中，图形用户界面应用被配置成使得用户能够分配一个或多个软件应用
的功能给用户发起事件并安排分配给该装置的一个或多个触控元件的预定功能
布局，并且布局控制元件的激活在分配给一个或多个触控元件的多个预定功能
布局之间变化。
在又一个方面，本发明提供了一种用于控制软件应用的用户界面系统，该
系统包括：
图形用户界面应用，其被配置为使用户能将一个或多个软件应用的功能分
配给用户发起事件；
编译器，其响应用户发起事件来执行分配给该用户发起事件的一个或多个
软件应用的功能；
其中，所述用户发起事件包括触控元件的启动、速度指令、二维动作、三
维动作中的一个或多个。
在又一个方面，本发明提供了一种用于控制软件应用的用户界面系统，该
系统包括：
显示屏；
至少一个布局控制元件；和
图形用户界面应用，其被配置为使用户能将一个或多个软件应用的功能分
配至用户发起事件；
编译器，其响应用户发起事件执行分配给该用户发起事件的一个或多个软
件应用的功能；
编译器，其可对用户激活布局控制元件进行响应，并且被构造为使得信息
被显示在显示屏中，包括显示对应于一个或多个用户发起事件的当前功能的信
息；
其中，所述用户发起事件包括启动触控元件、速度指令、二维动作、三维
动作中的一个或多个，并且布局控制元件的激活在分配给一个或多个用户发起
事件的多个预定功能布局之间变化。
在任何一个以下方面的配置中，触控元件可以是包括透明盖的开关。显示
区域可通过所述透明盖看见以显示该开关的当前功能。传像管可被布置在所述
显示器和所述透明盖之间。所述传像管包括在一端与所述显示区域固定接触的
多根平行光纤。
触控元件可以是旋钮。该旋钮被配置为操纵显示在显示区域上的信息。优
选地，所述遮盖元件包括保护性产品表面。
所述图形用户界面应用被配置为允许对被分配至所述用户发起事件的一个
或多个软件应用的功能进行拖放编辑，包括分配给装置的一个或多个触控元件
的功能布局。
附图说明
现将参照附图描述本发明的优选实施例，其中：
图1涉及根据本发明的实施例的用户界面的高级别操作；
图2是示出了根据本发明的实施例的多个功能布局背后的概念的简化流程
图；
图3a-3c示出了适合使用于本发明的实施例的硬件控制表面的实例；
图4是图形用户界面应用的截屏，该应用被配置为使得用户能够安排被分
配至根据本发明的实施例的装置的一个或多个触控元件的预定功能布局。
图5是适合使用于本发明的实施例的例示性编译器；
图6是传像管的示意图，该传像管包括在一端与显示区域固定接触的多条
平行光纤；
图7是包括透明盖的开关机构的简图；
图8是控制器的局部视图，其示出了在下部按键上的编辑模式、英文键盘、
日文键盘的三个布局。
具体实施方式
本发明的实施例可实现对运行于个人计算机、Mac或Linux操作系统上的
软件应用的控制和通过内置的协议和命令集(包括RS-422,MIDI,ASCII,
Ethernet,HU1等)进行通信。该方案可以是可识别应用的，因此能够几乎即时
地在不同的软件应用之间变换焦点，或者在尚未激活时启动它们。该方案还可
是可识别语言的，使得其能够选择适于使用运行该软件应用的硬件的当前语言
来工作的合适图形符号和布局。
在优选的实施例中，软件脚本与硬件界面的强力组合可实现与软件应用的
复杂的相互作用，并精确地将所得到的变化返回至硬件显示器。
参照图1，其中示出了根据本发明的实施例的用户界面的高级别操作；
1：事件(由用户发起)
使用者的触觉操作，比如转动旋钮、开启开关、移动调节器。
使用者对着麦克风的语言命令，例如在混合多轨道音频时，使用者可以发
出诸如以下言语命令：
-“播放”(从当前位置播放)
-“再次播放”(从上一个开始位置再次播放)
-“停止”
-“播放全部”(重头播放音轨)
-“调出人声”(使具有人声的频道成为焦点)。
二维动作，例如，三个手指从右到左划过触摸屏进行删除。
三维动作，例如：
-伸手抓握(握拳，接入三维动作控制)
-朝三维方向移动手以操纵虚拟对象
-转动、翘起、摆动手以进行高级操纵
-伸手张开(打开拳头，断开三维动作控制)
2：事件分析
基于前面的例子，开启或关闭开关、旋钮转动速度和/或量、触碰调节器；
字典引擎，用于分析语音命令。参见例如微软语音应用程序编程接口(SAPI)
5.4((http://msdn.microsoft.com/en-us/library/ee125663(v＝vs.85).aspx，最近登陆
时间为2014年5月21日)，或者DragonNaturallySpeaking软件开发套件(SDK)
(http://www.nuance.com/for-developers/dragon/dex.htm,最近登陆时间为2014年
5月21日)。
动作引擎，用于分析二维和/或三维的动作。参见例如SkeletalSDK
(https://developer.leapmotion.com/，最近登录时间为2014年5月21日)。
3：编译器
施用逻辑，根据事件参数并取决于该应用中的主要条件来确定动作顺序。
该逻辑通过使用脚本语言或类似方式实施的算法来施用。
4：动作
动作通过连接至脚本语言的应用程序编程接口(API)被传送至软件应用。
5：信息
软件应用通过API将参数变化传送至编译器。
6：编译器
施用逻辑，以确定信息将如何显示在物理界面上。该逻辑通过使用脚本语
言或类似方式实施的算法来施用。
7：提示(tally)
例如，开灯、调节器移动、屏幕更新、开关标签变化、文本至语音(TTS)
以可听见的方式通过扬声器传送反馈。
如上所示的高级别交互要求产品数据库信息同时在推送和拉动的模式下进
行通信。在一个或两个模式不受支持的一些情况下，本发明的方案具有选项，
以能使用任何设置来完成最大的可能。
如果，例如，信息没有从应用被推回，应用的参数设置的数据库可与该应
用无关地被保持，并基于已知的开始位置和其所产生的变化被更新。如果根据
本发明的用户界面是应用的唯一控制器，这将很有效。在这种情况下，上述示
例中的步骤1-3、6-7可被执行。
本发明可在甚至更低的级别下操作，此时的应用界面并不很完善。
例如，产品可使用一组键盘快捷键来增加工作速度。通常，操作人员只学
会了小部分快捷键，因为他们的可用学习时间有限。在该情况下，可以没有提
示，因为键盘快捷键界面是单向的。在该情况下，只有上述示例中的步骤1-3
将被执行。
参见图2，其示出了一个简化的流程图，该流程图示出了在根据本发明的实
施例的多个功能布局背后的思想。在本发明的实施例中，被配置为用户界面的
装置始于硬件控制表面(包含于图2所使用的术语控制器的含义内)。图3a-3c
示出了适合使用于本发明的实施例的硬件控制表面的示例。
硬件控制表面(或控制器)可包括多个资源，包括触控元件。所述资源的
例示类型包括：
-图形键(见下文)；
-指示键；
-触感编码器；
-飞梭(Jogger)；
-监测器(Meter)；
-均衡曲线；
-旋钮；
控制器可以是任何其他合适的硬件，包括用于接收用户发起事件的资源。
例如，控制器可包括用于接收二维动作的触摸屏和/或用于接收语音命令的麦克
风。
连接(bindings)形成于所述资源之间，而功能通过脚本语言来限定并被称
作编译器。
连接是用户发起事件(被资源接收)与编译器之间的关联。而且，连接可
包括呈数字常量或文本常量形式的元数据。例如，用于产生QWERTY中的Q
功能的连接可包含如下：
-关于通用键盘编译器的连接；
-显示在键上的位图名称：q.BMP；
-将被发送至系统的ASCII(美国信息交换标准码)码：122。
编译器在用户发起事件(例如开关或语音命令的启动)和应用(例如GVG's
Apple'sFinalCutorAvid's)之间转换。其可以是
符合某些规则的一条‘C’代码。其可在运行时由TinyC编译程序进行编译，从而
帮助将思想和概念非常快速地转换成现实世界的标准和实验。TinyC只是编写
机制‘C’的一个例子，其通过具体的编译器TinyC来例示。其同样地可以例如是
诸如Basic语言，其通过微软公司的VisualBasicforApplications(VBA)来执行。
每个编译器实施两个主要功能：
-响应不同类型的激励(用户发起事件)而启动的事件处理器；
-在指定的功能可用的任何时候从编译器内部被启动的更新功能。
例示性的编译器是具有基于MMC反馈的基于HUI的播放键：
-事件处理器发送HUIMIDI信息至对应于键降低/升高(keydown/up)事
件的目标应用；
-更新功能从该应用接收MMCMIDI数据，并在传送模式开始或停止播放
的任何时候更新按键上的图像。
编译器响应其连接的用户发起事件而内在地被启动。此外，该编译器可指
定额外的触发器，例如一个或多个StudioModel参数、计时器、焦点变换器等。
编译器在其所连接的用户发起事件发生时内在地被激发。为方便转换，触发值
可以是释放、单按、双按、按住中的一个。
适用于本发明的实施例的工作编译器的示例复制于图5。
布局是限定用于一组特定的用户发起事件的多个相关的连接的文件。例如，
其可以是用于提供NU-PAD功能的布局。布局可例示为底部布局，或者是推出
或弹起在其他布局上方。
为有效地将众多功能布置到例如在物理上很小的硬件控制表面，本发明的
实施例支持多布局层叠。这样，多个布局可将多个连接推送到用于表面上的一
组资源的堆叠上。弹击布局可移除所述连接。每个资源保持其自身的连接堆叠，
但是也可加载可清除包含于该布局中的所有资源的堆叠的“底部布局”。
特别地，硬件控制表面可包括至少一个具体资源、一个呈例如开关形式的
布局控制元件。布局控制元件可呈现为任何用户发起事件的形式，但是优选为
触控元件。例如，当用户启动布局控制元件，分配给一组预定的触控元件(资
源)的功能布局发生改变。简单的例子可以是用户启动CALC键，暂时地推送
计算器布局至选定的键(触控元件)上。一旦用户完成了计算器功能，CALC
键再次被启动，并从键上“弹”开，显示出之前所具有的内容。布局组可以是
应用专用的或控制器专用的。
为了允许用户将全部或部分布局推送到控制器上，作为另一个示例，当一
个键为标示为“GoTo”时，用户启动该键，作为响应，数字按键显示出来。这
可使用下列例示的编译器脚本来完成：
voidPushLayout(constchar*layout)
相反地，也即，脚本之前推送的布局的去除可使用下列例示的编译器脚本
来完成：
voidPopLayout(constchar*layout)；
下面例示的编译器脚本可允许用户设置新的底部布局，也即，其可消除可
能已被堆叠在不同的例如硬件控制表面的控制上的任何连接。一个很好的例子
是将QWERTY布局设置为底部布局；这是起点，其他的布局然后可根据需要被
堆叠在它上面。
voidSetBaseLayout(constchar*layout)；
因此，运行时间技术可使用以下组件来构建:
-布局引擎-加载和管理布局的图形用户界面应用；
-TinyC–编辑编译器。(如上所述，TinyC只是编写机制‘C’的一个例子，
其通过具体的编译器TinyC来例示。其同样地可以例如是诸如Basic语言，其
通过微软公司的VisualBasicforApplications(VBA)来执行)
-装置连接-用于控制仪表板的网络连接；
-API-应用专用的界面，例如在DryIce情形下的Actions和StudioModel
界面。
参见图4，其中复制了图形用户界面应用的一个截屏，其被配置为使用户能
够安排被分配给根据本发明的实施例的装置的一个或多个触控元件的功能的预
定布局。该图形用户界面应用可允许对分配至该装置的一个或多个触控元件的
功能布局进行拖放编辑(drag-and-dropediting)。在图4中所提供的示例中，用
户被提供了被选定的硬件控制表面的图形展示以及所有可用编译器的列表。新
的连接可通过将编译器拖动到资源上而产生、在资源之间移动或复制，并且所
述元数据可被编辑。
图形用户界面应用可支持符合编译器定义的嵌入式标签，以能挑选和过滤
编译器列表。一种例示性的标签是TRANSPORT，其允许形成一组所有与输送
有关的编译器。
在图形用户界面应用中可以具有多个标签：
-布局管理器：其用于管理通常构成一个用户界面的多个布局；
-布局编辑器：其允许对布局进行拖放编辑；
-编译器管理器：允许对与编译器和宏命令相关的标签和解释文本进行编
辑。
图形用户界面还可支持宏命令。存在一族使用相同代码的编译器，其中图
形用户界面应用包含被编译器加载和使用的元数据。该元数据可以是文本(达
到例如六(6)个域)或数字(达到例如四(4)个域)。宏命令的一个例子可
以是ACTIONS。在该情况下，编译器调用其文本参数来自元数据的动作函数。
宏命令是将以下(结合实例)结合至整体的集合，其可以以与原始编译器
类似的方式来获得：
-显示名称(CR-MUTE)
-编译器编号(SimpleStudioModelToggle)
-文本常量('MUTE_ON.bmp","MUTE_OFF.bmp")
-数字常量(MT_CR_MON,0,MUTE)
布局和编译器的定制可包括不同程度的定制：
-用户级别：由用户现场改变；
-定制级别：由用户界面提供者维护的定制特征设置；
-出厂级别：无条件安装的用于用户界面的一组基础功能。
图形键技术
在优选实施例中，本发明结合了在国际专利申请WO2007134359中所描述
的触屏用户界面的元件，其通过引用被并入此文(分别被称作图形键和图形键
技术)。
图形键技术在广义上涉及形成围绕显示机构的壳体的键，其具有位于顶部
的透明窗口用于观察图像。通过这样的方式，显示区域可透过透明盖被观察到，
以显示开关的当前功能。传像管可被布置在显示器和透明盖之间。传像管可包
括在一端与显示区域固定接触的多条平行光纤。
图6是传像管的示意图，其包括在一端与显示区域固定接触的多条平行光
纤。所述光纤从下方的屏幕传输图像至该区域的顶部。如图6所示，字母A被
从屏幕表面传送上去。
图7示出了开关机构的简图，其包括透明盖。光纤通过位于金属板(遮蔽
元件)和印刷电路板(PCB)中的开口被安装，从而其总是与薄膜晶体管(TFT)
表面(显示屏幕)紧密接触。开关元件可使用硅按键垫机构来压下其传导元件
并使轨道桥接在印刷电路板上，从而产生开关事件。驱动简单的TFT屏幕因此
提供了用于丰富并且十分柔软的触控元件的基础。
键盘布局因此可以例如在应用内部被改变。例如，外语版本可被简化，因
为键图形可被任何需要的设置来取代。参见图8，其为控制器的局部图，示出了
在下部图形键的编辑器模式、英文键盘和日文键盘的三个布局。然而，在本发
明的实施例中，图形键可结合固定键和/或其他触控元件。
图形用户界面应用还允许用户嵌入他们自己的用于触控元件的标签，以能
使用例如内置助记符和术语、帮助用户解决视力问题、帮助企业推广、保留过
期产品的旧有图形、人为地干涉其贸易工具。动态图形也可被包括于触控元件
之内或附近，例如通过使用动画GIF文件作为图形，或者增加时间触发器至编
译器，并且动态地发出图形更新。
关键的功能可被布置于手指“触点”附近，例如边角、产生更多触点的开
关布局、将突脊用作home键。本发明的实施例因此减少了观看硬件控制表面的
需要，增强了可导致无意识操作和有效使用应用的肌肉记忆训练。
本发明的实施例还可包括能实现遥控的应用。例如，遥控应用可：
-运行于Windows7和/或MacOS-X和/或其他操作系统上，例如Linux；
和/或
-提供基本的键盘和鼠标接口功能；和/或
-具有能够通过动态链接库(DLL)扩展的接口功能；和/或
-自行启动和自行配置；
根据本发明的实施例所使用的编译器可标识有各种元数据，以增强系统的
实用性。例如，包括统一的方式以向用户显示帮助文本，其中编译器可加注帮
助文本，该帮助文本响应按键序列"Explainxxx"而显示给用户。来自所有相关的
编译器的所有帮助文本可组合成可检索数据库。在帮助文本中的特别标签可识
别出使得系统能够提供用户“找到该键”的数据。为了显示实际的帮助文本，
系统可在其词典中查找帮助文本，使用解释标签作为键。这样的词典可被转换
成多种语言。例如，在线翻译服务例如Google翻译可用来将帮助文本翻译成不
同的语言。
在实践中，用户界面可包含例如用于打开文件的特征。因此，对应于该功
能的编译器可被称作“打开文件”。编译器可包含具有含义“解释打开文件”
的解释标签。词典包含用于该键的英文解释文本：“Pressthiskeytoopenafile”
(按该键打开文件)。该词典还包含该文本的翻译，例如"trykpaadenneknapfor
ataabneenfil"(丹麦语)。
系统还可支持教学机制。教学课程可被分成多个主题。主题又可分为多个
子主题。例如：
主题：“如何存档”
子主题：“如何打开文件”
当用户进入教学模块，用户可看到所有主题的目录。用户可选择一个主题，
然后可看到相关子主题的目录。用户可选择子主题，系统然后指导用户逐步地
完成目标操作。对于每一个步骤，系统可展示解释文本，比如，“按下OpenFile
键打开文件”，系统同时激活该控制。所有的主题目和子主题均可通过词典来
管理，因此它们可以转换至其他的语言。
从前文对本发明的优选实施例的描述可以看出，本发明显然具有一个或多
个如下优点：
-可定制的用户界面可在一系列软件应用上进行操作；
-用户可将最常使用或最符合逻辑进行分组的功能(就其而言)布置在需
要的区域。
-针对具体的功能定制标签；
-提供大量与用户环境结合的功能，减少不相关选项的“干扰”；
-物理空间的有效使用。
虽然本发明的优选形式已特别参照有关媒体制作领域的应用进行了描述，
本领域技术人员清楚，可对上述优选实施例实施多种改变，或者本发明可以体
现为其他的形式并使用于其他的应用中。
在本说明书及后续的权利要求书中，除非文中具有不同的要求，术语“包
括”及其变型例如“包括了”和“包括有”将被理解为表示包括所指明的整体、
或步骤、或整体或步骤的组，但是并不排除任何其他的整体、或步骤、或整体
或步骤的组。
在本说明书中，对任何现有公开文献(或由此所得到的信息)或对任何已
知事项的引用不是也不应该被看成是承认、认可或以任何形式暗示该现有公开
文献(或由此得到的信息)构成本说明书相关领域的公知常识的一部分。