根据舌图像诊断疾病的方法.pdf

公开了一种通过检查个体的舌的图像来诊断疾病的方法。它包括形成舌和个体的面部的一部分的第一图像。形成所述舌和个体的面部的所述部分的第二图像。进行第二图像中个体的面部和第一图像中个体的面部的所述部分的颜色比较，并且基于颜色比较来使第二图像中的颜色匹配第一图像中的颜色，由此基于第一舌图像和第二舌图像中的变化来诊断至少一种疾病。还公开了一种集中式多模式医学舌图像检查系统，其包括用于执行舌记录构造的至少一个服务单元、用于舌记录检查的处理单元、以及服务单元和处理单元之间的通信链路。

权利要求书
1.  一种医学诊断舌图像检查系统，包括：
提供用于执行舌检查的多个服务单元；
在所述服务单元中的至少一个上形成至少一个舌的第一图像和第二图像；
创建由所述舌图像和元数据组成的舌记录；
将所述记录传送到处理单元；并且
在所述处理单元检查所述舌记录以提供所述诊断。

2.  权利要求1所述的系统，其中所述舌记录检查的结果被传送到所述服务单元中的所述至少一个。

3.  权利要求1所述的系统，其中所述舌记录被存储在所述至少一个服务单元或所述处理单元上。

4.  权利要求1所述的系统，其中在所述处理单元处由执业医生或计算机辅助诊断系统检查所述舌记录。

5.  权利要求1所述的系统，其中在第一时间拍摄所述舌的所述第一图像，在第二时间拍摄所述舌的第二图像，并且这两幅图像的比较被用于诊断目的。

6.  权利要求1所述的系统，其中所述舌图像与检索到的舌病历记录进行比较以用于诊断目的。

7.  一种通过检查个体的舌的图像来诊断疾病的方法，包括：
形成所述舌、色卡和所述个体的面部的一部分的第一图像；
形成所述舌和所述个体的面部的所述部分的第二图像；
执行所述第二图像中所述个体的面部的所述部分和所述第一图像中所述个体的面部的所述部分的颜色比较；
基于所述颜色比较，使所述第二图像中的颜色与所述第一图像中的颜色匹配；并且
基于所述第一舌图像和所述第二舌图像中的变化，诊断至少一种疾病。

8.  如权利要求7所述的方法，其中在所述颜色比较步骤之前在所述第一图像上执行颜色校准。

9.  权利要求7所述的方法，其中通过比较其他个体的舌的基准图像来帮助所述诊断。

10.  一种通过检查个体的舌的图像来诊断疾病的方法，包括：
形成所述舌和所述个体的面部的一部分的第一图像；
形成所述舌和所述个体的面部的所述部分的第二图像；
执行所述第二图像中所述个体的面部的所述部分和所述第一图像中所述个体的面部的所述部分的颜色比较；
基于所述颜色比较，使所述第二图像中的颜色与所述第一图像中的颜色匹配；并且
基于所述第一舌图像和所述第二舌图像中的变化，诊断至少一种疾病。

11.  权利要求10所述的方法，包括以下附加步骤：
形成所述舌、所述个体的面部的所述部分和色卡的第三图像；
在所述第三图像上执行颜色校准；
执行所述第三图像中所述个体的面部的所述部分和所述第一与第二图像中所述个体的面部的所述部分的颜色比较；并且
基于所述颜色比较，使所述第一与第二图像中的颜色与所述第三图像中的颜色匹配。

12.  权利要求10所述的方法，包括以下附加步骤：
将所述第一图像和所述第二图像传送到处理单元；并且
在所述处理单元处执行所述诊断步骤。

13.  一种集中式多模式医学舌图像检查系统，包括：
a)形成用于执行舌记录构造的至少一个服务单元；
b)形成用于舌记录检查的处理单元；以及
c)提供服务单元和处理单元之间的通信链路。

14.  权利要求13所述的方法，其中形成用于执行舌记录构造的至少一个服务单元的步骤包括：
d)采集患者舌的多模式图像；
e)构造用于诊断的患者的舌记录；并且
f)提供用于传送舌记录和接收指令的通信手段。

15.  权利要求13所述的方法，其中形成用于舌记录检查的处理单元的步骤包括以下步骤：
a)从图像存储设施中检索患者的舌病历记录；
b)与检索到的舌病历记录一起来检查采集到的舌图像；
c)更新患者的舌记录；
d)上载患者的更新后的舌记录；并且
e)提供用于接收舌记录和传送指令的通信手段。

16.  权利要求13所述的方法，其中形成用于舌记录检查的处理单元的步骤包括：
a)从图像存储设施中检索基准(其他患者)舌图像；
b)与检索到的基准舌图像一起来检查采集到的舌图像；
c)更新患者的舌记录；
d)上载患者的更新后的舌记录；并且
e)提供用于接收舌记录和传送指令的通信手段。

17.  权利要求13所述的方法，其中提供服务单元和处理单元之间的通信链路的步骤提供双向通信链路。

18.  权利要求14所述的方法，其中患者的舌图像的多模式采集的步骤包括：
a)利用色卡采集多个舌图像；
b)利用色卡采集所述多个舌图像中的一些；并且
c)在不利用色卡的情况下采集舌图像。

19.  权利要求14所述的方法，其中构造用于诊断的患者的舌记录的步骤包括：
a)构造检查数据包；并且
b)构造一般元数据。

20.  权利要求14所述的方法，其中提供用于传送舌记录和接收指令的通信手段的步骤包括：
a)提供无线通信链路；并且
b)提供对服务单元的远程访问。

21.  权利要求14所述的方法，其中与检索到的舌病历记录一起来检查采集到的舌图像的步骤包括：
a)将一致再现算法应用于采集到的和检索到的舌图像；并且
b)提供计算机用户接口以作为一种检查模式来人工诊断所采集到的舌图像。

22.  权利要求15所述的方法，其中与检索到的舌病历记录一起来检查采集到的舌图像的步骤包括：
a)将一致再现算法应用于采集到的和检索到的舌图像；
b)作为另一检查模式自动地分类所采集到的舌图像；并且
c)提供计算机用户接口以用于诊断所采集到的舌图像。

23.  权利要求16所述的方法，其中与检索到的基准舌图像一起来检查采集到的舌图像的步骤包括：
a)将一致再现算法应用于采集到的和检索到的舌病历图像；
b)比较再现后的采集图像和基准图像；并且
c)提供计算机用户接口以用于诊断所采集到的舌图像。

24.  权利要求16所述的方法，其中与检索到的基准舌图像一起来检查采集到的舌图像的步骤包括：
a)将一致再现算法应用于采集到的和检索到的舌病历图像；
b)自动地分类所采集到的舌图像；
c)比较分类后的图像和基准图像；并且
d)提供计算机用户接口以用于诊断所采集到的舌图像。

说明书根据舌图像诊断疾病的方法
技术领域
本发明一般而言涉及一种医学成像系统，特别涉及一种纵向舌图像检查系统。
背景技术
中医的基本原理之一是在身体的各部分之间具有对应性。在脉搏诊断中，可以在反映身体的上、中和下部分的经气状态的三个部分中感觉到桡动脉。在面部诊断中，面部被认为反映不同器官的状况。在舌诊断中适用相同的一般原理。舌的某些部分反映身体的其他部分或某些内脏的健康状况。舌诊断的美妙之处在于它的简单性和直接性：无论何时有充满矛盾的复杂病症，舌检查都可以立即阐明主要的病理过程(参见Giovanni Maciocia的“Tongue Diagnosis in Chinese Medicine”，EastlandPress，Seattle，1996)。
舌诊断是传统中医(TCM)中用于评价患者的当前健康状况和提供预后基础的极其重要的手段。它也向执业医生报告患者体格的潜在强壮或虚弱。
几千年来，舌诊断在传统中医的实践中扮演了不可缺少的角色。TCM执业医生依赖舌诊断来区分一种综合症和另一种综合症，并且使用舌的颜色、纹理、形状和覆盖物的变化来评价患者的状况。
在TCM的实践中，舌诊断通过视觉检查来完成。舌的视觉检查提供许多优点：它是无创诊断方法，简单且便宜。然而，TCM的当前实践主要是基于经验的或主观的。视觉检查的质量在各个执业医生之间有变化。而且，尽管有少数专家基于舌的检查成功地诊断癌症，但是他们的技能不可容易地转移给其他医学专业人员。他们的专门技能被限制为定性描述，而不是被限制为定量或数学表述。
此外，除了书写的主观描述之外，舌的传统视觉检查并不提供关于患者的舌外观(例如颜色、覆盖物和纹理)的可追踪翔实信息。
所以，需要创建一种舌诊断系统，其便于执行各种功能，例如舌图像采集、记录、检索、分析、检测、远程检查、远程访问等等。
根据优选实施例和所附权利要求的以下详细描述的回顾并且通过参考附图，将更清楚地理解和认识到本发明的这些和其他方面、目的、特征和优点。
发明内容
简而言之，根据本发明的一个方面，一种通过检查个体的舌的图像来诊断疾病的方法包括形成舌和个体的面部的一部分的第一图像。形成舌和个体的面部的所述部分的第二图像。执行第二图像中个体的面部和第一图像中个体的面部的所述部分的颜色比较。基于颜色比较来使第二图像中的颜色与第一图像中的颜色匹配。基于第一舌图像和第二舌图像的变化来诊断至少一种疾病。
在另一实施例中，一种用于集中式多模式医学舌图像检查系统的数字图像处理方法包括：形成用于执行舌记录构造的至少一个服务单元；形成用于舌记录检查的处理单元；并且提供服务单元和处理单元之间的通信链路。
附图说明
本专利或申请文件包含至少一幅用彩色制成的图。根据请求并在支付必要的费用之后，具有一幅(多幅)彩图的本专利或专利申请公布的拷贝将由美国专利商标局提供。
图1(现有技术)是舌图像采集设置的图示说明；
图2是本发明的舌记录原理的说明；
图3A是说明本发明的舌检查方法的信息流的流程图；
图3B是本发明的集中式舌图像检查系统的说明；
图4是可用于实践本发明的舌记录处理硬件系统的示意图；
图5是示出本发明的舌图像颜色校准的说明；
图6A和6B是与颜色分布有关的两幅图形的说明；
图7是说明双向通信系统的流程图；
图8是说明双向通信步骤的流程图；
图9是说明本发明的舌图像检查用户接口的图形；以及
图10是示出舌的说明。
具体实施方式
在下面的描述中将描述本发明的各个方面。为了解释，特定配置和细节被阐述以便提供对本发明的彻底理解。然而，本领域技术人员也将显而易见可以在没有这里给出的特定细节的情况下实践本发明。此外，为了不使本发明晦涩，可能省略或简化了公知特征。
在TCM中患者的示例性检查期间，患者被要求让内科医生检查患者的舌的物理性质。配备有成像设备的内科医生拍摄患者的舌的图像。所捕获的图像数据和在图像收集过程之前或之后可获得的一些上下文信息构成图2中所示的图像数据包206。上下文信息将被称为元数据。元数据类似于伴随许多数字图像文件的图像标题数据。
图像数据包206包括两个部分：由成像设备捕获的图像的像素数据208，以及图像特定元数据210。图像特定元数据210可以进一步被细分成图像特定收集数据212和推断的图像特定数据216。图像特定收集数据212包含这样的信息，例如图像索引号、图像捕获速度、图像捕获时间、图像曝光水平、以及采集模式(具有或没有孟塞尔色卡(ColorChecker)，参见下文)。推断的图像特定数据216包括图像内识别的异常的位置和描述、以及诊断出的任何病状。该数据可以从内科医生或者通过自动方法获得。
一般元数据204包含这样的信息，例如检查的日期、患者标识、涉及内科医生的姓名或标识、检查的目的、可疑的异常和/或检测、以及与图像数据包206有关的任何信息。它还可以包括一般图像信息，例如图像存储格式(例如TIFF或JPEG)、行数、以及每行的像素数目。
参考图2，图像数据包206和一般元数据204被组合以形成适合用于诊断的舌记录220。
将会理解并认识到，一般元数据或图像特定元数据的顺序和特定内容可以发生变化而不改变检查束(bundle)的功能。
现在参考图3A和3B将描述本发明的舌图像检查系统的实施例。图3A是说明本发明的舌图像检查方法的流程图。在图3B中，服务单元300由图像采集步骤302、记录形成步骤304和通信步骤305组成。在舌图像采集步骤302中捕获舌图像208，在舌记录形成的步骤304中，图像208与图像特定数据210组合以形成图像数据包206。图像数据包206进一步与一般元数据204组合并且被压缩以变成舌记录220。
服务单元300可以是包括硬件和软件的模块化结构，其物理地位于TMC执业医生诊室、家庭医生诊室、护理房、患者的家、远程诊所、医疗站、医院的检查室、或者能够容纳这样的模块化结构并且提供将在稍后论述的某种类型的数据通信链路330的任何位置。
本领域技术人员应当理解，服务单元300可以是图像捕获设备和独立的数据编辑设备的组合的任何形式。图像捕获设备可以是现成的消费类照相机、专业照相机、具有数据编辑能力的专门设计的照相机、或医学图像扫描器。独立的数据编辑设备可以是个人计算机、手持式计算机器、或连网的计算设施。图像捕获设备可以通过USB链路、以太网电缆、串行通信电缆、或并行通信电缆被物理地连接到独立的数据编辑设备。图像捕获设备还可以通过RF通信信道、红外线、或微波通信链路被无线地连接到独立的数据编辑设备。
本发明的舌图像采集方法在步骤302中利用多种图像采集模式。一种示例性模式是与嵌入到图像中的盂塞尔色卡(参见C.S.McCamy等人的“A Color Rendition Chart”，Journal of Applied PhotographicEngineering，Vol.2，No.3，pp.95-99，1976)一起采集舌图像。由于色卡的测试单元的色值是已知的，因此可以通过计算来校准舌图像的颜色(参见Yang Cai的“A Novel Imaging System for Tongue Inspection”，IEEE Instrumentation and Measurement Technology Conference，Anchorage，AK，USA，pp.21-23，May 2002)。
图像采集的第二种示例性模式是对于患者仅仅一次(优选第一次)与嵌入到图像中的孟塞尔色卡一起采集舌图像。对于相同患者可以在不使用孟塞尔色卡的情况下进行后续舌图像的采集。
图像采集的第三种示例性模式是在不使用孟塞尔色卡的情况下采集舌图像(可以通过使用对于特定患者群来说统计上令人满意的皮肤色值来进行校准)。
对于第一和第二种采集模式，在图1中示出现有技术的示例性设置(Cai的论文)。色卡板102被放置在患者的舌104附近。所有颜色的标准色值(它们中的24个)被赋予色卡102。用于校准舌图像104的Cai的方法是通过手动点击图像101中色卡102的四个角来得到所捕获图像101中那四种颜色的测量值。通过使用给定标准色值和四个角的测量色值，可以导出变换函数(参见Cai的论文)。所导出的变换函数然后被应用于图像101中的所有像素，使得舌图像102可以为了正确的视觉检查而进行颜色校准。颜色校准的需要主要用于在不同时间和在各种照明条件下拍摄的舌图像的色貌一致性(一致再现)。
如前所述，在第二种采集模式中，对于患者来说，当采集一些图像(例如第一舌图像)时需要色卡。在没有色卡的情况下拍摄所有的后续舌图像。在色卡的帮助下，可以以与使用第一种采集模式采集的舌图像相同的方式校准该患者的第一舌图像。后续图像可以使用已经利用一种方法校准的第一图像进行颜色校准，所述方法被称为一致颜色再现，接下来将对其进行论述。
消除利用色卡采集图像的需要(在第二和第三种模式中)允许患者在任何时间和任何地方在正常照明条件下拍摄舌图像。为了仍然满足在第二和第三种模式中拍摄的舌图像的色貌一致性的要求，一致再现的操作被应用于在没有色卡的情况下拍摄的所有舌图像。在第二种采集模式中，校准后的第一舌图像然后被用作相同患者的随后采集的舌图像的颜色基准图像。在第三种采集模式中，患者的舌图像中的任何一幅都可以被用作相同患者的其他舌图像的颜色基准图像。
利用第二和第三种模式采集的舌图像的一致颜色再现的操作可以通过使用接下来在图5的帮助下进行论述的示例性算法来解释。
在图5中示出一个人的三幅舌图像。图像501和503是在不同时间在不同照明条件下采集的原始图像。值得注意的是，这两幅图像的色貌完全不同，这对于诊断纵向变化来说会是不可接受的。因而需要颜色校准(一致颜色再现)以使这两幅图像的色貌彼此接近。思想是使用来自两幅图像的共同区域(例如补片(patch)507和509)的颜色信息以找到色差。然后使用色差信息来校准色空间中的所述图像之一以使色貌更接近另一幅。用It表示图像，t∈[0，1，...T]。下标t表示图像的时间索引。参数T是校准操作中所涉及的图像的数目。对于当前的例子，T＝2。类似地，用pt表示补片(例如补片507或509)，对于It，t∈[0，1，...T]。为了校准其他图像以具有接近基准图像的类似色貌而需要选择基准图像。基准图像被任意地或特意地选择并且由Ir表示，r∈[0，1，...T]。因此，与基准图像相关的补片由pr表示。由于彩色图像将被处理，为了进一步区分颜色通道(红色、绿色和蓝色通道)，上标被引入到所定义的记法。所以，彩色图像被表示为Iti，t∈[0，1，...T]，i∈[1，2，3]。上标和颜色通道的示例性关联对于红色通道可以为I1，对于绿色通道为I2，对于蓝色通道为I3。利用以上定义的记法，校准操作可以容易地由函数f(s，u，v，w)给出：
I~ti=f(Iti,pri,pti,ci),∀t≠r;t∈[1,2,···T];r∈[1,2,···T]---(1)]]>
其中是是颜色校准图像。一个示例性函数f()可以是
f(s，u，v，w)＝s-w·(u，v)      (2)
其中·是标量乘法算子。注意，w是系数，0≤w≤1，并且它对于不同的通道发生变化，也就是可由用户进行调整的系数。还应注意，在等式(2)中s表示图像。等式(2)的正确解释是，图像s中的每个像素值将被偏移一个量w·(u，v)。现在它简化以确定函数()。如前所述，颜色校准的目的是使一幅图像的色貌与另一幅匹配。所以，函数()应当将图像之间的差的信息提供给等式(2)。各种方式可以被用来构造函数()。下面是使用两幅图像的共同区域的小补片的示例性()函数：
(u，v)＝ζ(u)-ζ(v)    (3)
其中ζ()是该示例性算法中的非线性函数。诸如面颊的部分(507或509)之类的共同区域是提取两幅图像之间的色差特征的良好候选者。注意，在实践中，补片507和509没有必要具有相同的尺寸或形状。这些补片的使用是为了向受处理的图像提供颜色(红色、绿色和蓝色)统计的算法。在图6A和6B中示出两幅图形。图形601对于图像501的补片507内的所有像素显示了分别用于红色、绿色和蓝色的三种强度分布。图形603对于图像503的补片509内的所有像素显示了分别用于红色、绿色和蓝色的三种强度分布。由于这两幅图像的不同照明条件，补片507的颜色强度分布不同于补片509的颜色强度分布。这些颜色强度分布可以被用于计算函数ζ()。例如，ζ()可以是这样一个函数，其找到将强度分布曲线之下的区域分成两个相等部分的值。ζ()也可以是这样一个函数，其找到分布的平衡中值。基准补片u可以来自在模式3中采集的图像中的任何一幅或者来自模式2中的第一图像。颜色校准过程也可以被应用于在模式1中采集的图像，使用由等式(3)描述的算法，图像503的校准图像被获得，并且在图5中被显示为具有更接近于图像501的色貌的图像505。对于f()，除了等式(2)之外，本领域技术人员应当能够使用先前公布的其他颜色校准函数。
返回到图3A，将解释与数据形成和通信有关的步骤。在记录形成步骤304中，采集模式被包括在图像特定收集数据212中。舌记录通过通信步骤306从图像和数据形成单元300通过链路330被上载到处理单元320。链路330可以是有线链路或无线链路。处理单元320可以是如图4中所示的舌记录处理器402的一部分。图像和数据形成单元300也可以是舌记录处理器402的一部分，在这种情况下，链路330实际上被消除。在其他情况下，舌记录处理器420可以物理地位于邻近服务单元300的地点中，或者在与单元300分离的远程地点中，在任一情形下，使用有线链路是通过网络(LAN和/或WAN)连接服务单元300。
对于无线链路，无线通信协议IEEE-802.11或其后继者之一作为本申请的一个选择被实施。这是标准无线通信协议并且在这里是优选的无线通信协议。然而，尽管这是优选的，但是将会认识到这不是本发明的要求，而仅仅是一种优选的操作情形。在无线连接中，服务单元300可以充当LAN或WAN的节点。
本发明的舌图像检查系统结构的一个实施例是集中式检查系统并且在图3A中被说明，在图3A中示出四个示例性的舌图像和数据形成单元300和一个处理单元320。这些舌图像和数据形成单元300可以处于具有最小的医疗人员配备并散布在大的地理区域上的地点中。该示例性结构提供双向远程消息传送和连网通信信道330。在双向通信中，单元300将舌记录220发送到单元320，并且接收来自单元320的诊断信息和指令。
在图7中示出一个示例性双向通信系统。在图7中，服务单元I(710)通过服务单元W(712)同时捕获和发射图像。这些服务单元由服务单元300表示。在该示例性双向通信系统中存在两种类型的通信链路。其中一种类型是具有接收端和发射端的无线通信链路700。另一种类型是可以通过其交换消息(舌记录、通知消息、确认、或诊断消息)的网络链路750。注意，在图3A中，数据通信步骤305执行接收和发射数据的任务，数据输入步骤306执行接收数据任务，并且数据输出步骤309执行发射数据任务。
对于无线通信链路，图8示出从发射端到接收端的通信路径(例如720-728、730-722、724-728和730-726)。图8表示当发射消息800时发生的步骤。消息800可以是舌记录220、来自在单元300的站点处医务人员的通知消息、来自处理单元320的诊断消息或确认。在接收端从发送器接收消息的步骤802中通信路径接收消息800。在发射端将消息发射到接收端的步骤804中发射消息800。接收端在步骤806中接收所发射的消息，并且在步骤808中将消息路由到用户(服务单元300)。
从发射网络(包括802和804)到接收网络(包括806和808)发射和接收消息由在图7中所示的处理单元740上运行的软件平台来管理，以便简化将消息递送到包括任何移动计算设备的多种设备的过程。软件平台服务可以基于由用户建立的规则来路由通知并将其智能地逐步升级(escalate)以保证“闭环”通信。路由规则确定谁需要访问信息，在初始联系不进行响应的情况下逐步升级消息需要被引导到哪里的规则集，并且设备的优先规则让用户区分他们的优选通信设备的优先次序。该平台可以被设计成使用基于web的接口以便使得使用双向通信容易。托管服务使用安全套接字层(SSQ)技术进行登录。软件可以被设计成在任何操作系统上运行，并且基于XML(标记语言)、语音XML和J2EE(Java 2平台，企业版)。对于纯语音设备，软件平台可以使用文本到语音的转换技术。消息可以被接收并且被回应到使用任何一个载波或多个载波的任何移动或有线电话上。一个示例性的软件平台是由MIR3公司开发的市场上可买到的服务INIogicNOW。
在示例性的场景中，远程站点从用于诊断支持的患者站点接收通知。远程站点工作人员启动具有患者通信标识(例如IP地址)的软件。然后软件使用相应的IP地址通过网络链路750(也通过330)又启动远程访问应用。在启动应用之后，出现精确地显示在患者一端的计算机系统的屏幕上的内容的窗口。在远程站点的健康护理人员可以访问患者的计算机以打开驻留在计算机上的文件夹和文件，编辑它们，打印它们，安装或运行用于诊断的检查程序，查看图像，在远程站点计算机和患者的计算机之间复制文件，重启患者的计算机，等等，就如同坐在患者的计算机前面的健康护理人员一样。连接被加密。于是，远程站点健康护理人员可以在服务单元300上远程地执行相关任务。
直接访问网络链路的一种示例性实现是通过使用市场上可买到的来自www.gotomypc.com的服务GoToMyPc。不需要专用的计算机硬件系统。可以使用能够执行图像/消息处理和访问网络的任何计算机。这意味着远程站点本身是不受限制的位置。
参考图3A，将进一步论述本发明的舌检查系统的操作的剩余步骤。通过分析舌记录220以找到患者的ID的病例检索步骤307从数据存储服务器检索先前保存的患者的舌病历记录，如果有的话。TCM医生使用检索到的图像数据来去执行检查步骤308中的各种任务。数据存储服务器可以是图4中所示的可读存储介质407。检查步骤308执行的任务之一是先前论述的颜色校准。
在步骤308中，为了更好地诊断，TCM医学专业人员使用可视化工具来检查对象的有关区域(图像中的感兴趣区域)。这样的可视化设施和用户接口的一个实施例在图9中被说明。
在图9中示出计算机监视屏900(也是图4中的404)，该计算机监视屏与执行先前所述步骤的图像处理器(402)联系在一起。在屏幕900上，两幅代表性图像501和503被显示在左边。两个补片908和918由用户选择以便执行色貌校准。还向用户提供三个条922、924和926以选择如等式(2)中所示的红色、绿色和蓝色通道的系数值w。在屏幕900的中间显示了校准的图像505。应当指出，颜色校准过程可以在没有用户接口干预的情况下自动运行。注意，图9仅仅说明当前设计的示例性使用。步骤308执行的检查的一种模式是由TCM专业人员进行的人工诊断。在实践中，TCM专业人员能够从数据存储服务器407检索其他基准舌图像，并且作为诊断指南将它们显示在屏幕上。在GiovanniMaciocia的书中论述的示例性病例在图10中被示出。深红色显示有重度发热。侧面较红并且稍稍肿胀，显然发热在肝脏中。该患者患有慢性哮喘。
步骤308执行的检查的另一种模式是通过使用分类算法进行的自动疾病诊断，所述分类算法将舌图像分类成正常和异常组。舌图像特征(例如颜色、纹理、形状和覆盖物)可以被用来训练分类器和区分正常舌图像和异常舌图像。示例性的基于颜色特征的分类算法在下面进行描述。
本领域技术人员已知的是，为了减小图像的亮度分量对分类任务的亮度影响，颜色转换操作通常在提取颜色特征之前被应用于彩色图像。类似于在Cai的论文中执行的颜色转换，当前的方法利用一种颜色转换，该颜色转换对于图像I的每个像素使用公式将彩色图像从常规RGB空间转换成广义RGB空间：
I‾j=IjΣiIi;i∈[1,2,3];j∈[1,2,3]---(4)]]>
其中是所产生的广义RGB图像的色平面(通道)，并且Ix是如先前定义的RGB彩色图像的色平面(通道)。对于的每个像素，所产生的三个新元素是线性相关的，也就是ΣJI‾j=1,]]>使得仅仅需要两个元素来有效地形成从三维塌缩到二维的新空间。在大多数情况下，使用和也就是广义R和G。注意，为了简单起见，在以上论述中，图像和该图像的像素共用单个记法。
为了训练分类器，必须收集多幅舌图像(来自健康和不健康的人)，并且从所有收集的舌图像分割舌区域(参见图5中的舌区域502的例子)。诸如Bo Pang报告的方法(参见Bo Pang等人的“On AutomatedTongue Image Segmentation in Chinese Medicine”，Proc.ICPR，2002)可以被用来从舌图像中有效地提取舌区域。所提取舌区域的像素然后从RGB空间被转换成如上所述的广义RGB空间。用表示所转换颜色像素的分量；j＝[1，2，3]。用θ^n=[q‾21,q‾n2]]]>表示来自健康人的舌区域的像素的颜色特征矢量。用θ‾α=[q‾α1,q‾α2]]]>表示来自不健康人的舌区域的像素的颜色特征矢量。颜色特征矢量和将被用在监督学习过程中以训练分类器。
监督学习被定义为一种学习过程，其中样本集由成对的输入和期望输出组成。在该舌图像分类的情况中，样本输入是和样本期望输出分别是正常和异常的指标On和Oa。假设有M个颜色特征矢量其中Mn个矢量(由表示，i＝1...Mn)表示具有指标On的正常状况，以及Ma个矢量(由表示，i＝1...Ma)表示具有指标Oa的异常状况。这些习得的矢量和被用来训练分类器，该分类器又被用来在检测或诊断过程中对舌图像进行分类。
为了学习和训练的目的，构造训练数据集

其中τj是类标记。
例如，如果状况是正常的，τj＝1，否则τj＝-1。矢量pj=[θ^]]]>传统上在计算机视觉文献中被称为特征矢量。符号表示域，d是域维度。对于该示例性情况，d＝2。本领域技术人员理解，数据矢量pj可以以不同方式被构造，并且利用其他物理(纹理、覆盖物等)数值元素来增大。
存在已知类型的分类器可以被用来完成使用颜色特征矢量区分正常舌图像和异常舌图像的任务。一个示例性分类器是SVM(支持矢量机)(参考C.Burges的“A Tutorial on Support Vector Machine for PatternRecognition”，Data Mining and Knowledge Discovery，2，121-167，1998，Kluwer Academic Publisher，Boston)。
SVM分类器的示例情况将是表示可由超平面分离的两种类别的数据的训练和分类。分离数据的超平面满足
W·p+σ＝0
其中·是点积。
训练SVM的目标是确定自由参数W和σ。缩放可以总是被应用于W和σ的标度，使得所有数据遵守成对不等式：
τj(W·pj+σ)-1≥0，j    (6)
关于参数W可以通过最小化拉格朗日函数
L(W,ξ)=12||W||2-Σj=1lξj(τj(W·pj+σ))---(7)]]>
解出公式(6)，并且关于未确定的乘数ξJ≥0使它最大化。
在解决优化问题之后，公式(6)中W的表达式可以根据具有非零系数的支持矢量被改写，并且被插入到用于分类超平面的等式中以给出SVM判定函数：
Ψ(penw)=(W·pnew+σ)=Σj=1lsτjξjpj·pnew+σ---(8)]]>
其中ls是支持矢量的数目。新矢量pnew分类为两种类别(正常和异常)中的一种基于判定函数的符号。本领域技术人员将认识到，在不可分情况下可以使用非线性SVM。
还应认识到，其他复杂舌图像分类方法(例如基于贝叶斯网络的算法)在公有领域中是可用的(参见Bo Pang，David Zhang，Naimin Li，andKuanquan Wang的“Computerized Tongue Diagnosis Based on BayesianNetworks”，IEEE Transactions on Biomedical Engineering，No.10，Vol.51，October 2004)。
注意，舌图像分类可以在没有用户干预的情况下自动地完成。分类过程也可以通过用户在例如图9中所示的用于图像分割的用户接口的帮助下完成。在任一情况下，可以使用图4中的舌记录处理器402执行任务。分类结果将在舌记录更新步骤308中被结合到舌记录220中。
为了完整性起见，图4示出可用于实践本发明的包括服务单元300的舌图像检查硬件系统的示例。来自服务单元300的图像被提供给舌记录处理器402，例如个人计算机或工作站(例如Sun Sparc工作站)。舌记录处理器402优选地被连接到CRT显示器404、操作者接口(例如键盘406和鼠标408)。舌记录处理器402也被连接到计算机可读存储介质407。图3A中所示的舌记录上载步骤312可以更新310存储在介质407中的病历。舌记录处理器402将所处理的数字图像和元数据传送到输出设备409。输出设备409可以包括硬拷贝打印机、长期图像存储设备、以及与另一处理器的连接。舌记录处理器402也被链接到通信链路414或例如连接到宽带网络的远程通信设备。
附图标记列表
101图像
102色卡板
104舌
204一般元数据
206图像数据包
208像素数据
210图像特定元数据
212图像特定收集数据
216推断的图像特定数据
220舌记录
300服务单元
302舌图像采集
304舌记录形成
305数据通信
306数据输入
307病例检索
308检查
309数据输出
310舌记录器更新
312舌记录上载
320处理单元
330通信链路
402舌记录处理器
404图像显示器
406数据和命令输入设备
407计算机可读存储介质
408数据和命令控制设备
409输出设备
414通信链路
501图像
502舌
503图像
505图像
507补片
509补片
601图形
603图形
700双向通知系统
710服务单元I
712服务单元W
720发射端I
722接收端I
724发射端W
726接收端W
728接收端
730发射端
740处理单元
750网络链路
752网络链路
800消息
802步骤
804步骤
806步骤
808步骤
900屏幕
908补片
918补片
922条
924条
926条