一种实现交互式图像分割的方法、装置及终端技术领域
本发明涉及图像处理技术领域，尤其涉及一种实现交互式图像分割的方法、装置
及终端。
背景技术
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若
干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分
割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论
的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。
GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方
法。GraphCut算法是基于马尔可夫随机场(Markov Random Field,MRF)能量最小化框架的
一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut
算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和
背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(Gaussian
Mixture Model，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，
判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。
在手机上使用GrabCut算法进行图像分割时，为了降低交互的复杂性，通常对用户
如何标记不做严格要求，因此，在用户标记的前景点较少的情况下迭代次数可能很多，算法
运行时间较长，影响了用户的体验。另一方面，相关技术中的GrabCut算法是基于彩色图像
进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分
割效果并不理想。
发明内容
本发明所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终
端，能够缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。
本发明实施例提供了一种实现交互式图像分割的方法，包括：
检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，确定
包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区，生成图
像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所
述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；
获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图
上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所
述像素与相邻像素的深度值差异；
构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根
据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；
从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前
景点对应的图像。
可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：
按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步
骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述
像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇
的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判
决为前景点或背景点的概率；
其中，所述E步骤和M步骤分别包括以下处理：
E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇
将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景
点或背景点；簇的分类包括前景点簇或背景点簇；
M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个
像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。
可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包
括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；
其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值
进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分
割参数。
可选地，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向
图中，包括：
构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为
虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个
像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所
述悬空点Q1之间建立连线；
对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图
中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空
点Q0或Q1之间连线的权值。
可选地，所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的
掩模图，包括：
迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述
前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；
其中，C步骤和D步骤分别包括以下处理：
C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景
点的像素构成前景点集合Q；
D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所
有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；
其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。
可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。
可选地，所述将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的
一块区域作为感兴趣区域，包括：
获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种
子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外
生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；
根据所述涂抹轨迹的形状特点套用几何形状模板，根据所述几何形状模板生成包
含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴
趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。
可选地，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包
括对每一个种子执行下述步骤A-F：
步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为
活动点；
步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；
步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相
邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；
步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像
素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度
值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长
条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；
步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A
归入前景点集合，返回步骤B；
步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边
缘梯度信息向外生长形成的子区域。
可选地，所述图像分割算法是GrabCut算法。
本发明实施例提供了一种实现交互式图像分割的装置，包括：
预处理模块，用于检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生
长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所
述标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图
中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；
分割参数计算模块，用于获取包含目标对象深度信息的深度图，根据所述深度图
和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景
点或背景点的概率以及所述像素与相邻像素的深度值差异；
掩模图调整模块，用于构建无向图，将所述掩模图中的每一个像素的分割参数映
射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩
模图；
输出模块，用于从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后
的掩模图中前景点对应的图像。
可选地，分割参数计算模块，用于采用以下方式根据所述深度图和掩模图确定所
述掩模图上各个像素的分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E
步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过
程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行
M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，
所述区域项分割参数是所述像素判决为前景点或背景点的概率；
其中，所述E步骤和M步骤分别包括以下处理：
E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇
将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景
点或背景点；簇的分类包括前景点簇或背景点簇；
M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个
像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。
可选地，分割参数计算模块，还用于采用以下方式根据所述深度图和掩模图确定
所述掩模图上各个像素的分割参数：根据所述像素与相邻像素的深度值差异确定所述像素
的边界项分割参数；
其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值
进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分
割参数。
可选地，掩模图调整模块，用于采用以下方式构建无向图并将所述掩模图中的每
一个像素的分割参数映射到所述无向图中：
构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为
虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个
像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所
述悬空点Q1之间建立连线；
对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图
中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空
点Q0或Q1之间连线的权值。
可选地，掩模图调整模块，用于采用以下方式根据最小割-最大流算法对所述无向
图进行处理，获得精细分割后的掩模图：
迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述
前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；
其中，C步骤和D步骤分别包括以下处理：
C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景
点的像素构成前景点集合Q；
D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所
有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；
其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。
可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。
可选地，预处理模块，用于采用以下方式将所述涂抹轨迹作为骨架生长成标记区，
确定包含所述涂抹轨迹的一块区域作为感兴趣区域：
获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种
子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外
生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；
根据所述涂抹轨迹的形状特点套用几何形状模板，根据所述几何形状模板生成包
含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴
趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。
可选地，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包
括对每一个种子执行下述步骤A-F：
步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为
活动点；
步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；
步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相
邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；
步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像
素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度
值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长
条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；
步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A
归入前景点集合，返回步骤B；
步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边
缘梯度信息向外生长形成的子区域。
可选地，所述图像分割算法是GrabCut算法。
本发明实施例还提供了一种终端，包括上述实现交互式图像分割的装置。
本文提出的一种实现交互式图像分割的方法、装置及终端，将原始图像上的涂抹
轨迹作为骨架生长成标记区，确定包含所述标记区的感兴趣区域，生成图像分割算法的输
入掩模图：将标记区中所有的像素作为掩模图中的前景点，将感兴趣区域中标记区外的像
素作为掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模
图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背
景点的概率以及所述像素与相邻像素的深度值差异，构建无向图并将所述掩模图中的每一
个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，
获得精细分割后的掩模图，从拍摄所述目标对象所获得的原始图像中分割出所述精细分割
后的掩模图中前景点对应的图像。本文的技术方案能够通过图像预处理扩充图像分割算法
标记的前景点数目，减少图像分割算法标记的背景点数目，从而缩短图像分割算法的运行
时间，基于深度图运行图像分割算法，从而优化图像分割的效果。
附图说明
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明实施例1的一种实现交互式图像分割的方法流程图；
图4为本发明实施例2的一种实现交互式图像分割的装置示意图；
图5-a为本发明应用示例1中原始图像以及用户涂抹轨迹的示意图；
图5-b为本发明应用示例1中由涂抹轨迹生成的标记区和感兴趣区域的示意图；
图5-c-1为本发明应用示例1中种子生长过程中的起始活动点及周边邻域的示意
图；
图5-c-2为本发明应用示例1中种子生长过程中的起始活动点生长成的子区域的
示意图；
图5-c-3为本发明应用示例1中种子生长过程中的起始活动点以及新的活动点共
同生长成的区域的示意图；
图5-d为本发明应用示例1中由标记区和感兴趣区域生成的掩模图的示意图；
图5-e为本发明应用示例1的深度图的示意图；
图5-f为本发明应用示例1的无向图的示意图；
图5-g为本发明应用示例1中精细分割后的掩模图的示意图；
图5-h为本发明应用示例1中分割出的目标对象的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
现在将参考附图描述实现本申请各个实施例的移动终端。在后续的描述中，使用
用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身
并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动
电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP
(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固
定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动
目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本申请各个实施例一个可选的移动终端的硬件结构示意图。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入
单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190
等等。
图1示出了具有各种组件的移动终端100，但是应理解的是，并不要求实施所有示
出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端100的元件。
无线通信单元110通常可以包括一个或多个组件，其允许移动终端100与无线通信
系统或网络之间的无线电通信。例如，无线通信单元110可以包括广播接收模块111、移动通
信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播
相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送
广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息
并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播
信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相
关信息也可以经由移动通信网络提供，并且在所述情况下，广播相关信息可以由移动通信
模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电
子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广
播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块
111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频
广播-手持(DVB-H)，前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务
(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广
播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/
或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端
以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通
话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。所述模块可以内部或外部
地耦接到终端。所述模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、
Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝
牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块
115的典型示例是GPS(全球定位系统)。根据当前的技术，GPS计算来自三个或更多卫星的距
离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高
度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并
且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS能够通过实时
地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和
麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片
或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理
后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发
送，可以根据移动终端100的构造提供两个或更多相机121。麦克风122可以在电话通话模
式、记录模式、语音识别模式等等运行模式中经由麦克风122接收声音(音频数据)，并且能
够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下
转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种
类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪
声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端100
的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、
触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇
杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状
态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端
100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的
操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测
所述滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力
或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器141。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，
外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无
线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端
口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各
种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)
等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识
别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自
外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的
一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电
力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其
传输到移动终端100的路径。从底座输入的各种命令信号或电力可以用作识别移动终端100
是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供
输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显
示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电
话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件
下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式
或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图
像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元
151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管
LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少
一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明
显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定
想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移
动终端100可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测
触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端100处于呼叫信号接收模式、通话模式、记录模
式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器
160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与
移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等
等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以
包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元
153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式
提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单
元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在
用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也
可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可
以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而
且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的
数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多
媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储
器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器
(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器
160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据
通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒
体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制
器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片
绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元
件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算
机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路
(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可
编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的
电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。
对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的
软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来
实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端100。另外，本发明实施例中的移动终端100
可以是诸如折叠型、直板型、摆动型、滑动型以及其他各种类型的移动终端，具体此处不做
限定。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有
线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的
空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系
统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下
面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站
控制器(BSC)275和移动交换中心(MSC)280。MSC 280被构造为与公共电话交换网络(PSTN)
290形成接口。MSC 280还被构造为与可以经由回程线路耦接到基站270的BSC 275形成接
口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口可以包括例如欧洲标
准高容量数字线路/美国标准高容量数字线路(E1/T1)、异步传输模式(ATM)，网络协议
(IP)、点对点协议(PPP)、帧中继、高速率数字用户线路(HDSL)、非对称数字用户线路(ADSL)
或各种类型数字用户线路(xDSL)。将理解的是，如图2中所示的系统可以包括多个BSC 275。
每个BS 270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天
线覆盖的每个分区放射状地远离BS 270。或者，每个分区可以由用于分集接收的两个或更
多天线覆盖。每个BS 270可以被构造为支持多个频率分配，并且每个频率分配具有特定频
谱(例如，1.25MHz，5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS 270也可以被称为基站收发器子
系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC
275和至少一个BS 270。基站也可以被称为"蜂窝站"。或者，特定BS 270的各分区可以被称
为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端
100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT 295发送的广播
信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端
100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用
的定位信息。如图1中所示的位置信息模块115(如：GPS)通常被构造为与卫星300配合以获
得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终
端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传
输。
作为无线通信系统的一个典型操作，BS 270接收来自各种移动终端100的反向链
路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站接收的每个反
向链路信号被在特定BS 270内进行处理。获得的数据被转发给相关的BSC 275。BSC提供通
话资源分配和包括BS 270之间的软切换过程的协调的移动管理功能。BSC 275还将接收到
的数据路由到MSC 280，其提供用于与PSTN 290形成接口的额外的路由服务。类似地，PSTN
290与MSC 280形成接口，MSC与BSC 275形成接口，并且BSC 275相应地控制BS 270以将正向
链路信号发送到移动终端100。
基于上述移动终端硬件结构以及通信系统，提出本申请方法各个实施例。
如图3所示，本发明实施例提出一种实现交互式图像分割的方法，包括：
S310，检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，
确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区，生
成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，
将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；
S320，获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述
掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率
以及所述像素与相邻像素的深度值差异；
S330，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图
中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；
S340，从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图
中前景点对应的图像；
所述方法还可以包括下述特点：
其中，涂抹是一种标记目标对象的方式，涂抹是在目标对象的内部区域进行标记；
其中，掩模图是指对一副图像的部分或全部像素进行了前景与背景区分后生成的
标记图，所述掩模图上的每一个像素被标记为前景点或背景点。
在本实施例中，所述图像分割算法是GrabCut算法。
在一种实施方式中，将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹
轨迹的一块区域作为感兴趣区域，包括：
获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种
子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外
生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；
根据所述涂抹轨迹的形状特点套用几何形状模板，根据所述几何形状模板生成包
含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴
趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。
其中，所述几何形状模板包括：矩形模板、多边形模板、或椭圆模板；
其中，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包括
对每一个种子执行下述步骤A-F：
步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为
活动点；
步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；
步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相
邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；
步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像
素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度
值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长
条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；
步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A
归入前景点集合，返回步骤B；
步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边
缘梯度信息向外生长形成的子区域。
在本实施例中，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参
数，包括：
按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E
步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤
获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归
属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是
所述像素判决为前景点或背景点的概率；
其中，所述E步骤和M步骤分别包括以下处理：
E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇
将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景
点或背景点；簇的分类包括前景点簇或背景点簇；
M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个
像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类；
可选地，所述EM方法的收敛条件可以是：当迭代运行的次数达到阈值时停止迭代
过程；
在本实施例中，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参
数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；
其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值
进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分
割参数；
可选地，与像素邻近的各个像素可以是所述像素周边的8个像素；
在本实施例中，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所
述无向图中，包括：
构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为
虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个
像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所
述悬空点Q1之间建立连线；
对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图
中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空
点Q0或Q1之间连线的权值；
在本实施例中，所述根据最小割-最大流算法对所述无向图进行处理，获得精细分
割后的掩模图，包括：
迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述
前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；
其中，C步骤和D步骤分别包括以下处理：
C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景
点的像素构成前景点集合Q；
D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所
有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；
其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定；
可选地，拍摄所述目标对象所获得的原始图像可以是彩色图、黑白图、或红外图。
相关技术中，图像分割算法的输入掩模图中的前景点是用户手动标记的，原始图
像上除去前景点后其他的像素均标记为背景点，存在前景点标记较少且输入掩模图尺寸较
大导致图像分割算法为区分出前景点和背景点的迭代次数增加，算法运行时间长的问题。
采用本发明实施例的方法后，通过将涂抹轨迹作为骨架生长成标记区，将所述标记区中的
像素标记为前景点，从而自动扩充图像分割算法的输入掩模图中标记的前景点数目，通过
生成感兴趣区域以替代整幅原始图像能够减少图像分割算法标记的背景点数目，可减少图
像分割算法为区分出前景点和背景点的迭代次数，显著地减少图像分割算法的运行时间。
另一方面，本发明实施例的技术方案利用深度图计算分割参数，当要提取的目标对象的色
彩特征并不明显时，能够改善图像分割的效果。
如图4所示，本发明实施例提出一种实现交互式图像分割的装置，包括：
预处理模块401，用于检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架
生长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含
所述标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模
图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；
分割参数计算模块402，用于获取包含目标对象深度信息的深度图，根据所述深度
图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前
景点或背景点的概率以及所述像素与相邻像素的深度值差异；
掩模图调整模块403，用于构建无向图，将所述掩模图中的每一个像素的分割参数
映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的
掩模图；
输出模块404，用于从拍摄所述目标对象所获得的原始图像中分割出所述精细分
割后的掩模图中前景点对应的图像；
所述装置还可以包括下述特点：
其中，涂抹是一种标记目标对象的方式，涂抹是在目标对象的内部区域进行标记；
其中，掩模图是指对一副图像的部分或全部像素进行了前景与背景区分后生成的
标记图，所述掩模图上的每一个像素被标记为前景点或背景点。
在本实施例中，所述图像分割算法是GrabCut算法。
在一种实施方式中，预处理模块，用于采用以下方式将所述涂抹轨迹作为骨架生
长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域：
获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种
子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外
生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；
根据所述涂抹轨迹的形状特点套用几何形状模板，根据所述几何形状模板生成包
含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴
趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。
其中，所述几何形状模板包括：矩形模板、多边形模板、或椭圆模板；
其中，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包括
对每一个种子执行下述步骤A-F：
步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为
活动点；
步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；
步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相
邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；
步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像
素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度
值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长
条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；
步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A
归入前景点集合，返回步骤B；
步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边
缘梯度信息向外生长形成的子区域。
在本实施例中，分割参数计算模块，用于采用以下方式根据所述深度图和掩模图
确定所述掩模图上各个像素的分割参数：
按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E
步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤
获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归
属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是
所述像素判决为前景点或背景点的概率；
其中，所述E步骤和M步骤分别包括以下处理：
E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇
将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景
点或背景点；簇的分类包括前景点簇或背景点簇；
M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个
像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类；
可选地，所述EM方法的收敛条件可以是：当迭代运行的次数达到阈值时停止迭代
过程；
在本实施例中，分割参数计算模块，还用于采用以下方式根据所述深度图和掩模
图确定所述掩模图上各个像素的分割参数：根据所述像素与相邻像素的深度值差异确定所
述像素的边界项分割参数；
其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值
进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分
割参数；
可选地，与像素邻近的各个像素可以是所述像素周边的8个像素。
在本实施例中，掩模图调整模块，用于采用以下方式构建无向图并将所述掩模图
中的每一个像素的分割参数映射到所述无向图中：
构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为
虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个
像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所
述悬空点Q1之间建立连线；
对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图
中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空
点Q0或Q1之间连线的权值。
在本实施例中，掩模图调整模块，用于采用以下方式根据所述无向图运行最小割
MinCut-最大流MaxFlow算法，获得精细分割后的掩模图：
迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述
前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；
其中，C步骤和D步骤分别包括以下处理：
C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景
点的像素构成前景点集合Q；
D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所
有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；
其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。
可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。
本发明实施例的方法，通过将涂抹轨迹作为骨架生长成标记区，将所述标记区中
的像素标记为前景点，从而自动扩充图像分割算法的输入掩模图中标记的前景点数目，通
过生成感兴趣区域以替代整幅原始图像能够减少图像分割算法标记的背景点数目，可减少
图像分割算法为区分出前景点和背景点的迭代次数，显著地减少图像分割算法的运行时
间。另一方面，本发明实施例的技术方案利用深度图计算分割参数，当要提取的目标对象的
色彩特征并不明显时，能够改善图像分割的效果。
实施例3
本发明实施例还提供一种终端，所述终端包括上述实现交互式图像分割的装置。
应用示例1
用户在原始图像上对自己感兴趣的目标对象进行了涂抹，采用本文的图像分割方
法对所述目标对象进行提取，可以包括以下步骤：
步骤S501，检测到用户选择采用涂抹的方式对目标对象进行标记；
比如，界面上提供两个用于标记的按键，一个是“涂抹”，一个是“勾勒”，如果用户
点选了“涂抹”按键，则对涂抹轨迹进行预处理。
其中，涂抹和勾勒是标记目标对象的两种不同方式；
一般地，涂抹是在目标对象的内部区域进行标记，勾勒是沿着目标对象的外部轮
廓进行标记；
步骤S502，检测到用户在原始图像上进行涂抹；
比如，如图5-a所示，用户在原始图像上进行了涂抹，目标对象是“订书机”；
步骤S503，将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的一
块区域作为感兴趣区域；
其中，将所述涂抹轨迹作为骨架生长成标记区，包括：
获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种
子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外
生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；
其中，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，包括：
根据所述涂抹轨迹的形状特点套用矩形模板，将包含所述涂抹轨迹的矩形模板区
域作为感兴趣区域，在标记区生成后，如果所述感兴趣区域没有包含所述标记区，则将所述
感兴趣区域扩展至包含所述标记区；
其中，如图5-b所示，可以采用种子生长方法由所述涂抹轨迹生长出一块不规则的
区域作为标记区，采用套矩形模板的方法生成感兴趣区域，其中，所述感兴趣区域的边框用
虚线表示。
其中，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包括
对每一个种子执行下述步骤A-F：
步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为
活动点；
步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；
步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相
邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；
步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像
素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度
值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长
条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；
步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A
归入前景点集合，返回步骤B；
步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边
缘梯度信息向外生长形成的子区域；
对一个种子的生长情况做如下的说明：
如附图5-c-1所示，在边缘梯度图上，“陡峭2”代表像素的边缘梯度值为2，梯度值
较大，属于陡峭类，“平缓1”代表像素的边缘梯度值为1，梯度值较小，属于平缓类。
种子作为起始点O，将其标记为活动点，用“*”表示活动点；起始点O的能量值可以
设定为4；起始点O的能量值设置的不同可以影响到生长区域的大小，能量值越大，生长的区
域越大。
如附图5-c-2所示，当起始点O准备向右生长时，右边相邻像素的边缘梯度值为1，
符合生长条件，所以，将起始点O右边的第一个像素标记为新的活动点，所述新的活动点的
能量值是起始点O的能量值(4)减去所述相邻像素的边缘梯度值(1)得到的差(3)。用同样的
方法，将起始点O上、下、左、右四个方向的相邻像素逐一进行检查，符合生长条件的相邻像
素成为新的活动点，起始点O相邻的四个像素均满足生长条件，被标记为新的活动点。在起
始点O完成检查后，将所述起始点O的活动点标志移除。
对每一个新标记的活动点，采用与起始点O同样的生长方法，能够向外扩展新的活
动点。所有活动点停止生长后的子区域的示意图如附图5-c-3所示。
步骤S504，生成图像分割算法(GrabCut算法)的输入掩模图：将所述标记区中所有
的像素作为掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为掩模图中的背景
点。
比如，如图5-d所示，包含涂抹轨迹的不规则深色区域是标记区，所述标记区是掩
模图(输入掩模图)中的前景点区块；感兴趣区域的边缘用虚线框进行表示，所述虚线框内
除去标记区(前景点区块)的部分是掩模图中的背景点区块。
步骤S505，获取包含目标对象深度信息的深度图；
如图5-e所示，深度图是包含深度信息的一张图，与彩色图的尺寸大小一致；深度
图中，颜色较深的部分拍摄距离较远，颜色较浅的部分拍摄距离较近。
步骤S506，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所
述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度
值差异；
其中，对所述掩模图上任意一个像素，所述像素的分割参数包括区域项分割参数
和边界项分割参数；所述像素的区域项分割参数是指所述像素判决为前景点或背景点的概
率；所述像素的边界项分割参数是指所述像素与相邻像素的深度值差异；
其中，采用以下方式确定所述掩模图上各个像素的区域项分割参数：
按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E
步骤和M步骤，在所述迭代运行的次数达到指定次数后停止所述迭代过程；将最后一次执行
M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像
素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参
数是所述像素判决为前景点或背景点的概率；
其中，所述E步骤和M步骤分别包括以下处理：
E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇
将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景
点或背景点；簇的分类包括前景点簇或背景点簇；
M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个
像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类；
其中，采用以下方式确定所述掩模图上各个像素的边界项分割参数：对任意一个
像素，将所述像素与邻近的8邻域中的各个像素之间的深度值差值绝对值进行累加，再对累
加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数；
步骤S507，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无
向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；
其中，无向图如图5-f所示，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬
空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图
上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射
点与所述悬空点Q1之间建立连线；
对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图
中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空
点Q0或Q1之间连线的权值。
其中，采用以下方式根据所述无向图运行最小割MinCut-最大流MaxFlow算法，获
得精细分割后的掩模图：
迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述
前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；
其中，C步骤和D步骤分别包括以下处理：
C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景
点的像素构成前景点集合Q；
D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所
有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；
其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定；
其中，精细分割后的掩模图如图5-g所示，包含涂抹轨迹且具有目标图像(订书机)
轮廓的不规则深色区域是标记区，所述标记区是精细分割后的掩模图中的前景点区块；感
兴趣区域中除去标记区(前景点区块)的部分是掩模图中的背景点区块。精细分割后的掩模
图与初始的掩模图相比，前景点区块与背景点区块之间的边界更加细致。
步骤S508，从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩
模图中前景点对应的图像；
其中，根据精细分割后的掩模图从所述原始的彩色图中分割出目标对象，分割出
的“订书机”图像如图5-h所示。
本应用示例的方法，通过将涂抹轨迹作为种子生长成标记区，将标记区中的所有
像素标记为前景点，能够自动扩充图像分割算法的输入掩模图中标记的前景点数目，通过
生成感兴趣区域以替代整幅原始图像能够减少图像分割算法标记的背景点数目，可减少图
像分割算法为区分出前景点和背景点的迭代次数，显著地减少图像分割算法的运行时间。
另一方面，本应用示例的技术方案利用深度图计算分割参数，当要提取的目标对象的色彩
特征并不明显时，能够改善图像分割的效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而
且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有
的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所
述要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质
(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服
务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。