基于超限隐特征模型的盲领域图像样本分类方法.pdf

《基于超限隐特征模型的盲领域图像样本分类方法.pdf》由会员分享，可在线阅读，更多相关《基于超限隐特征模型的盲领域图像样本分类方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910228715.5 (22)申请日 2019.03.25 (71)申请人 重庆邮电大学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 郭坦张磊谭晓衡杨柳 鲁银芝梁志芳胡昊 (74)专利代理机构 成都时誉知识产权代理事务 所(普通合伙) 51250 代理人 陈千 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于超限隐特征模型的盲领域图像样 本分类方法 (57)摘要 本发明公开了一种。

2、基于超限隐特征模型的 盲领域图像样本分类方法， 该方法采用了跨领域 数据生成与增广策略， 高效地降低不同数据领域 之间的偏差。 具体地说， 超限隐特征模型将ELM和 ELM-AE(基于ELM的自编码器)纳入统一的优化模 型， 继承了ELM和ELM-AE的优点， 并且可以在保护 原始数据信息的情况下得到良好的图像分类和 图像重建效果， 具有图像分类能力和图像重建能 力， 且能够更好地揭示原始图像数据和高级语义 之间的潜在关系， 减少信息丢失， 提高图像分类 精度。 本发明利用超限隐特征模型解决盲领域适 配问题， 融合跨领域知识， 有效降低不同领域数 据之间的领域偏差， 提高了盲领域数据分类准确 。

3、率。 权利要求书2页 说明书6页 附图2页 CN 109934304 A 2019.06.25 CN 109934304 A 1.一种基于超限隐特征模型的盲领域图像样本分类方法， 其特征在于， 包括如下步骤： S1： 源领域超限隐特征模型训练阶段， 获取用于进行模型训练的源领域图像数据矩阵 Xsource、 相应的标签矩阵Tsource， 以及超限学习机的隐藏节点根据所述图像数据矩阵Xsource输 出的隐含层输出矩阵Hsource； S2： 根据超限学习机和基于超限学习机的自编码器， 为源领域超限隐特征模型设置图 像数据输入通道、 图像分类输出通道以及图像输出重建通道； S3： 基于Xsou。

4、rce、 Tsource以及Hsource建立所述图像分类输出通道和所述图像输出重建通道 的联合超限隐特征优化模型； S4： 利用交错方向法对所述联合超限隐特征优化模型的模型参数进行更新， 得到所述 图像分类输出通道和所述图像输出重建通道的优化模型参数； S5： 根据所述优化模型参数构建所述源领域超限隐特征模型； S6:目标领域图像样本适配阶段， 将待识别的目标领域图像数据矩阵输入所述源领域 超限隐特征模型的图像数据输入通道， 并从所述源领域超限隐特征模型的图像输出重建通 道得到原始目标领域图像样本在源领域的重建生成样本矩阵； S7： 将所述目标领域图像数据矩阵与所述重建生成样本矩阵进行融合得。

5、到原始目标领 域图像样本的增广样本矩阵； S8： 将所述增广样本矩阵输入所述源领域超限隐特征模型的图像数据输入通道， 并从 所述源领域超限隐特征模型的图像分类输出通道得到对应的分类结果。 2.如权利要求1所述的基于超限隐特征模型的盲领域图像样本分类方法， 其特征在于， 所述原始目标领域图像样本的增广样本矩阵为ztargetxtarget+xtarget， 其中， ztarget表示增 广样本矩阵， xtarget表示输入所述图像数据输入通道的目标领域图像数据矩阵， xtarget表示 所述源领域超限隐特征模型根据所述目标领域图像数据矩阵从所述图像输出重建通道输 出的重建生成样本矩阵。 3.如权。

6、利要求2所述的基于超限隐特征模型的盲领域图像样本分类方法， 其特征在于， 所述源领域超限隐特征模型的图像输出重建通道的输出为:xtargethtarget QTP； 所述源领域超限隐特征模型的图像分类输出通道的输出为： ttargethtarget QTR； 其中， htarget表示源领域超限隐特征模型输入通道输入的目标领域图像数据矩阵xtarget 的隐含层输出向量， htarget表示源领域超限隐特征模型输入通道输入的增广样本矩阵 ztarget的隐含层输出向量， Q表示源领域隐特征变换矩阵， R表示源领域数据分类矩阵， P表示 源领域数据重建矩阵， ttarget表示目标领域图像数据矩。

7、阵xtarget的预测标签向量。 4.如权利要求3所述的基于超限隐特征模型的盲领域图像样本分类方法， 其特征在于， 所述联合超限隐特征优化模型为： s.t.XsourceHsource QTP+E,QTR ,PTPI； 其中， 、 以及表示惩罚参数， E表示误差矩阵， 表示输出权重矩阵，表示矩阵 Frobenius范数的平方， 即矩阵元素的平方和。 5.如权利要求4所述的基于超限隐特征模型的盲领域图像样本分类方法， 其特征在于， 权利要求书 1/2 页 2 CN 109934304 A 2 步骤S4中引入辅助变量得到联合超限隐特征优化学习模型的增广拉格朗日函数模型， 所述 增广拉格朗日函数模型。

8、为： s.t.PTPI； 其中， 表示惩罚参数， Y1和Y2表示拉格朗日乘子， 表示矩阵的内积运算； 步骤S4中基于所述增广拉格朗日函数模型利用交错方向法依次更新 、 P、 Q、 R、 E、 Y1、 Y2 以及 ， 直到收敛时停止优化， 并将当前确定的Q和R作为所述源领域图像分类输出通道的优 化模型参数， 将当前确定的Q和P作为所述源领域图像输出重建通道的优化模型参数。 权利要求书 2/2 页 3 CN 109934304 A 3 一种基于超限隐特征模型的盲领域图像样本分类方法 技术领域 0001 本发明涉及图像分类和智能优化技术领域， 更具体地说， 涉及一种基于超 限隐特 征模型的盲领域图像。

9、样本分类方法。 背景技术 0002 在计算机视觉领域， 人们往往采集来自多个领域的数据， 在分布上存在差 异。 传 统机器学习方法假设训练集和测试集服从相同的分布， 该假设在现实中 往往难以得到满 足， 跨领域图像识别是目前计算机视觉领域研究热点， 领域适 配是解决跨领域图像识别问 题， 它是迁移学习的研究内容之一， 侧重于解决特 征空间一致、 类别空间一致， 仅特征分布 不一致的问题。 0003 领域适配的基本方法主要包括两类， 一类是特征表达层面的领域适配， 这 类方法 从不同领域数据特征之间的联系出发， 研究如何利用特征表达上的交集 来解决特征分布 不一致的问题， 通过特征变换的方式实现。

10、源领域和目标领域知 识的互相迁移， 或者将源领 域和目标领域的数据变换到统一的特征空间中， 典 型算法有采样测地线流(Sample Geodesic Flow,SGF)、 测地线流式核方法 (Geodesic Flow Kernel,GFK)、 隐稀疏领域迁移 (Latent Sparse Domain Transfer,LSDT以及子空间对齐(Subspace Alignment,SA)等。 第 二类是分 类器层面的领域适配， 这类方法假设在源领域构建的分类模型， 其参数经过调 整能够适用于目标领域的分类任务， 这类方法的核心在于构建参数共享的模型， 提高源领 域模型在目标领域的泛化能力， 。

11、代表性算法包括自适应支持向量机(Adaptive Support Vector Machine,ASVM)、 领域适配机(Domain Adaptation Machine,DAM)、 自适应多核学习 (Adaptive Multiple Kernel,AMK)以及 超限领域适配(Extreme Domain Adaptation, EDA)等。 从目标领域有无标签 信息这一角度， 领域适配主要分为两类： 半监督领域适配和 无监督领域适配。 现有的半监督及无监督领域适配方法适用于存在较多的目标领域数据 可用于 模型训练时的场景。 当目标领域数据量严重不足时， 现有领域适配模型的性能 将 大打折。

12、扣。 因此， 亟待研究盲领域适配问题。 发明内容 0004 为解决上述技术问题， 本发明提供一种基于超限隐特征模型的盲领域图像 样本 分类方法。 0005 为实现上述目的， 本发明所采用的具体技术方案如下： 0006 一种基于超限隐特征模型的盲领域图像样本分类方法， 包括如下步骤： 0007 S1： 源领域超限隐特征模型训练阶段， 获取用于进行模型训练的源领域图 像数据 矩阵Xsource、 相应的标签矩阵Tsource， 以及超限学习机的隐藏节点根据 所述图像数据矩阵 Xsource输出的隐含层输出矩阵Hsource； 0008 S2： 根据超限学习机和基于超限学习机的自编码器， 为源领域超。

13、限隐特征 模型设 置图像数据输入通道、 图像分类输出通道以及图像输出重建通道； 说明书 1/6 页 4 CN 109934304 A 4 0009 S3： 基于Xsource、 Tsource以及Hsource建立所述图像分类输出通道和所述图 像输出重 建通道的联合超限隐特征优化模型； 0010 S4： 利用交错方向法对所述联合超限隐特征优化模型的模型参数进行更新， 得到 所述图像分类输出通道和所述图像输出重建通道的优化模型参数； 0011 S5： 根据所述优化模型参数构建所述源领域超限隐特征模型； 0012 S6:目标领域图像样本适配阶段， 将待识别的目标领域图像数据矩阵输入 所述源 领域超。

14、限隐特征模型的图像数据输入通道， 并从所述源领域超限隐特征 模型的图像输出 重建通道得到原始目标领域图像样本在源领域的重建生成样 本矩阵； 0013 S7： 将所述目标领域图像数据矩阵与所述重建生成样本矩阵进行融合得到 原始 目标领域图像样本的增广样本矩阵； 0014 S8： 将所述增广样本矩阵输入所述源领域超限隐特征模型的图像数据输入 通道， 并从所述源领域超限隐特征模型的图像分类输出通道得到对应的分类结 果。 0015 可选的， 所述原始目标领域图像样本的增广样本矩阵为ztargetxtarget+ xtarget， 其中， ztarget表示增广样本矩阵， xtarget表示输入所述图像。

15、数据输入通 道的目标领域图像数 据矩阵， xtarget表示所述源领域超限隐特征模型根据所述 目标领域图像数据矩阵从所述 图像输出重建通道输出的重建生成样本矩阵。 0016 可选的， 所述源领域超限隐特征模型的图像输出重建通道的输出 为:xtarget htarget QTP； 0017 所述源领域超限隐特征模型的图像分类输出通道的输出为： ttarget htarget QTR； 0018 其中， htarget表示源领域超限隐特征模型输入通道输入的目标领域图像数 据矩阵 xtarget的隐含层输出向量， htarget表示源领域超限隐特征模型输入通道 输入的增广样本矩 阵ztarget的隐。

16、含层输出向量， Q表示源领域隐特征变换矩阵， R表示源领域数据分类矩阵， P 表示源领域数据重建矩阵， ttarget表示目标领域 图像数据矩阵xtarget的预测标签向量。 0019 可选的， 所述联合超限隐特征优化模型为： 0020 0021 s.t.XsourceHsource QTP+E,QTR ,PTPI； 0022其中， 、 以及表示惩罚参数， E表示误差矩阵， 表示输出权重矩阵， 表示 矩阵Frobenius范数的平方， 即矩阵元素的平方和。 0023 可选的， 步骤S4中引入辅助变量得到联合超限隐特征优化学习模型的增 广拉格 朗日函数模型， 所述增广拉格朗日函数模型为： 002。

17、4 说明书 2/6 页 5 CN 109934304 A 5 0025 s.t.PTPI； 0026 其中， 表示惩罚参数， Y1和Y2表示拉格朗日乘子， 表示矩阵的内积运 算； 0027 步骤S4中基于所述增广拉格朗日函数模型利用交错方向法依次更新 、 P、 Q、 R、 E、 Y1、 Y2以及 ， 直到收敛时停止优化， 并将当前确定的Q和R作为 所述源领域图像分类输出通 道的优化模型参数， 将当前确定的Q和P作为所述 源领域图像输出重建通道的优化模型参 数。 0028 本发明提供出了一种基于超限隐特征模型的盲领域图像样本分类方法， 超 限隐 特征模型将超限学习机与基于超限学习机的自编码器纳入。

18、一个联合学习 模型中， 能够更 好地揭示原始图像数据和高级语义之间的潜在关系， 减少信息 丢失， 提高图像分类精度并 具备优异的图像数据重建能力， 基于超限隐特征模 型进行盲领域样本的生成与增广， 降低 领域偏差， 提高了盲领域适配图像分类 精度。 附图说明 0029 下面将结合附图及实施例对本发明作进一步说明， 附图中： 0030 图1为本实施例提供的基于超限隐特征模型的盲领域图像样本分类方法 的流程 示意图； 0031 图2为本实施例提供的超限隐特征模型的网络构架图。 具体实施方式 0032 为了使本发明要解决的技术问题、 技术方案和优点更加清楚， 下面将结合 附图及 具体实施例进行详细描。

19、述， 应当理解， 此处所描述的具体实施例仅仅用 以解释本发明， 并 不用于限定本发明。 0033 本实施例提供了一种基于超限隐特征模型的盲领域图像样本分类方法， 请 参见 图1所示， 包括如下步骤： 0034 S1： 源领域超限隐特征模型训练阶段， 获取用于进行模型训练的源领域图 像数据 矩阵、 相应的标签矩阵， 以及超限学习机的隐藏节点根据该图像数据矩 阵输出的隐含层输 出矩阵。 0035 具体的， 获取用于进行源领域模型训练的图像数据集， 也即源领域图像数 据矩阵 样本数为N， 维度为d， 隐含层输入 权值向量wi和隐层节点偏移量bi， 进行随机赋值， 其大小范围是-1,+1， 将训练样本。

20、集输入 输入层， 隐含层节点数为L。 得到隐含层输出矩阵 其中第j个样 本的隐 含层输出为i取1,2L,G()为激活函数， 可选Sigmoid 函数作为激活函数。 Xsource对应的标签矩阵为C为源 领域训练数据集的类别数量。 0036 S2： 根据超限学习机和基于超限学习机的自编码器， 为超限隐特征学习模 型设置 说明书 3/6 页 6 CN 109934304 A 6 图像数据输入通道、 图像分类输出通道以及图像输出重建通道。 0037 S3： 基于Xsource、 Tsource以及Hsource建立图像分类输出通道和图像输出重 建通道的 联合超限隐特征优化模型。 0038 本实施例中。

21、建立的联合超限隐特征优化模型为： 0039 0040 s.t.XsourceHsource QTP+E,QTR ,PTPI； 0041其中， 、 以及表示惩罚参数， E表示误差矩阵， 表示输出权重矩阵， 表示 矩阵Frobenius范数的平方， 即矩阵元素的平方和， Q表示源领域隐 特征变换矩阵， R表示源 领域数据分类矩阵， P表示源领域数据重建矩阵。 0042 S4： 利用交错方向法对联合超限隐特征优化模型的模型参数进行更新， 得 到超限 隐特征模型的图像分类输出通道和图像输出重建通道的优化模型参数。 0043 可选的， 步骤S4中可以引入辅助变量得到联合超限隐特征优化模型的增 广拉格 朗。

22、日函数模型， 增广拉格朗日函数模型为： 0044 0045 s.t.PTPI 0046 其中， 、 以及C表示模型平衡参数， 为正实数， 表示惩罚参数， Y1和 Y2表示拉格朗 日乘子，表示矩阵Frobenius范数的平方,即矩阵元素的平 方和， 表示矩阵内积运 算， E表示误差矩阵； 0047 步骤S4中可以基于增广拉格朗日函数模型利用交错方向法依次更新 、 P、 Q、 R、 E、 Y1、 Y2以及 ， 直到收敛时停止优化， 并将当前确定的Q和R作为 源领域图像分类输出通道的 优化模型参数， 将当前确定的Q和P作为源领域图 像输出重建通道的优化模型参数。 0048 具体的， 步骤S4中可以通。

23、过以下步骤依次更新 、 P、 Q、 R、 E、 Y1、 Y2以 及 ： 0049应当说明的是， 下述都是在上述的基础上， 通过 优 化一个变量而固定其他变量得到的。 0050 优化步骤1： 其他变量固定， 以常量处理。 通过解决下述公式更新矩阵 ； 0051 0052对 求导数， 令得到： 0053 说明书 4/6 页 7 CN 109934304 A 7 0054 优化步骤2： 其他变量固定， 以常量处理。 通过解决下述公式更新矩阵P； 0055 0056令得 0057 PUVT 0058 其中U和V由对BTA做奇异值分解得到， 即UVTSVD(BTA) 0059 优化步骤3： 其他变量固定。

24、， 以常量处理。 通过解决下述公式更新矩阵Q； 0060 0061令对Q求导， 令得到 0062 ( I+ RRT)Q+ QHTH (RNT+PMTH) 0063 这一问题为经典的Sylvester方程问题， 通过现有的优化工具包予以求解。 0064 优化步骤4： 其他变量固定， 以常量处理。 通过解决下述公式更新矩阵R； 0065 0066对R求导数， 令得到： 0067 R(I+ QQT)-1( Q -QY2) 0068 优化步骤5： 其他变量固定， 以常量处理。 通过解决下述公式更新矩阵E； 0069 0070对E求导数， 令得到， 0071 0072 优化步骤6： 对 ,P,Q,R,E。

25、依次更新完毕后， 对Y1、 Y2和 进行更新， 通过 下述公式： 0073 0074 其中 1， 表示惩罚参数调节因子， 迭代运行上述步骤， 直到收敛时更 新优化停 止， 得到最终的Q、 P、 R。 说明书 5/6 页 8 CN 109934304 A 8 0075 本实施例的收敛条件可以是判断迭代次数是否达到预设次数阈值， 如是， 则停止 优化。 0076 S5： 根据上述步骤得到的优化模型参数构建源领域超限隐特征学习模型。 0077 S6:目标领域图像样本适配阶段， 将待识别的目标领域图像数据矩阵输入 源领域 超限隐特征模型的图像数据输入通道， 并从源领域超限隐特征模型的图 像输出重建通道。

26、 得到原始目标领域图像样本在源领域的重建生成样本矩阵。 0078 本实施例中源领域超限隐特征模型的图像输出重建通道的输出 为:xtarget htarget QTP； 源领域超限隐特征模型的图像分类输出通道的输出 为： ttargethtarget QTR； 其 中， htarget表示源领域超限隐特征模型输入通道输 入的目标领域图像数据矩阵xtarget的隐 含层输出向量， htarget表示源领域超限 隐特征模型输入通道输入的增广样本矩阵ztarget的 隐含层输出向量， Q表示源 领域隐特征变换矩阵， R表示源领域数据分类矩阵， P表示源领域 数据重建矩 阵， ttarget表示目标领域。

27、图像数据矩阵xtarget的预测标签向量， xtarget表示输入 所述图像数据输入通道的目标领域图像数据矩阵， xtarget表示所述源领域超限 隐特征模 型根据所述目标领域图像数据矩阵从所述图像输出重建通道输出的 重建生成样本矩阵。 0079 S7： 将目标领域图像数据矩阵与该重建生成样本矩阵进行融合得到原始目 标领 域图像样本的增广样本矩阵。 0080 原始目标领域图像样本的增广样本矩阵为ztargetxtarget+xtarget， ztarget表示增广 样本矩阵。 0081 S8： 将增广样本矩阵输入源领域超限隐特征模型的图像数据输入通道， 并 从源领 域超限隐特征模型的图像分类输。

28、出通道得到对应的分类结果。 0082 基于超限隐特征模型的盲领域图像样本分类方法， 架构如图2所示， 包含 一个输 入层、 两个输出层、 隐含层和隐特征层HQT， 共用一个输入通道和两个 输出通道。 之后通过 联合学习， 对网络参数进行更新优化。 0083 本实施例所提供的方法以超限隐特征模型为基础， 设计盲领域样本生成与 增广 策略， 降低了领域偏差， 提高了跨领域图像识别的准确率。 0084 上面结合附图对本发明的实施例进行了描述， 但是本发明并不局限于上述 的具 体实施方式， 上述的具体实施方式仅仅是示意性的， 而不是限制性的， 本 领域的普通技术 人员在本发明的启示下， 在不脱离本发明宗旨和权利要求所保 护的范围情况下， 还可做出 很多形式， 这些均属于本发明的保护之内。 说明书 6/6 页 9 CN 109934304 A 9 图1 说明书附图 1/2 页 10 CN 109934304 A 10 图2 说明书附图 2/2 页 11 CN 109934304 A 11 。