一种基于直接双侧二维主成分分析的图像识别和图像重建方法.pdf

《一种基于直接双侧二维主成分分析的图像识别和图像重建方法.pdf》由会员分享，可在线阅读，更多相关《一种基于直接双侧二维主成分分析的图像识别和图像重建方法.pdf（11页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103955706 A (43)申请公布日 2014.07.30 CN 103955706 A (21)申请号 201410179380.X (22)申请日 2014.04.29 G06K 9/62(2006.01) G06T 7/00(2006.01) G06T 5/00(2006.01) (71)申请人 东南大学 地址 210096 江苏省南京市四牌楼 2 号 (72)发明人 王海贤 王敬 (74)专利代理机构 江苏永衡昭辉律师事务所 32250 代理人 王斌 (54) 发明名称 一种基于直接双侧二维主成分分析的图像识 别和图像重建方法 (57) 摘要 本发明公开。

2、了一种基于直接双侧二维主成分 分析的图像识别和图像重建方法， 包括以下步骤 ： 步骤一、 对图像进行二维主成分分析 ； 步骤二、 对 图像进行替代的二维主成分分析 ； 步骤三、 将测 试样本投影到步骤一和步骤二得到的主成分方向 上， 分别得到二维主成分分析和替代的二维主成 分分析对应的投影结果， 然后将这两个结果分别 进行列向量操作， 再合并成一个列向量， 作为直接 双侧二维主成分分析的投影结果 ； 步骤四、 将二 维主成分分析和替代的二维主成分分析的重建结 果取平均作为重建结果。本发明方法增强了两种 单侧结果中共同的成分， 抵消了两种单侧结果的 误差， 从而使得重建结果更接近原始图像。 本发。

3、明 有效地提高了图像识别准确率， 降低了图像重建 误差。 (51)Int.Cl. 权利要求书 1 页 说明书 5 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图4页 (10)申请公布号 CN 103955706 A CN 103955706 A 1/1 页 2 1. 一种基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 包括 以下步骤 ： 步骤一、 对图像进行二维主成分分析 ； 步骤二、 对图像进行替代的二维主成分分析 ； 步骤三、 将测试样本投影到步骤一和步骤二得到的主成分方向上， 分别得到二维主成 分分析和。

4、替代的二维主成分分析对应的投影结果， 然后将这两个结果分别进行列向量操 作， 再合并成一个列向量， 作为直接双侧二维主成分分析的投影结果 ； 步骤四、 将二维主成分分析和替代的二维主成分分析的重建结果取平均作为重建结 果。 2. 根据权利要求 1 所述的基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 所述步骤一的具体方法是 ： 计算训练样本的协方差矩阵， 进行特征值分解并 选择对应特征值最大的前一部分特征向量作为主成分。 3. 根据权利要求 1 所述的基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 所述步骤二的具体方法是 ： 计算训练样本另一侧对应的。

5、协方差矩阵， 进行特 征值分解并选择对应特征值最大的前一部分特征向量作为主成分。 4.根据权利要求1， 2或3所述的基于直接双侧二维主成分分析的图像识别和图像重建 方法， 其特征在于 ： 所述步骤四的具体方法是 ： 将测试样本用步骤一和步骤二得到的主成 分进行重建， 将得到的重建结果取平均， 作为直接双侧二维主成分分析的重建结果。 5. 根据权利要求 4 所述的基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 所述取平均的计算方法利用算术平均或几何平均。 6. 根据权利要求 1 所述的基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 所述的图像为人脸、 。

6、手写字符、 掌纹或虹膜。 权 利 要 求 书 CN 103955706 A 2 1/5 页 3 一种基于直接双侧二维主成分分析的图像识别和图像重建 方法 技术领域 0001 本发明涉及图像识别和图像重建技术， 具体地说， 给出了一种基于直接双侧二维 主成分分析的图像识别和图像重建方法。 背景技术 0002 主成分分析 (Principal Component Analysis,PCA) 是模式识别领域中一种被广 泛用来降低信号维度和重建信号的方法。将主成分分析用于图像数据时， 必须先将二维的 图像数据转化为一维的向量， 这会产生规模很大的协方差矩阵， 从而带来计算上的困难。 二 维主成分分析 。

7、(Two Dimensional PCA,2DPCA) 直接对矩阵形式的图像数据进行计算， 使得 得到的协方差矩阵的维度大幅降低， 从而极大地提高了计算效率。 0003 然而 2DPCA 存在如下问题 ： 没有对等地考虑图像的行和列， 从而缺乏理论上的对 称性 ； 不能充分地从图像中提取有用信息。在 2DPCA 的基础上， 为了考察图像的另一侧， 有 研究提出替代的二维主成分分析 (Alternative2DPCA,A2DPCA)。两种二维主成分分析方法 分别考虑到了图像的两侧， 因此很有必要将它们结合起来， 以得到双侧二维主成分分析。 已 有的双侧二维主成分分析方法包括(2D)2PCA(也被。

8、称作Complete2DPCA,Bi-directionPCA) 和 G2DPCA(Generalized2DPCA) 等。(2D)2PCA 是直接将 2DPCA 和 A2DPCA 提取出的主成分作 为双侧主成分， 而 G2DPCA 通过迭代地求解一个优化问题来计算双侧主成分。然而， 两种方 法都将测试样本同时投影到双侧的主成分上， 从而， 双侧的信息被混杂在一起。因此， 有必 要发明新的方法以提升二维主成分分析在图像识别和图像重建上的性能。 发明内容 0004 本发明所要解决的技术问题是针对上述现有技术的不足， 而提供一种直接双侧二 维主成分分析(Direct Bilateral 2DPCA。

9、,DB2DPCA)的方法， 该方法能够有效地提高图像的 识别效率， 降低图像的重建误差。 0005 为解决上述技术问题， 本发明采用的技术方案是 ： 0006 一种基于直接双侧二维主成分分析的图像识别和图像重建方法， 其特征在于 ： 包 括以下步骤 ： 0007 步骤一、 对图像进行二维主成分分析 ； 0008 步骤二、 对图像进行替代的二维主成分分析 ； 0009 步骤三、 将测试样本投影到步骤一和步骤二得到的主成分方向上， 分别得到二维 主成分分析和替代的二维主成分分析对应的投影结果， 然后将这两个结果分别进行列向量 操作， 再合并成一个列向量， 作为直接双侧二维主成分分析的投影结果 ； 。

10、0010 步骤四、 将二维主成分分析和替代的二维主成分分析的重建结果取平均作为重建 结果。 0011 所述步骤一的具体方法是 ： 计算训练样本的协方差矩阵， 进行特征值分解并选择 说 明 书 CN 103955706 A 3 2/5 页 4 对应特征值最大的前一部分特征向量作为主成分。 0012 所述步骤二的具体方法是 ： 计算训练样本另一侧对应的协方差矩阵， 进行特征值 分解并选择对应特征值最大的前一部分特征向量作为主成分。 0013 所述步骤四的具体方法是 ： 将测试样本用步骤一和步骤二得到的主成分进行重 建， 将得到的重建结果取平均， 作为直接双侧二维主成分分析的重建结果。 0014 所。

11、述取平均的计算方法可利用算术平均、 几何平均或者其他形式的平均。 0015 所述的图像为人脸、 手写字符、 掌纹或虹膜。 0016 本发明方法将两种单侧二维主成分分析的投影结果分别拉成列向量， 然后合并成 一个列向量， 这样便直接地将两种单侧算法的投影结果有效联合起来， 从而充分地利用了 双侧的信息。与现有技术相比， 本发明中提出的方法有如下优势 ： 0017 (1) 对等地考虑图像的行和列， 因此算法理论上具有对称性 ； 0018 (2) 对于投影， 将两种单侧信息结合起来而不是进行耦合， 这样可以提取出更多的 有用信息 ； 0019 (3) 对于重建， 将两种单侧的重建结果取平均， 这样得。

12、到的重建结果易于解释， 并 且也增强了与原始图像接近的成分， 抵消了两种单侧结果的误差， 从而得到了更接近原始 图像的重建结果， 有效地提高了图像识别准确率， 降低了图像重建误差 ； 0020 (4)该方法基于2DPCA和A2DPCA， 因此当被用来提取特征时， 其计算量不会超过已 有的双侧二维主成分分析算法。 附图说明 0021 图 1 为本发明的流程图。 0022 图 2 为将一个矩阵按列重排为列向量的示意图。 0023 图 3 为 AR 人脸库中第一个被试的前 13 幅图像。 0024 图 4 为使用的分类器为 NN 时五种算法在选取不同数目的特征时得到的分类准确 率结果图。 0025 。

13、图5为使用的分类器为SVM时五种算法在选取不同数目的特征时得到的分类准确 率结果图。 0026 图6为使用的分类器为CRC时五种算法在选取不同数目的特征时得到的分类准确 率结果图。 0027 图 7 为图像重建效果的示意图。第一列为原始图像， 后五列分别为五种图像重建 算法， 即 PCA， 2DPCA， A2DPCA， (2D)2PCA 和 DB2DPCA 对应的重建结果， 其中前 10 个投影向量 被用来进行图像重建。 0028 图 8 为五种算法在选取不同数目的特征时得到的平均重建误差结果图。 具体实施方式 0029 下面结合附图和实施例来对本发明进行详细阐述。 0030 图1为本发明的流。

14、程图。 由图1可见， 该方法构建于2DPCA和A2DPCA的基础之上， 所以下面先介绍 2DPCA 和 A2DPCA， 然后再介绍本发明提出的 DB2DPCA。 0031 本发明中的公式中， 小写字母表示标量， 加粗的小写字母表示列向量， 加粗的大写 说 明 书 CN 103955706 A 4 3/5 页 5 字母表示矩阵。 0032 (1)2DPCA 0033 设有 n 个高度为 h， 宽度为 w 的训练样本 ( 图像 )X1,X2,.,Xn，i 1,2,.,n， 则 2DPCA 要寻找的投影矩阵可以通过求解如下优化问题得到 0034 0035 其中 k 为提取的特征数目，为训练样本的平均。

15、值， Ik表示 kk 的单位 阵。 对图像协方差矩阵进行特征值分解可以求出投影矩阵U。 求出了投影矩阵后， 对某个测 试样本进行如下投影， 从而得到特征矩阵 0036 0037 对样本 Y 进行重建得到的重建结果为 0038 在不至于混淆的前提下， 本 发明中所提及的投影矩阵等同于主成分， 特征数目等同于投影向量的数目。 0039 (2)A2DPCA 0040 A2DPCA 通过求解如下优化问题来得到投影矩阵 0041 0042 其中 l 为提取的特征数目， Il 表示 ll 的单位阵。对样本 Y 进行投影得到 0043 0044 对样本 Y 进行重建得到 0045 0046 (3)DB2DP。

16、CA 0047 本发明中提出的方法DB2DPCA使用到的投影矩阵和分别为2DPCA 和 A2DPCA 的投影矩阵。对样本 Y 进行投影得到 0048 0049 其中 vec( ) 是将一个矩阵按列重排为一个列向量的操作。图 2 是将矩阵 A 按列 重排为一个列向量 B 的示意图。该投影方法也就是将两种单侧二维主成分分析的投影结果 分别拉成列向量， 然后合并成一个列向量， 这样便直接地将两种单侧算法的投影结果有效 联合起来， 从而充分地利用了双侧的信息。 说 明 书 CN 103955706 A 5 4/5 页 6 0050 对样本 Y 进行重建得到 0051 0052 该重建方式是将两种单侧二。

17、维主成分分析得到的结果按元素取代数平均。 实际上 取几何平均或者其他种类的平均数都是可以的。 对于两个正实数a和b， 广义平均数的定义 为 0053 0054 其中 r 为任意实数。广义平均数的两个常见特例为 ： r 1 对应代数平均， r 0 对应几何平均。具体对 r 的选取应该综合考虑计算复杂度和重建效果等因素。本发明中默 认针对代数平均进行讨论。 0055 使用 DB2DPCA 进行投影和重建时， 在不作特殊说明的情况下， 对两个投影矩阵所 选取的投影向量的数目始终保持一致， 即 k l。 0056 本发明方法在训练样本上分别通过 2DPCA 和 A2DPCA 的优化问题训练出投影矩阵 。

18、U 和 V， 然后对训练和测试样本按照 DB2DPCA 的投影和重建方法进行投影和重建， 之后对投 影的结果用分类器进行分类并计算分类准确率， 对重建的结果计算平均重建误差。为了突 出本发明中的方法， 本实施例中对比了 PCA， 2DPCA， A2DPCA， (2D)2PCA 和 DB2DPCA 五种算法 在识别和重建上的效果。 0057 本实施例中采用 AR 人脸数据库。AR 数据库中包括来自 120 个被试的 3120 张人 脸图像， 每个被试 26 张图像。这些图像是在不同的面部表情和光照的条件下获得的。部分 图像中有太阳镜或者围巾的遮挡。所有图像经过裁剪和缩放， 最终的分辨率为 504。

19、0。本 数据库可以网上下载得到， 见 http:/www2.ece.ohio-state.edu/ aleix/ARdatabase. html。其中第一个被试的前 13 幅图像如图 3 所示。 0058 (1) 图像识别 0059 下面从图像识别的角度对比以上五种算法。 十重交叉验证被用来进行图像识别效 果的评价， 也就是将所有图像随机等分为 10 等分， 每次选取其中 9 重作为训练， 剩下的 1 重 作为测试， 循环至每一重都被测试过。将整个过程重复 10 次， 计算平均分类准确率。由于 将样本随机划分为训练样本集和测试样本集， 所以得到的结果不依赖于特定的样本划分， 因而更为可靠。 0。

20、060 在每重交叉验证中， 用训练样本来训练投影矩阵 U 和 V， 然后对训练样本和测试样 本都用这两个投影矩阵进行投影， 得到训练样本的投影结果和测试样本的投影结果。然后 对投影结果使用不同的分类器进行分类， 计算分类准确率。 式(2)， (5)和(7)给出了2DPCA， A2DPCA 和 DB2DPCA 的投影方法。PCA 和 (2D)2PCA 的投影方法可以类似地定义。 0061 由于分类器本身对分类结果有较大的影响， 所以本实施例中使用了三种常见分类 器， 以便更好地对比以上五种特征提取算法对分类结果的影响。本实施例中选用的三种分 类器分别是最近邻分类器(Neareast Neighb。

21、or Classifier， NN)， 线性支持向量机(linear Support Vector Machine， SVM) 和协同表征分类器 (Collaborative Representation Classifier， CRC)。对于线性 SVM， 本实施例中使用的是 LibSVM 工具包， 参数默认。在使用 说 明 书 CN 103955706 A 6 5/5 页 7 SVM 进行分类前， 训练样本和测试样本的每个特征都被进行了线性伸缩， 具体地说是， 将训 练样本中的每个特征线性伸缩到 0,1 之间， 将同样的线性伸缩参数用在测试样本对应的 特征上。对于 CRC， 本实施例中将其。

22、调节参数 设置为 0.001*n/700， 其中 n 为训练样本的 数目。 0062 图 4， 5 和 6 分别对应 NN， SVM 和 CRC 三种分类器的分类结果。从图可以看出， 大部 分情况下， DB2DPCA 对应的分类准确率高于另外四种特征提取方法对应的分类准确率。仅 有的异常的情况出现在当选取 NN 作为分类器并且特征数目小于 4 时， 此时 2DPCA 得到的分 类准确率高于 DB2DPCA。而 NN 作为分类器时得到的分类准确率明显低于 SVM 和 CRC 作为分 类器时得到的分类准确率， 这说明 NN 不足以充分利用以上算法提取出来的特征信息。当特 征信息能够被充分利用时， 。

23、DB2DPCA 对应的分类准确率高于另外四种特征提取算法， 这证明 了 DB2DPCA 在图像识别上的优越性。 0063 DB2DPCA与两种单侧的二维算法2DPCA和A2DPCA不同的是它同时提取出了双侧的 信息， 与 (2D)2PCA 不同的是它没有将双侧信息耦合起来而是直接联合起来， 从而提取出了 更丰富的特征信息， 因此使用 DB2DPCA 提取出的特征能够取得较好的分类准确率。 0064 (2) 图像重建 0065 下面从图像重建的角度对比以上五种算法。用 AR 库中的所有图像来训练投影矩 阵 U 和 V， 然后对该库中的所有图像进行重建， 计算平均重建误差。设是样本 Xi由 上面五。

24、种重建算法中的一种计算得到重建图像， i 1,2,.,n， 则平均重建误差被定义为 0066 0067 其中 |F表示 Frobenius 范数。三种二维算法 2DPCA,A2DPCA 和 DB2DPCA 对 于 Zi 的定义分别见式 (3)， (6) 和 (8)。PCA 和 (2D)2PCA 对应的重建图像可以类似地进行 定义。 0068 图 7 显示五种算法， 即 PCA， 2DPCA， A2DPCA， (2D)2PCA 和 DB2DPCA 的前 10 个特征对 应的重建结果。对于两种双侧算法 (2D)2PCA 和 DB2DPCA， 两侧均选取前 10 个特征。从该图 中可以看出， PCA。

25、和(2D)2PCA的重建图像都很模糊， 2DPCA和A2DPCA的重建图像中分别有竖 向和横向的纹理， 而本发明中提出的方法DB2DPCA得到了最好的重建结果。 这说明DB2DPCA 在图像重建上优于另外四种算法。 0069 图 8 显示当特征数目的变化时五种算法的平均重建误差结果图。同样的， 对于两 个双侧算法， 在两侧上选取同样数目的特征。从该图可以看出， PCA 的重建误差最大， 本发 明提出的方法 DB2DPCA 的重建误差最小。这进一步证明了 DB2DPCA 的图像重建效果优于另 外四种算法。 0070 DB2DPCA 之所有得到较好的重建结果， 是因为它将两种单侧的重建结果取平均，。

26、 这 样便增强了与原始图像接近的成分， 抵消了两种单侧的重建结果的误差， 从而使得得到的 重建图像更接近原始图像。 0071 综上所述， 本发明公布的方法 DB2DPCA 直接地将两种单侧二维主成分分析算法 2DPCA 和 A2DPCA 结合起来， 使得新算法具有理论上的对称性， 也在图像识别和图像重建上 展现出更好的效果， 比已有的双侧二维主成分分析算法如 (2D)2PCA 有优势。 说 明 书 CN 103955706 A 7 1/4 页 8 图 1 图 2 图 3 说 明 书 附 图 CN 103955706 A 8 2/4 页 9 图 4 图 5 说 明 书 附 图 CN 103955706 A 9 3/4 页 10 图 6 图 7 说 明 书 附 图 CN 103955706 A 10 4/4 页 11 图 8 说 明 书 附 图 CN 103955706 A 11 。