商品数据处理方法和装置技术领域
本发明涉及图像处理技术领域，特别涉及一种商品数据处理方法和装置。
背景技术
电子商务中的商品搭配，旨在根据一定规则或特征规律对用户当前查看或购买的
商品进行匹配，从而为用户推荐与此商品形成搭配关系的其他商品。一套针对性强且有效
的搭配系统不仅能够提升被搭配商品的点击和购买率，而且能够为当前被浏览商品带来额
外转化率，因此在商品搭配过程中，如何根据现有商品的特征，构建有效的商品数据处理方
法为用户搭配匹配度较高的其他商品是目前该领域研究的核心技术问题。
现有的商品数据处理技术，主要是基于用户历史浏览记录、管理规则或者相似用
户打分来进行商品搭配。这些现有技术的商品搭配依据都是用户的历史行为特征或商品自
身标签特征等结构化数据。因此，一方面，缺乏直观联系，导致搭配商品的匹配度低；另一方
面，未被访问过或未被购买过的商品不在搭配数据库中，导致搭配商品的覆盖率低。
发明内容
本发明的发明人发现上述现有技术中存在的问题，并因此针对所述问题中的至少
一个问题提出了一种新的技术方案。
本发明的一个目的是提供一种商品数据处理的技术方案，能够实现高匹配度、高
覆盖率的商品搭配。
根据本发明的第一方面，提供了一种商品数据处理方法，包括：提取待搭配图片中
待搭配商品的特征向量，确定所述待搭配商品的类目；响应用户的搭配需求，确定目标商品
的类目；将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类
比商品；根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述目标商
品同类目的所述参考商品作为搭配结果；所述搭配特征数据库中包括所述参考商品对应的
特征向量和所述搭配关系。
可选地，该方法还包括：提取多张参考图片中各所述参考商品的特征向量，确定所
述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据
库。
可选地，所述将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参
考商品作为类比商品包括：将所述搭配特征数据库中所有与所述待搭配商品同类目的所述
参考商品作为候选商品；分别计算各所述候选商品对应的所述特征向量与所述待搭配商品
对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近
的所述候选商品作为所述类比商品。
可选地，所述分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对
应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的
所述候选商品作为所述类比商品包括：分别计算各所述候选商品对应的所述特征向量与所
述待搭配商品对应的所述特征向量之间的哈希海明距离，并选取第一预设值个与所述待搭
配商品之间的哈希海明距离最近的所述候选商品构成候选集合；计算所述候选集合中的所
述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧氏距离，
并选取第二预设值个与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类
比商品；所述第一预设值大于第二预设值。
可选地，所述提取多张参考图片中各所述参考商品的特征向量，确定所述各参考
商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库包括：利
用Faster-RCNN(Faster Region Convolutional Neural Network，快速区域卷积神经网
络)提取所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存
在所述参考商品的图像区域；对所述图像区域进行检测，以确定确实存在所述参考商品的
图像区域作为目标区域，并对所述目标区域中所述参考商品进行特征提取，生成所述参考
商品对应的所述特征向量；根据所述特征向量确定所述参考商品的类目，并获取各类目所
述参考商品之间的搭配关系，从而建立所述搭配特征数据库。
可选地，所述提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的
类目包括：利用Faster-RCNN提取所述待搭配图片的像素特征，生成若干坐标集合，每个所
述坐标集合对应一个可能存在所述待搭配商品的图像区域；对所述图像区域进行检测，以
确定确实存在所述待搭配商品的图像区域作为目标区域，并对所述目标区域中所述待搭配
商品进行特征提取，生成所述待搭配商品对应的所述特征向量；根据所述特征向量确定所
述待搭配商品的类目。
根据本发明的另一个方面，提供一种商品数据处理装置，包括：待搭配商品确定单
元，用于提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目；目标商品
确定单元，用于响应用户的搭配需求，确定目标商品的类目；类比商品确定单元，用于将搭
配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品；商品
搭配单元，用于根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述
目标商品同类目的所述参考商品作为搭配结果。
可选地，该装置还包括：搭配特征数据库建立单元，用于提取多张参考图片中各所
述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭
配关系建立所述搭配特征数据库。
可选地，所述类比商品确定单元包括：候选商品确定子单元，用于将所述搭配特征
数据库中所有与所述待搭配商品同类目的所述参考商品作为候选商品；特征距离确定子单
元，用于分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征
向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品
作为所述类比商品。
可选地，所述搭配特征数据库建立单元包括：参考商品区域确定子单元，用于提取
所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述
参考商品的图像区域，对所述图像区域进行检测，以确定确实存在所述参考商品的图像区
域作为目标区域；参考商品类目确定子单元，用于对所述目标区域中所述参考商品进行特
征提取，生成所述参考商品对应的所述特征向量，根据所述特征向量确定所述参考商品的
类目，并获取各类目所述参考商品之间的搭配关系，从而建立所述搭配特征数据库；所述待
搭配商品确定单元包括：待搭配商品区域确定子单元，用于提取所述待搭配图片的像素特
征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述待搭配商品的图像区域，
对所述图像区域进行检测，以确定确实存在所述待搭配商品的图像区域作为目标区域；待
搭配商品类目确定子单元，用于对所述目标区域中所述待搭配商品进行特征提取，生成所
述待搭配商品对应的所述特征向量，根据所述特征向量确定所述待搭配商品的类目。
根据本发明的又一个方面，提供一种商品数据处理装置，包括：存储器以及耦接至
所述存储器的处理器，所述处理器被配置为基于存储在所述存储器设备中的指令，执行如
上所述的商品数据处理方法。
本发明的一个优点在于，利用Faster-RCNN识别并提取了图片中的商品个体和特
征向量，建立了商品搭配特征数据库，并以特征向量之间的距离衡量商品之间的匹配程度，
从而实现了高匹配度、高覆盖率的商品搭配。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解
释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1示出根据本发明的商品数据处理方法的一个实施例的示意图。
图2示出根据本发明的商品数据处理方法的另一个实施例的流程图。
图3示出根据本发明的商品数据处理方法的又一个实施例的流程图。
图4示出根据本发明的商品数据处理方法的再一个实施例的流程图。
图5示出根据本发明的商品数据处理装置的一个实施例的结构图。
图6示出根据本发明的商品数据处理装置的另一个实施例的结构图。
图7示出根据本发明的商品数据处理装置的又一个实施例的结构图。
图8示出根据本发明的商品数据处理装置的再一个实施例的结构图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具
体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本
发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际
的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明
及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适
当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不
是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出根据本发明的商品数据处理方法的一个实施例的示意图。
如图1所示，搭配特征数据库11中包含参考图片1～N中的参考商品：上装1～N、下
装1～N和鞋1～N，以及这些参考商品之间的搭配关系如：上装2搭配下装2和鞋2等。提取待
搭配图片12中的待搭配商品：上装X，并根据用户的需求，确定目标商品的类目为下装；将上
装X与搭配特征数据库11中的上装1～N进行特征对比，选出与上装X特征最接近的上装2；根
据上装2与下装2的搭配关系，确定推荐商品13为：下装2。
图2示出根据本发明的商品数据处理方法的另一个实施例的流程图。
如图2所示，步骤201，提取待搭配图片中待搭配商品的特征向量，确定待搭配商品
的类目。例如，特征向量可以是根据深度学习模型确定的能够表征商品的纹理、材质、光照
或形状等特征的向量；商品的类目可以是上衣、裤子、鞋子或配饰等。
步骤202，响应用户的搭配需求，确定目标商品的类目。
步骤203，将搭配特征数据库中与待搭配商品同类目且与其特征匹配的参考商品
作为类比商品。
在一个实施例中，搭配特征数据库包括参考商品对应的特征向量和搭配关系。例
如，搭配特征数据库中包含了各种上衣、裤子和鞋子等参考商品的搭配方案以及能够表示
这些参考商品的颜色、材质和款式等特征的特征向量；类比商品与待搭配商品可以同为上
衣，且二者的材质、纹理或款式接近。
步骤204，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同
类目的参考商品作为搭配结果。
上述实施例中，一方面，本发明通过提取待搭配图片中商品的特征向量，与搭配特
征数据库中商品的特征向量进行比较，找到最接近的参考商品，根据搭配关系确定推荐商
品，提高了搭配匹配度；另一方面，本发明的推荐商品不限于用户浏览过的商品，而是从数
据库中的海量图片中进行挖掘，从而提高了搭配推荐的商品覆盖率。
图3示出根据本发明的商品数据处理方法的又一个实施例的流程图。
如图3所示，步骤301，提取待搭配图片中待搭配商品的特征向量，确定待搭配商品
的类目。
步骤302，响应用户的搭配需求，确定目标商品的类目。
步骤303，将搭配特征数据库中所有与待搭配商品同类目的参考商品作为候选商
品。
步骤304，分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之
间的欧式距离。
步骤305，选取若干与待搭配商品之间的欧式距离最近的候选商品作为类比商品。
例如，可以选择欧氏距离最短的10件候选商品作为类比商品。
在一个实施例中，分别计算各候选商品对应的特征向量与待搭配商品对应的特征
向量之间的哈希海明距离，并选取N(例如，50，100，120，150，或200)件与待搭配商品之间的
哈希海明距离最近的候选商品；然后分别计算这N件候选商品对应的特征向量与待搭配商
品对应的特征向量之间的欧氏距离，并选取M(M<N，例如，10、20、30或40)件与待搭配商品之
间的欧式距离最近的候选商品作为所述类比商品。
步骤306，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同
类目的参考商品作为搭配结果。
上述实施例中，本发明通过计算图像中待搭配商品与大量数据库图片中的参考商
品之间的欧式距离确定了类比商品，并根据类比商品的搭配关系确定推荐商品，提高了商
品搭配的覆盖率；利用哈希海明距离—欧式距离重排技术对参考图片进行粗筛和精选，大
大减少了计算次数，从而提高了商品搭配的时效性。
图4示出根据本发明的商品数据处理方法的再一个实施例的流程图。
如图4所示，步骤401，利用Faster-RCNN确定待搭配图片中待搭配商品所在的目标
区域。
在一个实施例中，首先，根据Faster-RCNN的深度学习模型提取待搭配图片的像素
特征，生成若干可能出现待搭配商品的坐标集合，每一组坐标集合均确定待搭配图片中的
一个具体区域；然后，依次对这些区域进行检测和分类，如果检测结果为该区域内存在待搭
配商品，则将该区域对应的商品类目的置信度提升，否则，则将该区域对应的商品类目的置
信度降低；最后，从具有高置信度的区域中定位待搭配商品。
步骤402，提取目标区域中待搭配商品的特征向量，确定待搭配商品的类目。
在一个实施例中，根据预先训练好的深度学习模型来提取待搭配商品的特征向
量，该特征向量可以表征待搭配商品图片的纹理、材质、光照和形状等。
步骤403，响应用户的搭配需求，确定目标商品的类目。
步骤404，将搭配特征数据库中所有与待搭配商品同类目的参考商品作为候选商
品。
在一个实施例中，利用上述方法对海量参考图片分别进行特征提取，根据获取的
各参考商品的特征向量和搭配关系建立搭配特征数据库。
步骤405，分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之
间的欧式距离。
步骤406，选取若干与待搭配商品之间的欧式距离最近的候选商品作为类比商品。
步骤407，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同
类目的参考商品作为搭配结果。
在上述实施例中，利用Faster-RCNN对商品图片中存在的商品个体进行识别和提
取，获取商品响应的特征向量来表征商品特征。本方法通过深度学习模型自动生成特征向
量来表征商品特征，而无需人为指定商品特征，可以挖掘海量参考图片中的商品搭配，从而
提高了商品搭配的覆盖率和匹配度。
图5示出根据本发明的商品数据处理装置的一个实施例的结构图。
如图5所示，该装置包括：待搭配商品确定单元51、目标商品确定单元52、类比商品
确定单元53和商品搭配单元54。
待搭配商品确定单元51提取待搭配图片中待搭配商品的特征向量，确定待搭配商
品的类目；目标商品确定单元52响应用户的搭配需求，确定目标商品的类目。例如，待搭配
图片为一张上装照片，用户希望给该照片中的上装搭配下装商品，待搭配商品确定单元51
提取该照片中商品特征，确定待搭配商品的类目为上衣；目标商品确定单元52确定目标商
品的类目为下装。
类比商品确定单元53将搭配特征数据库中与待搭配商品同类目且与其特征匹配
的参考商品作为类比商品；商品搭配单元54根据类比商品对应的搭配关系，在搭配特征数
据库中选取与目标商品同类目的参考商品作为搭配结果。例如，类比商品确定单元53将上
述照片中的上衣的特征与搭配特征数据库中所有的上衣的特征进行对比检索，选出与上述
照片中的上衣特征最接近的上衣，并召回同时包含该上衣和下装商品的参考图片(可以是
模特展示照片)。
上述实施例中，一方面，待搭配商品确定单元提取待搭配图片中商品的特征向量
后，与搭配特征数据库中商品的特征向量进行比较，找到最接近的参考商品，商品搭配单元
根据搭配关系确定推荐商品，提高了搭配匹配度；另一方面，本发明推荐的搭配商品不限于
有用户浏览过的商品，而是从数据库中的海量图片中进行挖掘，从而提高了搭配推荐的商
品覆盖率。
图6示出根据本发明的商品数据处理装置的另一个实施例的结构图。
如图6所示，该装置包括：搭配特征数据库建立单元60、待搭配商品确定单元51、目
标商品确定单元52、类比商品确定单元63和商品搭配单元54。其中，类比商品确定单元63包
括：候选商品确定子单元631和特征距离确定子单元632。其中，待搭配商品确定单元51、目
标商品确定单元52和商品搭配单元54的功能可以参照上述实施例的对应描述，为简洁起见
在此不再描述。
搭配特征数据库建立单元60提取多张参考图片中各参考商品的特征向量，确定各
参考商品的类目，根据各类目参考商品之间的搭配关系建立搭配特征数据库。例如，利用
Faster-RCNN的图像检测模型对包含给类目商品的模特展示图片进行检测，获取每张图片
中所包含的多个商品实体的位置，判断这些商品所属的类目，然后为每张图片中包含的多
商品建立搭配关系，从而建立搭配特征数据库。
候选商品确定子单元631将搭配特征数据库中所有与待搭配商品同类目的参考商
品作为候选商品；特征距离确定子单元632分别计算各候选商品对应的特征向量与待搭配
商品对应的特征向量之间的欧式距离，并选取若干与待搭配商品之间的欧式距离最近的候
选商品作为类比商品。
在一个实施例中，特征距离确定子单元632采用哈希海明距离—欧式距离重排技
术对候选商品进行筛选，从而确定类比商品，例如，首先计算待搭配商品和所有相同类目的
参考商品的特征向量之间的哈希海明距离，并从中选取N(例如，50，100，120，150，或200)件
哈希海明距离最近的参考商品；然后计算待搭配商品和该N件参考商品的特征向量之间的
欧氏距离，并从中选取M(M<N，例如，10、20、30或40)件欧式距离最近的参考商品作为类比商
品。
上述实施例中，特征距离确定子单元利用哈希海明距离—欧式距离重排技术将高
维特征向量降为低维特征向量，大大减少了特征向量之间距离的计算次数，从而提高了商
品搭配的时效性。
图7示出根据本发明的商品数据处理装置的又一个实施例的结构图。
如图7所示，该装置包括：搭配特征数据库建立单元70、待搭配商品确定单元71、目
标商品确定单元52、类比商品确定单元63和商品搭配单元54。其中，类比商品确定单元63包
括：候选商品确定子单元631和特征距离确定子单元632；搭配特征数据库建立单元70包括：
参考商品区域确定子单元701和参考商品类目确定子单元702；待搭配商品确定单元71包
括：待搭配商品区域确定子单元711和待搭配商品类目确定子单元712。其中，目标商品确定
单元52、类比商品确定单元63和商品搭配单元54的功能可以参照上述实施例的对应描述，
为简洁起见在此不再描述。
参考商品区域确定子单元701提取参考图片的像素特征，生成若干坐标集合，每个
坐标集合对应一个可能存在参考商品的图像区域，对图像区域进行检测，以确定确实存在
参考商品的图像区域作为目标区域。
在一个实施例中，参考商品区域确定子单元701利用Faster-RCNN深度学习模型提
取参考图片的像素特征，生成若干可能出现目标物体的坐标集合，其中每组坐标集合均定
位一片具体区域；然后，参考商品区域确定子单元701依次对这些定位出的区域进行检测和
分类，将确实存在目标物体的区域对应的商品类目(如上衣、下装或配饰等)置信度提升，否
则，将置信度降低；最后，对每个具有较高置信度的区域进行检测从而定位相应商品类目的
目标物体。
参考商品类目确定子单元702对目标区域中参考商品进行特征提取，生成参考商
品对应的特征向量，根据特征向量确定参考商品的类目，并获取各类目参考商品之间的搭
配关系，从而建立搭配特征数据库。
待搭配商品区域确定子单元711提取待搭配图片的像素特征，生成若干坐标集合，
每个坐标集合对应一个可能存在待搭配商品的图像区域，对图像区域进行检测，以确定确
实存在待搭配商品的图像区域作为目标区域；待搭配商品类目确定子单元721对目标区域
中待搭配商品进行特征提取，生成待搭配商品对应的特征向量，根据特征向量确定待搭配
商品的类目。
在一个实施例中，待搭配商品类目确定子单元721利用预先训练好的Faster-RCNN
深度学习特征模型对目标区域进行特征提取，目标区域中的待搭配商品对应一个1024维的
特征向量。该特征向量表征了商品图片的纹理、材质、光照和形状等图片特征，这些深度学
习特征模型的特征不需要人为指定，而是通过模型自动学习来确定哪些特征最能表征图片
特点。
在上述实施例中，利用Faster-RCNN对商品图片中存在的商品个体进行识别和提
取，获取商品响应的特征向量来表征商品特征。本方法通过深度学习模型自动生成特征向
量来表征商品特征，而无需人为指定商品特征，可以挖掘海量参考图片中的商品搭配，从而
提高了商品搭配的覆盖率和匹配度。
图8示出根据本发明的商品数据处理装置的再一个实施例的结构图。
如图8所示，该实施例的装置80包括：存储器801以及耦接至该存储器801的处理器
802，处理器802被配置为基于存储在存储器801中的指令，执行本发明中任意一个实施例中
的商品数据处理方法。
其中，存储器801例如可以包括系统存储器、固定非易失性存储介质等。系统存储
器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
至此，已经详细描述了根据本发明的商品数据处理方法和装置。为了避免遮蔽本
发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可
以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者
软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序
仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特
别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序
包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据
本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技
术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技
术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发
明的范围由所附权利要求来限定。