用于在零售环境中检测不可见人类情感的系统和方法.pdf

《用于在零售环境中检测不可见人类情感的系统和方法.pdf》由会员分享，可在线阅读，更多相关《用于在零售环境中检测不可见人类情感的系统和方法.pdf（24页完整版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201780022045.0 (22)申请日 2017.02.08 (30)优先权数据 62/292,574 2016.02.08 US (85)PCT国际申请进入国家阶段日 2018.09.30 (86)PCT国际申请的申请数据 PCT/CA2017/050140 2017.02.08 (87)PCT国际申请的公布数据 WO2017/136928 EN 2017.08.17 (71)申请人 纽洛斯公司 地址 加拿大安大略省 (72)发明人 李康 郑璞 (74)专利代理机构 北京。

2、东方亿思知识产权代理 有限责任公司 11258 代理人 林强 (51)Int.Cl. A61B 5/145(2006.01) A61B 3/113(2006.01) A61B 5/16(2006.01) G06F 15/18(2006.01) G06K 9/78(2006.01) G06Q 30/02(2006.01) G06N 3/02(2006.01) (54)发明名称 用于在零售环境中检测不可见人类情感的 系统和方法 (57)摘要 提供了一种用于在零售环境中检测不可见 人类情感的系统。 该系统包括相机和图像处理单 元。 相机在零售环境中经配置以在产品或服务的 价格变得可见之前和期间捕获人。

3、的图像序列。 图 像处理单元经训练以确定所捕获的图像序列中 表示人的血红蛋白浓度(HC)变化的多个图像的 位面集， 并基于HC变化检测人的不可见情感状 态。 图像处理单元是使用包括具有已知情感状态 的一组主体的训练集来训练的。 权利要求书2页 说明书9页 附图12页 CN 108882894 A 2018.11.23 CN 108882894 A 1.一种用于在零售环境中检测不可见人类情感的系统， 在该零售环境中， 产品通过产 品展示台以示于人， 所述系统包括： 价格显示设备， 用于根据销售点事件选择性地显示所述产品的至少一个价格； 相机， 该相机被配置为在所述销售点事件之前和期间捕获所述人的。

4、图像序列； 以及 处理单元， 该处理单元经训练以确定所捕获的图像序列中表示所述人的血红蛋白浓度 (HC)变化的多个图像的位面集、 基于所述HC变化检测所述人的不可见情感状态、 并输出在 所检测到的不可见情感状态， 所述处理单元是使用包括具有已知情感状态的主体的HC变化 的训练集来训练的。 2.根据权利要求1所述的系统， 其中， 基于所述HC变化检测所述人的不可见情感状态包 括： 生成所述人的情感状态符合来自所述训练集的已知情感状态的估算统计概率， 以及对 这样确定的情感状态的标准化强度度量。 3.根据权利要求1所述的系统， 其中， 所述销售点事件包括所述价格显示设备显示价 格。 4.根据权利要。

5、求1所述的系统， 其中， 所述销售点事件包括所述价格显示设备临时显示 优惠价格。 5.根据权利要求1所述的系统， 其中， 所述相机与所述价格显示设备是一体的。 6.根据权利要求1所述的系统， 还包括运动传感器， 用以检测所述产品展示台附近的区 域中的运动， 并且一旦检测到所述区域中的运动， 触发所述相机捕获图像序列， 并触发所述 价格显示设备显示价格。 7.根据权利要求1所述的系统， 其中， 所述处理单元被配置为接收所述相机和所述产品 的位置， 以执行视线跟踪以分析所述图像序列， 从而确定所述人在所述销售点事件期间是 否查看所述产品， 并且如果所述人在所述销售点事件期间没有查看所述产品， 则将。

6、所述图 像序列丢弃。 8.根据权利要求1所述的系统， 还包括通知系统， 用于显示指示所述人被检测到的不可 见情感状态的通知。 9.一种用于在零售环境中检测不可见人类情感的方法， 在该零售环境中， 产品通过产 品展示台以示于人， 所述方法包括： 价格显示设备根据销售点事件选择性地显示所述产品的至少一个价格； 相机在所述销售点事件之前和期间捕获所述人的图像序列； 以及 处理单元确定所捕获的图像序列中表示所述人的血红蛋白浓度(HC)变化的多个图像 的位面集、 基于所述HC变化检测所述人的不可见情感状态、 并输出所检测到的不可见情感 状态， 所述处理单元是使用包括具有已知情感状态的主体的HC变化的训练。

7、集来训练的。 10.根据权利要求9所述的方法， 其中， 基于所述HC变化检测所述人的不可见情感状态 包括： 生成所述人的情感状态符合来自所述训练集的已知情感状态的估算统计概率， 以及 对这样确定的情感状态的标准化强度度量。 11.根据权利要求9所述的方法， 其中， 所述销售点事件包括价格显示设备显示价格。 12.根据权利要求9所述的方法， 其中， 所述销售点事件包括价格显示设备临时显示优 惠价格。 13.根据权利要求9所述的方法， 其中， 所述相机与所述价格显示设备是一体的。 权 利 要 求 书 1/2 页 2 CN 108882894 A 2 14.根据权利要求9所述的方法， 还包括： 运动。

8、传感器检测所述产品展示台附近的区域 中的运动， 并且一旦检测到所述区域中的运动， 触发所述相机捕获图像序列， 并触发所述价 格显示设备显示价格。 15.根据权利要求9所述的方法， 还包括： 所述处理单元接收所述相机和所述产品的位 置， 执行视线跟踪以分析所述图像序列， 从而确定所述人在所述销售点事件期间是否查看 所述产品， 并且如果所述人在所述销售点事件期间没有查看所述产品， 则将所述图像序列 丢弃。 16.根据权利要求9所述的方法， 还包括通知系统显示指示所述人被检测到的不可见情 感状态的通知。 权 利 要 求 书 2/2 页 3 CN 108882894 A 3 用于在零售环境中检测不可见。

9、人类情感的系统和方法 技术领域 0001 下文总体涉及市场分析， 并且更具体地， 涉及用于在零售环境中检测不可见人类 情感的基于图像捕获的系统和方法。 背景技术 0002 零售环境、 定价、 和促销的学问或艺术是复杂的。 许多因素可以影响消费者支出和 伫足， 包括但不限于商店位置和布局、 员工行为、 清洁度、 产品放置、 展示、 价格、 和促销。 孤 立地理解这些因素中的每一者是较为容易的， 但是， 组合起来却可能很难以增加利润为目 的而将它们平衡。 0003 为了更好地解决这个问题， 一些零售商聘请了内部和外部顾问， 他们将科学和经 验结合应用于分析影响利润的各种因素。 虽然这些顾问提供了有。

10、价值的信息， 但他们仍然 只是进行了一定程度的预测而非分析。 他们的经验可能会使他们以不一定受现实支持的方 式来对如何优化因素进行预测。 让这些顾问任意规律地屡次重访零售地点的成本可能超过 收益。 此外， 对因素的任何变化进行的评估可能是昂贵且缓慢的。 0004 使用销售数据执行的市场分析可以在宏观层面上提供一定程度的洞察， 但是， 它 本身并不能描绘消费者所做出的行为和决策。 虽然消费者通常有针对购物和购买行为的逻 辑基础， 但很难知晓他们在零售环境中做出的决定。 此外， 在其他情况下， 关于难以被衡量 的消费者的购物和购买行为的逻辑原因是较少的。 这些决策与行为通常伴随有他人无法察 觉的生。

11、理反应。 发明内容 0005 在一个方面， 提供了一种用于在零售环境中检测不可见人类情感的系统， 在该零 售环境中， 产品通过产品展示台以示于人， 该系统包括： 价格显示设备， 用于根据销售点事 件选择性地显示产品的至少一个价格； 相机， 该相机被配置为在销售点事件之前和期间捕 获人的图像序列； 以及处理单元， 该处理单元经训练以确定所捕获的图像序列中表示人的 血红蛋白浓度(HC)变化的多个图像的位面集、 基于HC变化检测人的不可见情感状态、 并输 出在所检测到的不可见情感状态， 处理单元是使用包括具有已知情感状态的主体的HC变化 的训练集来训练的。 0006 在另一方面， 提供了一种用于在零。

12、售环境中检测不可见人类情感的方法， 在该零 售环境中， 产品通过产品展示台以示于人， 该方法包括： 价格显示设备根据销售点事件选择 性地显示产品的至少一个价格； 相机在销售点事件之前和期间捕获人的图像序列； 以及处 理单元确定所捕获的图像序列中表示人的血红蛋白浓度(HC)变化的多个图像的位面集、 基 于HC变化检测人的不可见情感状态、 并输出所检测到的不可见情感状态， 处理单元是使用 包括具有已知情感状态的主体的HC变化的训练集来训练的。 附图说明 说 明 书 1/9 页 4 CN 108882894 A 4 0007 本发明的特征在参考附图的下列详细描述中将变得更加清楚， 其中： 0008 。

13、图1是根据一个实施例的采用用于检测不可见人类情感的系统的零售地点的示意 性平面图； 0009 图2是图1的具有透皮光学成像相机的系统的价格显示单元的正视图； 0010 图3是用于图1的不可见情感检测的系统的各种组件的框图； 0011 图4示出了光从皮肤表皮和皮下层的再发射； 0012 图5是一组表面及相应的透皮图像， 示出了与特定时间点的特定人类主体的不可 见情感相关的血红蛋白浓度的变化； 0013 图6是将经历积极、 消极、 以及中性情感状态的主体的前额的血红蛋白浓度变化示 出为时间(秒)的函数的绘图； 0014 图7是将经历积极、 消极、 以及中性情感状态的主体的鼻子的血红蛋白浓度变化示 。

14、出为时间(秒)的函数的绘图； 0015 图8是将经历积极、 消极、 以及中性情感状态的主体的面颊的血红蛋白浓度变化示 出为时间(秒)的函数的绘图； 0016 图9是示出全自动透皮光学成像和不可见情感检测系统的流程图； 0017 图10是系统生成的示例性报告； 0018 图11是用于经优化的血红蛋白图像组合的数据驱动机器学习系统的图示； 0019 图12是用于多维不可见情感模型建立的数据驱动的机器学习系统的图示； 0020 图13是自动不可见情感检测系统的图示； 0021 图14是存储器单元； 以及 0022 图15示出了根据另一实施例的用于检测不可见人类情感的相机。 具体实施方式 0023 现。

15、在将参考附图描述实施例。 为说明的简单和清楚起见， 在认为适当的情况下， 可 以在附图之间重复参考标号以指示对应的或类似的元件。 此外， 阐述了许多具体细节以便 提供对本文描述的实施例的透彻的理解。 然而， 本领域普通技术人员将理解， 可以在没有这 些具体细节的情况下实施本文描述的实施例。 在其他实例中， 未详细描述公知的方法、 过程 以及组件以免模糊本文描述的实施例。 此外， 本说明不应被认为限制本文描述的实施例的 范围。 0024 除非上下文另有指示， 否则可以如下解读和理解本说明书通篇所使用的各个术 语： 如通篇使用的，“或” 是包括性的， 如同写成 “和/或” ； 如通篇使用的， 单数。

16、冠词和代词包 括它们的复数形式， 反之亦然； 类似地， 性别代词包括它们的对应代词， 从而代词不应被理 解为将本文描述的任何内容限制为由单个性别使用、 实现、 执行等；“示例性” 应被理解为 “说明性” 或 “举例” 并且不一定相对于其他实施例是 “优选” 的。 可以在本文陈述术语的其他 定义； 如通过阅读本说明书将理解的， 这些其他定义可应用于那些术语的在先和后续的实 例。 0025 本文举例的执行指令的任意模块、 单元、 组件、 服务器、 计算机、 终端、 引擎或设备 可包括计算机可读介质或以其他方式访问计算机可读介质， 计算机可读介质例如是存储介 质、 计算机存储介质、 或诸如磁盘、 光。

17、盘、 或磁带之类的数据存储设备(可移除的和/或不可 说 明 书 2/9 页 5 CN 108882894 A 5 移除的)。 计算机存储介质可包括以用于存储信息(例如， 计算机可读指令、 数据结构、 程序 模块、 或其他数据)的任意方法或技术实现的易失性和非易失性、 可移除和不可移除介质。 计算机存储介质的示例包括RAM、 ROM、 EEPROM、 闪速存储器或其他存储器技术、 CD-ROM、 数字 通用盘(DVD)或其他光存储装置、 磁带盒、 磁带、 磁盘存储装置或其他磁存储设备、 或可用于 存储期望信息并可由应用、 模块或二者访问的任意其他介质。 任意这类计算机存储介质可 以是设备的一部分。

18、或可被访问或可被连接。 此外， 除非上下文另有清楚指示， 否则本文陈述 的任意处理器或控制器可被实现为单个处理器或多个处理器。 多个处理器可以是阵列式的 或分布式的， 并且可以通过一个或多个处理器来执行本文提及的任意处理功能， 即使可能 以单个处理器为例。 本文描述的任意方法、 应用或模块可以使用可由这类计算机可读介质 存储或以其他方式保持并且由一个或多个处理器执行的计算机可读/可执行指令来实现。 0026 以下总体涉及市场分析， 更具体地涉及用于在零售环境中检测不可见人类情感的 基于图像捕获的系统和方法， 并且具体地是在一系列图像或视频中捕获的个体的不可见情 感状态。 该系统提供了在零售环境。

19、中以高置信度检测不可见情感状态的远程且非侵入性的 途径。 0027 图1示出了根据实施例的用于在零售环境中检测不可见人类情感的系统20。 零售 环境具有其上展示产品的一组产品展示台24。 产品展示台24可以是例如放置产品的置物 架、 悬挂产品的产品货架等。 系统20包括位于产品展示台24内或附近的一组价格显示设备 28。 一对壁挂式销售点( “PoS” )相机32被配置为当消费者位于PoS记录器面前时观察消费者 的面部。 计算机系统34通过有线或无线通信介质(例如以太网、 通用串行总线( “USB” )、 IEEE 802.11( “Wi-Fi” )、 蓝牙等)与价格显示设备24和PoS相机3。

20、2通信。 0028 现在转向图2， 其更详细地示出了价格显示设备28中的一者。 价格显示设备28具有 显示部分36， 该显示部分包括显示器， 该显示器被配置为呈现邻近的产品展示台24上的产 品的产品信息和价格。 显示器可以是任何类型的合适显示器， 例如LCD或LED。 价格显示设备 28还具有隐形或可见相机38， 其被配置为捕获查看价格显示设备28的消费者的图像序列。 相机38可以是用于捕获消费者面部的图像序列的任何合适的相机类型， 例如CMOS或CCD相 机。 价格显示设备28中的存储器使得能够存储所捕获的图像， 直到图像可以被传送到计算 机系统34。 在价格显示设备28与计算机系统34无线。

21、通信的情况下， 价格显示设备28包括合 适类型的无线电装置。 在所示实施例中， 价格显示设备28包括Wi-Fi模块， 用于经由与计算 机系统34通信的无线接入点(未示出)与计算机系统34通信。 价格显示设备28的处理器对图 像序列的捕获及它们的存储和到计算机系统34的传输进行协调。 价格显示设备28可以是壁 挂式的、 放置在物架顶端、 悬挂在挂物架上等， 并且可以通过内部电池、 外部电池组、 耦接至 电源插座等方式被供电。 0029 相机38可以配备有透镜以使得能够从更宽的角度捕获图像， 并且价格显示设备28 或计算机系统34可以被配置为变换图像序列以补偿由透镜引入的任何失真。 0030 运动。

22、传感器40使得能够检测在价格显示设备28的前方区域中的运动。 运动传感器 40被配置为感测距价格显示设备28的预定距离内的运动。 0031 价格显示设备28被配置为在运动传感器40检测到运动之前不显示相关产品的价 格。 一旦运动传感器40检测到运动， 价格显示设备28检查经由相机38捕获的图像以确定是 否可在捕获的图像中检测到面部。 如果检测到面部， 则触发销售点事件， 价格显示设备28根 说 明 书 3/9 页 6 CN 108882894 A 6 据该销售点事件呈现相关产品的价格， 同时继续经由相机38捕获图像序列。 然后， 将在其中 检测到面部的时间段期间内捕获的图像序列与对价格相对图像。

23、序列何时被显示的指示以 及价格显示设备28的标识符一起发送到计算机系统34。 0032 在其他实施例中， 价格显示设备28可以在将价格呈现之前和之后的预定时间段内 将图像序列发送到计算机系统34。 0033 在其他实施例中， 价格显示设备28可以连续地而非仅仅在销售点事件期间呈现相 关产品的价格， 并且可以将其中面部被检测到的图像序列发送到计算机系统34。 在其他实 施例中， 价格显示设备28可以在图像序列被捕获的同时连续地将它们发送到计算机系统 34。 在一些实施例中， 价格显示设备28呈现的价格可以是印刷静止显示。 0034 每个相机周围的物体/产品及其位置可以记录在计算机系统中。 然后，。

24、 计算机系统 34可以使用视线跟踪来分析图像流以确定消费者在图像序列期间正在看什么， 从而识别消 费者正在对什么做出反应。 通过这种方式， 每个相机可以记录所检测到的消费者响应于不 止一种可能的刺激的不可见情感。 例如， 这种刺激可以是实际产品。 就这方面而言， 计算机 系统34被配置为在消费者关注特定产品时确定消费者的生理反应。 0035 PoS相机32捕获连续图像序列并将其传送到计算机系统34。 通过这种方式， 可以记 录和分析消费者对销售点事件的反应， 诸如对总额或任何折扣的知悉。 0036 在根据图15中所示的另一实施例的另一配置中， 一个或多个单独的相机(例如相 机1100)被放置在。

25、诸如零售地点的墙壁、 置物架、 天花板之类的各种位置， 并且被配置为捕 获图像序列并将它们连续传输到计算机系统。 相机的位置及其存在感可被隐藏或淹没， 以 削弱其存在对消费者的情感影响。 相机可以与运动传感器耦接， 并且可以被配置为在运动 传感器检测到运动时将图像序列发送到计算机系统。 相机1100被配置为捕获在零售地点中 与身着一套服装的服装模特1104和其上层叠毛衣的一组置物架1108a、 1108b邻近的消费者 的图像序列。 服装模特1104和置物架1108a、 1108b相对于相机1100的位置被记录到计算机 系统。 当检测到不可见人类情感时(在检测到从相机1100接收到的图像序列中的。

26、不可见人 类情感时)， 计算机系统采用视线跟踪来确定消费者是否正在注视服装模特1104或置物架 1108a、 1108b中的特定一者。 0037 可以从相机38拍摄的原始图像中分离出血红蛋白浓度(HC)， 并且HC中的空间-时 间变化可以与人类情感相关联。 现在参考图4， 示出光从皮肤的再发射的图示。 光(201)在皮 肤(202)下面行进， 并且在穿过不同的皮肤组织之后再发射(203)。 然后可以通过光学相机 捕获再发射的光(203)。 影响再发射的光的主要发色团是黑色素和血红蛋白。 由于黑色素和 血红蛋白具有不同的颜色特征， 已经发现， 可以获得如图5所示的主要反映表皮下面的HC的 图像。。

27、 0038 系统20实现了两步骤方法以生成适合于输出人类主体的情感状态属于多个情感 中的一个情感的估计统计概率以及给定任意主体的视频序列时该情感状态的标准化强度 量度的规则。 系统可检测的情感对应于系统被针对其进行训练的情感。 0039 现在参考图3， 单独示出了用于在零售环境中检测不可见情感的系统20的各种组 件。 计算机系统34包括图像处理单元104、 图像滤波器106、 图像分类机105、 和存储设备101。 计算机系统34的处理器从存储设备101索取计算机可读指令并执行它们以实现图像处理单 元104、 图像滤波器106、 和图像分类机105。 图像分类机105配置有从使用训练图像集训练。

28、的 说 明 书 4/9 页 7 CN 108882894 A 7 另一计算机系统导出的训练配置数据102， 并且可操作来针对从相机38所捕获的图像生成、 由图像滤波器106处理、 并被存储在存储设备102上的图像的查询集103执行分类。 0040 交感神经系统和副交感神经系统对情感有反应。 已经发现， 个体的血流是由交感 神经系统和副交感神经系统控制的， 这超出绝大多数个体的意识控制。 因此， 可以通过监测 个体的血流来容易地检测个体内在经历的情感。 内在情感系统通过调整自主神经系统 (ANS)的激活来使人类准备好处理环境中的不同情况； 交感神经系统和副交感神经系统在 情感调节中起不同的作用，。

29、 前者上调战斗-逃跑(fight-flight)反应而后者用于下调应激 反应。 基本情感具有不同的ANS特征。 大部分面部(例如， 眼睑、 面颊以及下巴)中的血流主要 由交感神经血管扩张神经元控制， 而鼻子和耳朵中的血流主要由交感神经血管收缩神经元 控制； 相反， 前额区域中的血流由交感神经血管扩张和副交感神经血管扩张二者进行神经 支配。 因此， 不同的内在情感状态在面部的不同部分具有不同的空间和时间激活模式。 通过 从系统捕获血红蛋白数据， 可以提取各个特定面部区域中的面部血红蛋白浓度(HC)变化。 然后将来自个体的这些多维和动态数据阵列与下面将更详细讨论的基于规范数据的计算 模型进行比较。。

30、 通过这种比较， 可以做出关于个体的内在情感状态的基于可靠统计的推论。 由于ANS所控制的面部血红蛋白活动不易服从意识控制， 因此这类活动提供了进入个体的 真正最深处情感的良好窗口。 0041 现在参考图9， 显示了示出由系统20执行的不可见情感检测的方法的流程图。 系统 20执行图像记录(registration)701以记录关于具有未知情感状态的主体的所捕获的视频 序列的输入、 血红蛋白图像提取702、 ROI选择703、 多ROI空间-时间血红蛋白数据提取704、 不可见情感模型705应用、 数据映射706(用于映射变化的血红蛋白模式)、 情感检测707、 以 及报告生成708。 图13。

31、描绘了自动不可见情感检测系统的另一此类图示。 0042 图像处理单元从每个相机获取每个所捕获的图像或视频流， 并对图像执行操作以 生成主体的相应的经优化的HC图像。 图像处理单元分离出所捕获的视频序列中的HC。 在示 例性实施例中， 使用相机以每秒30帧的速度拍摄主体的面部的图像。 将理解的是， 可以利用 可替代的数字相机和照明条件来执行该处理。 0043 通过以下处理来实现对HC的分离： 分析视频序列中的位面以确定并分离出提供高 信噪比(SNR)的位面集并因此优化面部表皮(或任意部分的人类表皮)上的不同情感状态之 间的信号区分。 参考构成所捕获的视频序列的图像的第一训练集来确定高SNR位面，。

32、 该图像 的第一训练集与来自从其获得训练集的人类主体的EKG、 气动呼吸、 血压、 激光多普勒数据 相耦合。 EKG和气动呼吸数据被用来移除HC数据中的心脏、 呼吸、 以及血压数据以防止这类 活动掩盖HC数据中的更微秒的情感相关的信号。 第二步骤包括训练机器以使用从大量人类 主体的样本的经优化的 “位面” 图像中提取的感兴趣区域( “ROI” )中的表皮HC变化的空间- 时间信号模式来建立针对特定情感的计算模型。 0044 为进行训练， 捕获暴露于已知引起特定情感反应的刺激的测试主体的视频图像。 可以宽泛地对反应进行分组(中性、 积极、 消极)， 或更详细地对反应进行分组(痛苦、 高兴、 焦虑。

33、、 悲伤、 沮丧、 好奇、 喜悦、 厌恶、 愤怒、 惊讶、 蔑视等)。 在另外的实施例中， 可以捕获每个 情感状态中的等级。 优选地， 主体受指示以不在面部表达任何情感， 从而所测量的情感反应 是不可见情感并且与HC中的变化相分离。 为确保主体不在面部表情中 “泄漏” 情感， 可以利 用面部情感表情检测程序来分析表面图像序列。 如下所述， 还可以使用EKG机、 气动呼吸机、 说 明 书 5/9 页 8 CN 108882894 A 8 连续血压机、 以及激光多普勒机来采集EKG、 气动呼吸、 血压、 以及激光多普勒数据， 并且这 些数据提供了额外的信息以降低来自位面分析的噪声。 0045 手动。

34、或自动地为视频图像定义情感检测的ROI(例如， 前额、 鼻子、 以及脸颊)。 基于 本领域关于HC具体表明其情感状态的ROI的知识来优选地选择这些ROI。 使用包括所有三个 R、 G、 B通道的所有位面的本地图像来提取在特定情感状态(例如， 积极)下每个ROI上在特定 时间段(例如， 10秒)内改变的信号。 可以针对其他情感状态(例如， 消极或中性)重复该处 理。 EKG和气动呼吸数据可被用来滤除图像序列上的心脏、 呼吸器、 以及血压信号以防止非 情感系统HC信号掩盖真实的情感相关的HC信号。 可以对EKG、 呼吸、 以及血压数据使用快速 傅里叶变换(FFT)以获取EKG、 呼吸、 以及血压的。

35、峰值频率， 然后可以使用陷波滤波器来移除 具有以这些频率为中心的时间频率的ROI上的HC活动。 可以使用独立分量分析(ICA)来实现 相同的目的。 0046 现在参考图11， 示出了用于优化的血红蛋白图像组合的数据驱动机器学习的图 示。 通过使用来自两个或不止两个情感状态901和902的ROI的经滤波的信号， 采用机器学习 903来系统地识别将显著增加不同情感状态之间的信号区分的位面904以及不影响或降低 不同情感状态之间的信号区分的位面。 在丢弃后者之后， 获得最优地区分感兴趣的情感状 态的剩余位面图像905。 为进一步改善SNR， 可以将结果重复地反馈到机器学习903处理直到 SNR达到最。

36、优渐近值。 0047 机器学习处理涉及使用图像减法和加法来操纵位面向量(例如， 888、 1616 16)以针对一部分(例如， 70、 80、 90)主体数据来最大化一段时间内不同情感状态 之间的所有ROI中的信号差异， 并验证剩余主体数据。 以像素方式执行加法或减法。 使用现 有机器学习算法(长短期存储(LSTM)神经网络、 或适当的机器训练的替代算法(例如， 深度 学习)来高效地获取关于以下各项的的信息： 不同情感状态之间的区分在精度方面的提 升、 贡献最佳信息的(一个或多个)位面以及在特征选择方面没有影响的位面。 长短期存储 (LSTM)神经网络或适当的替代算法允许我们执行组特征选择和分。

37、类。 下面更详细地讨论 LSTM算法。 通过该处理， 获取将被从图像序列分离出以反映HC中的时间变化的位面集。 图像 滤波器被配置为在下述后续步骤中分离出所识别的位面。 0048 图像分类机105配置有来自训练计算机系统的、 先前已使用上面的方法并利用所 捕获的图像的训练集训练的训练配置数据102。 以这种方式， 图像分类机105受益于训练计 算机系统执行的训练。 图像分类机104将所捕获的图像分类为与情感状态相对应。 在第二步 骤中， 使用从上面提供的经优化的位面图像导出的主体情感数据的新训练集， 再次采用机 器学习来建立针对感兴趣的情感状态(例如， 积极、 消极以及中性)的计算模型。 00。

38、49 现在参考图12， 示出了用于多维不可见情感模型建立的数据驱动的机器学习的图 示。 为创建这样的模型， 招募第二组训练主体(优选地， 具有不同皮肤类型的新的多种族训 练主体组)， 并在他们暴露于引起已知情感反应(例如， 积极、 消极、 中性)的刺激时获取图像 序列1001。 示例性刺激集是已常用于诱发情感的国际情绪图片系统(International Affective Picture System)以及其他良好建立的情感诱发范例。 对图像序列1001应用图 像滤波器以生成高HC SNR图像序列。 刺激还可包括非视觉方面， 例如， 听觉、 味觉、 嗅觉、 触 觉、 或其他感觉刺激、 或其组。

39、合。 0050 使用从位面滤波图像1002导出的主体情感数据1003的该新训练集， 再次使用机器 说 明 书 6/9 页 9 CN 108882894 A 9 学习来建立针对感兴趣的情感状态(例如， 积极、 消极以及中性)的计算模型1003。 注意， 用 于识别最优地区分感兴趣的情感状态的剩余位面滤波图像的感兴趣的情感状态与用于建 立针对感兴趣的情感状态的计算模型的状态必须是相同的。 对于不同的感兴趣的情感状 态， 必须在后者开始之前重复前者。 0051 机器学习处理同样涉及一部分主体数据(例如， 70、 80、 90的主体数据)并使 用剩余的主体数据来验证模型。 该第二机器学习处理因此产生经。

40、训练的情感的单独的多维 (空间和时间)计算模型1004。 0052 为建立不同的情感模型， 当主体正在观察特定情感诱发刺激时， 每个主体的面部 图像的每个像素上的面部HC变化数据被(从步骤1)作为时间的函数提取。 为提高SNR， 根据 前面提到的不同底层ANS调节机制来将主体的面部划分为多个ROI， 并且平均每个ROI中的 数据。 0053 现在参考图4， 显示了示出主体前额的血红蛋白分布差异的绘图。 虽然人类和基于 计算机的面部表情检测系统均不可检测任何面部表情差异， 但透皮图像示出了积极401、 消 极402以及中性403条件之间的血红蛋白分布的显著差异。 在图7和图8中分别可以看出主体 。

41、的鼻子和面颊的血红蛋白分布的差异。 0054 同样可以使用长短期存储(LSTM)神经网络、 或诸如非线性支持向量机之类的适当 的替代物、 以及深度学习来评估跨主体的血红蛋白变化的通用时间-空间模式的存在。 在来 自一部分(例如， 70、 80、 90)主体的透皮数据上训练长短期存储(LSTM)神经网络或替 代物以获取针对三个不可见情感分类中的每个不可见情感分类的多维计算模型。 然后在来 自剩余训练主体的数据上测试这些模型。 0055 这些模型形成了训练配置数据102的基础。 0056 遵循这些步骤， 现在可以从零售环境中的任何消费者的相机32、 38获取视频序列， 并将从所选位面中提取的HC应。

42、用于针对感兴趣的情感状态的计算模型。 输出将是： (1)主体 的情感状态属于所训练的情感中的一个情感的估计统计概率， 以及(2)这样的情感状态的 标准化强度量度。 对于长的运行视频流， 当情感状态变化并且强度波动时， 可以报告依赖于 基于移动时间窗口(例如， 10秒)的HC数据的概率估计和强度得分随时间的变化。 将理解的 是， 分类的置信水平可以小于100。 0057 现在将更详细地描述针对以下操作的两个示例实现方式： (1)获取关于情感状态 之间的区分在精度方面的改进的信息， (2)识别贡献最佳信息的位面以及在特征选择方面 没有影响的位面， 以及(3)评估跨主体的血红蛋白变化的通用空间-时间。

43、模式的存在。 一个 这样的实现方式是递归神经网络。 0058 一个递归神经网络被称为长短期存储(LSTM)神经网络， 该LSTM神经网络是被指定 用于序列数据分析和预测的一类神经网络模型。 LSTM神经网络包括至少三层单元。 第一层 为输入层， 接受输入数据。 第二层(以及可能的额外层)为隐藏层， 包括存储单元(见图14)。 最后一层为输出层， 该输出层使用逻辑回归来基于隐藏层生成输出值。 0059 如所示出的， 每个存储单元包括四个主要元素： 输入门、 具有自递归连接(到它自 身的连接)的神经元、 遗忘门以及输出门。 自递归连接具有1.0的权重并确保(除任何外部干 扰以外)存储单元的状态从一。

44、个时间步骤到另一时间步骤可以保持不变。 这些门用于调制 存储单元自身与其环境之间的交互。 输入门准许或防止传入信号更改存储单元的状态。 另 说 明 书 7/9 页 10 CN 108882894 A 10 一方面， 输出门可以准许或防止存储单元的状态影响其他神经元。 最后， 遗忘门可以调制存 储单元的自递归连接， 准许该单元按需记住或遗忘其之前的状态。 0060 下面的等式描述了如何在每个时间步骤t对存储单元层进行更新。 在这些等式中： xt为时刻t时到存储单元层的输入阵列。 在本申请中， 这是所有ROI处的血流信号： 0061 0062 Wi、 Wf、 Wc、 wo、 Ui、 Uf、 Uc、。

45、 Uo以及Vo为权重矩阵； 并且bi、 bf、 bc以及bo为偏差向量。 0063首先， 我们计算在时刻t时输入门it和存储单元的状态的候选值的值： 0064 it (Wixt+Uiht-1+bi) 0065 0066 然后， 我们计算在时刻t时存储单元的遗忘门的激活ft的值： 0067 ft (Wfxt+Ufht-1+bf) 0068给定输入门激活it、 遗忘门激活ft以及候选状态值的值， 我们可以计算在时刻t 时存储单元的新状态Ct： 0069 0070 利用存储单元的新状态， 我们可以计算它们的输出门的值并随后计算它们的输 出： 0071 ot (Woxt+Uoht-1+VoCt+bo)。

46、 0072 htot*tanh(Ct) 0073 基于存储单元的模型， 对于在每个时间步骤的血流分布， 我们可以计算来自存储 单元的输出。 因此， 根据输入序列x0、 x1、 x2、 、 xn， LSTM层中的存储单元将产生表征序列 h0、 h1、 h2、 、 hn。 0074 目标是将序列分类到不同的条件。 逻辑回归输出层基于来自LSTM隐藏层的表征序 列来生成每个条件的概率。 可以如下计算在时间步骤t的概率向量： 0075 ptsoftmax(Woutput ht+boutput) 0076 其中， Woutput为从隐藏层到输出层的权重矩阵， 并且boutput为输出层的偏差向量。 具 。

47、有最大累计概率的条件将是该序列的预测条件。 0077 计算机系统34记录从各种相机38、 32捕获的图像流， 并且使用上述处理确定检测 到的不可见情感。 然后将所检测到的不可见情感同产品信息(可以包括产品标识符、 显示的 产品价格、 图像序列被捕获的时间以及消费者查看产品的时间长度)一起记录。 计算机系统 34可以被配置为在检测到不可见情感时将图像序列丢弃。 0078 现在参考图10， 其示出了阐述计算机系统34的输出的示例性报告。 计算机系统34 通过相机来记录图像序列， 其中每个图像序列是与具有产品ID的产品相关联的。 使用上述 处理来分析每个图像序列， 并将其分类为具有正(+5.00)或。

48、负(-5.00)情感偏差和强度 (0.00-5.00)。 这些度量被记录在由计算机系统34维护的数据库中。 然后， 计算机系统34计 算结果并根据请求生成报告， 例如图10中所示的报告。 生成的报告指示结果被计算的周期 和针对每个相机的统计度量。 0079 由计算机系统执行的面部识别可用来将图像序列与先前由其他相机捕获以提供 说 明 书 8/9 页 11 CN 108882894 A 11 标准化基线的图像序列匹配。 此外， 相机的位置可以由计算机系统记录， 并且关于人们在零 售环境中的最后已知位置的知识可以用于辅助计算机系统所执行的面部识别。 0080 在实施例中， 通知系统可用于提供对所检。

49、测到的不可见人类情感、 面部图像、 以及 其位置的通知。 例如， 如果消费者在特定相机前面作出积极反应， 则可通知销售员并指示他 们与出现在图像中的消费者交谈。 在计算机系统确定视线跟踪的情况下， 通知还可以指示 当检测到不可见的人类情感时消费者正在查看哪个产品。 0081 虽然已经参考某些具体的实施例描述了本发明， 但在不脱离如所附权利要求所概 述的本发明的精神和范围的情况下， 对其的各种修改对于本领域技术人员将是明显的。 上 述所有参考文献的全部公开内容通过引用结合于此。 说 明 书 9/9 页 12 CN 108882894 A 12 图1 图2 说 明 书 附 图 1/12 页 13 CN 108882894 A 13 图3 说 明 书 附 图 2/12 页 14 CN 108882894 A 14 图4 说 明 书 附 图 3/12 页 15 CN 108882894 A 15 图5 。