广告插入方法及装置.pdf

《广告插入方法及装置.pdf》由会员分享，可在线阅读，更多相关《广告插入方法及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010776997.5 (22)申请日 2020.08.05 (71)申请人 网宿科技股份有限公司 地址 200030 上海市徐汇区斜土路2899号 光启文化广场A幢5楼 (72)发明人 刘安捷唐阳阳余依伊 (74)专利代理机构 北京同达信恒知识产权代理 有限公司 11291 代理人 邹雅莹 (51)Int.Cl. H04N 21/431(2011.01) H04N 21/44(2011.01) H04N 21/81(2011.01) H04N 21/845(2011.01。

2、) (54)发明名称 一种广告插入方法及装置 (57)摘要 本发明实施例提供一种广告插入方法及装 置， 该方法包括： 确定待插入视频段； 所述待插入 视频段为具有相匹配场景信息的至少连续N帧图 像； 从所述至少连续N帧图像中确定出符合设定 要求的目标对象； 确定所述目标对象中适合插入 目标广告的目标区域； 确定与所述目标区域匹配 的目标广告； 在所述目标区域插入所述目标广 告。 上述方法， 相比于现有技术中在视频录制过 程中放置占位标件， 通过人工智能技术检测占位 标件， 并在占位标件所在区域插入广告来说； 本 申请无需在视频录制时预留占位标件区域， 且在 视频录制完成后， 可以根据需求在符合。

3、设定要求 的目标对象所在区域插入图像， 消除广告插入视 频时的限制， 降低广告插入视频时的成本。 权利要求书2页 说明书8页 附图5页 CN 111988657 A 2020.11.24 CN 111988657 A 1.一种广告插入的方法， 其特征在于， 所述方法包括： 确定待插入视频段； 所述待插入视频段为具有相匹配场景信息的至少连续N帧图像； 从所述至少连续N帧图像中确定出符合设定要求的目标对象； 从所述目标对象中确定目标区域； 确定与所述目标区域匹配的目标广告； 在所述目标区域插入所述目标广告。 2.如权利要求1所述的方法， 其特征在于， 确定待插入视频段， 包括： 确定每帧图像的标识。

4、值； 其中， 任一图像的标识值是根据任一图像的前一帧图像的场 景信息与所述任一图像的场景信息是否相匹配确定的； 若场景信息相匹配则所述任一图像 的标识值与所述前一帧图像的标识值相同， 否则不同； 若存在标识值相同的至少连续N帧图像， 则确定所述至少连续N帧图像为所述待插入视 频段。 3.如权利要求2所述的方法， 其特征在于， 确定每帧图像的标识值之前， 还包括： 将所述任一图像和所述前一帧图像输入场景变更检测模型， 确定所述任一图像的场景 信息与所述前一帧图像的场景信息是否相匹配。 4.如权利要求1至3任一项所述的方法， 其特征在于， 从所述至少连续N帧图像中确定出 符合设定要求的目标对象， 。

5、包括： 将所述至少连续N帧图像中每一帧图像输入目标检测模型， 确定出各检测对象； 从所述至少连续N帧图像中分割出所述各检测对象； 针对同一检测对象， 若确定所述检测对象在所述至少连续N帧图像中未出现遮挡情况， 则确定所述检测对象为符合设定要求的目标对象。 5.如权利要求4所述的方法， 其特征在于， 确定所述检测对象在所述至少连续N帧图像 中未出现遮挡情况， 包括： 确定所述检测对象在所述至少连续N帧图像中每帧图像中的面积； 若存在所述检测对象在任意相邻的图像帧之间的面积变化值不大于设定值， 则确定未 出现遮挡情况。 6.如权利要求4所述的方法， 其特征在于， 在所述目标区域插入所述目标广告之前。

6、， 包 括： 为所述目标区域建立三维坐标系； 根据所述目标区域在三个维度的消失点， 确定所述目标区域的形状特征； 根据所述目标区域的形状特征和所述目标广告的形状特征确定投射变换参数； 根据所述投射变换参数将所述目标广告投射至所述目标区域。 7.如权利要求6所述的方法， 其特征在于， 根据所述投射变换参数将所述目标广告投射 至所述目标区域之前， 还包括： 将所述目标对象所在的图像帧和所述目标广告输入图像和谐化模型， 得到更新后的目 标广告。 8.一种图像插入的装置， 其特征在于， 所述装置包括： 确定模块， 用于确定待插入视频段； 所述待插入视频段为具有相匹配场景信息的至少 连续N帧图像； 从所。

7、述至少连续N帧图像中确定出符合设定要求的目标对象； 权利要求书 1/2 页 2 CN 111988657 A 2 所述确定模块还用于， 从所述目标对象中确定目标区域， 以及确定与所述目标区域匹 配的目标广告； 处理模块， 用于在所述目标区域插入所述目标广告。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 当所述程序在计 算机上运行时， 使得计算机执行权利要求1至7中任一项所述的方法。 10.一种计算机设备， 其特征在于， 包括： 存储器， 用于存储计算机程序； 处理器， 用于调用所述存储器中存储的计算机程序， 按照获得的程序执行如权利要求1 至7任一权利要求所述的方法。。

8、 权利要求书 2/2 页 3 CN 111988657 A 3 一种广告插入方法及装置 技术领域 0001 本申请涉及计算机技术领域， 尤其涉及一种广告插入方法及装置。 背景技术 0002 近年来， 随着网络的迅速发展及移动终端的普及， 视频APP逐步融入用户日常生 活。 与此同时,视频的利用价值也开始凸显,出现平台硬广、 内容原生广告等营销手段,视频 营销逐渐走红。 在视频移动化、 资讯视频化和视频社交化的趋势带动下,视频营销正在成为 新的品牌营销风口。 0003 其中一种视频营销手段为视频广告植入， 视频广告植入是指将商标、 海报、 广告短 视频等插入到视频内容中， 例如， 电视剧、 电影。

9、、 短视频中插入洗发水宣传广告等。 目前， 现 有技术中视频广告植入的主要方法为， 利用人工智能技术实现视频广告植入， 但该技术在 实现视频广告植入方案时对视频内容有一定限制。 如， 要求视频的内容中要有占位标件出 现。 因此， 增加视频广告植入的成本， 且由于只能在占位标件位置插入广告， 也对视频广告 植入产生限制。 0004 因此， 现在亟需一种广告插入方法及装置， 用于消除广告插入视频时的限制， 降低 广告插入视频时的成本， 而且不影响播放质量和观感。 发明内容 0005 本发明实施例提供一种广告插入方法及装置， 用于减少广告插入视频时的限制， 增强广告插入视频的灵活性。 0006 第一。

10、方面， 本发明实施例提供一种广告插入方法， 该方法包括： 0007 确定待插入视频段； 所述待插入视频段为具有相匹配场景信息的至少连续N帧图 像； 从所述至少连续N帧图像中确定出符合设定要求的目标对象； 从所述目标对象中确定目 标区域； 确定与所述目标区域匹配的目标广告； 在所述目标区域插入所述目标广告。 0008 上述方法中， 在时间维度上， 选定至少连续N帧具有相匹配场景信息的图像做待插 入视频段。 如此， 保证在待插入视频段播放过程中， 视频背景处于静止状态， 保证广告插入 后的视频播放质量以及观感， 也提升图像在视频中的播放质量以及观感。 在空间维度上， 首 先， 从至少连续N帧图像中。

11、确定出符合设定要求的目标对象， 保证目标对象的可利用性， 进 一步保证广告插入后的视频播放质量以及观感。 之后， 从目标对象中确认出适合插入目标 广告的目标区域， 将与目标区域匹配的目标广告插入目标区域， 完成广告的插入； 完成在空 间维度上的一个由粗粒度到细粒度的筛选， 以准确确定目标区域。 相比于现有技术中在视 频录制过程中放置占位标件， 通过人工智能技术检测占位标件， 并在占位标件所在区域插 入广告来说； 本申请无需在视频录制时预留占位标件区域， 且在视频录制完成后， 可以根据 需求在符合设定要求的目标区域插入图像， 消除广告插入视频时的限制， 降低广告插入视 频时的成本。 0009 可。

12、选的， 确定待插入视频段， 包括： 确定每帧图像的标识值； 其中， 任一图像的标识 说明书 1/8 页 4 CN 111988657 A 4 值是根据任一图像的前一帧图像的场景信息与所述任一图像的场景信息是否相匹配确定 的； 若场景信息相匹配则所述任一图像的标识值与所述前一帧图像的标识值相同， 否则不 同； 若存在标识值相同的至少连续N帧图像， 则确定所述至少连续N帧图像为所述待插入视 频段。 0010 上述方法中， 根据相邻图像的标识值是否相同， 以确定相邻图像的场景信息是否 相匹配， 进而确定标识值相同的至少连续N帧图像， 也就是场景信息相匹配的至少连续N帧 图像。 如此， 得到静态背景的。

13、视频段做待插入视频段， 防止在动态背景视频段中插入图像， 而使得在视频播放时易出现图像抖动或模糊等现象， 保证广告插入后的视频和该图像本身 的播放质量以及观感。 0011 可选的， 确定每帧图像的标识值之前， 还包括： 将所述任一图像和所述前一帧图像 输入场景变更检测模型， 确定所述任一图像的场景信息与所述前一帧图像的场景信息是否 相匹配。 0012 上述方法中， 通过场景变更检测模型可以获取相邻图像的标识值， 进一步确定相 邻图像的场景信息是否相匹配。 通过场景变更检测模型确定标识值相同的至少连续N帧图 像， 实现自动获取待插入视频段， 简化广告插入工作， 降低广告插入视频时的成本。 001。

14、3 可选的， 从所述至少连续N帧图像中确定出符合设定要求的目标对象， 包括： 将所 述至少连续N帧图像中每一帧图像输入目标检测模型， 确定出各检测对象； 从所述至少连续 N帧图像中分割出所述各检测对象； 针对同一检测对象， 若确定所述检测对象在所述至少连 续N帧图像中未出现遮挡情况， 则确定所述检测对象为符合设定要求的目标对象。 0014 上述方法中， 通过将至少连续N帧图像中每一帧图像输入目标检测模型， 以使得目 标检测模型确定出各检测对象。 如此， 实现自动确定多个适合插入图像的检测对象， 增加插 入图像位置的可选择性， 简化广告插入工作， 降低广告插入视频时的成本。 进一步， 从至少 连。

15、续N帧图像中分割出各检测对象； 确定在至少连续N帧图像中未出现遮挡的检测对象作为 目标对象。 如此， 保证广告插入视频后， 图像在视频中的可视度， 提升图像在视频中的播放 质量以及观感。 0015 可选的， 确定所述检测对象在所述至少连续N帧图像中未出现遮挡情况， 包括： 确 定所述检测对象在所述至少连续N帧图像中每帧图像中的面积； 若存在所述检测对象在任 意相邻的图像帧之间的面积变化值不大于设定值， 则确定未出现遮挡情况。 0016 可选的， 在所述目标区域插入所述目标广告， 包括： 为所述目标区域建立三维坐标 系； 根据所述目标区域在三个维度的消失点， 确定所述目标区域的形状特征； 根据所。

16、述目标 区域的形状特征和所述目标广告的形状特征确定投射变换参数； 根据所述投射变换参数将 所述目标广告投射至所述目标区域。 0017 上述方法中， 通过获取目标区域的形状特征， 可以根据目标区域的形状特征和目 标广告的形状特征确定投射变换参数， 进而根据投射变换参数将目标广告投射至目标区 域， 以使目标广告符合目标区域的形状特征， 保证广告插入后的视频和该图像本身的播放 质量以及观感。 0018 可选的， 根据所述投射变换参数将所述目标广告投射至所述目标区域之前， 还包 括： 将所述目标对象所在的图像帧和所述目标广告输入图像和谐化模型， 得到更新后的目 标广告。 说明书 2/8 页 5 CN 。

17、111988657 A 5 0019 上述方法中， 通过将目标对象所在的图像帧和目标广告输入图像和谐化模型， 使 得更新后的目标广告的色彩特征与目标对象所在的图像帧的色彩特征相同， 提升广告插入 后的视频和该图像本身的播放质量以及观感。 0020 第二方面， 本发明实施例提供一种广告插入装置， 该装置包括： 0021 确定模块， 用于确定待插入视频段； 所述待插入视频段为具有相同场景信息的至 少连续N帧图像； 从所述至少连续N帧图像中确定出符合设定要求的目标对象； 0022 所述确定模块还用于， 从所述目标对象中确定目标区域， 以及确定与所述目标区 域匹配的目标广告； 0023 处理模块， 用。

18、于在所述目标对象所在区域插入所述目标广告。 0024 第三方面， 本发明提供一种计算机设备， 包括程序或指令， 当所述程序或指令被执 行时， 用以执行上述第一方面及第一方面各个可选的方法。 0025 第四方面， 本发明提供一种存储介质， 包括程序或指令， 当所述程序或指令被执行 时， 用以执行上述第一方面及第一方面各个可选的方法。 附图说明 0026 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述中所需要使 用的附图作简要介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例， 对于本 领域的普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图获得其 。

19、他的附图。 0027 图1为本发明实施例提供的一种广告插入的架构示意图； 0028 图2为本发明实施例提供的一种广告插入方法的流程示意图； 0029 图3为本发明实施例提供的一种广告插入方法的场景示意图； 0030 图4为本发明实施例提供的一种广告插入方法的流程示意图； 0031 图5为本发明实施例提供的一种广告插入装置示意图。 具体实施方式 0032 为了使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明作进 一步地详细描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施 例。 基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的。

20、 所有其它实施例， 都属于本发明保护的范围。 0033 本发明实施例的一种应用场景可以是在播放视频时， 对视频进行广告插入处理， 即在视频播放阶段新增广告插入的前续处理； 也可以是在播放视频之前， 对视频进行广告 插入， 得到具有插入图像的视频； 在播放视频时， 直接播放具有插入图像的视频。 对视频进 行广告插入处理可基于如下图1所示的架构示意图进行处理。 该架构可以在时间维度和空 间维度上对视频进行分析， 然后插入广告； 即， 在视频输入101处输入待插入视频， 对于时间 维度上， 视频处理机制103接收待插入视频， 并通过场景变更检测模型从待插入视频中确定 出待插入视频段； 对于空间维度上。

21、， 视频处理机制103再通过目标检测模型确定待插入视频 段中的各检测对象； 之后， 视频处理机制103从待插入视频段中分割出各检测对象， 进一步 从各检测对象中确定出目标对象， 更进一步， 还可以根据目标对象的三维消失点分析确定 说明书 3/8 页 6 CN 111988657 A 6 适合插入目标广告的目标区域； 如此， 在空间维度的广告插入处理中， 通过粗粒度到细粒度 的筛选， 准确确定目标区域， 增加目标广告插入处理的准确性； 最后， 视频处理机制103从目 标广告库102中获取与目标区域匹配的目标广告， 将目标广告的形状特征转化为目标区域 的形状特征， 将该转化后的目标广告和目标对象所。

22、在的图像帧输入图像和谐化模型， 以使 该目标广告的色彩特征、 亮度、 光照等与目标对象所在的图像帧一致， 最后， 将该目标广告 投射到目标区域， 获得广告插入后的图像帧， 进一步获得广告插入后的视频段,由视频输出 104输出该广告插入后的视频段。 如此， 实现全自动化的广告插入， 且消除了广告插入视频 的限制， 节约广告插入视频的成本。 0034 基于此， 本申请实施例提供了一种直播转码方法的流程， 如图2所示， 包括： 0035 步骤201、 确定待插入视频段； 所述待插入视频段为具有相匹配场景信息的至少连 续N帧图像； 0036 此处， 待插入视频段可以是电视剧、 电影或短视频等视频的片段。

23、。 场景信息可以包 括待插入视频段的图像帧中各点的像素信息或图像帧中各物体单元的像素信息等， 这里对 场景信息的表达方式具体不做限定。 0037 步骤202、 从所述至少连续N帧图像中确定出符合设定要求的目标对象； 0038 此处， 目标对象为帧图像中可以用于定义目标区域的， 并依次插入目标广告的实 体区域， 例如墙体、 桌子、 门窗等。 至少连续N帧图像的N值大小， 根据具体需求设定， 具体不 做限定。 0039 步骤203、 从所述目标对象中确定目标区域； 0040 此处， 所述目标对象可以为墙体、 桌子、 门窗等， 则目标区域可以为墙体、 桌子、 门 窗等的一部分或整体。 如此， 目标广。

24、告可以插入在图像帧中的目标区域中。 0041 步骤204、 确定与所述目标区域匹配的目标广告； 0042 此处， 目标广告可以是广告、 动画素材图片等等。 目标区域匹配的目标广告， 可以 指目标区域和目标广告的形状、 面积等方面的匹配。 0043 步骤205、 在所述目标区域插入所述目标广告。 0044 上述方法中， 在时间维度上， 选定至少连续N帧具有相匹配场景信息的图像做待插 入视频段。 如此， 保证在待插入视频段播放过程中， 视频背景处于静止状态， 保证广告插入 后的视频播放质量以及观感， 也提升图像在视频中的播放质量以及观感。 在空间维度上， 首 先， 从至少连续N帧图像中确定出符合设。

25、定要求的目标对象。 保证目标对象的可利用性， 进 一步保证广告插入后的视频播放质量以及观感。 之后， 从目标对象中确认出适合插入目标 广告的目标区域， 将与目标区域匹配的目标广告插入目标区域， 完成广告的插入； 完成在空 间维度上的一个由粗粒度到细粒度的筛选， 以准确确定目标区域。 相比于现有技术中在视 频录制过程中放置占位标件， 通过人工智能技术检测占位标件， 并在占位标件所在区域插 入广告来说； 本申请无需在视频录制时预留占位标件区域， 且在视频录制完成后， 可以根据 需求在符合设定要求的目标区域插入图像， 消除广告插入视频时的限制， 降低广告插入视 频时的成本。 0045 本申请实施例还。

26、提供了一种待插入视频段的确定方法， 确定待插入视频段， 包括： 确定每帧图像的标识值； 其中， 任一图像的标识值是根据任一图像的前一帧图像的场景信 息与所述任一图像的场景信息是否相匹配确定的； 若场景信息相匹配则所述任一图像的标 说明书 4/8 页 7 CN 111988657 A 7 识值与所述前一帧图像的标识值相同， 否则不同； 若存在标识值相同的至少连续N帧图像， 则确定所述至少连续N帧图像为所述待插入视频段。 如， 第K帧图像的标识值是1， 若第K帧图 像的场景信息与第K+1帧图像的场景信息相匹配， 则该第K+1帧图像的标识值也是1， 若每个 相邻的图像的场景信息都相匹配， 则对应这些。

27、相匹配场景信息的图像得到的标识值序列为 1、 1、 1、 1、 1、 1、 1， 当出现至少连续N个相同标识值1， 则确定该至少连续N个相同标识值1 的帧图像为待插入视频段； 若第K帧图像的场景信息与第K+1帧图像的场景信息不匹配， 则 该第K+1帧图像的标识值表示为0(即与第K帧图像的标识值不同)， 若每个相邻的图像的场 景信息都不匹配， 则对应这些场景信息的图像会的到1、 0、 1、 0、 1、 0、 1序列， 则该序列的 标识值对应的图像不能作为待插入视频段； 或， 第K帧图像的标识值是0， 若第K帧的场景信 息与第K+1帧图像的场景信息相匹配， 则第K+1帧图像的标识值也是0， 若每个。

28、相邻的图像的 场景信息都相匹配， 则对应这些相匹配场景信息的图像得到的标识值序列为0、 0、 0、 0、 0、 0、 0， 当出现至少连续N个相同标识值0， 则确定该至少连续N个相同标识值0的帧图像为 待插入视频段。 如此， 在时间维度上得到连续N个帧图像为待插入视频段。 标识值也可以是 其它任意表达图像的场景信息是否相匹配的符号， 这里对标识值的设定具体不做限定。 0046 本申请实施例还提供了一种标识值的确定方法， 确定每帧图像的标识值之前， 还 包括： 将所述任一图像和所述前一帧图像输入场景变更检测模型， 确定所述任一图像的场 景信息与所述前一帧图像的场景信息是否相匹配。 0047 此处。

29、， 场景变更检测模型可以是一个CNN(卷积神经网络)， 通过输入相匹配的场景 信息的帧图像， 对其赋予相同的标识值； 且输入不匹配的场景信息的帧图像， 对其赋予不同 的标识值。 如此， 对该场景变更检测模型进行训练， 以使该场景变更检测模型可以准确地从 待插入视频中确定出待插入视频段。 在上一示例中， 假设待插入视频中的帧图像表示为V f1,f2,.,fn， fi表示第i帧。 用si表示fi场景变更检测模型的输出结果， 令s11,如果fi相 对于f(i-1)发了场景变更， 那么si|1-s(i-1)|， 否则sis(i-1)。 这样得到标识值序列Ss1, s2,.,sn,si0,1。 遍历S序。

30、列找出连续的0子序列和1子序列。 如果子序列的长度大于N (例如， N60帧， 相当于2s的视频)， 可以认为该子序列对应的帧序列为包含一个相匹配场 景信息的视频片段。 筛选出的所有满足这些条件的视频片段作为待插入视频段。 0048 本申请实施例还提供了一种目标对象的确定方法， 从所述至少连续N帧图像中确 定出符合设定要求的目标对象， 包括： 将所述至少连续N帧图像中每一帧图像输入目标检测 模型， 确定出各检测对象； 从所述至少连续N帧图像中分割出所述各检测对象； 针对同一检 测对象， 若确定所述检测对象在所述至少连续N帧图像中未出现遮挡情况， 则确定所述检测 对象为符合设定要求的目标对象。 。

31、0049 此处， 目标检测模型可以是Region-CNN(目标-卷积神经网络)， YOLO算法(You Only Look Once:Unified,Real-Time Object Detection， 一种将目标检测作为回归任务 来解决的目标检测算法)， SSD(Single Shot Detection， 一种单步物体识别的目标检测网 络)等。 检测对象可以是墙体、 门窗、 桌椅等等。 且通过将未出现遮挡情况的检测对象确定为 目标检测对象可以保证广告插入后的视频和图像本身的播放质量和观感。 0050 本申请实施例还提供了一种目标对象的确定方法， 确定所述检测对象在所述至少 连续N帧图像中。

32、未出现遮挡情况， 包括： 确定所述检测对象在所述至少连续N帧图像中每帧 图像中的面积； 若存在所述检测对象在任意相邻的图像帧之间的面积变化值不大于设定 说明书 5/8 页 8 CN 111988657 A 8 值， 则确定未出现遮挡情况。 0051 此处， 检测对象在至少连续N帧图像中每帧图像中的面积变化大于设定值， 代表该 检测对象的部分面积被遮挡， 则确定该检测对象出现遮挡情况。 这里， 待插入视频片段为V f1,f2,.,fN， fi是其中的第i帧。 fi包含了k个检测对象oi1,oi2,.,oik， 通过分割进一 步获得这些检测对象的面积。 统计oii在V中包含的像素个数得到它的覆盖面。

33、积的变化序列, m1i,m2i,m3i.,mNi。 如果m2i相对于m1i变化超过设定值， 比如50， 那么说明发生了遮挡， 该 检测对象oii不能作为目标对象。 例如， N5时， 第一帧图像的该检测对象的面积为20， 第二 帧图像的该检测对象的面积为20， 第三帧图像的该检测对象的面积为10， 第四帧图像的该 检测对象的面积为10， 第五帧图像的该检测对象的面积为20。 则在第三帧图像和第四帧图 像中该检测对象被遮挡掉10的面积。 该检测对象不能作为目标对象。 相反， 若是面积变化值 不大于设定值， 则代表该检测对象没有发生被遮挡的情况。 如此， 可以增加确定目标对象的 准确性， 进一步提升。

34、广告插入后的视频和图像本身的播放质量和观感。 如此， 上述目标对象 的确定方法中， 在空间维度上， 确定待插入视频片段中的图像帧的目标对象， 进一步可以将 该目标对象或该目标对象的部分区域确认为目标区域， 以达到在空间维度上的粗粒度到细 粒度的筛选， 增加目标区域确定的层次性， 以增加广告插入的准确性， 增加广告插入后的视 频播放时广告播放质量。 其中， 检测对象的面积变化值可以根据整个待插入视频段中的各 图像帧的中的最大面积和最小面积的差值， 也可以根据相邻图像帧的面积变化差值确定， 这里对检测对象的面积变化值的确定可以根据具体场景信息等确定， 具体不做限制。 0052 本申请实施例还提供了。

35、一种广告插入方法， 在所述目标区域插入所述目标广告， 包括： 为所述目标区域建立三维坐标系； 根据所述目标区域在三个维度的消失点， 确定所述 目标区域的形状特征； 根据所述目标区域的形状特征和所述目标广告的形状特征确定投射 变换参数； 根据所述投射变换参数将所述目标广告投射至所述目标区域。 0053 此处， 如图3所示， 图中左边标阴影的墙体为目标对象， 目标广告301为预设插入帧 图像302中的广告， 对所述目标区域建立三维坐标系， 则获取该目标区域在三个维度的消失 点， 确定目标区域， 本实施例中， 这片墙体上的广告插入区域为目标区域。 具体地， 可以确定 该目标区域的形状特征， 进而根据。

36、该目标区域的形状特征和目标广告301的形状特征确定 投射变换参数， 根据投射变换参数将目标广告301投射至所述目标区域。 0054 本申请实施例还提供了一种广告插入方法， 根据所述投射变换参数将所述目标广 告投射至所述目标区域之前， 还包括： 将所述目标对象所在的图像帧和所述目标广告输入 图像和谐化模型， 得到更新后的目标广告。 也就是说， 如图3所示， 将目标广告301和目标对 象所在的图像帧302输入图像和谐化模型得到更新后的目标广告303。 最后将更新后的目标 广告303插入所述目标区域得到图像帧304。 0055 本申请的图像和谐化模型可以把广告嵌入到背景视频中， 同时保持二者色彩、 。

37、亮 度、 光照等的一致性， 减小视觉违和感。 例如， 可以采用DoveNet图像和谐化模型来实现这一 目的。 DoveNet模型的输入是投射变换后的广告图片和待嵌入的视频帧， 其中视频帧的广告 区域的像素用掩模置为0。 模型会以视频帧为依据， 将广告图片变换成一致的色彩、 亮度等。 0056 这里的投射变换方法可以调用Opencv(一个基于BSD许可(开源)发行的跨平台计 算机视觉和机器学习软件库)的getPerspectiveTransform(图像透视函数)估算出投射变 换的参数， 然后调用warpPerspective(图像变换函数)对广告进行投射变换。 说明书 6/8 页 9 CN 1。

38、11988657 A 9 0057 基于上述方法流程， 本申请实施例还提供了一种广告插入方法流程， 如图4所示， 包括： 0058 步骤401、 通过场景变更检测模型从待插入视频中确定待插入视频段； 0059 步骤402、 通过目标检测模型从待插入视频段中确定各检测对象； 0060 步骤403、 对各检测对象进行分割， 获取各检测对象的覆盖面积； 0061 步骤404、 计算检测对象在待插入视频段中的面积变化是否大于设定值， 若大于设 定值， 则该检测对象不能作为目标对象。 若小于设定值， 则该检测对象可以作为目标对象， 执行步骤405； 0062 步骤405、 从该目标对象中确定出目标区域；。

39、 0063 步骤406、 确定匹配该目标区域的目标广告； 0064 步骤407、 根据目标区域的形状特征和目标广告的形状特征， 确定投射变换参数， 将目标广告进行变换， 如形状的适配变换； 0065 步骤408、 将目标对象所在的图像帧和变换后的目标广告输入图像和谐化模型， 得 到更新后的目标广告； 0066 步骤409、 将更新后的目标广告插入待插入视频片段。 0067 基于同样的构思， 本申请实施例提供一种广告插入装置， 广告插入如图5所示， 包 括： 0068 确定模块501， 用于确定待插入视频段； 所述待插入视频段为具有相匹配场景信息 的至少连续N帧图像； 从所述至少连续N帧图像中确。

40、定出符合设定要求的目标对象； 0069 所述确定模块501还用于， 从所述目标对象中确定目标区域； 以及确定与所述目标 对象匹配的目标广告； 0070 处理模块502， 用于在所述目标区域插入所述目标广告。 0071 可选的， 所述确定模块501具体用于： 确定每帧图像的标识值； 其中， 任一图像的标 识值是根据任一图像的前一帧图像的场景信息与所述任一图像的场景信息是否相匹配确 定的； 若场景信息相匹配则所述任一图像的标识值与所述前一帧图像的标识值相同， 否则 不同； 若存在标识值相同的至少连续N帧图像， 则确定所述至少连续N帧图像为所述待插入 视频段。 0072 可选的， 所述确定模块501。

41、还用于： 将所述任一图像和所述前一帧图像输入场景变 更检测模型， 确定所述任一图像的场景信息与所述前一帧图像的场景信息是否相匹配。 0073 可选的， 所述确定模块501具体用于： 将所述至少连续N帧图像中每一帧图像输入 目标检测模型， 确定出各检测对象； 从所述至少连续N帧图像中分割出所述各检测对象； 针 对同一检测对象， 若确定所述检测对象在所述至少连续N帧图像中未出现遮挡情况， 则确定 所述检测对象为符合设定要求的目标对象。 0074 可选的， 所述确定模块501具体用于： 确定所述检测对象在所述至少连续N帧图像 中每帧图像中的面积； 若存在所述检测对象在任意相邻的图像帧之间的面积变化值。

42、不大于 设定值， 则确定未出现遮挡情况。 0075 可选的， 所述处理模块502具体用于： 为所述目标区域建立三维坐标系； 根据所述 目标区域在三个维度的消失点， 确定所述目标区域的形状特征； 根据所述目标区域的形状 特征和所述目标广告的形状特征确定投射变换参数； 根据所述投射变换参数将所述目标广 说明书 7/8 页 10 CN 111988657 A 10 告投射至所述目标区域。 0076 可选的， 所述处理模块502还用于： 将所述目标对象所在的图像帧和所述目标广告 输入图像和谐化模型， 得到更新后的目标广告。 0077 本领域内的技术人员应明白， 本申请的实施例可提供为方法、 系统、 或。

43、计算机程序 产品。 因此， 本申请可采用完全硬件实施例、 完全软件实施例、 或结合软件和硬件方面的实 施例的形式。 而且， 本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上实施的计算机程序产 品的形式。 0078 本申请是参照根据本申请的方法、 设备(系统)、 和计算机程序产品的流程图和/或 方框图来描述的。 应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或 方框、 以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序指令到 通用计算机、 专用计算机、 嵌入式处理机或其他可编。

44、程数据处理设备的处理器以产生一个 机器， 使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。 0079 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品， 该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。 0080 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的。

45、处理， 从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。 0081 显然， 本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精 神和范围。 这样， 倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围 之内， 则本申请也意图包含这些改动和变型在内。 说明书 8/8 页 11 CN 111988657 A 11 图1 说明书附图 1/5 页 12 CN 111988657 A 12 图2 说明书附图 2/5 页 13 CN 111988657 A 13 图3 说明书附图 3/5 页 14 CN 111988657 A 14 图4 说明书附图 4/5 页 15 CN 111988657 A 15 图5 说明书附图 5/5 页 16 CN 111988657 A 16 。