基于人工智能的按钮图像生成方法和装置.pdf

《基于人工智能的按钮图像生成方法和装置.pdf》由会员分享，可在线阅读，更多相关《基于人工智能的按钮图像生成方法和装置.pdf（25页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010825844.5 (22)申请日 2020.08.17 (71)申请人 腾讯科技 （上海） 有限公司 地址 201200 上海市徐汇区虹梅路1801号C 区5层 (72)发明人 黄超周大军 (74)专利代理机构 北京派特恩知识产权代理有 限公司 11270 代理人 刘星雨张颖玲 (51)Int.Cl. G06T 11/20(2006.01) G06T 3/00(2006.01) G06N 20/00(2019.01) G06K 9/62(2006.01) (54)发明。

2、名称 一种基于人工智能的按钮图像生成方法和 装置 (57)摘要 本申请提供了一种基于人工智能的按钮图 像生成方法、 装置、 电子设备及计算机可读存储 介质； 方法包括： 从应用界面中采样得到相同类 型的多个真实按钮图像样本； 其中， 所述多个真 实按钮图像样本的外观具有类似的关键特征， 且 具有不同的风格； 根据所述真实按钮图像样本训 练对应所述类型的机器学习模型； 通过所述机器 学习模型执行以下处理： 基于所述机器学习模型 的输入数据生成包括所述关键特征、 且具有新的 风格的新按钮图像。 通过本申请， 能够智能化地 生成风格多样化的按钮图像。 权利要求书2页 说明书15页 附图7页 CN 1。

3、11915701 A 2020.11.10 CN 111915701 A 1.一种基于人工智能的按钮图像生成方法， 其特征在于， 包括： 从应用界面中采样得到相同类型的多个真实按钮图像样本； 其中， 所述多个真实按钮图像样本的外观具有类似的关键特征， 且具有不同的风格； 根据所述真实按钮图像样本训练对应所述类型的机器学习模型； 通过所述机器学习模型执行以下处理： 基于所述机器学习模型的输入数据生成包括所 述关键特征、 且具有新的风格的新按钮图像。 2.根据权利要求1所述的方法， 其特征在于， 所述机器学习模型是自编码网络； 其中， 所述自编码网络包括编码网络和解码网络； 所述根据所述真实按钮图。

4、像样本训练对应所述类型的机器学习模型， 包括： 通过所述编码网络对所述真实按钮图像样本进行特征提取处理， 得到所述真实按钮图 像样本的所述关键特征； 通过所述解码网络对所述关键特征进行上采样处理， 得到具有所述关键特征的虚假按 钮图像样本； 根据所述虚假按钮图像样本与所述真实按钮图像样本之间的误差， 生成自编码网络损 失函数； 根据所述自编码网络损失函数更新所述解码网络和所述编码网络的参数。 3.根据权利要求1所述的方法， 其特征在于， 所述机器学习模型是生成对抗网络； 其中， 所述生成对抗网络包括生成网络和判别网 络； 所述根据所述真实按钮图像样本训练对应所述类型的机器学习模型， 包括： 初。

5、始化所述生成网络和所述判别网络的参数； 根据所述真实按钮图像样本， 交替地执行以下训练任务： 训练所述判别网络， 以使所述判别网络区分所述真实按钮图像样本和虚假按钮图像样 本； 训练所述生成网络， 以使所述生成网络基于所述真实按钮图像样本生成所述虚假按钮 图像样本； 其中， 在训练所述生成网络的阶段， 固定所述判别网络的参数不变； 在训练所述判别网 络的阶段， 固定所述生成网络的参数不变。 4.根据权利要求3所述的方法， 其特征在于， 所述训练所述判别网络， 以使所述判别网 络区分所述真实按钮图像样本和虚假按钮图像样本， 包括： 通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本； 分别以。

6、所述真实按钮图像样本和所述虚假按钮图像样本作为训练样本， 通过所述判别 网络确定所述训练样本属于真实图像的预测概率； 根据所述预测概率与所述训练样本的真实概率之间的误差， 确定判别网络损失函数； 根据所述判别网络损失函数更新所述判别网络的参数。 5.根据权利要求4所述的方法， 其特征在于， 所述判别网络包括多个级联的卷积层以及全连接层； 所述通过所述判别网络确定所述训练样本属于真实图像的预测概率， 包括： 通过所述多个级联的卷积层对所述训练样本进行特征提取处理， 得到所述训练样本的 权利要求书 1/2 页 2 CN 111915701 A 2 关键特征； 通过所述全连接层对所述训练样本的关键特。

7、征进行映射处理， 得到所述训练样本属于 真实图像的预测概率。 6.根据权利要求3所述的方法， 其特征在于， 所述训练所述生成网络基于所述真实按钮 图像样本生成所述虚假按钮图像样本， 包括： 通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本； 通过所述判别网络生成所述虚假按钮图像样本属于真实图像的预测概率； 根据所述预测概率与所述训练样本的真实概率之间的误差， 确定生成网络损失函数； 通过所述生成网络损失函数更新所述生成网络的参数。 7.根据权利要求6所述的方法， 其特征在于， 所述生成网络包括全连接层和上采样层； 所述通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本， 包括： 通过。

8、所述全连接层将所述随机噪声样本映射到所述关键特征的特征向量空间， 得到所 述随机噪声样本的特征向量； 通过所述多个级联的上采样层对所述随机噪声样本的特征向量进行上采样处理， 得到 虚假按钮图像样本。 8.根据权利要求1所述的方法， 其特征在于， 当所述机器学习模型是自编码网络时， 所述输入数据是所述真实按钮图像； 所述基于所述机器学习模型的输入数据生成包括所述关键特征、 且具有新的风格的新 按钮图像， 包括： 通过所述自编码网络中的编码网络提取所述真实按钮图像样本的关键特征， 并通过所 述自编码网络中的解码网络对所述真实按钮图像样本的关键特征进行上采样处理， 得到包 括所述关键特征、 且与所述。

9、真实按钮图像样本具有不同风格的虚假按钮图像样本， 以作为 新按钮图像。 9.根据权利要求1所述的方法， 其特征在于， 当所述机器学习模型是生成对抗网络时， 所述输入数据是随机噪声； 所述基于所述机器学习模型的输入数据生成包括所述关键特征、 且具有新的风格的新 按钮图像， 包括： 通过所述生成对抗网络中的生成网络， 将所述随机噪声映射到所述关键特征的特征向 量空间， 得到所述随机噪声的特征向量， 对所述随机噪声的特征向量进行上采样处理， 得到 包括所述关键特征、 且具有随机性的风格的新按钮图像。 10.一种基于人工智能的按钮图像生成装置， 其特征在于， 包括： 采样模块， 用于从应用界面中采样得。

10、到相同类型的多个真实按钮图像样本； 其中， 所述多个真实按钮图像样本的外观具有类似的关键特征， 且具有不同的风格； 训练模块， 用于根据所述真实按钮图像样本训练对应所述类型的机器学习模型； 生成模块， 用于通过所述机器学习模型执行以下处理： 基于所述机器学习模型的输入 数据生成包括所述关键特征、 且具有新的风格的新按钮图像。 权利要求书 2/2 页 3 CN 111915701 A 3 一种基于人工智能的按钮图像生成方法和装置 技术领域 0001 本申请涉及人工智能的图形处理技术， 尤其涉及一种基于人工智能的按钮图像生 成方法、 装置、 电子设备及计算机可读存储介质。 背景技术 0002 人工。

11、智能(Artificial Intelligence， AI)是计算机科学的一个综合技术， 通过研 究各种智能机器的设计原理与实现方法， 使机器具有感知、 推理与决策的功能。 基于人工智 能的图形处理技术在很多的领域得到应用， 并发挥越来越重要的价值。 0003 在应用界面开发中， 需要为应用界面中的按钮设计多种风格， 以满足不同用户群 体的需求。 相关技术中均是采用基于规则的游戏按钮图像扩充方法， 即， 通过随机裁剪游戏 按钮、 缩放游戏按钮的大小、 更换游戏按钮的色调扩充游戏按钮图像， 以丰富游戏按钮图像 的外观风格， 但本质上仅仅是在原有图像的基础上进行简单的修改， 得到的游戏按钮外观 。

12、风格差异不大， 不能满足用户在视觉感观上的需求。 0004 因此， 相关技术中对于利用人工智能技术提升按钮图像的多样性尚无有效的方 案。 发明内容 0005 本申请实施例提供一种基于人工智能的按钮图像生成方法、 装置、 电子设备及计 算机可读存储介质， 能够智能化地生成风格多样化的按钮图像。 0006 本申请实施例的技术方案是这样实现的： 0007 本申请实施例提供一种基于人工智能的按钮图像生成方法， 包括： 0008 从应用界面中采样得到相同类型的多个真实按钮图像样本； 0009 其中， 所述多个真实按钮图像样本的外观具有类似的关键特征， 且具有不同的风 格； 0010 根据所述真实按钮图像。

13、样本训练对应所述类型的机器学习模型； 0011 通过所述机器学习模型执行以下处理： 基于所述机器学习模型的输入数据生成包 括所述关键特征、 且具有新的风格的新按钮图像。 0012 本申请实施例提供一种基于人工智能的按钮图像生成装置， 包括： 0013 采样模块， 用于从应用界面中采样得到相同类型的多个真实按钮图像样本； 0014 其中， 所述多个真实按钮图像样本的外观具有类似的关键特征， 且具有不同的风 格； 0015 训练模块， 用于根据所述真实按钮图像样本训练对应所述类型的机器学习模型； 0016 生成模块， 用于通过所述机器学习模型执行以下处理： 基于所述机器学习模型的 输入数据生成包括。

14、所述关键特征、 且具有新的风格的新按钮图像。 0017 上述方案中， 所述机器学习模型是自编码网络， 所述自编码网络包括编码网络和 解码网络； 说明书 1/15 页 4 CN 111915701 A 4 0018 所述训练模块， 还用于通过所述编码网络对所述真实按钮图像样本进行特征提取 处理， 得到所述真实按钮图像样本的所述关键特征； 0019 通过所述解码网络对所述关键特征进行上采样处理， 得到具有所述关键特征的虚 假按钮图像样本； 0020 根据所述虚假按钮图像样本与所述真实按钮图像样本之间的误差， 生成自编码网 络损失函数； 0021 根据所述自编码网络损失函数更新所述解码网络和所述编码。

15、网络的参数。 0022 上述方案中， 所述机器学习模型是生成对抗网络； 其中， 所述生成对抗网络包括生 成网络和判别网络； 0023 所述训练模块， 还用于初始化所述生成网络和所述判别网络的参数； 0024 根据所述真实按钮图像样本， 交替地执行以下训练任务： 0025 训练所述判别网络， 以使所述判别网络区分所述真实按钮图像样本和虚假按钮图 像样本； 0026 训练所述生成网络， 以使所述生成网络基于所述真实按钮图像样本生成所述虚假 按钮图像样本； 0027 其中， 在训练所述生成网络的阶段， 固定所述判别网络的参数不变； 在训练所述判 别网络的阶段， 固定所述生成网络的参数不变。 0028。

16、 上述方案中， 所述训练模块， 还用于通过所述生成网络并结合随机噪声样本生成 虚假按钮图像样本； 0029 分别以所述真实按钮图像样本和所述虚假按钮图像样本作为训练样本， 通过所述 判别网络确定所述训练样本属于真实图像的预测概率； 0030 根据所述预测概率与所述训练样本的真实概率之间的误差， 确定判别网络损失函 数； 0031 根据所述判别网络损失函数更新所述判别网络的参数。 0032 上述方案中， 所述判别网络包括多个级联的卷积层以及全连接层； 0033 所述训练模块， 还用于通过所述多个级联的卷积层对所述训练样本进行特征提取 处理， 得到所述训练样本的关键特征； 0034 通过所述全连接。

17、层对所述训练样本的关键特征进行映射处理， 得到所述训练样本 属于真实图像的预测概率。 0035 上述方案中， 所述训练模块， 还用于通过所述生成网络并结合随机噪声样本生成 虚假按钮图像样本； 0036 通过所述判别网络生成所述虚假按钮图像样本属于真实图像的预测概率； 0037 根据所述预测概率与所述训练样本的真实概率之间的误差， 确定生成网络损失函 数； 0038 通过所述生成网络损失函数更新所述生成网络的参数。 0039 上述方案中， 所述生成网络包括全连接层和上采样层； 0040 所述训练模块， 还用于通过所述全连接层将所述随机噪声样本映射到所述关键特 征的特征向量空间， 得到所述随机噪声。

18、样本的特征向量； 0041 通过所述多个级联的上采样层对所述随机噪声样本的特征向量进行上采样处理， 说明书 2/15 页 5 CN 111915701 A 5 得到虚假按钮图像样本。 0042 上述方案中， 当所述机器学习模型是自编码网络时， 所述输入数据是所述真实按 钮图像； 0043 所述生成模块， 还用于通过所述自编码网络中的编码网络提取所述真实按钮图像 的关键特征， 并通过所述自编码网络中的解码网络对所述真实按钮图像的关键特征进行上 采样处理， 得到包括所述关键特征、 且与所述真实按钮图像具有不同风格的虚假按钮图像， 以作为新按钮图像。 0044 上述方案中， 当所述机器学习模型是生成。

19、对抗网络时， 所述输入数据是随机噪声； 0045 所述生成模块， 还用于通过所述生成对抗网络中的生成网络， 将所述随机噪声映 射到所述关键特征的特征向量空间， 得到所述随机噪声的特征向量， 对所述随机噪声的特 征向量进行上采样处理， 得到具有所述关键特征、 且具有随机性的风格的新按钮图像。 0046 上述方案中， 所述采样模块， 还用于对多个应用的应用界面进行图像采样， 得到多 个应用界面图像； 0047 获取所述多个应用界面图像的标签， 其中， 所述标签用于表征所述应用界面图像 中按钮图像的类型以及位置； 0048 针对每个所述类型执行以下处理： 0049 根据所述标签确定所述类型的按钮图像。

20、分别在所述多个应用界面图像的位置， 并 根据所述确定的位置进行截图处理， 得到多个真实按钮图像样本。 0050 所述本申请实施例提供一种基于人工智能的按钮图像生成装置， 还包括： 0051 构造模块， 用于将多个所述新按钮图像替换所述应用界面图像中对应类型的按钮 图像， 得到所述对应类型的多个新应用界面图像； 0052 基于所述多个新应用界面图像构造应用界面图像库。 0053 本申请实施例提供一种电子设备， 包括： 0054 存储器， 用于存储可执行指令； 0055 处理器， 用于执行所述存储器中存储的可执行指令时， 实现本申请实施例提供的 基于人工智能的按钮图像生成方法。 0056 本申请实。

21、施例提供一种计算机可读存储介质， 存储有可执行指令， 用于被处理器 执行时， 实现本申请实施例提供的基于人工智能的按钮图像生成方法。 0057 本申请实施例具有以下有益效果： 0058 通过训练机器学习模型学习对应类型的按钮图像的关键特征， 并学习不同图像与 风格之间的关联， 从而能够针对任意的输入数据还原关键特征且具有新风格的新按钮图 像， 使得机器学习模型的具有良好的风格泛化能力。 附图说明 0059 图1是本申请实施例提供的基于人工智能的按钮图像生成系统100的一个架构示 意图； 0060 图2是本申请实施例提供的电子设备600的结构示意图； 0061 图3A是本申请实施例提供的基于人工。

22、智能的按钮图像生成方法的一个流程示意 图； 说明书 3/15 页 6 CN 111915701 A 6 0062 图3B是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图； 0063 图3C是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图； 0064 图4是本申请实施例提供的不同类型的游戏按钮图像的示意图； 0065 图5是本申请实施例提供的自编码网络700的示意图； 0066 图6是本申请实施例提供的判别网络的结构示意图； 0067 图7是本申请实施例提供的生成网络的结构示意图； 0068 图8是本申请实施例提供的具有关键特征、 且具有不同风格的游戏按钮图像的示 意。

23、图； 0069 图9是本申请实施例提供的基于人工智能的按钮图像生成方法的一个流程示意 图； 0070 图10是本申请实施例提供的生成新的游戏界面场景数据库的一个流程示意图； 0071 图11是本申请实施例提供的游戏界面图像的示意图。 具体实施方式 0072 为了使本申请的目的、 技术方案和优点更加清楚， 下面将结合附图对本申请作进 一步地详细描述， 所描述的实施例不应视为对本申请的限制， 本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其它实施例， 都属于本申请保护的范围。 0073 在以下的描述中， 涉及到 “一些实施例” ， 其描述了所有可能实施例的子集， 但是可 以理解，“一些。

24、实施例” 可以是所有可能实施例的相同子集或不同子集， 并且可以在不冲突 的情况下相互结合。 0074 除非另有定义， 本文所使用的所有的技术和科学术语与属于本申请的技术领域的 技术人员通常理解的含义相同。 本文中所使用的术语只是为了描述本申请实施例的目的， 不是旨在限制本申请。 0075 对本申请实施例进行进一步详细说明之前， 对本申请实施例中涉及的名词和术语 进行说明， 本申请实施例中涉及的名词和术语适用于如下的解释。 0076 1)机器学习模型： 通过计算的手段利用样本数据来改善机器学习模型自身的性 能， 以从样本数据中学习到样本数据具有的关键特征。 0077 2)自编码网络： 将输入数据。

25、进行编码， 进行降低维度， 发现输入数据之间的关键特 征， 再基于关键特征还原出类似于输入数据的输出数据。 0078 3)生成对抗网络(GAN， Generative Adversarial Networks)： 一种深度学习模型， 通过生成网络(Generator)和判别网络(Discriminator)的互相博弈学习产生相当好的输 出。 判别网络需要输入变量以进行预测， 而生成网络需要输入某种隐含信息， 来随机产生观 测数据(生成的虚假数据)， 例如判别网络可以在给定一张猫的图像的情况下， 判断这张图 像是真实图像还是生成的虚假图像， 生成网络可以在给定一系列猫的图像(训练样本集合) 的情。

26、况下， 生成一张新的猫的图像(不在训练样本集合里)。 0079 4)风格： 按钮图像在整体上呈现的有代表性的视觉艺术的表现形式， 例如中国画、 水彩、 素描、 油画、 版画、 动漫等都属于按钮图像的风格。 按钮图像可以通过风格体现丰富 的、 特别的新视觉效果。 0080 5)关键特征： 通过机器学习模型提取到的按钮图像在外观上的具有辨识性的特 说明书 4/15 页 7 CN 111915701 A 7 征， 包含了按钮图像的抽象信息。 0081 6)泛化能力： 指机器学习算法对新鲜样本的适应能力， 简而言之是在原有的样本 数据集合上添加新的样本数据， 通过训练输出一个合理的结果， 学习的目的是。

27、学到隐含在 样本数据背后的规律， 对具有同一规律的样本数据集合以外的数据， 经过训练的网络也能 给出合适的输出， 即称为泛化能力。 0082 7)真实按钮图像样本， 是在应用界面中采样得到的按钮图像， 用于训练机器学习 模型的样本数据之一。 0083 8)虚假按钮图像样本， 是生成网络生成的按钮图像， 用于训练判别网络的样本数 据之一。 0084 相关技术中， 均是采用基于规则的游戏按钮图像扩充方法来扩充游戏按钮图像， 即， 通过随机裁剪游戏按钮、 缩放游戏按钮的大小、 更换游戏按钮的色调扩充游戏按钮图 像， 以丰富游戏按钮图像的外观风格， 但本质上仅仅是在原有图像的基础上进行简单的修 改， 。

28、得到的游戏按钮图像外观风格差异不大， 不能满足用户在视觉感观上的需求。 0085 针对上述问题， 本申请实施例提供一种基于人工智能的按钮图像生成方法、 装置、 电子设备和计算机可读存储介质， 能够智能化地生成风格多样化的按钮图像， 下面说明本 申请实施例提供的用于按钮图像生成的电子设备的示例性应用， 本申请实施例提供的按钮 图像生成的电子设备可以是服务器， 例如部署在云端的服务器， 根据采样的按钮图像生成 包含关键特征、 且风格迥异的新按钮图像， 以智能化地生成风格多样化的按钮图像； 也可以 实施为笔记本电脑， 平板电脑， 台式计算机， 机顶盒， 移动设备(例如， 移动电话， 便携式音乐 播放。

29、器， 个人数字助理， 专用消息设备， 便携式游戏设备)等各种类型的用户终端， 根据用户 输入的按钮图像智能化地生成风格多样化的按钮图像。 下面， 将说明电子设备实施为服务 器时的示例性应用。 0086 参见图1， 图1是本申请实施例提供的基于人工智能的按钮图像生成系统100的一 个架构示意图， 包括按钮图像服务器200、 应用服务器300、 数据库400以及终端500。 0087 在一些实施例中， 按钮图像服务器200从应用服务器300采集应用界面的真实按钮 图像以作为训练样本， 根据训练样本训练与训练样本所关联的功能(例如关闭、 返回等)对 应的类型的机器学习模型， 通过训练好的机器学习模型。

30、基于输入数据生成包括所述关键特 征、 且具有新的风格的新按钮图像， 多个相同类型的新按钮图像形成一个数据库存储到数 据库400中， 数据库400存储的新按钮图像供应用服务器300使用， 即用户触碰终端500的应 用界面中的切换风格的按钮501， 终端500向应用服务器300发送切换应用界面的风格的请 求， 当应用服务器300接收到终端500发起的切换应用界面的风格的请求时， 读取数据库400 中存储的相应类型的按钮图像以更新应用界面。 0088 在一些实施例中， 终端500可以设置切换风格的切换条件(例如当使用时间是白天 或晚上时设置对应的风格的应用界面， 设置账号的不同等级所对应的不同风格的。

31、应用界 面)， 当终端接收到切换条件对应的触发信息时， 切换应用界面为对应的风格。 0089 在一些实施例中， 按钮图像服务器200可以是独立的物理服务器， 也可以是多个物 理服务器构成的服务器集群或者分布式系统， 还可以是提供云服务、 云数据库、 云计算、 云 函数、 云存储、 网络服务、 云通信、 中间件服务、 域名服务、 安全服务、 CDN、 以及大数据和人工 智能平台等基础云计算服务的云服务器， 本申请实施例中不做限制。 说明书 5/15 页 8 CN 111915701 A 8 0090 下面， 以电子设备为服务器为例进行说明。 参见图2， 图2是本申请实施例提供的电 子设备600的。

32、结构示意图， 图2所示的电子设备600包括： 至少一个处理器610、 存储器650、 至 少一个网络接口620。 电子设备600中的各个组件通过总线系统640耦合在一起。 可理解， 总 线系统640用于实现这些组件之间的连接通信。 总线系统640除包括数据总线之外， 还包括 电源总线、 控制总线和状态信号总线。 但是为了清楚说明起见， 在图2中将各种总线都标为 总线系统640。 0091 处理器610可以是一种集成电路芯片， 具有信号的处理能力， 例如通用处理器、 数 字信号处理器(DSP， Digital Signal Processor)， 或者其他可编程逻辑器件、 分立门或者 晶体管逻辑。

33、器件、 分立硬件组件等， 其中， 通用处理器可以是微处理器或者任何常规的处理 器等。 0092 存储器650可以是可移除的， 不可移除的或其组合。 示例性的硬件设备包括固态存 储器， 硬盘驱动器， 光盘驱动器等。 存储器650可选地包括在物理位置上远离处理器610的一 个或多个存储设备。 0093 存储器650包括易失性存储器或非易失性存储器， 也可包括易失性和非易失性存 储器两者。 非易失性存储器可以是只读存储器(ROM， Read Only Me mory)， 易失性存储器可 以是随机存取存储器(RAM， Random Access Memor y)。 本申请实施例描述的存储器650旨在 。

34、包括任意适合类型的存储器。 0094 在一些实施例中， 存储器650能够存储数据以支持各种操作， 这些数据的示例包括 程序、 模块和数据结构或者其子集或超集， 下面示例性说明。 0095 操作系统651， 包括用于处理各种基本系统服务和执行硬件相关任务的系统程序， 例如框架层、 核心库层、 驱动层等， 用于实现各种基础业务以及处理基于硬件的任务； 0096 网络通信模块652， 用于经由一个或多个(有线或无线)网络接口620到达其他计算 设备， 示例性的网络接口620包括： 蓝牙、 无线相容性认证(WiFi)、 和通用串行总线(USB， Universal Serial Bus)等； 0097。

35、 在一些实施例中， 本申请实施例提供的基于人工智能的按钮图像生成装置可以采 用软件方式实现， 图2示出了存储在存储器650中的基于人工智能的按钮图像生成装置655， 其可以是程序和插件等形式的软件， 包括以下软件模块： 采样模块6551、 训练模块6552、 生 成模块6553和构造模块6554， 其中， 构造模块6554是可选的。 这些模块是逻辑上的， 因此根 据所实现的功能可以进行任意的组合或进一步拆分。 下面对不同的软件实现方式进行举例 说明。 0098 示例一、 按钮图像生成装置可以是终端应用程序及模块 0099 本申请实施例可提供为使用C/C+、 Java等编程语言设计的软件模块， 。

36、嵌入到基于 Android或iOS等系统的各种终端Apps中(例如游戏应用等)(以可执行指令的存储在终端的 存储介质中， 由终端的处理器执行)， 从而直接使用终端自身的计算资源完成相关的机器学 习模型训练、 生成等任务， 并且定期或不定期地通过各种网络通信方式将机器学习模型训 练、 生成等结果传送给远程的服务器， 或者在移动端本地保存。 0100 示例二、 按钮图像生成装置可以是服务器应用程序及平台 0101 本申请实施例可提供使用C/C+、 Java等编程语言设计的应用软件或大型软件系 统中的专用软件模块， 运行于服务器端(以可执行指令的方式在服务器端的存储介质中存 说明书 6/15 页 9。

37、 CN 111915701 A 9 储， 并由服务器端的处理器运行)， 将接收到的来自其它设备的各种原始数据、 各级中间数 据和最终结果中的至少一种， 与服务器上已有的某些数据或结果综合起来进行机器学习模 型的训练、 以及使用训练完成的机器学习模型生成新按钮图像， 然后实时或非实时地输出 机器学习模型或生成的新按钮图像给其他应用程序或模块使用， 也可以写入服务器端数据 库或文件进行存储。 0102 本发明实施例还可以提供为在多台服务器构成的分布式、 并行计算平台上， 搭载 定制的、 易于交互的网络(Web)界面或其他各用户界面(UI， User Interface)， 形成供个人、 群体或企业。

38、使用的UI界面设计平台等。 使用者可以将已有的数据包批量上传给此平台以获 得各种计算结果， 也可以将实时的数据流传输给此平台来实时计算和刷新各级结果。 0103 示例三、 按钮图像生成装置可以是服务器端应用程序接口(API， Application Program Interface)及插件 0104 本申请实施例可提供为服务器端的实现机器学习模型训练功能、 基于机器学习模 型生成按钮图像的API、 软件开发套件(SDK， Software Development Toolkit)或插件， 供其 他的服务器端应用程序开发人员调用， 并嵌入到各类应用程序中。 0105 示例四、 按钮图像生成装置。

39、可以是终端设备客户端API及插件 0106 本申请实施例还可提供为终端设备端的实现机器学习模型训练功能的、 基于机器 学习模型生成按钮图像的API、 SDK或插件， 供其他的终端应用程序开发人员调用， 并嵌入到 各类应用程序中。 0107 示例五、 按钮图像生成装置可以是云端开放服务 0108 本申请实施例可提供为基于机器学习模型生成按钮图像的UI界面设计云服务、 本 发明实施例还可提供为UI界面设计云服务的应用程序包(Android a pplication package， API)、 软件开发工具包(Software Development Kit， SDK)及插件等， 打包封装成 可供。

40、企业内外人员开放使用的云服务， 或者将各种结果以适当形式展示在各种终端显示设 备上， 供个人、 群体或企业使用。 0109 在另一些实施例中， 本申请实施例提供的基于人工智能的按钮图像生成装置可以 采用硬件方式实现， 作为示例， 本申请实施例提供的基于人工智能的按钮图像生成装置可 以是采用硬件译码处理器形式的处理器， 其被编程以执行本申请实施例提供的基于人工智 能的按钮图像生成方法， 例如， 硬件译码处理器形式的处理器可以采用一个或多个应用专 用集成电路(ASIC， Application Spe cific Integrated Circuit)、 DSP、 可编程逻辑器件 (PLD， Pr。

41、ogrammable Logic Device)、 复杂可编程逻辑器件(CPLD， Complex Programmable Logic Device)、 现场可编程门阵列(FPGA， Field-Programmable Gate Array)或其他电子 元件。 0110 下面将结合本申请实施例提供的服务器的示例性应用和实施， 说明本申请实施例 提供的基于人工智能的按钮图像生成方法。 可以理解地， 下述的方法可以由上文所述的终 端或按钮图像服务器参见图3A， 图3A是本申请实施例提供的基于人工智能的按钮图像生成 方法的一个流程示意图， 将结合图3A示出的步骤进行说明。 0111 在步骤101。

42、中， 从应用界面中采样得到相同类型的多个真实按钮图像样本； 其中， 所述多个真实按钮图像样本的外观具有类似的关键特征， 且具有不同的风格。 0112 在一些实施例中， 从应用界面中采样得到相同类型的多个真实按钮图像样本， 包 说明书 7/15 页 10 CN 111915701 A 10 括： 对多个应用的应用界面进行图像采样， 得到多个应用界面图像； 获取多个应用界面图像 的标签， 其中， 所述标签用于表征应用界面图像中按钮图像的类型以及位置； 针对每个类型 执行以下处理： 根据标签确定各类型的按钮图像分别在多个应用界面图像的位置， 并根据 确定的位置进行截图处理， 得到多个真实按钮图像样本。

43、。 0113 以游戏应用界面场景为例， 按钮图像服务器从游戏应用服务器收集多个游戏应用 界面场景图像， 并给每张图像打上标签， 标签用于表示图像中各种不同类型的游戏按钮图 像在游戏应用界面中的位置。 作为示例， 游戏按钮图像有三种类型： 返回游戏按钮图像、 属 性游戏按钮图像以及关闭游戏按钮图像。 0114 参见图4， 图4是本申请实施例提供的不同类型的游戏按钮图像的示意图， 包括返 回游戏按钮图像401、 属性游戏按钮图像402和关闭游戏按钮图像403。 其中， 不同类型的游 戏按钮图像是根据游戏按钮图像所关联的功能(例如返回功能、 显示属性功能、 关闭功能) 进行分类得到的； 不同的类型对。

44、应不同的功能。 其位置由四维数组来表示， 包括在包括游戏 按钮图像的平面坐标系中的横坐标、 纵坐标、 游戏按钮图像的宽度、 以及游戏按钮图像的高 度。 根据游戏按钮图像的类型和位置， 通过对游戏应用界面图像的截图处理， 提取对应的游 戏按钮图像区域， 将游戏按钮图像区域缩放至固定尺寸， 将相同类型的游戏按钮图像分类 保存至对应类型的游戏按钮图像集合中， 以作为真实按钮图像样本。 0115 在本申请实施例中， 将游戏按钮图像缩放至同样像素大小， 以减小机器学习模型 的计算复杂度； 关键特征是外观上的具有辨识性的特征， 例如关闭按钮中的X型， 不同类型 的按钮图像具有与其类型对应的辨识性的特征， 。

45、针对不同类型的按钮图像提取不同的关键 特征以训练对应类型的机器学习模型， 训练结果更加准确。 0116 在步骤102中， 根据真实按钮图像样本训练对应类型的机器学习模型。 0117 在一些实施例中， 机器学习模型可以是自编码网络； 其中， 自编码网络包括编码网 络和解码网络； 参见图3B， 图3B是本申请实施例提供的基于人工智能的按钮图像方法的一 个流程示意图， 基于图3A， 图3B示出的步骤102可以通过步骤1021A至步骤1023A实现， 将结 合各步骤进行说明。 针对每个真实按钮图像样本， 执行以下处理： 0118 在步骤1021A中， 通过编码网络对真实按钮图像样本进行特征提取处理， 。

46、得到真实 按钮图像样本的关键特征； 0119 在步骤1022A中， 通过解码网络对关键特征进行上采样处理， 得到具有关键特征的 虚假按钮图像样本； 0120 在步骤1023A中， 根据虚假按钮图像样本与真实按钮图像样本之间的误差， 生成自 编码网络损失函数； 0121 在步骤1024A中， 运用反向传播算法， 根据自编码网络损失函数更新解码网络和编 码网络的参数。 0122 在一些示例中， 参见图5， 图5是本申请实施例提供的自编码网络700的示意图， 包 括编码网络710和解码网络720。 其中， 编码网络710用于提取真实按钮图像样本的隐层特征 (即关键特征)， 也就是将真实按钮图像样本压。

47、缩为包括关键特征的特征图， 然后由解码网 络720基于关键特征还原出与真实按钮图像样本类似的图像， 由于这个图像是通过模型生 成的而不是在应用界面进行图像采集得到的， 因此称为虚假按钮图像样本。 0123 作为示例， 编码网络是通过下采样层(例如， 卷积层)来实现的， 可以包括多个级联 说明书 8/15 页 11 CN 111915701 A 11 的下采样层， 以提取深层的关键特征。 由于在一个真实按钮图像样本中的不同像素点位置 的相同目标， 它们的特征是基本相同的， 每一个下采样层通过一个卷积核的卷积操作提取 真实按钮图像样本的不同像素点位置的同样特征。 也就是说， 用一个卷积操作得到真实。

48、按 钮图像样本中局部的关键特征， 以使解码网络可以根据所提取的关键特征进行还原。 0124 作为示例， 这里的卷积操作还可以采用并列的多个相同大小的卷积核的实现方 式， 用多个卷积核提取多个特征， 以提取真实按钮图像样本的多个关键特征， 以细化关键特 征， 提升学习的精度。 0125 解码网络是通过上采样层(上采样层执行的上采样操作可以是反卷积操作或插值 操作)来实现的， 可以包括多个级联的上采样层。 基于关键特征进行还原时， 可以通过插值 操作来还原。 由于在下采样操作时丢弃了部分不重要的像素点， 插值操作即是将缺失的像 素点位置填充像素值以还原出与真实按钮图像样本同样尺寸的按钮图像， 即包。

49、括真实按钮 图像样本的关键特征的虚假按钮图像样本； 也可以通过反卷积操作来还原： 首先， 根据输入 输出的尺寸关系os(i-1)+k-2p， 其中， o是输出的尺寸， s是步长， i是输入的尺寸， k是卷积 核尺寸， p是填充， 计算出合适的步长、 卷积核以及填充； 接着， 将编码网络得到的特征图按 照计算出的填充通过补零的方式来扩大特征图的尺寸； 最后， 利用卷积核对填充后的特征 图， 进行相应步长的正向卷积。 这里计算的过程也可以通过多次实验得出最合适的取值。 0126 需要说明的是， 由于编码网络只学习了真实按钮图像样本的关键特征， 因此， 解码 网络在上采样(即还原出与真实按钮图像样本。

50、相似的图像)时， 不可避免地在图像中引入随 机值(即像素的取值)， 从而使得得到的虚假按钮图像样本的风格发生了变化， 即， 得到的虚 假按钮图像样本包含真实按钮图像样本的关键特征、 且具有与真实按钮图像样本不同的新 的风格； 这里的自编码网络损失函数以虚假按钮图像样与真实按钮图像样本之间的误差为 因子； 不局限于任何类型的损失函数， 例如， 交叉熵损失函数、 相对熵损失函数和绝对误差 损失函数等。 0127 作为示例， 编码网络的下采样层和解码网络和上采样层之间可以存在跨层连接， 从而解码网络的每个上采样层在还原出虚假按钮图像时， 可以通过跨层连接来接收来自对 应的下采样层输出的浅层特征， 浅。