(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211329219.7 (22)申请日 2022.10.27 (71)申请人 兴业银行股份有限公司 地址 350014 福建省福州市台江区江滨中 大道398号兴业银行 大厦 申请人 兴业数字金融服 务(上海)股份有限 公司 (72)发明人 石广洲　杨益明　方正　殷静雯　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 王丹东 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/211(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于词向量的多模态数字人情绪生成方法 及系统 (57)摘要 本发明提供了一种基于词 向量的多模态数 字人情绪生成方法及系统， 包括： 获取语料数据 并进行相应的预处理； 对所述语料数据中的语句 进行分词， 得到关键词列表及对应的表情标签； 根据所述关键词列表训练词向量模 型； 构建卷积 神经网络模 型， 并根据所述词向量模 型以及所述 表情标签训练所述卷积神经网络模 型； 结合训练 后的卷积神经网络模型和数字人播报的对应表 情标签， 预测当前数字人播报的对应情绪， 从而 使得数字人表达相应的情绪。 本发 明训练了一个 可以根据文本进行情绪生 成的神经网络模型， 在 数字人播报时， 可以通过训练好的神经网络模型 自动预测文本对应的面部表情， 避免了人工干 预。 权利要求书2页 说明书5页 附图1页 CN 115510859 A 2022.12.23 CN 115510859 A 1.一种基于词向量的多模态数字人情绪 生成方法， 其特 征在于， 包括： 步骤S1： 获取语料 数据并进行相应的预处 理； 步骤S2： 对所述语料 数据中的语句进行分词， 得到关键词列表及对应的表情标签； 步骤S3： 根据所述关键词列表训练词向量模型； 步骤S4： 构建卷积神经网络模型， 并根据所述词向量模型以及所述表情标签训练所述 卷积神经网络模型； 步骤S5： 结合训练后的卷积神经网络模型和数字人播报的对应表情标签， 预测当前数 字人播报的对应情绪， 从而 使得数字人表达相应的情绪。 2.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法， 其特征在于， 步骤 S1包括： 步骤S1.1： 获取语料 数据并存 入相应的文本文件中； 步骤S1.2： 对文本文件进行清洗； 步骤S1.3： 在清洗后的文本文件中将表情图标转换成对应的表情文本标签， 使语句与 表情文本标签相关联。 3.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法， 其特征在于， 步骤 S3包括： 步骤S3.1： 对 包含关键词列表的词典中的每一个关键词进行编码并存 入语料库中； 步骤S3.2： 建立当前语句中关键词和所述语句的上 下文关键词之间的关联关系； 步骤S3.3： 以语料库中的关键词为词向量模型输入， 以所述关键词在原始语句中的上 下文关键词为词向量模型输出， 进行训练后得到对应的权 重。 4.根据权利要求1所述的基于词向量的多模态数字人情绪生成方法， 其特征在于， 步骤 S4包括： 步骤S4.1： 将关键词通过词向量模型训练出的权 重转换成对应的词向量； 步骤S4.2： 将所述词向量作为卷积神经网络模型的输入， 所述表情标签作为模型的输 出， 进行模型训练。 5.根据权利要求4所述的基于词向量的多模态数字人情绪生成方法， 其特征在于， 在数 字人播报时， 通过训练好的卷积神经网络模型对数字人播报的语句中的所有关键词进 行情 感分类， 将进情感分类后对应的表情标签发送给 数字人， 进 而使得数字人表达相应的情绪。 6.一种基于词向量的多模态数字人情绪 生成系统， 其特 征在于， 包括： 模块M1： 获取语料 数据并进行相应的预处 理； 模块M2： 对所述语料 数据中的语句进行分词， 得到关键词列表及对应的表情标签； 模块M3： 根据所述关键词列表训练词向量模型； 模块M4： 构建卷积神经网络模型， 并根据所述词向量模型以及所述表情标签训练所述 卷积神经网络模型， 进 而生成数字人情绪； 模块M5： 结合训练后的卷积神经网络模型和数字人播报的对应表情标签， 预测当前数 字人播报的对应情绪， 从而 使得数字人表达相应的情绪。 7.根据权利要求6所述的基于词向量的多模态数字人情绪生成系统， 其特征在于， 模块 M1包括： 模块M1.1： 获取语料 数据并存 入相应的文本文件中；权　利　要　求　书 1/2 页 2 CN 115510859 A 2模块M1.2： 对文本文件进行清洗； 模块M1.3： 在清洗后的文本文件中将表情图标转换成对应的表情文本标签， 使语句与 表情文本标签相关联。 8.根据权利要求6所述的基于词向量的多模态数字人情绪生成系统， 其特征在于， 模块 M3包括： 模块M3.1： 对包含关键词列表的词典中的每一个关键词进行编码并存 入语料库中； 模块M3.2： 建立当前语句中关键词和所述语句的上 下文关键词之间的关联关系； 模块M3.3： 以语料库中的关键词为词向量模型输入， 以所述关键词在原始语句中的上 下文关键词为词向量模型输出， 进行训练后得到对应的权 重。 9.根据权利要求6所述的基于词向量的多模态数字人情绪生成系统， 其特征在于， 模块 M4包括： 模块M4.1： 将关键词通过词向量模型训练出的权 重转换成对应的词向量； 模块M4.2： 将所述词向量作为卷积神经网络模型的输入， 所述表情标签作为模型的输 出， 进行模型训练。 10.根据权利要求6所述的基于词向量的多模态数字人情绪生成系统， 其特征在于， 在 数字人播报时， 通过训练好的卷积神经网络模型对数字人播报的语句中的所有关键词进 行 情感分类， 将进情感分类后对应的表情标签发送给数字人， 进而使得数字人表达相应的情 绪。权　利　要　求　书 2/2 页 3 CN 115510859 A 3