(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211305332.1 (22)申请日 2022.10.24 (71)申请人 上海小度技术有限公司 地址 200000 上海市浦东 新区自由贸易试 验区纳贤路701号 一号楼4层 (72)发明人 张喜媛　张艺品　鞠强　谢剑　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 严慧 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/26(2006.01) (54)发明名称 意图识别模型的训练方法、 意图识别方法、 装置及设备 (57)摘要 本公开提供了一种意图识别模型的训练方 法、 意图识别方法、 装置及设备， 涉及人工智能技 术领域， 尤其涉及自然语言处理、 深度学习技术 领域， 可应用于语音识别等场景。 具体实现方案 为： 分别获取至少两个意图预测网络对应的样本 文本数据； 各所述意图预测网络对应的样本文本 数据不同； 将所述样本文本数据输入 所述通用特 征提取网络得到样本文本特征， 并将所述样本文 本特征输入对应的意图预测网络得到意图预测 网络所预测的样本意图； 根据意图预测网络所预 测的样本意图和样本文本数据的意图监督数据， 对所述意图预测网络进行训练； 根据至少两个意 图预测网络所预测的样本意图和样本文本数据 的意图监督数据， 对所述通用特征提取网络进行 训练。 权利要求书4页 说明书17页 附图9页 CN 115470798 A 2022.12.13 CN 115470798 A 1.一种意图识别模型的训练方法， 所述意图识别模型包括通用特征提取网络和至少两 个意图预测网络； 所述至少两个意图预测网络的网络结构相同； 所述方法包括： 分别获取至少两个意图预测网络对应的样本文本数据； 各所述意图预测网络对应的样 本文本数据不同； 将所述样本文本数据输入所述通用特征提取网络得到样本文本特征， 并将所述样本文 本特征输入对应的意图预测网络得到意图预测网络所 预测的样本意图； 根据意图预测网络所预测的样本意图和样本文本数据的意图监督数据， 对所述意图预 测网络进行训练； 根据至少两个意图预测网络所预测的样本意图和样本文本数据的意图监督数据， 对所 述通用特征提取网络进行训练。 2.根据权利要求1所述的方法， 其中， 所述将所述样本文本数据输入所述通用特征提取 网络得到样本文本特征， 并将所述样本文本特征输入对应的意图预测网络得到意图预测网 络所预测的样本意图， 包括： 将所述样本文本数据中的当前样本数据输入所述通用特征提取网络得到当前样本特 征， 并将所述当前样本特征输入对应的意图预测网络得到意图预测网络所预测的当前样本 意图； 将所述样本文本数据中的历史样本数据输入所述通用特征提取网络得到历史样本特 征， 并将所述历史样本特征输入对应的意图预测网络得到意图预测网络所预测的历史样本 意图； 通过对应的意图预测网络， 根据所述当前样本特征、 所述当前样本意图、 所述历史样本 特征和所述历史样本意图， 确定融合样本意图； 将所述当前样本意图、 所述历史样本意图和所述融合样本意图， 作为所述意图预测网 络所预测的样本意图。 3.根据权利要求2所述的方法， 其中， 所述通过对应的意图预测网络， 根据所述当前样 本特征、 所述当前样本意图、 所述历史样本特征和所述历史样本意图， 确定融合样本意图， 包括： 采用所述当前样本意图和所述历史样本意图， 对所述当前样本特征和所述历史样本特 征进行融合得到融合样本特 征； 将所述融合样本特征输入对应的意图预测网络得到意图预测网络所预测的融合样本 意图。 4.根据权利要求3所述的方法， 其中， 所述采用所述当前样本意图和所述历史样本意 图， 对所述当前样本特 征和所述历史样本特 征进行融合得到融合样本特 征， 包括： 确定所述当前样本意图和所述历史样本意图之间的相似度； 根据所述相似度、 所述当前样本特 征和所述历史样本特 征， 确定融合样本特 征。 5.根据权利要求2所述的方法， 其中， 所述根据意图预测网络所预测的样本意图和样本 文本数据的意图监 督数据， 对所述 意图预测网络进行训练， 包括： 根据意图预测网络所预测的当前样本意图和样本文本数据的意图监督数据， 确定第 一 训练损失； 根据意图预测网络所预测的历史样本意图和样本文本数据的意图监督数据， 确定第 二权　利　要　求　书 1/4 页 2 CN 115470798 A 2训练损失； 根据意图预测网络所预测的融合样本意图和样本文本数据的意图监督数据， 确定第 三 训练损失； 根据所述第一训练损 失、 所述第二训练损 失和所述第三训练损 失， 确定所述意图预测 网络的任务训练损失； 采用所述任务训练损失， 对所述 意图预测网络进行训练。 6.根据权利要求5所述的方法， 其中， 所述根据至少两个意图预测网络所预测的样本意 图和样本文本数据的意图监 督数据， 对所述 通用特征提取网络进行训练， 包括： 根据所述至少两个意图预测网络的任务训练损失确定通用训练损失； 采用所述 通用训练损失， 对所述 通用特征提取网络进行训练。 7.一种意图识别方法， 包括： 将目标文本数据输入意图识别模型的通用特征提取网络得到目标文本特征， 并将所述 目标文本特征分别输入所述意图识别模型的至少两个意图预测网络， 得到至少两个意图预 测网络所 预测的候选意图； 从所述至少两个候选意图中确定所述目标文本数据的目标意图； 其中， 所述意图识别 模型基于 权利要求1 ‑6中任一项所述的意图识别模型的训练方法训练得到 。 8.根据权利要求7所述的方法， 其中， 所述将目标文本数据输入意图识别模型的通用特 征提取网络得到目标文本特征； 将所述目标文本特征分别输入所述意图识别模型的至少两 个意图预测网络， 得到意图预测网络所 预测的至少两个候选意图， 包括： 将所述目标文本数据中的当前目标数据输入所述通用特征提取网络得到当前目标特 征， 并将所述当前目标 特征输入意图预测网络得到意图预测网络所 预测的当前目标意图； 将所述目标文本数据中的历史目标数据输入所述通用特征提取网络得到历史目标特 征， 并将所述历史目标 特征输入意图预测网络得到意图预测网络所 预测的历史目标意图； 通过意图预测网络， 根据 所述当前目标特征、 所述当前目标意图、 所述历史目标特征和 所述历史目标意图， 确定融合目标意图； 根据所述历史目标意图和所述融合目标意图， 确定所述意图预测网络所预测的候选意 图。 9.根据权利要求8所述的方法， 其中， 所述通过意图预测网络， 根据 所述当前目标特征、 所述当前目标意图、 所述历史目标 特征和所述历史目标意图， 确定融合目标意图， 包括： 采用所述当前目标意图和所述历史目标意图， 对所述当前目标特征和所述历史目标特 征进行融合得到融合目标 特征； 将所述融合目标 特征输入意图预测网络得到意图预测网络所 预测的融合目标意图。 10.根据权利要求8所述的方法， 其中， 所述根据所述历史目标意图和所述融合目标意 图， 确定所述 意图预测网络所 预测的候选意图， 包括： 对所述历史目标意图和所述融合目标意图进行融合； 根据融合结果， 确定所述 意图预测网络所 预测的候选意图。 11.一种意图识别模型的训练装置， 所述意图识别模型包括通用特征提取网络和至少 两个意图预测网络； 所述至少两个意图预测网络的网络结构相同； 所述装置包括： 样本文本数据确定模块， 用于分别获取至少两个意图预测网络对应的样本文本数据；权　利　要　求　书 2/4 页 3 CN 115470798 A 3