(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211250729.5 (22)申请日 2022.10.13 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 李醒飞　郑宇鸿　徐佳毅　李洪宇　 文艺成　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 郭梦雅 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/05(2022.01) G06V 10/774(2022.01) G06V 10/62(2022.01)G06V 10/28(2022.01) G06K 9/00(2022.01) (54)发明名称 追踪声源的路径 生成方法、 模 型的训练方法 及电子设备 (57)摘要 本发明提供了一种追踪声源的路径生成方 法、 模型的训练方法及电子设备。 其中， 深度学习 模型包括编码器和解码器， 编码器包括融合单元 和编码单元； 该追踪声源的路径生成方法包括： 将目标场景图像和与声源对应的目标声场信号 输入融合单元， 得到融合数据， 其中， 目标场景图 像表征声源 所在场景的 图像； 将融合数据输入编 码单元， 得到编码数据； 将编码数据输入解码器， 得到输出结果； 以及根据输出结果， 生成对声源 进行追踪的路径。 权利要求书2页 说明书17页 附图6页 CN 115331082 A 2022.11.11 CN 115331082 A 1.一种追踪声源的路径生成方法， 其特征在于， 深度 学习模型包括编码器和解码器， 所 述编码器包括融合单 元和编码单 元； 所述方法包括： 将目标场景图像和与声源对应的目标声场信号输入所述融合单元， 得到融合数据， 其 中， 所述目标场景图像表征 所述声源所在场景的图像； 将所述融合数据输入所述编码单 元， 得到编码数据； 将所述编码数据输入所述 解码器， 得到 输出结果； 根据所述输出 结果， 生成对所述声源进行追踪的路径。 2.如权利要求1所述的方法， 其特征在于， 在所述将目标场景图像和与声源对应的目标 声场信号输入所述融合单 元之前， 还 包括： 对所述目标场景图像进行 卷积和批标准归一 化处理， 得到归一 化场景图； 将所述与声源对应的目标声场信号整合为高度和宽度与所述目标场景图像一致的二 维信号数据， 并对所述 二维信号数据进行 卷积和批标准归一 化处理， 得到归一 化特征图。 3.如权利要求2所述的方法， 其特征在于， 所述将目标场景图像和与声源对应的目标声 场信号输入所述融合单 元， 得到融合数据包括： 对所述归一 化特征图和所述归一 化场景图进行 特征融合， 得到所述融合数据； 其中， 通过以下公式进行 所述特征融合： 其中， 为所述融合数据， 为拼接函数， 为所述归 一化特征图， 为所述 归一化场景图。 4.如权利要求1所述的方法， 其特 征在于， 还 包括： 对所述声源所在场景的图像进行量 化， 得到所述目标场景图像； 对所述声源产生的声场信号进行基带转换和低 通滤波去噪， 得到所述与声源对应的目 标声场信号。 5.一种深度学习模型的训练方法， 其特征在于， 所述深度学习模型包括编码器和解码 器， 所述编码器包括融合单 元和编码单 元； 所述方法包括： 将样本场景图像和与样本声源对应的样本声场信号输入所述融合单元， 得到样本 融合 数据， 其中， 所述样本场景图像是 所述样本声源所在场景的图像； 将所述样本融合数据输入所述编码单 元， 得到样本编码数据； 将所述样本编码数据输入所述 解码器， 得到预测标签； 利用所述预测标签和样本标签训练所述深度学习模型， 其中， 所述样本标签表征参考 信息， 所述参考信息包括基于所述样本场景图像中的障碍点、 所述样本声源所在位置和接 收所述样本声场信号所在位置得到的参 考路径。 6.如权利要求5所述的训练方法， 其特征在于， 在所述将样本场景图像和与样本声源对 应的样本声场信号输入所述融合单 元之前， 还 包括： 基于预处理后的所述与样本声源对应的样本声场信号的采样时间段、 所述样本声源的权　利　要　求　书 1/2 页 2 CN 115331082 A 2个数和所述样本声场信号的采样频率， 得到单个所述样本声场信号的数据点数； 基于预处理后的与 所述样本声源对应的样本声场信号的频率分量和所述数据点数， 得 到单个所述样本声场信号的数据串； 将所述数据串作为 一个所述与样本声源 对应的样本声场信号； 将一个所述与样本声源对应的样本声场信号和一个所述样本场景图像作为数据集的 一个样本， 所述数据集包括预设数量个所述样本 。 7.如权利要求6所述的训练方法， 其特征在于， 所述利用所述预测标签和样本标签训练 所述深度学习模型包括： 基于所述预测标签和所述样本标签得到损失值； 基于所述损失值调整所述深度学习模型的网络参数， 完成所述深度学习模型的训练。 8.如权利要求7所述的训练方法， 其特征在于， 所述基于所述预测标签和所述样本标签 得到损失值包括： 将所述预测标签和所述样本标签中的对应位置的矩阵点输入第一损失函数和第二损 失函数中， 得到第一损失函数值和第二损失函数值； 基于所述第一损失函数值和所述第二损失函数值得到所述损失值。 9.如权利要求8所述的训练方法， 其特征在于， 所述基于所述损失值调整所述深度 学习 模型的网络参数， 完成所述深度学习模型的训练包括： 基于更新前的网络参数和所述损失值， 利用随机梯度下降函数对所述网络参数进行更 新， 完成所述深度学习模型的训练。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个指令， 其中， 当所述一个或多个指令被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现权利要求1至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115331082 A 3