(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321779.8 (22)申请日 2022.10.27 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 王翔　邓文　黄知涛　柯达　 赵雨睿　孙丽婷　陈颖　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 张先蓉 (51)Int.Cl. G06K 9/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于联合多模态信息与域对抗神经网络的 调制识别方法 (57)摘要 本发明公开了一种基于联合多模态信息与 域对抗神经网络的调制识别方法， 包括： 构建域 对抗神经网络模 型； 在模型的输入层中输入信号 的多模态特征； 对模型中的模态特征提取器、 域 知识学习器和分类器进行epoch训练， 当总损 失 达到最小时停止训练， 对模态特征提取器、 分类 器的网络权重参数进行保存； 对训练后的域对抗 神经网络模 型进行测试； 基于测试后的域对抗神 经网络模型进行信号的调制识别。 本发明用以解 决小样本场景下的调制识别仅使用信号的单模 态信息， 忽略了将多个变换域的多模态信息融合 在一起所获得的互补处理增益及没有利用大量 的无标签数据进行训练， 忽略了无标签数据隐藏 的域标签对 模型算法泛化能力的提升的问题。 权利要求书3页 说明书12页 附图4页 CN 115392326 A 2022.11.25 CN 115392326 A 1.一种基于联合多模态信息与域对抗神经网络的调制识别方法， 其特征在于， 包括以 下步骤： 构建域对抗神经网络模型， 所述域对抗神经网络模型包括输入层、 模态特征提取器、 域 知识学习器和分类器； 所述模态特征提取器包括第一模态特征特征器、 第二模态特征提取 器和第三模态特征提取器， 所述域知识学习器包括第一域知识学习器、 第二域知识学习器、 第三域知识学习器； 每个所述模态特征提取器包括4个卷积层， 每层所述卷积层均包括池化层， 每层所述卷 积层后均使用BatchNorm2d进行归一化处理， 在前两层卷积层后引入通道注意力机制与空 间注意力机制； 在前两层卷积层后引入通道注意力 机制与空间注意力 机制的过程中， 首先引入所述通 道注意力机制， 其次引入所述空间注意力机制； 基于所述通道注意力 机制与所述空间注意力 机制， 将卷积层提取的特征图进行通道和 空间两个维度的注意力图计算， 获取加权特 征图， 再与输入特 征图相乘； 在所述输入层中输入信号的多模态特征； 所述多模态特征包括时域特征、 频域特征、 源 域数据和目标域数据， 所述时域特征包括同相分量、 正交分量、 谱特征； 所述频域特征包括 频谱幅度、 二次方谱、 四次方谱； 所述源域数据为有标签的调制数据， 所述目标域数据为没 有标签的调制数据； 对所述模态特征提取器、 所述域知识学习器和所述分类器进行epoch训练， 当总损失达 到最小时停止训练， 对所述模态特 征提取器、 所述分类 器的网络 权重参数进行保存； 对训练后的域对抗神经网络模型进行测试； 基于测试后的域对抗神经网络模型进行信号的调制识别。 2.根据权利要求1所述的基于联合多模态信息与域对抗神经网络的调制识别方法， 其 特征在于， 在所述输入层中输入多模态特征的过程中， 基于所述同相分量、 所述正交分量 获 取同相正交分量， 输入所述同相正交分量， 获取归一 化幅度相位分量； 基于所述频谱幅度、 所述二 次方谱以及所述 四次方谱获取谱特征， 输入信号谱特征， 获 取瞬时相位； 输入所述归一 化幅度相位分量与所述瞬时相位， 获取相位特 征。 3.根据权利要求2所述的基于联合多模态信息与域对抗神经网络的调制识别方法， 其 特征在于， 对 所述模态特征提取器、 所述域知识学习器和所述标签预测器进 行epoch训练的 过程包括： S1.将所述同相正交分量输入第一特征提取器， 获取第一源域隐藏层特征、 第一目标域 隐藏层特 征； S2.将所述谱特征输入第一特征提取器， 获取第 二源域隐藏层特征、 第 二目标域隐藏层 特征； S3.将所述相位特征输入第一特征提取器， 获取第三源域隐藏层特征、 第三目标域隐藏 层特征； S4.将第一源域隐藏层特征、 第一目标域隐藏层特征输入第一域知识学习器进行域分 类并计算， 获取同相正交分量 域分类损失； S5.将第二源域隐藏层特征、 第二目标域隐藏层特征输入第二域知识学习器进行域分权　利　要　求　书 1/3 页 2 CN 115392326 A 2类并计算， 获取归一 化瞬时幅度相位特 征分量域分类损失； S6.将第三源域隐藏层特征、 第三目标域隐藏层特征输入第三域知识学习器进行域分 类并计算， 获取谱特 征分量域分类损失； S7.对第一源域隐藏层特征、 第二源域隐藏层特征、 第三源域隐藏层特征进行串行拼 接， 获取源域隐藏层总特征， 将所述源域隐藏层总特征输入分类器， 获取源域标签分类损 失； S8.将所述源域标签分类损失、 所述同相正交分量域分类损失、 所述归一化瞬时幅度相 位特征分量域分类损失、 谱特征分量域分类损失相加， 获取总损失函数， 对所述总损失函数 进行梯度下降和网络 权重更新； S9.调整学习率， 重复执 行步骤S1 ‑步骤S9。 4.根据权利要求3所述的基于联合多模态信息与域对抗神经网络的调制识别方法， 其 特征在于， 所述总损失函数为： 其中， 分别是第一特征提取器、 第二特征提取器、 第三特征提取器、 分类器 的权重参数； 分别是第一特征提取器、 第二特征提取器、 第三特征提取器、 分 类器； 是源域类别标签； 为交叉熵损失函数； 是权重系数； 分别为第 一域知识学习器、 第二域知识学习器、 第三域知识学习器的权重 参数； 是第一域知 识学习器、 第二域知识学习器、 第三域知识学习器； 是域标签； 都是交叉熵损失 函数； 表示源域调制信号样本个数， 表示单个源 域调制信号样本， 表示目标域调制 信号样本个 数， 表示单个目标域调制信号样本， 表示 和 的组合， 即 和 分 别经过特征提取器后， 输入到域知识学习器。 5.根据权利要求1所述的基于联合多模态信息与域对抗神经网络的调制识别方法， 其 特征在于， 基于训练后的网络模型进行测试的过程包括： 将目标域数据的同相正交分量、 谱特征以及相位特征分别输入第一特征提取器， 第二 特征提取器， 第三特征提取器， 获取第一隐藏层特征、 第二隐藏层特征、 第三隐藏层特征， 将权　利　要　求　书 2/3 页 3 CN 115392326 A 3