(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211405807.4 (22)申请日 2022.11.10 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 徐佳文　汪娴　严如强　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于Transformer神经网络的小样本 结构故 障诊断方法 (57)摘要 本发明公开了一种基于Tran sformer神经网 络的小样 本机械结构故障诊断方法， 利用压电传 感器采集机械结构不同故障情况下的阻抗信号， 利用PSD方法对采集的信号进行收集处理， 再对 信号进行合成得到幅值相位信号数据， 采样后送 入Transformer神经网络进行网络训练得到 Transformer分类网络， 输入待分类的信号即可 利用Transformer对机械结构的故障进行诊断。 本发明在进行机械结构故障诊断分类时能够在 使用小样本的Tran sformer神经网络训练数据的 情况下即可训练出有效的分类模型对大量检测 数据进行分类， 准确率较高的诊断出机械结构的 故障类型， 具有较高的实用性与可 行性。 权利要求书1页 说明书4页 附图2页 CN 115511063 A 2022.12.23 CN 115511063 A 1.一种基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于， 包括 以下步骤： 数据采集， 利用压电传感器采集机 械结构不同故障情况 下的阻抗信号数据； 数据处理， 利用PSD方法对采集的信号进行处理， 对信号进行合成、 采样、 贴标签后得到 幅相信号数据集； 模型训练， 使用幅值相位信号数据集对Transformer神经网络进行训练得到 Transformer分类模型； 数据分类， 将压电传感器测得的待分类信号进行处理后 输入Transformer分类模型， 进 行机械结构故障诊断， 得到 机械结构故障类型。 2.根据权利要求1所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的模型训练中采用的Transformer神经网络由线性与位置编码层、 编码 层、 组合层与线性分类层组成； 其中线性与位置编码层用于保留数据的位置信 息； 编码层用于从输入数据信号两个不 同方向处理提取响应信号数据的特征； 组合层用于将不同方向提取 的数据特征进行组合； 线性分类层用于将提取到的数据特 征进行线性映射后诊断得到 机械结构的故障类型。 3.根据权利要求1所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的数据 处理具体通过相敏检波进行处理， 将采集到的响应信号通过放大 器后分别输入两路乘法器中， 同时将激励信号作为参考信号， 一路直接输入乘法器中， 另一 路在经过移相器后输入到另一路乘法器中， 再将两路乘法器的输出通过低通滤波器后进 行 均方根， 得到待测的响应信号数据， 再将数据信号切片处理为二维矩阵形式输入 Transformer神经网络 。 4.根据权利要求2所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的线性与位置编 码层在对输入的数据信号矩阵进行 处理时分别从行与列 两个方向进行处理， 其中按行处理与信号的原始顺序一致， 附加编码信息保留数据位置信 息， 按列处 理对特征起到补充。 5.根据权利要求2所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的编码层由若干个相同编码模块组成， 每个编码模块包括多头 自注意力 和前馈网络层； 其中多头 自注意力用于捕获特征数据间关系； 前馈网络将归一化求和中输 出平均为下一层更容 易处理的形式。 6.根据权利要求5所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的多头 自注意力和前馈网络层内部均采用残差连接并进行归一化操作， 平滑损失， 解决深度加深的退化问题， 提高网络效率。 7.根据权利要求5所述的基于Transformer神经网络的小样本机械结构故障诊断方法， 其特征在于： 所述的多头 自注意力机制由多个 自注意力机制并行组成， 每个 自注意力机制 独立并行 得出特征值后拼接后再线性变换为多头自注意力机制的输出值。权　利　要　求　书 1/1 页 2 CN 115511063 A 2基于Transformer神经网络的小样本结构故障诊断方 法 技术领域 [0001]本发明涉及一种机械结构的故障诊断方法， 尤其涉及一种基于Transformer神经 网络对机 械结构的故障诊断方法。 背景技术 [0002]梁架机械结构广泛的存在于各种机械之中， 在生产生活的方方面面都离不开悬臂 梁结构。 但是由于长期的使用、 可能存在的不当操作以及自然环境的影响等， 机械结构可能 逐渐出现损伤， 甚至是严重的结构故障， 造成严重的安全隐患。 因此， 定期的对机械结构的 情况进行检查， 建立一套有效的安全监测系统对安全进行生产生活十分重要。 基于这一需 求， 如何方便的对机械结构进 行无损监测， 且能够高效的判断机械结构故障情况十 分重要。 过去的研究者通常使用卷积神经网络对机械结构进行故障诊断， 但是卷积神经网络 关注于 局部的数据特征， 对全局的特征关注 不够， 且不能够利用数据中存在的位置信息， 而这对梁 架结构十分重要， 同时， 卷积神经网络随着输入序列的增长会遗忘较早的数据信息， 对长序 列的信息捕获能力不够。 也有研究者采用循环神经网络， 通过序列结构有效捕捉长序列信 息， 但是， 循环神经网络所采用的序列结构导致网络不能并行计算， 在使用时需要花费大量 时间， 效率低。 同时， 在实际应用中我们往往面对的是利用有限的样 本去进行大量的结构数 据诊断， 而 卷积神经网络与循环神经网络在利用小样本诊断大量数据时效果 都不佳。 因此， 迫切需要新的方案解决以上问题。 发明内容 [0003]发明目的： 针对以上问题了， 本发明提出一种基于Transformer神经网络对机械结 构故障诊断方法， 提高利用有限样本进行机械结构故障诊断的准确 率， 实现机械结构的故 障类型的有效诊断。 [0004]技术方案： 本 发明所采用的的、 技术方案是一种基于Transformer神经网络对机械 结构故障诊断系统， 包括数据采集、 数据 处理、 模型训练和数据分类模块。 其中数据采集模 块利用压电传感器采集机械结构不同故障情况下 的响应信号数据； 数据 处理模块利用PSD 方法对采集的信号进行处理， 对信号进行合成、 采样、 贴标签后得到幅值相位信号数据集； 模型训练模块使用幅值相位信号数据集对Transformer神经网络进行训练得到 Transformer分类模型； 数据分类模块将压电传感器测得的待分类信号进行处理后输入 Transformer分类模型， 进行机 械结构故障诊断， 得到 机械结构故障类型。 [0005]所述的数据采集模块中包括两片压电传感器， 其中一片上施加交流激励电压， 另 一片采集响应电压并通过信号处 理得到所需的响应机 械阻抗信号数据。 [0006]所述的数据处理模块通过相敏检波进行处理， 将采集到的响应信号通过放大器后 分别输入两路乘法器中， 同时将激励信号作为参考信号， 一路直接输入乘法器中， 另一路在 经过移相器后输入到另一路乘法器中， 再将两路乘法器的输出通过低通滤波器后进行均方 根， 得到待测的响应信号数据， 再将数据信号切片处理为二维矩阵形式输入Transformer神说　明　书 1/4 页 3 CN 115511063 A 3