(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211297966.7 (22)申请日 2022.10.21 (71)申请人 上海师范大学 地址 200234 上海市徐汇区桂林路10 0号 (72)发明人 袁非牛　张正骁　 (74)专利代理 机构 上海唯智赢专利代理事务所 (普通合伙) 31293 专利代理师 刘朵朵 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种跨模态双分支互补融合的图像分割方 法及装置 (57)摘要 本发明公开了一种跨模态双分支互补融合 的图像分割方法及装置， 属于医学影像处理技术 领域。 包括： 获取初始图像数据集， 并对初始图像 数据集进行预处理， 得到训练集； 构建双分支互 补融合的图像分割网络， 包括由卷积神经网络 CNN以及Transformer模型构成的双分支的编码 器结构， 将 两种模态相融合的特征互补模块以及 由Transformer模型构成的解码器结构； 设置训 练参数， 使用训练集进行训练， 得到训练好网络； 将待分割的目标图像输入网络中， 得到分割结 果。 此方法不仅利用CNN的优势提取局部细节信 息， 又利用Transformer模型的优势建模长距离 依赖关系， 两者结合使 得本方法能够得到更精准 的分割结果， 提升用户体验。 权利要求书2页 说明书6页 附图4页 CN 115482241 A 2022.12.16 CN 115482241 A 1.一种跨模态双分支互补融合的图像分割方法， 其特 征在于， 包括： (1)获取初始图像数据集， 并对所述初始图像数据集进行 预处理， 得到训练集； (2)构建双分支互补融合的图像分割网络， 所述双分支互补融合的图像分割网络包括 由卷积神经网络CNN以及 Transformer模 型构成的双分支的编码器结构； 将两种模态相融合 的特征互补模块以及由Transformer模型构成的解码器结构； (3)设置训练参数， 将所述训练集数据送入该双分支互补融合的图像分割网络中进行 训练， 得到训练好的双分支互补融合的图像分割网络； (4)将待分割的目标图像输入到所述训练好的双分支互补融合的图像分割网络中， 得 到所述目标图像的分割结果。 2.根据权利要求1所述的跨模态双 分支互补融合的图像分割方法， 其特征在于， 所述步 骤1对所述初始图像数据集进行 预处理包括： 将所述初始图像数据的三维图像沿高度轴上进行切片， 得到二维平面图片； 将所述二维平面图片转换为numpy格式， 分别作剪裁、 归一化操作， 对图片进行翻转、 旋 转， 再进行去噪、 感兴趣区域选择， 达 到数据增强的效果， 得到所述训练集。 3.根据权利要求1所述的跨模态双 分支互补融合的图像分割方法， 其特征在于， 所述双 分支互补融合的图像分割网络具体为： 编码部分， 将预处理后的数据分别输入到所述卷积神经网络CNN以及Transformer模型 中进行特征提取， 并将同一层次的卷积神经网络CNN以及 Transformer模 型分支编码特征输 入到所述两种模态相融合的特 征互补模块， 生成双分支互补融合的编码特 征； 解码部分， 将编码部分中获取的不同层次双 分支互补融合的编码特征输入对应层次解 码分支， 完成图像分割。 4.根据权利要求1所述的跨模态双 分支互补融合的图像分割方法， 其特征在于： 所述卷 积神经网络 CNN编码器以ResNet34 为主体构成， 包括3个三个下采样块； 第一下采样块是ResNet34中的Conv1x和Conv2x， Conv1x的输出作为Conv2x的输入； 其 中Conv1x包括依次连接的一个卷积层、 一个批归一化层和一个ReLU激活层； Conv2x依次由 三组级联的两个卷积层构成； 第二个下采样块由四组级联的两个卷积层构成； 第三个下采样块由六组级联的两个卷积层构成。 5.根据权利要求1所述的跨模态双分支互补融合的图像分割方法， 其特征在于： 所述 Transformer模型编码器以Sw in Transformer为主体构成， 包括 4个下采样块； 第一个下采样块先通过嵌入层将输入图片的通道数扩展为嵌入维度， 再将三维图片拉 伸为二维向量输入到Swin  Transformer模块进行自注意力计算， 再将所述二维向量重新还 原为一张三维图片； 第二、 第三以及第四个下采样块结构相同， 先经过一个块合并层将图片的分辨率减小 为一半， 将通道数变为原来的两倍， 再经过Swin  Transformer模块进一步进行自注意力计 算， 进一步建立长距离依赖关系。 6.根据权利要求1所述的跨模态双 分支互补融合的图像分割方法， 其特征在于： 所述特 征互补模块包括 跨模态融合模块、 关联性增强模块、 通道 注意力模块以及特 征融合模块； 所述跨模态融合模块包含全局平均池化提取和聚合输入信息， 包含两个Swin  权　利　要　求　书 1/2 页 2 CN 115482241 A 2Transformer块 来融合来自两个分支的信息； 所述关联性增强模块将来自两个模态的信息作点乘建立两者的关联性； 所述通道注意力 模块对来自所述Transformer模型编码器的特征沿通道方向提取注意 力信息； 所述特征融合模块将上述三个模块的输出拼接在一起， 使用残差连接和级联的卷积层 的方式将这些信息作融合。 7.根据权利要求1所述的跨模态双分支互补融合的图像分割方法， 其特征在于： 所述 Transformer模型解码器以Swin  Transformer块为主体构成， 由所述Tran sformer模型编码 器最后一层的输出作为输入， 先经过一个块扩展层， 分辨率扩展两倍， 通道数减半， 之后连 续经过三个相同结构的上采样块； 每个上采样块包含一个块扩展层和Swin  Transformer块， 所述双分支互补融合特征通 过跳跃连接与上采样特征两者拼接再卷积成对应的通道数之后， 首先经过Swin   Transformer模块， 通过自注 意力的计算建立图片中的长距离依赖关系； 再进入块扩展层中 将图片的分辨 率扩展为原来的两倍， 将通道数减小为原来的一半。 8.根据权利要求1所述的跨模态双 分支互补融合的图像分割方法， 其特征在于： 所述步 骤3中使用随机梯度下降法进行训练， 损失函数采用Dice损失函数和交叉熵损失函数的加 权求和。 9.根据权利要求8所述的跨模态双 分支互补融合的图像分割方法， 其特征在于， 所述步 骤3中设置参数包括： 网络的初始学习率设置为0.01， 批处理个数为2 4， 动量大小为0.99， 权 重衰减为3e ‑5， 所述Dice损失函数和交叉熵损失函数的加权 权重分别设置为0.6和0.4。 10.一种跨模态双分支互补融合的图像分割装置， 其特 征在于， 包括： 获取单元： 用于获取初始图像数据集， 并对所述初始图像数据集进行预处理， 得到训练 集； 建模单元： 用于构建双分支互补融合的图像分割 网络， 所述双分支互补融合的图像分 割网络包括由卷积神经网络CNN以及 Transformer模 型构成的双分支的编码器结构； 将两种 模态相融合的特 征互补模块以及由Transformer模型构成的解码器结构； 训练单元： 用于设置训练参数， 将所述训练集数据送入该双分支互补融合的图像分割 网络中进行训练， 得到训练好的双分支互补融合的图像分割网络； 分割单元： 用于将待分割的目标图像输入到所述训练好的双 分支互补融合的图像分割 网络中， 得到所述目标图像的分割结果。权　利　要　求　书 2/2 页 3 CN 115482241 A 3