(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211417447.X (22)申请日 2022.11.14 (71)申请人 卡本(深圳)医疗器 械有限公司 地址 518101 广东省深圳市宝安区石岩街 道塘头社区塘头1号路创维创新谷5#B 栋203 (72)发明人 章世平　程帆　朱捷　吴梦麟　 (74)专利代理 机构 北京思创大成知识产权代理 有限公司 1 1614 专利代理师 高爽 (51)Int.Cl. A61B 34/20(2016.01) A61B 1/00(2006.01) A61B 1/04(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/00(2017.01) G06T 7/246(2017.01) G06T 7/269(2017.01) G06T 7/33(2017.01) (54)发明名称 一种基于磁导航的人体内外部传感器协同 定位系统 (57)摘要 一种基于磁导航的人体内外部传感器协同 定位系统， 该系统包括内窥镜单元， 用于获取内 窥镜视频流和其所在空间的磁信号； 手术工具单 元用于获取其所在空间的磁信号； 数据处理单元 用于接收内窥镜单元发送的内窥镜视频流， 进行 处理后获得3D点云数据集； 对3D点云数据集， 以 及与内窥镜视频流对应的3D影像坐标系数据进 行3D‑3D点云配准， 实现器官图像定位。 本发明结 合磁导航技术和传统图像组学的应用， 实现内窥 镜和其他模态影像在3D空间中的非线性配准， 大 大提升体内的内窥镜 镜头跟踪精度。 权利要求书2页 说明书7页 附图6页 CN 115462903 A 2022.12.13 CN 115462903 A 1.一种基于磁导 航的人体内外 部传感器协同定位系统， 其特 征在于： 该系统包括： 内窥镜单元， 包括内窥镜以及安装在内窥镜先端的第一磁传感器， 所述的内窥镜用于 获取内窥镜 视频流， 所述的第一磁传感器用于获取其所在空间的磁信号； 手术工具单元， 包括手术工具和第二磁传感器， 所述的第二磁传感器用于获取其所在 空间的磁信号； 数据处理单元， 包括磁信号处 理模块和影 像处理模块， 其中： 所述的磁信号处理模块用于接收第 一磁传感器和第 二磁传感器的磁信号， 进行处理后 获得对应传感器在三维空间中的坐标位置和方向信息； 所述的影像处理模块用于接收内窥镜单元发送的内窥镜视频流， 进行处理后获得3D点 云数据集； 对3D点云数据集， 以及与内窥镜视频流对应的3D影像坐标系数据进行3D ‑3D点云配准， 实现器官图像定位。 2.根据权利要求1所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 第一磁传感器和第二磁传感器采用电磁传感器或永磁传感器。 3.根据权利要求1所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 所述的数据处 理单元具体执行以下步骤： 所述的磁信号处理模块接收内窥镜上第一磁传感器获取的人体进入位置和待定位器 官位置的坐标， 其中人体进入位置坐标 （x， y， z） ， 作为基准 位置； 所述的影像处理模块接收内窥镜单元发送的内窥镜视频流， 所述内窥镜视频流包括人 体进入位置到达待定位器官位置的视频数据； 对内窥镜视频流中的图像进行处理， 提取管 道、 组织的光 流特征信息， 根据光 流场特征点的空间坐标 形成内窥镜 3D点云数据集。 4.根据权利要求1或3所述的基于磁导航的人体内外部传感器协同定位系统， 其特征在 于： 3D点云数据集的获取步骤为： 将内窥镜视频流中的各帧图像输入sup erpoint网络模型进行特征提取， 获得连续的内 窥镜图像的光 流场特征点Optical Fl ow Feature； 对光流场特征点进行处 理生成相对应的光 流描述子Optical Fl ow Descriptor； 将光流场特征点和光流描述子作为光流特征信号， 输入在线神经网络， 获得内窥镜 图 像深度Depth； 以人体进入位置 （x， y， z） 为基准位置， 根据光流特征信息中的光流场特征点和光流描 述子以及内窥镜图像深度Depth， 获取所有光流场 特征点的空间坐标 （opx， opy， opz） ， 形成 内窥镜3D点云数据集； 其中opx和opy是光 流场特征点的平面内坐标， opz = z + Depth 。 5.根据权利要求4所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 所述光流描述子OFD的获取步骤为： 采样下述公式计算内窥镜影像连续帧之间相邻帧对应的所有光流特征点的平均距离 和平均角度 作为光流描述子OFD； ；权　利　要　求　书 1/2 页 2 CN 115462903 A 2； 其中： k表示相邻帧组的序号， k=[1,2,3, …,n]， n表示相邻帧组数； dx、 dy分别为当前相 邻帧中前、 后帧图像对应的光流特征点在x、 y方向的距离差， m是在当前相邻帧图像中对应 的所有光 流特征点的数量， i表示当前相邻帧图像中光 流特征点的编号。 6.根据权利要求4所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： superpoint网络模型包括： 基础特征点提取器， 能够对标注过的普通几何图形提取基础特 征点； 自监督特征点标注模块， 能够根据基础特征点提取器和内窥镜视频流中的单帧图像进 行兴趣点标注， 获取对应帧图像的光 流特征点Optical  Flow Feature。 7.根据权利要求1所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 3D影像坐标系数据的获取步骤为： 在CT或者MRI序列图像中选择与内窥镜数据对应的人体进入位置 至到达位置的影 像； 提取CT或者MRI序列图像中的医学数字成像和通信信息DICOM中的人体位置信息， 进行 三维重建渲染 获取3D影 像坐标系数据。 8.根据权利要求7所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 所述的CT或者MRI序列图像采用计算机断层扫描设备或者核磁共 振设备获取。 9.根据权利要求8所述的基于磁导航的人体 内外部传感器协同定位系统， 其特征在于： 所述的配准 步骤还包括基于 3D形变场的弹性配准； 当内窥镜的先端随着器官一起运动时， 通过手术工具先端第 二磁传感器与内窥镜先端 第一磁传感器形成针尖 对针尖检测； 通过磁传感器的位移获取器官空间移动范围作为偏移量映射到3D影像坐标系数据中 的器官上； 或者通过内窥镜将待定位器官位置的影像变化映射到3D影像坐标系数据中的器官上 实现弹性配准， 获得实时精准变化的3D器官。 10.根据权利要求1或3所述的基于磁导航的人体内外部传感器协同定位系统， 其特征 在于： 所述的第二磁传感器安装在手术工具的先端； 数据处理单元中： 通过对准体内内窥镜先端的第一磁传感器， 形成针尖对针尖的状态， 完成工具联合定 位； 所述体内 内窥镜先端的位置通过器官图像定位时3D影 像坐标系数据获取。权　利　要　求　书 2/2 页 3 CN 115462903 A 3