(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211366399.6 (22)申请日 2022.11.03 (71)申请人 深圳市顺源科技有限公司 地址 518110 广东省深圳市龙华区民治街 道深圳市民治街道第五工业区82号 (东一工业区6 栋2楼) 申请人 深圳市惠康信息科技有限公司 (72)发明人 张秀明　蔡钦泉　汪之红　张丽军　 翁佳楠　文启林　佘鑫东　 (74)专利代理 机构 南京鸥和专利代理事务所 (普通合伙) 32670 专利代理师 王迪 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01)G06Q 50/26(2012.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 20/40(2022.01) (54)发明名称 智慧实验室管理平台的数据管理方法 (57)摘要 本申请公开了一种智慧实验室管理平台的 数据管理方法， 其通过以基于深度学习的神经网 络模型作为特征提取器来提取学习者的实验操 作监控视频的实验操作动态特征， 并结合分类器 对实验操作动态进行分类来实现对学习者的实 验操作进行监测和智能分析， 这样， 避免因错误 操作而带来的实验室事故。 权利要求书2页 说明书14页 附图5页 CN 115471216 A 2022.12.13 CN 115471216 A 1.一种智慧实验室管理平台的数据管理方法， 其特 征在于， 包括： 获取由部署于实验室内的摄 像头采集的学习者的实验操作监控视频； 从所述实验操作监控视频提取多个操作监控关键帧； 将所述多个操作监控关键帧中各个操作监控关键帧分别通过器材目标检测网络和学 习者目标检测网络以得到多个 器材感兴趣区域和多个学习者感兴趣区域； 将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为 器材感兴趣特 征向量以得到多个 器材感兴趣特 征向量； 将所述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转 化为学习者感兴趣特 征向量以得到多个学习者感兴趣特 征向量； 对所述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以 得到多个协同操作特 征矩阵； 将所述多个协同操作特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神 经网络模型以得到分类特 征图； 对所述分类特 征图进行 特征分布优化以得到优化分类特 征图； 以及 将所述优化分类特征图通过分类器以得到分类结果， 所述分类结果用于表示学习者的 实验操作是否规范。 2.根据权利要求1所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述从所 述实验操作监控视频提取多个操作监控关键 帧， 包括： 以预定采样频率从所述实验操作监 控视频提取 所述多个操作监控关键帧。 3.根据权利要求2所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述器材 目标检测网络和/或所述学习者目标检测网络为基于无锚窗的目标检测网络 。 4.根据权利要求3所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述基于 无锚窗的目标检测网络为YOLOv1、 FCOS、  CenterNet、 Ext remeNet或RepPo ints。 5.根据权利要求4所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述将所 述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴 趣特征向量以得到多个 器材感兴趣特 征向量， 包括： 所述第一线性嵌入层使用可学习嵌入矩阵对所述多个器材感兴趣区域中各个器材感 兴趣区域进行全连接编码以得到所述多个 器材感兴趣特 征向量。 6.根据权利要求5所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述将所 述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转化为学习 者感兴趣特 征向量以得到多个学习者感兴趣特 征向量， 包括： 所述第二线性嵌入层使用可学习嵌入矩阵对所述多个学习者感兴趣区域中各个学习 者感兴趣区域进行全连接编码以得到所述多个学习者感兴趣特 征向量。 7.根据权利要求6所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述对所 述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以得到多个 协同操作特 征矩阵， 包括： 以如下公式对同一所述操作监控关键帧的所述器材感兴趣特征向量和所述学习者感 兴趣特征向量进行关联编码以得到所述协同操作特 征矩阵； 其中， 所述公式为：权　利　要　求　书 1/2 页 2 CN 115471216 A 2= 其中 表示所述多个操作监控关键帧中各帧对应的所述学习者感兴趣特征向量的转 置向量， 表示所述器材感兴趣特征向量， 表示所述协同操作特征矩阵， 表示向量相 乘。 8.根据权利要求1所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述对所 述分类特 征图进行 特征分布优化以得到优化分类特 征图， 包括： 以如下公式对所述分类特 征图进行 特征分布优化以得到优化分类特 征图； 其中， 所述公式为： 其中， 是所述分类特征图的第 位置的特征值, 是所述优化分类特征图 的第 位置的特 征值， 是以2为底的对数。 9.根据权利要求8所述的智慧实验室管理平台的数据 管理方法， 其特征在于， 所述将所 述优化分类特征图通过分类器以得到分类结果， 所述分类结果用于表示学习者的实验操作 是否规范， 包括： 将所述优化分类特征图的各个优化分类特征矩阵按照行向量或者列向量展开为分类 特征向量； 使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特 征向量； 以及 将所述编码分类特 征向量输入所述分类 器的Softmax分类函数以得到所述分类结果。权　利　要　求　书 2/2 页 3 CN 115471216 A 3