(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211269748.2 (22)申请日 2022.10.18 (71)申请人 沃图水泵 （上海） 有限公司江苏分公 司 地址 226000 江苏省南 通市海安市海南 街 道通学桥村 达尔文路20 3号 (72)发明人 张靖　 (74)专利代理 机构 深圳利联知识产权代理事务 所(普通合伙) 44866 专利代理师 张海涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种芯片胶 层缺陷分类方法 (57)摘要 本发明涉及缺陷分类技术领域， 具体涉及一 种芯片胶层缺陷分类方法， 该方法包括： 利用3D 相机获取芯片表面图像； 对其图像分割， 获取芯 片中胶水的分割图像； 根据所述 芯片中胶水的分 割图像获取胶水深度图像、 胶水区域距离图像； 对所述芯片中胶水的分割图像进行累加投影， 获 取平均相邻突变点距离； 构建二分图， 获取与标 准的累加投影值序列的最小成本距离； 根据最小 成本距离和平均相邻突变点距离得到图像断点 程度序列； 建立神经网络， 根据所述图像断点程 度序列和图像特征分类芯片胶层缺陷。 本发明方 法结合胶水深度信息、 图像断点程度序列、 胶水 区域距离图像可以有效的反映点胶的高度、 连续 性及粗细程度， 提高了缺陷分类的精确度， 鲁棒 性强。 权利要求书2页 说明书6页 附图1页 CN 115375952 A 2022.11.22 CN 115375952 A 1.一种芯片胶 层缺陷分类方法， 其特 征在于， 所述方法包括： 利用3D相机获取芯片表面图像； 对芯片表面图像进行图像分割， 获取芯片中胶水的分割图像； 根据所述芯片中胶水的 分割图像获取胶水深度图像； 对所述芯片中胶水的分割图像进行边缘检测， 获取胶水边缘所围成的胶水闭合区域， 对所述胶水闭合区域进行距离变换， 得到胶水区域距离图像； 对所述芯片中胶水的分割图像进行累加 投影， 得到累加 投影值序列； 对所述累加 投影 值序列进 行突变检测， 获取突变点， 根据所述突变点计算得到平均相 邻突变点距离； 获取标 准的累加投影值序列的突变点位置； 构建二分图， 对所述累加投影值序列与所述标准的累 加投影值序列的突变点位置进行匹配， 得到最小成本距离； 根据所述最小成本距离和所述 平均相邻突变点距离得到图像断点 程度序列； 建立神经网络， 根据所述图像断点程度序列和所述胶水深度图像、 所述芯片中胶水的 分割图像、 所述胶水区域距离图像分类芯片胶 层缺陷。 2.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 对所述芯片中胶水 的分割图像进行边缘检测， 获取胶水边缘所围成的胶水闭合区域， 对所述胶水闭合区域进 行距离变换， 得到胶水区域距离图像， 包括： 对芯片中胶水的分割图像进行连通域提取， 获取胶水的连通域图像， 同时消除连通域 面积小于面积 阈值的连通域； 然后对所述胶水 的连通域图像进行边缘检测， 获取胶水 的边 缘信息， 得到胶水边 缘二值图像； 检测所述胶水边缘二值图像中胶水边缘所围成的闭合区域， 得到图像中多个胶水闭合 区域， 非胶水闭合区域要剔除， 称为胶水闭合区域图像； 然后对于胶水闭合区域图像中的多个胶水闭合区域进行距离变换， 得到胶水区域距离 图像。 3.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 对所述芯片中胶水 的分割图像进行累加投影， 得到累加投影值序列， 包括： 对于芯片中胶水的分割图像， 图像的每一行、 每一列都进行累加投影， 累加投影公式如 下： 表示图像第i列第k个 像素的累加投影值， 表示第i列第j个 像素的像素值； 表示图像第k行第i个 像素的累加投影值， 表示第k行第l个 像素的像素值； 最终得到累加投影值序列， 包括累加投影值行序列、 累加投影值列序列。 4.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 根据 所述突变点计 算得到平均突变点距离的方法为： 求取累加投影值序列中每两个相邻突变点之间的距离， 并计算平均相邻突变点距离 。 5.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 构建二分图， 对所 述累加投影值序列与所述标准的累加投影值序列的突变点位置进 行匹配， 得到最小成本距 离， 包括：权　利　要　求　书 1/2 页 2 CN 115375952 A 2构建二分图， 所述二分图中每个节点为累加投影值序列中的突变点， 利用KM算法对累 加投影值序列的突变点位置与标准的累加投影值序列的突变点位置进 行匹配， 匹配的代价 即累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的欧式距离， 利用 KM进行最优最小匹配， 得到最小成本距离 。 6.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 根据 所述最小成本 距离和所述平均相邻突变点距离得到图像断点 程度序列， 包括： 计算序列的断点 程度: D表示累加投影值序列的突变点位置与 标准的累加投影值序列的突变点位置的最小成 本距离， 分别表示累加投影值序列的平均相邻突变点距离、 标准累加投影值序列的平 均相邻突变点距离； 一张图像会有m个累加投影值行序列和n个累加投影值列序列， 因此会得到一个图像行 断点程度序列， 一个图像列断点程度序列， m、 n即图像的宽、 高， 分别对应图像的列数、 图像 的行数。 7.根据权利要求1所述的一种芯片胶层缺陷分类方法， 其特征在于， 所述建立神经网 络， 根据所述图像断点程度序列和所述胶水深度图像、 所述芯片中胶水的分割图像、 所述胶 水区域距离图像分类芯片胶 层缺陷， 包括： 结合芯片中胶水的分割图像、 胶水区域距离图像、 胶水深度图像进行联合， 所述联合采 用Concat操作， 最终得到一个三 通道图像， 称为胶水混合特 征图像； 图像断点 程度序列包括图像行断点 程度序列、 图像列断点 程度序列； 将得到的胶水混合特征图像与图像行断点程度序列、 图像列断点程度序列输入到分类 器中进行分类， 分类器采用卷积神经网络与GRU网络的混合体， 卷积神经网络的输入为胶水 混合特征图像， 输出为胶水空间特征向量， GRU网络输入为图像行断点程度序列、 图像列断 点程度序列， 得到断点特征向量， 最 终胶水空间特征向量与断点特征向量进行融合， 输入到 分类层， 对芯片胶 层缺陷进行分类。权　利　要　求　书 2/2 页 3 CN 115375952 A 3