(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211392590.8 (22)申请日 2022.11.08 (71)申请人 荣耀终端 有限公司 地址 518040 广东省深圳市福田区香蜜湖 街道东海社区红荔西路8089号深业中 城6号楼A单元3401 (72)发明人 姚万欣　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 神经网络模型压缩方法、 装置和系统 (57)摘要 本申请公开一种神经网络模 型压缩方法、 装 置和系统， 用于实现非结构化剪枝、 量化感知训 练、 蒸馏训练相结合， 可提升模型性能， 减少模型 的精度损失。 模型训练方法包括： 根据训练数据 集合对第一神经网络模型和第二神经网络模型 进行训练直至收敛， 第一神经网络模 型的第一卷 积层包括第一伪量化节点、 第二伪量化节点； S2、 对第一神经网络模型的第二卷积层进行非结构 化剪枝， 直至进行非结构化剪枝的第二卷积层的 稀疏度均达到第一目标稀 疏度； 将第二神经网络 模型作为老师对第一神经网络模型进行蒸馏量 化训练， 直到满足蒸馏量化训练结束条件； 如果 不再进行非结构化剪枝， 则结束非结构化剪枝的 迭代过程， 否则增加第一目标稀疏度， 并重新开 始执行步骤S2。 权利要求书2页 说明书14页 附图4页 CN 115496207 A 2022.12.20 CN 115496207 A 1.一种神经网络模型压缩方法， 其特 征在于， 包括： S1、 根据训练数据集合对第一神经网络模型和第二神经网络模型进行训练直至收敛， 所述第二神经网络模型的结构复杂度高于所述第一神经网络模型的结构复杂度； 训练后的 所述第一神经网络模型 的第一卷积层中包括第一伪量化节点、 第二伪量化节点， 所述第一 伪量化节点用于在所述第一卷积层的权重和输入的特征图进 行卷积运算前， 对所述第一卷 积层的权重进 行量化和反量化， 所述第二伪量化节点用于在所述第一卷积层的权重和输入 的特征图进行 卷积运算前， 对输入的特 征图进行量 化和反量 化； S2、 对所述第一神经网络模型的第二卷积层进行非结构化剪枝， 直至进行非结构化剪 枝的第二卷积层的稀疏度均达 到第一目标稀疏度； S3、 将所述第二神经网络模型作为老师对所述第一神经网络模型进行蒸馏量化训练， 直到满足蒸馏量 化训练结束条件； S4、 判断是否继续进行非结构化剪枝， 如果不再进行非结构化剪枝， 则结束非结构化剪 枝的迭代过程， 否则增 加所述第一目标稀疏度， 并重新 开始执行步骤S2。 2.根据权利要求1所述的方法， 其特征在于， 所述蒸馏量化训练 的训练轮次随着所述第 二卷积层的稀疏度的增 加而增加。 3.根据权利要求1或2所述的方法， 其特征在于， 所述判断是否继续进行非结构化剪枝， 包括： 如果所有进行非结构化剪枝的第二卷积层的稀疏度与增量稀疏度之和均大于第二目 标稀疏度， 则不再进 行非结构化剪枝， 否则进行下一轮非结构化剪枝， 所述第二目标稀疏度 大于或等于所述第一目标稀疏度。 4.根据权利要求1或2所述的方法， 其特征在于， 对所述第二卷积层进行非结构化剪枝 时， 按照所述第二卷积层的有效权重的绝对值从小到大的顺序对所述第二卷积层的有效权 重进行置零， 所述有效权 重指在之前 所有的非结构化剪枝过程中， 未被置零的权 重； 其中， 非结构化剪枝过程中， 所述第 二卷积层中已经置零的权重参数， 在蒸馏量化训练 过程中保持不变。 5.根据权利要求1或2所述的方法， 其特征在于， 所述满足蒸馏量化训练结束条件指训 练轮次达到轮次 门限并且损失函数的值小于损失门限， 所述损失函数的值用于衡量所述第 一神经网络模型与所述第二神经网络模型在输入相同训练数据集合的条件 下， 输出结果的 差别。 6.根据权利要求1或2所述的方法， 其特 征在于， 所述方法还 包括： 在进行蒸馏量 化训练时， 更新所述第一神经网络模型的所有层的参数； 其中， 所述第一神经网络模型的所有层的参数包括： 所述第一卷积层中所述第一伪量 化节点的参数和所述第二伪量 化节点的参数。 7.根据权利要求1或2所述的方法， 其特征在于， 所述第一卷积层包括所述第一神经网 络模型中、 全部或部 分支持量化的卷积层； 所述第二卷积层包括所述第一神经网络模型中、 全部或部分卷积层； 其中， 所述第 一卷积层与所述第 二卷积层相同， 或者， 所述第一卷积层与 所述第二卷积 层不同。 8.一种神经网络模型压缩装置， 其特征在于， 包括处理器和存储器， 所述存储器中存储权　利　要　求　书 1/2 页 2 CN 115496207 A 2指令， 当所述处 理器执行所述指令时， 如权利要求1 ‑7任一项所述的方法被执 行。 9.一种神经网络模型压缩系统， 其特征在于， 包括电子设备以及如权利要求8所述的神 经网络模型压缩 装置； 所述神经网络模型压缩装置压缩神经网络模型后发送给所述电子设备， 由所述电子设 备运行压缩后的神经网络模型。 10.一种计算机可读存储介质， 其特征在于， 包括指令， 当所述指令在神经网络模型压 缩装置上执行时， 使得 所述神经网络模型压缩 装置执行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496207 A 3