(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211273518.3 (22)申请日 2022.10.18 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市金寨路96号 (72)发明人 郑歆慰　吴双　 (74)专利代理 机构 合肥昊晟德专利代理事务所 (普通合伙) 3415 3 专利代理师 何梓秋 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种神经网络模型混合精度方案搜索方法 及系统 (57)摘要 本发明公开了一种神经网络模型混合精度 方案搜索方法及系统， 属于神经网络模型技术领 域， 包括以下步骤： 模型预处理； 模型执行； 低精 度转化； 模型正确性验证； 混合精度神经网络模 型输出。 本发明基于模型预测的方式， 用 历史算 子组合以及执行结果作为训练数据， 训练误差预 测模型预测低精度后的神经网络模 型误差， 只有 通过误差预测模型预测的神经网络模型低精度 方案才会实际执行， 并将实际执行结果加入误差 预测模型的训练数据中， 这样大大减少了神经网 络模型的执行次数， 有效提高了搜索效率， 值得 被推广使用。 权利要求书2页 说明书4页 附图1页 CN 115526299 A 2022.12.27 CN 115526299 A 1.一种神经网络模型混合精度方案 搜索方法， 其特 征在于， 包括以下步骤： 步骤一： 模型 预处理 将待优化的神经网络模型抽象为 算子序列； 步骤二： 模型 执行 执行原始高精度的神经网络模型， 得到期望输出， 原始高精度的神经网络模型即步骤 一中经过抽象处 理的待优化的神经网络模型； 步骤三： 低精度转 化 将原始高精度的神经网络模型整体转化为低精度的神经网络模型， 加入待验证模型队 列； 步骤四： 模型正确性验证 从待验证模型队列中取一个神经网络模型进行正确性验证； 步骤五： 混合精度神经网络模型输出 若神经网络模型正确性验证通过， 则说明当前神经网络模型目前的低精度部分优化方 案正确， 然后判断通过正确 性验证的神经网络模型 的高精度部分是否还可以切分； 若是则 将其高精度部 分取出进 行切分， 分别对每一部 分保留高精度， 其余部 分转化为低精度， 得到 多个模型， 加入待验证模型队列， 继续执行步骤四至五， 直至神经网络模型的高精度部 分无 法切分， 输出模 型， 即得到待优化神经网络模型的混合精度方案； 否则， 直接输出模 型， 即得 到待优化神经网络模型的混合精度方案 。 2.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 在所 述步骤一中， 待优化的神经网络模型是一个计算图模型， 其中的每一个节点 都是一个算子， 对计算图模型进行拓扑排序后即可 得到一个算子序列。 3.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 在所 述步骤四中， 对神经网络模型进行正确性验证的过程具体如下： S41： 利用误差预测模型预测神经网络模型的输出是否正确， 如正确则进入步骤五， 否 则继续进行二次验证； S42： 实际执行神经网络模型， 即进行二次验证， 判断神经网络模型的实际执行结果是 否正确， 同时将实际执 行结果作为训练数据， 训练误差预测模型； S43： 如果神经网络模型输出结果正确， 则表示通过二次验证， 进入步骤五， 否则表示未 通过二次验证， 说明当前神经网络模型 的低精度部分优化方案存在问题， 放弃当前神经网 络模型， 并重新从待验证模型队列中取一个神经网络模型进行步骤S41 ‑S43。 4.根据权利要求3所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 在步 骤S41中， 误差预测模 型为XGBoost模 型， 误差预测模 型的输入为算子序列， 输出为对应算子 序列的执 行结果是否正确的预测结果。 5.根据权利要求4所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 算子 序列中每个算子均包括两个属性： 算子类型和算子精度,其中算子类型表示算子的类型， 采 用独热编码； 算子精度表示 算子采用的计算精度， 采用二 值编码。 6.根据权利要求3所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 在所 述步骤S42中， 实际执 行是执行onnx格式的神经网络模型， 得到实际执 行结果。 7.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法， 其特征在于： 在所权　利　要　求　书 1/2 页 2 CN 115526299 A 2述步骤五中， 当神经网络模型 的高精度部分中连续的高精度算子数量大于一， 则认为该高 精度部分仍可 再切分， 否则认为 不可再切分。 8.一种神经网络模型混合精度方案搜索系统， 其特征在于， 采用 如权利要求1～7任一 项所述的方法对神经网络模型混合精度方案进行搜索确定， 包括： 预处理模块， 用于将待优化的神经网络模型抽象为 算子序列； 执行模块， 用于执 行原始高精度的神经网络模型， 得到期望 输出； 精度转化模块， 用于将原始高精度的神经网络模型整体转化为低精度的神经网络模 型， 加入待验证模型队列； 正确性验证模块， 用于从待验证模型队列中取一个神经网络模型进行正确性验证； 输出模块， 用于在神经网络模型正确性验证通过后， 判断通过正确性验证的神经网络 模型的高精度部分是否还可以切分； 若是则将其高精度部分取出进行切分， 分别对每一部 分保留高精度， 其余部分转化为低精度， 得到多个模型， 加入待验证模型队列， 继续执行步 骤四至五， 直至神经网络模型的高精度部分无法切分， 输出模型； 否则直接 输出模型； 控制处理模块， 用于向其 他模块发出指令， 完成相关动作； 所述预处理模块、 执行模块、 精度转化模块、 正确性验证模块、 输出模块均与中央处理 模块通信连接 。权　利　要　求　书 2/2 页 3 CN 115526299 A 3