国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299256.8 (22)申请日 2022.10.24 (71)申请人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 胡克坤 董刚 赵雅倩 李仁刚 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任洁芳 (51)Int.Cl. G06F 16/174(2019.01) G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图神经网络压缩方法、 装置、 电子设备 及存储介质 (57)摘要 本发明提供一种图神经网络压缩方法、 装 置、 电子设备及存储介质, 涉及神经网络领域, 方 法包括: 获取已训练的 图神经网络及其训练时所 使用的图数据; 确定图数据中所有图顶点对应的 度数分布范围, 并将度数分布范围划分为多个度 数区间; 在预设资源限制条件的约束下, 利用强 化学习及硬件加速器确定各度数区间对应的最 优区间量化位宽以及图神经网络对应的最优网 络量化位宽; 利用最优区间量化位宽对图数据中 对应度数的图顶点的顶点特征进行量化压缩, 并 利用最优网络量化位宽对图神经网络进行量化 压缩, 得到最优量化图数据和最优量化图神经网 络; 利用强化学习为图神经网络和图顶点特征确 定最优量化位宽, 确保量化图神经网络具有高精 度及较低资源消耗 率。 权利要求书5页 说明书26页 附图3页 CN 115357554 A 2022.11.18 CN 115357554 A 1.一种图神经网络 压缩方法, 其特 征在于, 包括: 获取已训练的图神经网络及其训练时所使用的图数据; 确定所述图数据中所有图顶点对应的度数分布范围, 并将所述度 数分布范围划分为多 个度数区间; 在预设资源限制条件的约束下, 利用强化学习及硬件加速器确定各所述度数区间对应 的最优区间量 化位宽以及所述图神经网络对应的最优网络量 化位宽; 利用所述最优区间量化位宽对所述图数据中对应度数的图顶点的顶点特征进行量化 压缩, 以及利用所述最优网络量化位宽对所述图神经网络进行量化压缩, 得到最优量化图 数据和最优量 化图神经网络 。 2.根据权利要求1所述的图神经网络压缩方法, 其特征在于, 所述确定所述图数据中所 有图顶点对应的度数分布范围, 并将所述度数分布范围划分为多个度数区间, 包括: 将所述图数据中的所有图顶点按度数从小到大排列, 得到图顶点序列; 利用所述图顶点序列对所述度数分布范围进行划分, 得到多个所述度数区间; 各所述 度数区间包 含的图顶点数量相同或差值小于预设阈值。 3.根据权利要求1所述的图神经网络压缩方法, 其特征在于, 在得到最优量化图数据和 最优量化图神经网络之后, 还 包括: 利用所述最优量化图数据对所述最优量化图神经网络进行训练, 得到微调量化图神经 网络, 以将所述 微调量化图神经网络 部署至对外服 务设备中。 4.根据权利要求1所述的图神经网络压缩方法, 其特征在于, 所述硬件加速器的时序 结 构为可重构位串行矩阵乘法叠加, 空间结构为BitFusi on架构。 5.根据权利要求1至4任一项所述的图神经网络压缩方法, 其特征在于, 所述在预设资 源限制条件的约束下, 利用强化学习及硬件加速器确定各所述度数区间对应的最优区间量 化位宽以及所述图神经网络对应的最优网络量 化位宽, 包括: 获取所述图神经网络执行指定任务对应的基准准确度, 并初始化所述强化学习所使用 的智能体以及历史奖励值; 所述智能体包括演员模块和评论家模块; 将策略次数设置为1, 并初始化动作序列以及历史状态向量; 所述动作序列用于保存各 所述度数区间对应的区间量化位宽以及所述图神经网络对应的网络量化位宽; 状态向量用 于记录量化图神经网络在处理量化图数据时对应的内存占用量、 计算量以及在执行所述指 定任务时对应的准确度; 将时间步设置为1, 并在所述预设资源限制条件的约束下, 利用所述演员模块确定连续 动作, 利用所述连续动作对所述动作序列进行数值更新, 并在更新后确定所述动作序列对 应的内存占用量及计算 量; 利用所述动作序列对所述图数据中的顶点特征和所述图神经网络进行量化压缩, 并将 得到的量化图数据和量化图神经网络发送至所述硬件加速器, 以使所述硬件加速器利用所 述量化图数据对所述量化图神经网络进行训练, 并确定训练后的所述量化图神经网络执行 所述指定任务对应的当前准确度; 利用所述动作序列对应的内存占用量、 计算量和所述准确度确定当前状态向量, 以及 利用所述基准 准确度和所述当前准确度确定奖励值; 在确定所述奖励值大于所述历史奖励值时, 利用所述奖励值更新所述历史奖励值, 并权 利 要 求 书 1/5 页 2 CN 115357554 A 2利用所述更新后的动作序列对所述 最优区间量 化位宽及所述 最优网络量 化位宽进行 更新; 利用所述历史状态向量、 所述连续动作、 所述奖励值和所述当前状态向量生成转换数 据, 并利用所述转换数据对所述演员模块和所述评论家模块进行训练, 以使所述评论家模 块对所述演员模块在进行 所述数值更新时所使用的策略进行 更新; 当确定所述 时间步未达到所述动作序列的长度时, 对所述时间步加1, 利用所述当前状 态向量更新所述历史状态向量, 并进入所述在所述预设资源限制条件的约束下, 利用所述 演员模块确定连续动作的步骤; 当确定所述 时间步达到所述动作序列的长度且所述策略次数未达到预设值 时, 对所述 策略次数加1, 并进入所述初始化动作序列以及历史状态向量的步骤; 当确定所述策略次数达到所述预设值 时, 输出所述最优区间量化位宽及所述最优 网络 量化位宽。 6.根据权利要求5所述的图神经网络压缩方法, 其特征在于, 所述在所述预设资源限制 条件的约束下, 利用所述演员模块确定连续动作, 利用所述连续动作对所述动作序列进行 数值更新, 并在更新后确定所述动作序列对应的内存占用量及计算 量, 包括: 利用所述演员模块根据Behavior策略选择所述连续动作, 并通过如 下方式将所述连续 动作进行离 散化, 得到 离散动作值: ; 其中, 表示第 个时间步的动作序列中的第i个量化位宽对应的连续动作, 表 示与 对应的离散动作值, Q包含多个预设量化位宽值, 表示四舍五入函 数, 和 表示预设的最小量化位宽和最大量化位宽, 函数用于在Q 中选择目 标预设量化位宽值q, 以使 最小; 利用所述动作值对所述动作序列进行数值更新, 确定更新后的所述动作序列对应的内 存占用量、 计算量及延迟量, 并判断所述内存占用量、 所述计算量及所述延迟量是否满足所 述预设资源限制条件的限制; 若是, 则进入所述利用所述动作序列对所述图数据中的顶点特征和所述图神经网络进 行量化压缩的步骤; 若否, 则按照预设顺序依次对所述动作序列中的量化位宽进行减少, 以再次更新所述 动作序列, 并在每次减少动作完成时进入所述确定更新后的所述动作序列对应的内存占用 量、 计算量及延迟量的步骤。 7.根据权利要求6所述的图神经网络压缩方法, 其特征在于, 所述利用所述演员模块根 据Behavi or策略选择 所述连续动作, 包括: 利用所述演员模块 根据Behavi or策略以如下 方式选择 连续动作: , 其中, 表示第 个时间步对应的随机UO噪声, 表示第 个时间步对应的历史状态 向量, 表示所述演员模块中的在线演员网络, 表示在线演员网络参数。 8.根据权利要求6所述的图神经网络压缩方法, 其特征在于, 所述硬件加速器利用所述 量化图数据对所述 量化图神经网络进行训练, 包括:权 利 要 求 书 2/5 页 3 CN 115357554 A 3
专利 一种图神经网络压缩方法、装置、电子设备及存储介质
文档预览
中文文档
35 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共35页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:24:16
上传分享
举报
下载
原文档
(1.4 MB)
分享
友情链接
GB-T 34492-2017 500kA铝电解槽技术规范.pdf
GB-T 35282-2023 信息安全技术 电子政务移动办公系统安全技术规范.pdf
信通院 数字营销异常流量研究报告-2022年.pdf
YD-T 3951-2021 物联网卡安全监测与管理平台数据采集接口规范.pdf
GA-T 1561-2019 移动警务系统 总体技术要求.pdf
GB-T 23698-2023 三维扫描人体测量方法的一般要求.pdf
aigc安全研究分享.pdf
GB-T 43437-2023 信息技术 信息产品研发能力评估模型.pdf
T-CAAMTB 64—2022 汽车解耦式电子助力制动系统总成性能要求及台架试验方法.pdf
T-CITS 0012—2023 牛乳基婴幼儿配方乳粉及牛乳中A1和A2 β-酪蛋白的测定 液相色谱-串联质谱法.pdf
DB11-T 1855-2021 固定资产投资项目节能审查验收技术规范 北京市.pdf
GB 9706.204-2022 医用电气设备 第2-4部分:心脏除颤器的基本安全和基本性能专用要求.pdf
T-CIECCPA 035—2023 浮选磷尾矿基生态修复基质土规范.pdf
GB-T 25441-2022 吸尘器电机.pdf
DB65-T4613-2022 农村卫生户厕建设与管理规范 新疆维吾尔自治区.pdf
GB-T 12727-2023 核电厂安全重要电气设备鉴定 IEC IEEE 60780-323-2016.pdf
DB43-T 2424-2022 水土保持监测技术规程 湖南省.pdf
NIST.SP.800-53Ar4 Assessing Security and Privacy Controls in Federal Information Systems and Organizations.pdf
T-GDATCM 0009—2023 厚朴 厚朴 煮散饮片.pdf
GB-T 40873-2021 大洋富钴结壳资源勘查规程.pdf
1
/
35
评价文档
赞助2.5元 点击下载(1.4 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。