(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211437264.4 (22)申请日 2022.11.16 (71)申请人 深圳时识科技有限公司 地址 518046 广东省深圳市福田区福田街 道福安社区中心五路18号星河发展中 心主楼17层 申请人 成都时识科技有限公司 (72)发明人 格雷戈尔·伦茨　 西克·萨迪克·尤艾尔阿明 　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 熊明 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01)G06N 3/06(2006.01) (54)发明名称 激活归一化方法和存储介质、 芯片及电子设 备 (57)摘要 本发明公开一种激活归一化方法和存储介 质、 芯片及电子设备。 为解决现有技术中无法对 较深的人工神经网络进行有效缩放的技术问题， 本发明公开的激活归一化方法， 应用于人工神经 网络中， 包括： 获取所述人工神经网络的子网络 输出； 根据子网络输出， 获取子网络输出的第 p百 分位数； 将连接至子网络中最后一层中神经元的 突触权重除以所述第p百分位数以更新突触权 重。 本发明以动态子网络为基础， 动态逐层更新 突触权重或/和偏置为技术手段， 解决了转换深 度神经网络后网络精度变差等技术问题， 获得了 可以缩放任意深度的前馈网络且不会导致网络 准确度降低， 有效改善神经形态芯片内部性能的 技术效果。 本发明适于神经形态芯片、 脉冲神经 网络领域。 权利要求书1页 说明书5页 附图3页 CN 115496209 A 2022.12.20 CN 115496209 A 1.一种激活归一化方法， 其应用于人工神经网络 中， 其特征在于： 所述激活归一化方法 包括如下步骤： 获取所述人工神经网络的子网络 输出； 根据所述子网络 输出， 获取 所述子网络 输出的第p百分位数， 其中p为小于10 0的正数； 将连接至所述子网络中最后一层中神经元的突触权重除以所述第p百分位数， 作为更 新后的连接 至所述子网络中最后一层中神经 元的突触权 重。 2.根据权利要求1所述的激活归一 化方法， 其特 征在于： 所述子网络为所述人工神经网络的前1至 层网络， 所述 为不小于1的正整数。 3.根据权利要求2所述的激活归一 化方法， 其特 征在于： 从所述子网络仅包括第1层开始， 更新连接至所述子网络中最后一层中神经元的突触 权重， 并不断扩大 所述子网络和更新连接 至子网络中最后一层中神经 元的突触权 重。 4.根据权利要求2所述的激活归一 化方法， 其特 征在于： 从所述子网络仅包括第1层开始， 更新连接至所述子网络中最后一层中神经元的突触 权重或/和偏置， 并不断扩大所述子网络和更新连接至子网络中最后一层中神经元 的突触 权重或/和偏置 。 5.根据权利要求 4所述的激活归一 化方法， 其特 征在于： 将连接至所述子网络 中最后一层中神经元的偏置除以 ， 作为更新后的连接至所 述子网络中最后一层中神经元的偏置； 其中si为当子网络包括所述人工神经网络前1至i层 时子网络 输出的第p百分位数， 1≤i≤ 。 6.根据权利要求1至 5中任意一项所述的激活归一 化方法， 其特 征在于： 所述人工神经网络的所有层被激活归一化后， 将所述激活归一化后的人工神经网络转 换为脉冲神经网络， 并将转换 所得的脉冲神经网络 部署至神经 形态芯片中。 7.一种存储介质， 其特征在于： 该存储介质存储有第一计算机指令或可以编译为第一 计算机指令的源代码， 通过读取或编译所述源代码后读取所述第一计算机指令， 以执行前 述权利要求1至 6中任意一种所述的激活归一 化方法。 8.根据权利要求7所述的存储介质， 其特征在于： 所述存储介质中还包括用于执行转换 步骤的第二计算机指 令， 所述第二计算机指令用于将前述人工神经网络转换为脉冲神经网 络。 9.一种芯片， 该芯片为神经 形态芯片， 其特 征在于： 该神经形态芯片中包括若干脉冲神经 元， 且被部署有权利要求8所述的存 储介质。 10.一种电子设备， 其特 征在于： 该电子设备被配置有权利要求9所述的芯片， 该电子设备根据所述的芯片对环境信号 的推理结果而做出响应。权　利　要　求　书 1/1 页 2 CN 115496209 A 2激活归一化方 法和存储介质、 芯片及电子 设备 技术领域 [0001]本发明涉及一种激活归一化 （normalization） 方法和存储介质、 芯片及电子设备， 具体涉及一种可以用于构建深度 （deep） 脉冲神经网络的激活归一化方法和存储介质、 芯片 及电子设备。 背景技术 [0002]传统人工神经网络 （ANN） 神经元的激活函数是ReLU、 Sigmoid等数学函数， 这是对 生物神经元的一种高度抽象， 而在传统计算平台中处理函数计算是一种极为普通和容易的 事情。 现如今发展 出来的脉冲神经网络 （SNN） 中的神经元则类似生物神经元， 当膜电位超过 阈值， 则激发一个脉冲事 件， 这与生物神经 元非常类似。 [0003]但是， 脉冲神经网络中诸如突触权重的值应该如何被训练是一个非常棘手的难 题， 因为脉冲神经元的激活过程， 如果抽象成数学函数的话会是一个不可导函数， 对于在 SNN中也能应用在A NN中被广泛使用的且依赖微分计算的反向传播方法的愿 望， 变的不切实 际。 [0004]为此发展出了一类基于ANN转换的SNN方案， 通过训练ANN并将其转换为SNN， 以期 获得达到或接近达到ANN性能的SNN。 这类方案通常要求A NN中的神经元采用ReLU激活函数， 在SNN中通过脉冲神经元的脉冲发放频率 （最新研究成果表明， 通过精巧设计的TT FS编码也 可以用来实现ReLU功能， 这有助于降低脉冲发放数量并降低功耗） ， 来代替ReLU输出。 [0005]很多转换方案将ANN的输出归一化 （normalize） 至最大期望值， 因为SNN的输出 由 于受限于每层的时间步 （t ime steps） 数量而类似地被限制在最大值以内。 这些转换方案使 用现有技术1提出 的并称之为基于数据的权重归一化方案， 它 是一种非常流行 的对网络输 出进行归一化的方案。 但是该方案至少因为对偏 置的缩放 （scale） 导致了归一化的ANN性能 变差 （因而转换得到的SNN性能也会不好） ， 尤其是当 网络较深的时候。 换言之， 现有技术1的 方案削弱了网络推理准确度， 尤其削弱所构建的深度神经网络准确度。 [0006]现有技术1： B.  Rueckauer,  I.‑A. Lungu, Y. Hu, M. Pfeiffer,  and S.‑ C.Liu, “Conversion  of continuous ‑valued deep networks  to efficient  event‑ driven networks  for image classification ”, Frontiers  in neuroscience,  vol.  11, p. 682, 2017. 为此， 亟需一种可以提升神经网络准确度的方案， 尤其是提升深度神经网络准确 度的神经网络 激活归一 化方案。 发明内容 [0007]为了解决或 缓解上述部分或全部技 术问题， 本发明是通过如下技 术方案实现的： 一种激活归一化方法， 其应用于人工神经网络中， 所述激活归一化方法包括如下 步骤： 获取所述人工神经网络的子网络输出； 根据所述子网络输出， 获取所述子网络输出的 第p百分位数， 其中p为小于100的正数； 将连接至所述子网络中最后一层中神经元的突触权说　明　书 1/5 页 3 CN 115496209 A 3