(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211402385.5 (22)申请日 2022.11.10 (71)申请人 南京恩博科技有限公司 地址 210007 江苏省南京市秦淮区石门坎 104号 (72)发明人 封晓强　汤庆飞　曹毅超　 (74)专利代理 机构 江苏瑞途律师事务所 32346 专利代理师 金龙 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种小样本 视频动作分析方法、 系统及装置 (57)摘要 本发明公开了一种小样本视频动作分析方 法、 系统及装置， 属于神经架构搜索领域。 针对现 有技术中存在的在小样本视频动作分析过程中， 视频稀疏采样帧不足可能会 限制长期时间模型 的容量以及采样帧数量的增加会导致组合和匹 配策略复杂等问题， 本发明提供的一种小样本视 频动作分析方法、 系统及装置， 输入查询视频帧 和支持视频帧， 通过降维操作输出特征图， 将特 征图输入到由时间注意力模块和空间注意力模 块构成的神经网络中进行训练， 将训练后的查询 视频帧与支持视频帧在时空对齐模块中进行匹 配， 分析小样本视频中的动作特征信息， 从而可 以有效增强对小样本视频中运动信息的捕捉能 力， 显著提高小样本 视频动作识别的精度。 权利要求书2页 说明书6页 附图2页 CN 115527152 A 2022.12.27 CN 115527152 A 1.一种小样本 视频动作分析 方法， 其步骤包括： 输入查询视频帧和支持视频帧， 通过降维操作输出 特征图； 将特征图输入到由时间注意力模块和空间注意力模块构成的神经网络中进行训练； 将训练后的查询视频帧与支持视频帧在时空对齐模块中进行匹配， 分析小样本视频中 的动作特 征信息。 2.根据权利要求1所述的一种 小样本视频动作分析方法， 其特征在于， 所述神经网络包 括3个阶段， 每 个阶段有8层， 每层包括3个时间注意力模块和3个空间注意力模块。 3.根据权利要求2所述的一种 小样本视频动作分析方法， 其特征在于， 所述神经网络的 3个阶段之间通过 连接模块连接； 所述神经网络通过N orm层连接所述时空对齐模块。 4.根据权利要求3所述的一种 小样本视频动作分析方法， 其特征在于， 所述 时间注意力 模块中， 通过计算相同位置不同帧之间的注意力， 捕获帧之间的时间依赖信息 。 5.根据权利要求3或4所述的一种小样本视频动作分析方法， 其特征在于， 所述空间注 意力模块中， 通过计算相同帧不同位置的注意力， 捕获相同帧之间的空间依赖信息 。 6.根据权利要求5所述的一种 小样本视频动作分析方法， 其特征在于， 在所述神经网络 中， 通过缩小搜索空间范围， 加速网络训练。 7.根据权利要求6所述的一种 小样本视频动作分析方法， 其特征在于， 所述缩小搜索空 间范围的步骤为： 从定义的所有的操作数当中采用均匀采样方式选择一组子网络进行训练； 在超级网络训练期间， 每P次迭代就对所有的操作数做一次分数统计， 分数计算公式 为： 其中， S(i,j)表示第i层第j个操作数的得分， Oi,j表示第i层第j个操作数， Ns表示超级网 络， a表示超级网络的子网络， W表 示权重， Ea表 示对子网络a的统计结果取平均值， U(A)表 示 搜索空间中所有的模型集 合， Dtr表示训练集， LCE表示交叉熵损失函数， LCE的计算公式为： 其中， Wa表示子网络 a的权重， NA表示超级网络的transformer搜索空间， Dtrain表示训练 集； 对每个操作数的得分进行排序， 将K％的分数低的操作数删除， 保留分数高即表现好的 操作数； 下一个迭代期间， 将从剩余的操作数当中采用均匀采样方式选择一组子网络进行训 练。 8.根据权利要求7所述的一种 小样本视频动作分析方法， 其特征在于， 所述查询视频帧 与支持视频帧在时空对齐模块中进行匹配， 计算每一个查询视频帧到支持视频帧之 间的距 离， 计算公式为： a(xq， xs)＝softmax[f(xq)fT(xs)] 其中， a(xq,xs)表示视频帧级别的注意力， f(xq)表示查询视频帧的嵌入 向量， fT(xs)表 示支持视频帧转置的嵌入向量， 通过 该注意力， 对嵌入向量进一 步地计算：权　利　要　求　书 1/2 页 2 CN 115527152 A 2其中， f(xs)表示支持视频帧的嵌入向量， 表示时间对齐的支持视频帧的表征； 计算查询视频帧和支持视频帧对应的嵌入向量的距离， 计算公式为： 其中， 表示嵌入向量之间的距离， T表示视频的长度， Co表示特征维度。 9.一种小样本视频动作分析系统， 其特征在于， 其采用如权利要求1 ‑8中任意一项所述 的基于小样本视频动作分析方法对查询视频帧和支持视频帧进行特征学习； 所述小样本视 频动作分析系统包括： 输入模块， 输入查询视频帧和支持视频帧序列， 经 过降维操作， 输出 特征图； 训练模块， 将特征图输入到由时间注意力模块和空间注意力模块构 成的神经网络 中进 行训练； 在训练阶段， 对于每一次迭代， 随机地从每一层的3个时间注意力模块和3个空间注 意力模块中选择一个模块进行训练。 时空对齐模块， 将训练后的查询视频帧与支持视频帧进行匹配， 分析小样本视频中的 动作特征信息， 所述时空对齐模块可以匹配任意长度的视频帧。 10.一种小样本视频动作分析装置， 包括存储器、 处理器以及存储在所述存储器上并可 在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利 要求1‑8中任意一项所述的基于小样本 视频动作分析 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115527152 A 3