(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381906.3 (22)申请日 2022.11.07 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 沈锦瑞　林垠　殷保才　胡金水　 殷兵　 (74)专利代理 机构 北京维澳专利代理有限公司 11252 专利代理师 陈变花 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06F 3/01(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种座舱内手势交 互方法及装置 (57)摘要 本发明公开了一种座舱内手势交互方法及 装置， 座舱内手势交互方法包括： 接收座舱内的 实时图像； 将实时图像输入手势识别模型， 获得 手势识别模型输出的第一手势类别检测结果和 第一位置类别检测结果； 依据第一座舱位置上第 一手势对应的控制指令控制座舱内的设备； 其 中， 对于不同的第一座舱位置， 相同的第一手势 对应的控制指令不同。 本发明通过手势识别模型 直接获得手势 类别检测结果， 避免两阶段手势识 别导致的车机工作压力， 并通过识别手势动作人 所在的座舱位置， 为不同座舱位置上的相同手势 配置不同的功能， 提高了 手势交互的丰富度。 权利要求书3页 说明书11页 附图4页 CN 115424356 A 2022.12.02 CN 115424356 A 1.一种座 舱内手势交 互方法， 其特 征在于， 包括： 接收座舱内的实时图像； 将所述实时图像输入手势识别模型， 获得所述手势识别模型输出的第 一手势类别检测 结果和第一位置类别检测结果， 所述第一手势类别检测结果指示第一手势的类型， 所述第 一位置类别检测结果指示所述第一手势的动作人 所在的第一 座舱位置； 依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱内的设备； 其中， 对 于不同的第一 座舱位置， 相同的第一手势对应的控制指令不同。 2.根据权利要求1所述的座舱内手势 交互方法， 其特征在于， 在获得所述第 一手势类别 检测结果之后， 利用当前帧和所述当前帧之前的连续第一预设数量帧的手势类别检测结果 进行投票， 确定所述当前帧的第一手势类别检测结果是否有效； 若有效， 则依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱内的设 备。 3.根据权利要求2所述的座舱内手势 交互方法， 其特征在于， 若所述当前帧的第 一手势 类别检测结果有效， 则利用当前帧和所述当前帧之前的连续第二预设数量帧的位置类别检 测结果进行投票， 确定所述当前帧的第一 位置类别检测结果是否有效； 若所述当前帧的第 一位置类别检测结果有效， 则依据所述第 一座舱位置上所述第 一手 势对应的控制指令控制座 舱内的设备。 4.根据权利要求1所述的座舱内手势 交互方法， 其特征在于， 所述手势识别模型对所述 实时图像进行处理， 获得所述第一手势类别检测结果和所述第一位置类别检测结果， 具体 包括： 对所述实时图像进行处理， 获得第一手势分类结果、 第一位置分类结果以及第一手势 动作人的第一中心点； 将所述第一手势分类结果作为所述第一手势类别检测结果并输出； 判断所述第一中心点是否位于所述第一位置分类结果所指示的座舱位置所在的区域 内； 若是， 则将所述第一 位置分类结果作为所述第一 位置类别检测结果并输出。 5.根据权利要求4所述的座舱内手势 交互方法， 其特征在于， 若所述第 一中心点未位于 所述第一位置 分类结果所指示的座舱位置所在的区域内， 则判定所述第一位置类别检测结 果为未知区域并输出。 6.根据权利要求5所述的座舱内手势 交互方法， 其特征在于， 若所述第 一位置类别检测 结果为未知区域， 则不对座舱内的设备做控制， 或依据所述第一手势的类型对应的通用指 令控制座 舱内的设备。 7.根据权利要求4所述的座舱内手势 交互方法， 其特征在于， 所述手势识别模型包括第 三预设数量的卷积层， 每 个所述卷积层输出时序特 征和卷积结果； 所述手势识别模型的输入数据为所述实时图像和所述第三预设数量的卷积层获得的 当前帧的前一帧的所有时序特 征。 8.根据权利要求4或7所述的座舱内手势交互方法， 其特征在于， 获得第一位置分类结 果之后， 利用座舱内所有座舱位置的第一独热的调制向量对所述第一位置 分类结果进 行投 票， 确定第二位置分类结果； 其中， 所述第一独热的调制向量是依据所述 实时图像的实际位权　利　要　求　书 1/3 页 2 CN 115424356 A 2置类别标签生成的； 并且， 若所述第一中心点位于所述第二位置分类结果所指示的座舱位置所在的区域 内， 则将所述第二 位置分类结果作为所述第一 位置类别检测结果并输出。 9.根据权利要求1所述的座舱内手势交互方法， 其特征在于， 接收所述实时图像前， 还 包括： 接收座舱内的光线强度信息； 依据所述 光线强度信息控制座 舱内摄像设备使用可 见光或近红外光进行拍摄。 10.根据权利要求7所述的座舱内手势交互方法， 其特征在于， 对所述手势识别模型进 行训练包括： 将连续图像样本 输入初始模型； 获得所述连续图像样本经所述第三预设数量的卷积层后获得的手势卷积结果和位置 卷积结果， 每个所述卷积层依 次包括时序偏移模块和卷积模块， 所述时序偏移模块的输入 数据为前一卷积层输出的时序特 征； 将所述手势卷积结果和所述位置卷积结果分别输入手势分类器和位置分类器， 获得第 二手势类别检测结果和第二 位置类别检测结果； 依据所述第 二手势类别检测结果与 所述连续图像样本的手势类别标签之间、 所述第 二 位置类别检测结果与所述连续图像样本的实际位置类别标签之间的损失函数对所述初始 模型进行迭代训练， 获得 所述手势 识别模型。 11.根据权利要求10所述的座舱内手势交互方法， 其特征在于， 所述位置分类器的输入 数据为所述位置卷积结果和位置调制器生成的第二独热的调制向量的点积， 所述第二独热 的调制向量是依据所述连续图像样本的实际位置类别标签生成的。 12.根据权利要求10或11所述的座舱内手势交互方法， 其特征在于， 所述连续图像样本 经所述第三预设数量的卷积层后还获得手势动作人的第二中心点； 并且， 还利用通过对所述连续图像样本的人体检测获得的手势动作 人的第三中心点与 所述第二中心点之间的损失函数对所述初始模型进行迭代训练。 13.根据权利要求9所述的座舱内手势交互方法， 其特征在于， 所述座舱内摄像设备设 置在座舱的顶灯或舱内后视 镜处。 14.一种座舱内手势交互装置， 其特征在于， 包括实时图像接收模块、 手势识别模块以 及控制模块； 所述实时图像接收模块用于 接收座舱内的实时图像； 所述手势识别模块用于将所述实时图像输入手势识别模型， 获得所述手势识别模型输 出的第一手势类别检测结果和 第一位置类别检测结果， 所述第一手势类别检测结果指示第 一手势的类型， 所述第一位置类别检测结果指示所述第一手势的动作人所在的第一座舱位 置； 所述控制模块用于依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱 内的设备； 其中， 对于不同的第一 座舱位置， 相同的第一手势对应的控制指令不同。 15.根据权利要求14所述的座舱内手势交互装置， 其特征在于， 所述手势识别模型包括 处理模块、 判断模块以及输出模块； 所述处理模块用于对所述实时图像进行处理， 获得第一手势分类结果、 第一位置分类权　利　要　求　书 2/3 页 3 CN 115424356 A 3