(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211303728.2 (22)申请日 2022.10.24 (71)申请人 中国农业银行股份有限公司重庆市 分行 地址 400010 重庆市渝中区新 华路103号 (72)发明人 李京芹　 (74)专利代理 机构 成都金英专利代理事务所 (普通合伙) 51218 专利代理师 詹权松 (51)Int.Cl. G06Q 20/10(2012.01) G06Q 20/40(2012.01) G06Q 40/02(2012.01) G06V 40/12(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态的掌上银行客户身份安全 检测方法 (57)摘要 本发明公开了一种基于多模态的掌上银行 客户身份安全检测方法， 包括以下步骤： 客户登 入掌上银行， 通过身份证件进行个人身份验证； 客户按操作引导录入本人生物信息； 分别对生物 信息进行预处理； 建立基于特征金字塔的多层特 征融合结构模型； 得到客户身份安全检测结果。 本发明通过客户的指纹、 视频、 音频三类生物信 息， 提高了客户身份安全检测的可靠性和准确 率， 提升了掌上银行用户操作的安全性。 权利要求书1页 说明书3页 附图1页 CN 115439112 A 2022.12.06 CN 115439112 A 1.一种基于多模态的掌上 银行客户身份安全检测方法， 其特 征在于， 包括以下步骤： 步骤1： 客户登入掌上 银行， 通过身份 证件进行个人身份验证； 步骤2： 客户按操作引导录入本人生物信息； 步骤3： 分别对生物信息进行 预处理； 步骤4： 建立基于特 征金字塔的多层特 征融合结构模型； 步骤5： 得到客户身份安全检测结果。 2.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 步骤2所述的生物信息包括 客户指纹信息、 客户视频信息和客户音频信息 。 3.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 步骤2所述的操作引导包 含以下子步骤： 客户将手指放在手机指定区域内， 录入指纹信息； 客户打开摄 像头， 根据屏幕提 示朗读文字， 录入视频和音频信息 。 4.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 步骤3所述预处 理包括： 对客户指纹信息使用中值滤波方式进行去噪； 对客户指纹信息使用自适应二 值化方式进行去干扰； 对客户视频信息提取关键帧并进行 标准化尺寸处 理； 对客户音频信息通过去噪声、 回声消除和信号增强方式进行自动过 滤。 5.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 步骤4还 包括通过深度自编码网络模型对输入的三类数据信息进行 特征融合的步骤。 6.根据权利要求5所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 所述特征融合使用6个卷积层用作检测， 若发现前3层的语义信息相 对不足， 则后3层 不进行特征融合， 从后续的更深的特 征层补充高级的语义信息； 其中， 深一层卷积特 征图需要经 过转换结构后才和浅一层特 征图进行 连接。 7.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 所述多层特征融合通过两个卷积层和一个反卷积层将两个不同层级的特征图输出相 加来实现。 8.根据权利要求1所述的一种基于多模态的掌上银行客户身份安全检测方法， 其特征 在于， 所述 客户身份安全检测结果包括 通过检测 和身份可疑； 若客户通过检测， 则可以进行下一步操作； 若平台检测到客户身份可疑， 则提示客户到 线下网点办理业 务。权　利　要　求　书 1/1 页 2 CN 115439112 A 2一种基于多模 态的掌上银行客户身份安全检测方 法 技术领域 [0001]本发明涉及身份识别技术领域， 尤其涉及 一种基于多模态的掌上银行客户身份安 全检测方法。 背景技术 [0002]掌上银行为客户办理银行业务提供了便利， 用户通过留存手机号、 身份证件、 银行 卡证件等信息验证身份后， 就可以在掌上银行进 行相关操作。 银行为了进 行客户安全管理， 风险系数低的业务支持客户通过掌上银行办理， 安风险系数高的业务需客户本人持相关证 件到网点办理。 线下办理业务不仅为银行网点增加了负担， 同时耗费用户到网点办理业务 的时间。 [0003]目前， 线上实现客户安全检测主要依赖于人脸识别， 客户上传静止的人脸照片， 或 者按照指示上传人脸表情变化视频， 为了控制风险， 后台人员对视频中客户身份进行人工 安全检测。 为了提高客户身份安全检测的可靠性和准确率， 同时节省人工花费， 提出了一种 基于多模态的客户身份安全检测方法， 融合指纹、 视频、 音频三类生物信息， 利用深度学习 技术， 进行线上客户身份安全检测， 提升 了掌上银行用户操作的安全性。 发明内容 [0004]基于现有技术中存在的不足之处， 本发明提供了一种基于多模态的掌上银行客户 身份安全检测方法， 具体技 术方案如下： 一种基于多模态的掌上 银行客户身份安全检测方法， 包括以下步骤： 步骤1： 客户登入掌上 银行， 通过身份 证件进行个人身份验证； 步骤2： 客户按操作引导录入本人生物信息； 步骤3： 分别对生物信息进行 预处理； 步骤4： 建立基于特 征金字塔的多层特 征融合结构模型； 步骤5： 得到客户身份安全检测结果。 [0005]具体的， 步骤2所述的生物信息包括客户指纹信息、 客户视频信息和客户音频信 息。 [0006]具体的， 步骤2所述的操作引导包 含以下子步骤： 客户将手指放在手机指定区域内， 录入指纹信息； 客户打开摄 像头， 根据屏幕提 示朗读文字， 录入视频和音频信息 。 [0007]具体的， 步骤3所述预处 理包括： 对客户指纹信息使用中值滤波方式进行去噪； 对客户指纹信息使用自适应二 值化方式进行去干扰； 对客户视频信息提取关键帧并进行 标准化尺寸处 理； 对客户音频信息通过去噪声、 回声消除和信号增强方式进行自动过 滤。 [0008]具体的， 步骤4还包括通过深度自编码网络模型对输入的三类数据信息进行特征说　明　书 1/3 页 3 CN 115439112 A 3