(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211300619.5 (22)申请日 2022.10.24 (71)申请人 无锡市精神卫 生中心 地址 214151 江苏省无锡市钱荣路15 6号 (72)发明人 张国富　任彩丽　杨杰　 (74)专利代理 机构 长沙准星专利代理事务所 (普通合伙) 43241 专利代理师 陈小佳 (51)Int.Cl. A61B 5/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 MD患者情绪波动监测和情感障碍状态评估 的方法和系统 (57)摘要 本发明公开了MD患者情绪波动监测和情感 障碍状态评估的方法和系统， 包括以下步骤： 采 集用户的音视频数据； 将音视频数据进行预处 理； 将来自音视频预处理系统的数据通过光电容 积描积技术获取心率指标； 将来自音视频预处理 系统的数据通过算法获取特征； 将来自上一步的 语音特征和视频特征进行融合， 得到情绪特征 值； 将融合后的情感特征数据与风险模型进行比 对， 预测个体在未来一段时间情绪状态发展的趋 势， 超出阈值进行风险预警。 本发明通过非接触 式的音频视频采集方式， 并通过算法模型得到生 理相关特征值和情绪相关特征值， 为精神障得患 者情绪的评估引入客观的量化指标， 避免传统评 估方法中量表的主观影 响因素， 保证了情绪评估 的一致性和连续 性。 权利要求书3页 说明书9页 附图2页 CN 115517681 A 2022.12.27 CN 115517681 A 1.MD患者情绪波动监测 和情感障碍状态评估的方法， 其特 征在于， 包括以下步骤： S1、 采集用户的音视频数据， 所述音视频数据包括来自所述用户的实时音视频数据和 上传的历史音视频 数据； S2、 将音视频 数据进行 预处理； S3、 将来自音视频 预处理系统的数据通过光电容积描积技 术获取心率指标； S4、 将来自音视频 预处理系统的数据通过算法获取 特征； S5、 将来自步骤S4的语音特 征和视频 特征进行融合， 得到情绪特 征值； S6、 将融合后的情感特征数据与风险模型进行比对， 预测个体在未来一段时间情绪状 态发展的趋势， 超出阈值进行风险预警。 2.根据权利要求1所述的MD患者情绪波动监测和情感障碍状态评估的方法， 其特征在 于， 所述步骤S2中， 音视频预 处理包括语音 数据预处理的步骤和视频数据预 处理的步骤， 其 中， 语音数据预处 理包括以下步骤： (a)、 预加重 H(z)＝1‑a×Z‑1,0.9＜a＜1     (1) (b)、 加窗 使用Hamming窗口加窗； (c)、 分帧 使用可移动有限长窗口 的加权； 视频数据预处 理包括以下步骤： (I)、 填写缺失值 将两个相邻帧的平均值作为 缺失值； (II)、 消除异常值 使用箱型图法消除； (III)、 平滑和滤波 平滑使用smoothdata函数， 滤波 使用卡尔曼 滤波。 3.根据权利要求1所述的MD患者情绪波动监测和情感障碍状态评估的方法， 其特征在 于， 所述步骤S3中， 通过光电容积描积技 术获取心率指标包括以下步骤： S31、 获取 预处理后数据； S32、 使用自动跟踪器 检测视频帧内的人脸并定位到感兴趣的测量区域； S33、 对感兴趣的测量区域中R、 G、 B三个通道的像素值分别进行空间平均； S34、 计算感兴趣 的测量区域区域中R、 G、 B三个通道的像素均值， 将每个图像帧的画面 信息转变成点信息， 得到三个通道的脉动信号； S35、 假设在时刻t， 脉动信号中R、 G、 B三个通道的信号幅度分别为s1(t)、 s2(t)、 s3(t) (感兴趣测量区域像素值的平均值)， 则脉动信号 为下式： S36、 进行快速傅里叶变换以获得脉动信号的功率谱密度， 功率谱中最高功率对应的频 率则代表了脉冲频率f；权　利　要　求　书 1/3 页 2 CN 115517681 A 2S37、 由式(2)可 得到每一帧视频信号的心率 值： HeartRate＝6 0*f             (3)。 4.根据权利要求1所述的MD患者情绪波动监测和情感障碍状态评估的方法， 其特征在 于， 所述步骤S4中， 音视频预处理系统的数据通过算法获取特征包括语音特征构建和视频 特征构建， 语音特 征构建包括以下步骤： (1)、 取预处理后的数据， 得到一维 非线性时间序列 {x(i)}； (2)、 构造不同延迟时间t的d维相空间向量 y(i)＝x(i), …x(i+(d‑1)t)， 1≤i≤n ‑(d‑1)t    (4)； (3)、 每三十分之一秒计算 一个轨迹矩阵； (4)、 获取语音相图； 视频特征构建包括以下步骤： (1)、 根据上一 步预处理， 得到图像序列； (2)、 对图像进行二维傅里叶变换， 从时域映射到频域； (3)、 使用傅里叶逆变换对频谱图的每一列进行变换； (4)、 将变换到的数据保存为语音 文件； (5)、 计算 傅里叶特 征图像。 5.根据权利要求1所述的MD患者情绪波动监测和情感障碍状态评估的方法， 其特征在 于， 所述步骤S5中， 语音特征和视频特征进行融合包括将步骤S4中得到的语音特征数据和 视频特征数据按照时间顺序进行拼接， 具体包括以下步骤： (1)、 将得到的语音特征数据和视频特征数据进行 时间编码， 其中y[ m， n， j]是视频中的 第j张图片， 它的大小是m ×n； (2)、 进一 步将数据进行差分， 差分公式为： (3)、 进一 步将数据映射变化方向 (4)、 进一 步进行二进制编码转换， 得到带有时空信息的双模态特 征数据： (5)、 将上述所 得数据进行作为输入送入预设的卷积神经网络训练， 获得情绪特 征值。 6.根据权利要求1所述的MD患者情绪波动监测和情感障碍状态评估的方法， 其特征在 于， 所述步骤S6中， 风险模型的建立包括以下步骤： (1)、 选择一定数量的被试， 考虑年龄、 性别、 情绪状态、 情感刺激方式、 言语方式及情绪 效价等重要因素设计， 由合作医院精神科临床医生通过 《简明国际神经精神访谈》 和 《PHQ ‑ 9》 量表诊断被试； (2)、 根据 《简明国际神经精神访谈》 和 《PHQ ‑9》 得分情况， 确定被试精神状态得分情况， 被试状态分为： 0正常、 1轻度、 2中度、 3严重； (3)、 接下来给被试依次观看视频、 访谈、 阅读、 图片描述， 同时采集被试视频和声音， 以 此测量结果作为训练数据标签， 在模型 的验证阶段， 将训练数据之外的目标用户的数据输权　利　要　求　书 2/3 页 3 CN 115517681 A 3