(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211324748.8 (22)申请日 2022.10.27 (71)申请人 江苏中车 数字科技有限公司 地址 210000 江苏省南京市浦口区浦泗路 18号中车 数字产业园 (72)发明人 曲涛　景宁　王世龙　王绪海　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于虚拟现实的装配仿真人机工效评 价系统及方法 (57)摘要 本发明公开了一种基于虚拟现实的装配仿 真人机工效评价系统， 包括虚拟装配仿真子系统 和人机工效监测与评价子系统； 所述虚拟装配仿 真子系统包括装配单元构建模块、 工艺引导模块 和交互处理模块； 所述人机工效监测与评价子系 统包括人体姿态捕捉模块、 计算与分析模块。 本 发明结合标准的结构化工艺信息， 对装配作业人 员的操作姿态与动作进行实时数据采集、 分析和 评估， 根据反馈结果指导工艺设计人员对工位布 局和装配工艺进行优化改进， 使操作者可以在更 加合理、 健康的环境下， 养成规范的操作习惯， 进 行标准化的作业， 以人为本提升制造行业的生产 效率。 权利要求书4页 说明书12页 附图2页 CN 115390677 A 2022.11.25 CN 115390677 A 1.一种基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所述装配仿真人机 工效评价系统包括虚拟装配仿真子系统和人机 工效监测与评价子系统； 所述虚拟装配仿真子系统包括装配单 元构建模块、 工艺引导模块和交 互处理模块； 所述装配单元构建模块读取装配单元层级结构与空间布局信 息， 加载装配作业环境及 工位设施的三 维模型， 生成由非装配对象构成的基础作业场景； 再读取结构化工艺信息， 载 入装配单元所有装配工序对应的零件、 装配体、 工具、 夹具 的三维模型， 生成与真实装配环 境一致的虚拟装配作业场景； 所述工艺引导模块从装配工艺路线中依次读取当前装配工序 的装配操作指导说明、 待装配零部件信息、 涉及的工具夹具信息， 引导操作者在虚拟装配作 业场景中选取对应的待装配零部件和工具夹具， 按照装配工艺要求的装配约束和装配路径 将待装配零部件置于最终装配位置上； 所述交互处理模块识别装配仿 真操作过程中的碰撞 干涉， 并捕捉操作者对零部件与工具夹具的拾取、 移动、 放置、 固定交互动作， 结合制造BOM 数据实时生成包含拾取零部件与工具 的重量信息、 尺寸信息、 操作工件的起始位置和当前 位置在内的装配仿真操作信息， 发送给 人机工效监测与评价子系统进行分析计算； 所述人机 工效监测与评价子系统包括人体姿态捕捉模块、 计算与分析模块； 所述人体姿态捕捉模块采用单目摄像头实时捕捉操作者的装配作业动作姿态视频图 像； 所述计算与分析模块对人体姿态捕捉模块所采集的装配作业动作姿态视频图像进 行分 析处理得到操作者的人体关键点的3D坐标信息， 基于人体关键点3D坐标信息， 计算基于 RULA、 LUBA的人体 关键部位角度， 分析得到基于人体姿态的第一人机工效评价数据， 再基于 人体关键点3D坐标信息和交互处理模块 发送的装配仿 真操作信息， 计算人体关键节点与肢 体所受的外力矩， 并依据NIOS H评估方法计算负载指数， 分析得到基于人体所 受外力的第二 人机工效评价数据； 综合第一人机工效评价数据和第二人机工效评价数据， 得到实时综合 人机工效数据并记录 至人机工效评分日志。 2.根据权利要求1所述的基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所 述人机工效监测与评价子系统包括预警模块； 所述预警模块在进行参数配置及初始标定后， 在虚拟装配过程中对操作者进行实时的 评价结果显示和风险报警提醒； 所述交互处理模块实时接收预警模块发送的风险报警提 醒， 实时提醒操作者 察觉可能引起 疲劳和肌肉骨骼损伤的装配操作。 3.根据权利要求1所述的基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所 述计算与分析模块包括基于ResNet ‑50网络进 行迁移学习的3D姿态估计全 卷积神经网络和 基于RULA、 LUBA构建的人机 工效分析模块； 每次单目摄像头更换位置时， 人体姿态捕捉模块连续捕捉操作者在场 地中央以正常舒 适姿势站定时的放松状态下的姿态图像， 将采集结果 发送至3D姿态估计全卷积神经网络进 行基础标定操作， 以记录多组有效的3D关键点的三 维坐标并求取其平均值作为后续虚拟现 实装配模拟时进行 人体姿态评估的基础比较信息； 开始进行虚拟装配操作后， 人体姿态捕捉模块实时捕捉操作者的装配作业动作姿态视 频图像， 将装配作业动作姿态视频图像导入3D姿态估计全卷积神经网络， 计算得到操作者 的3D关键点的实时相对坐标信息； 所述3D姿态估计全卷积神经网络将操作者的3D关键点的实时相对坐标信息和基础比 较信息同时输入至人机 工效分析模块， 进行 人体姿态的计算、 评估与预警。权　利　要　求　书 1/4 页 2 CN 115390677 A 24.根据权利要求3所述的基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所 述人机工效分析模块根据操作者的3D关键点的实时相对坐标信息和基础比较信息计算得 到躯干、 颈部、 左臂与右 臂的相对角度； 对于躯干的矢状面相对角度计算， 以左肩、 右肩以及骨盆的坐标计算出躯干面向方向 向量， 将虚拟装配操作时监测并计算得到的躯干面向方向向量与标定得到躯干面向方向向 量进行对比， 计算出躯干面向方向在垂直面所变化的角度， 得到虚拟操作中操作者实时的 躯干矢状面的相对角度； 对于躯干的冠状面相对角度计算， 将左肩至右肩的向量作为躯干 侧向方向向量， 将虚拟装配操作时监测并计算得到的躯干侧向方向向量与标定得到躯干侧 向方向向量进行对比， 计算出躯干侧向方向在垂直面所变化的角度， 得到虚拟操作中操作 者实时的躯 干冠状面的 的相对角度； 对于颈部的矢状面相对角度计算， 先计算左眼、 右眼与鼻的中心点P1， 再计算左耳与右 耳的中点P2， 将P2至P1的向量作为头部的面向方向向量， 将虚拟装配操作时监测并计算得 到的头部的面向方向向量与标定得到头部的面向方向向量进 行对比， 计算出头部的面向方 向在垂直面所变化的角度， 得到虚拟操作中操作者实时的颈部矢状面的的相对角度； 对于 颈部的冠状面相对角度计算， 计算左耳至右耳的向量V1和左眼至右眼的方向V2， 将V1与V2 的平均向量作为头部的侧向方向向量， 将虚拟装配操作时监测并计算得到的头部的侧向方 向向量与标定得到头部的侧向方向向量进 行对比， 计算出头部的侧向方向在垂 直面所变化 的角度， 得到虚拟 操作中操作者实时的颈 部冠状面的相对角度； 对于左臂 的矢状面相对角度计算， 计算左肩至左手肘的左臂方向向量， 计算左肩与右 肩的中点P3， 计算左胯至右胯的中点P4， 计算P3至P4的向量得到人体躯干的竖直方向向量 V3， 再计算出躯干的面向方向向量V4， 以V3和V4表 示躯干相对矢状平 面； 将左臂的方向向量 投影至躯干相对矢状平面， 并计算投影后的向量与V3的夹角， 得到虚拟操作中操作者实时 的左臂矢状面的相对角度； 对于左臂的矢状面相对角度计算， 将投影平面更换为由左肩、 右 肩以及骨盆所确定的躯干相对冠状平面， 计算得到虚拟操作中操作者实时的左臂冠状面的 相对角度； 对于右臂 的矢状面相对角度计算， 计算右肩至右手肘的右臂方向向量， 计算左肩与右 肩的中点P3， 计算左胯至右胯的中点P4， 计算P3至P4的向量得到人体躯干的竖直方向向量 V3， 再计算出躯干的面向方向向量V4， 以V3和V4表 示躯干相对矢状平 面； 将右臂的方向向量 投影至躯干相对矢状平面， 并计算投影后的向量与V3的夹角， 得到虚拟操作中操作者实时 的右臂矢状面的相对角度； 对于右臂的矢状面相对角度计算， 将投影平面更换为由左肩、 右 肩以及骨盆所确定的躯干相对冠状平面， 计算得到虚拟操作中操作者实时的右臂冠状面的 相对角度。 5.根据权利要求4所述的基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所 述人机工效分析模块针对躯干、 颈部、 左臂与 右臂的相对角度设置有多个取值范围， 每个取 值范围对应有评 分， 根据操作者 实时相对坐标信息对应的躯干、 颈部、 左臂与右臂的相对角 度的取值， 判断得到相 应的关键点评分； 再综合所有的关键点评分分析得到基于人体姿态 的第一人机 工效评价数据。 6.根据权利要求3所述的基于虚拟现实的装配仿真人机工效评价系统， 其特征在于， 所 述人机工效分析模块根据3D关键点的实时相对坐标信息以及接 收到的实时装配仿真操作权　利　要　求　书 2/4 页 3 CN 115390677 A 3