(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211472536.4 (22)申请日 2022.11.23 (71)申请人 苏芯物联技 术 （南京） 有限公司 地址 210042 江苏省南京市玄武区板 仓街9 号 (72)发明人 李波　陈非　田慧云　 (51)Int.Cl. G06F 9/451(2018.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于增强现实和人工智能的产品说明 系统及方法 (57)摘要 本发明公开了一种基于增强现实和人工智 能的产品说明系统及方法， 所述系统应用于用户 终端， 基于AR引擎， 识别场景中的目标产品， 并加 载目标产品对应的三维模型和展示列表； 展示列 表包括对应于三维模型各部件的若干栏部件信 息； 所述部件信息按照用户关注度从高到低排 序； 所述三维模型用于展示目标产品的装配关 系， 并可进行旋转、 放大、 缩放、 拆分； 展 示列表实 时更新部件信息栏， 当三维模型中某 一部件处于 可视状态时， 则显示对应部件信息栏， 处于不可 视状态时则隐藏； 此外， 本发明还设计了基于神 经网络的文本分类模型， 根据用户输入的具体问 题匹配对应分类标签及解决方案， 智能推送用户 需要的历史运维信息， 实现产品展示和运维支持 的双重功能。 权利要求书2页 说明书5页 附图1页 CN 115543523 A 2022.12.30 CN 115543523 A 1.一种基于增强现实和人工智能的产品说明系统， 其特征在于， 应用于用户终端， 基于 AR引擎， 识别场景中的目标产品， 并加载目标产品对应的三 维模型和展示列 表； 展示列 表包 括对应于三维模型各部件的若干栏部件信息； 所述部件信息按照用户关注度从高到低排 序； 所述三维模型用于展示目标产品的装配关系， 并可按用户需求进行包括旋转、 放大、 缩 放、 拆分的操作； 展示列表实时更新部件信息栏， 当三维模型中某一部件处于可视状态 时， 则显示对应部件信息栏， 处于不可视状态时则隐藏对应部件信息栏。 2.根据权利要求1所述的一种基于增强现实和人工智能的产品说明系统， 其特征在于， 三维模型中每个部件均设置有用于显示部件名称的标签； 所述部件信息栏包括部件规格、 材料、 使用说明和历史运 维信息； 当部件在当前用户终端屏幕中为可视状态时， 在部件外部 显示对应标签， 并在展示列表显示对应部件的部件信息栏； 当部件在当前用户终端屏幕中 为不可视状态， 则隐藏相应标签， 同时在展示列表隐藏对应部件信息栏。 3.根据权利要求2所述的一种基于增强现实和人工智能的产品说明系统， 其特征在于， 当用户点击 部件或对应标签时， 展示列表中相应部件信息对应高亮显示。 4.一种基于增强现实和人工智能的产品说明方法， 该方法采用 如权利要求1 ‑3中任一 项所述一种基于增强现实和人工智能的产品说明系统， 其特 征在于， 包括以下步骤： 步骤S1、 用户终端载入AR引擎， 识别当前场景中的目标产品； 识别目标产品后， 加载预 建模好的对应三 维模型， 用于用户展示； 此时三 维模型中所有 可视部件均显示对应标签， 展 示列表中按照用户关注度从高到低对部件信息排序并展示； 步骤S2、 判断当前三维模型是否发生角度变化； 当三维模型角度发生变化时， 重新判断 部件是否可见； 隐藏变化后不可视的部件标签， 并隐藏展示列表中对应的部件信息栏； 将 变 化后新的可视部件对应的标签展示出来， 并在展示列表中显示对应的部件信息栏； 将所有 显示的部件信息栏按照关注度从高到低进行排序； 步骤S3、 用户在获取运维指导 时， 可在展示列表中的交互框输入问题； 系统部署有基于 bert的文本 分类模型， 将问题输入至文本 分类模型， 并对应至现有分类； 当用户问题可以对 应至现有分类时， 系统自动 将对应解决方案推荐给用户， 并增加对应部件的关注度分数； 当 分类结果无法满足用户需求时， 系统则将信息传输至远程客服平台； 客服平台将具体解决 方案推送至客户； 并增加对应部件的用户关注度分数； 基于用户关注度重新排列部件信息 栏； 每间隔固定时间， 基于新增的问题分类和解决方案 重新训练文本分类模型。 5.根据权利要求4所述的一种基于增强现实和人工智能的产品说明方法， 其特征在于， 步骤S3中文本分类模型 具体搭建如下： 步骤S3.1、 数据预处 理； 以现有分类作 为标签， 将对应的解决方案文字数据输入至bert预训练模型获得input_ ids和attention_mask； 步骤S3.2、 搭建文本分类模型； 具体包括 顺序连接的以下层： （1） 一层ber t层； （2） 取bert层结果数据 CLS Token的Embedding输入至下一层BiLSTM网络层， 输出为X1； 其中BiLSTM网络层中隐藏层神经 元个数为 n_hidden1； （3） 输出 X1输入至SE1模块； （4） SE1模块输出输入至一层BiLSTM网络层， 输出为X2； 其中BiLSTM网络层 中隐藏层神权　利　要　求　书 1/2 页 2 CN 115543523 A 2经元个数为 n_hidden2； （5） 输出 X2输入至SE2模块； （6） 一层Flat ten层； （7） 第一层全连接层， 神经 元个数为 n1； （8） 第二层全连接层， 神经 元个数为 n2； 其中n2为标签 个数； 步骤S3.3、 网络训练； 设置learn ing_rate=α， batc h_size=β， 训练文本分类模型。 6.根据权利要求5所述的一种基于增强现实和人工智能的产品说明方法， 其特征在于， 所述步骤S3.2中SE1模块结构如下： （1） 将输出 X1输入至一层全局平均池化下采样层， 将输出reshape为 （1， 2*n_hid den1） ； （2） 将 （1） 中输出输入至一维卷积神经网络层； 其中输出通道out_channel= （n_ hidden1） /2， 卷积核大小kernel_size=1； （3） 将 （2） 中输出输入至 激活函数层； （4） 将 （3） 中输出输入至另一个一维卷积神经网络层； 其中输出通道out_channel=2*n_ hidden1， 卷积核大小kernel_size=1； （5） 将 （4） 中输出输入至 激活函数层； （6） 将 （5） 中输出与X1相乘， 得到SE1模块输出。 7.根据权利要求5所述的一种基于增强现实和人工智能的产品说明方法， 其特征在于， 所述步骤S3.2中SE2模块结构如下： （1） 将输出 X2输入至一层全局平均池化下采样层， 将输出reshape为 （1， 2*n_hid den2） ； （2） 将 （1） 中输出输入至一维卷积神经网络层； 其中输出通道out_channel= （n_ hidden2） /2， 卷积核大小kernel_size=1； （3） 将 （2） 中输出输入至 激活函数层； （4） 将 （3） 中输出输入至另一个一维卷积神经网络层； 其中输出通道out_channel=2*n_ hidden2， 卷积核大小kernel_size=1； （5） 将 （4） 中输出输入至 激活函数层； （6） 将 （5） 中输出与X2相乘， 得到SE1模块输出。权　利　要　求　书 2/2 页 3 CN 115543523 A 3