(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211303570.9 (22)申请日 2022.10.24 (71)申请人 深圳先进技 术研究院 地址 518055 广东省深圳市南 山区西丽大 学城学苑大道1068号 (72)发明人 易正琨　柳程亮　吴新宇　崔允端　 谢祥　田琼　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹 (51)Int.Cl. B25J 15/08(2006.01) B25J 9/16(2006.01) B25J 13/08(2006.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于三元组对比网络的机器人抓取预 测方法 (57)摘要 本发明公开一种基于三元组对比网络的机 器人抓取预测方法。 该方法包括： 构建训练集， 其 中每条样本反映机器臂抓取物体过程中多个时 刻的触觉 数据与分类标签 之间的对应 关系； 基于 设定的损失函数训练编码器， 在训练过程中， 在 训练集随机抽取两个标签一致的样本分别作为 锚样本和正样本， 并随机抽取一个标签相反的样 本作为负样 本， 将样本数据分别输入对应编码器 中编码得到锚样本的高维特征、 正样本的高维特 征以及负样 本的高维特征； 冻结编码器的优化参 数， 并利用经训练的编码器将 输入样本数据编码 为高维特征， 进而将该高维特征输入分类器进行 训练； 利用经训练的编码器和分类器针对实时的 触觉数据预测抓取结果。 本发明提升了机器人抓 取预测的准确率。 权利要求书2页 说明书6页 附图3页 CN 115519579 A 2022.12.27 CN 115519579 A 1.一种基于三元组对比网络的机器人抓取 预测方法， 包括以下步骤： 构建训练集， 其中每条样本数据反映机器臂抓取物体过程中多个时刻的触觉数据与分 类标签之间的对应关系， 该分类标签用于指示 抓取是否成功； 基于设定的损失函数训练编码器， 获得优化参数， 其中在训练过程中， 在所述训练集随 机抽取两个标签一致的样本 分别作为锚样本和正样本， 并随机抽取一个标签相反的样本作 为负样本； 将样本数据分别输入对应编码器中编码得到锚样本的高维特征、 正样本的高维 特征以及负 样本的高维特 征； 冻结所述编码器的优化参数， 并利用经训练的编码器将输入样本数据编码为高维特 征， 进而将该高维特 征输入分类 器进行训练； 利用经训练的编码器和经训练的分类 器针对实时采集的触觉数据预测抓取 结果。 2.根据权利要求1所述的方法， 其特 征在于， 根据以下步骤构建所述训练集： 采集机器臂抓取物体的触觉数据， 包括三个时刻的触觉数据， 分别是机器臂置于初始 位置时标记为时刻Ta， 机器臂抓住目标物品但尚未提升时标记为时刻Tb， 抓住物品在空中悬 停设定时间后标记为时刻Tc； 通过将Ta、 Tb时刻的触觉数据图像进行随机翻转对数据进行增强， 并将触觉数据随机裁 剪为设定的尺寸， 获得 数据集； 从所述数据集中随机选取设定数量的抓取物品种类， 并针对每种物品随机选取设定数 量的数据， 构建为所述训练集。 3.根据权利要求1所述的方法， 其特征在于， 所述编码器采用三元对比损失函数作为评 价指标进行训练， 表示 为： 其中LT表示三元对比损失， fa、 fp、 fn分别表示锚样本、 正样本和负 样本的高维特 征。 4.根据权利要求1所述的方法， 其特征在于， 利用二值交叉熵损失函数训练所述分类 器， 表示为： LB＝‑(ylog(p(x)+(1 ‑y)log(1‑p(x)))) 其中， x表示输入的样本数据， y表示该样本实际上抓取成功或失败的类别标签， p(x)表 示在当前输入样本数据情况 下， 预测抓取成功的概 率。 5.根据权利要求1所述的方法， 其特征在于， 所述编码器包括骨干网络， 该骨干网络用 于从Ga与Gb‑Ga在通道方向叠加的图像中提取高维特征， 其中， Ga、 Gb分别表示在Ta、 Tb时刻采 集到的触觉数据。 6.根据权利要求5所述的方法， 其特征在于， 所述骨干网络设置为多个， 每个骨干网络 用于从对应的触觉数据中提取高维特征， 并将所提取 的高维特征进行拼接后， 输入到第一 自注意力模块， 得到融合高维特 征。 7.根据权利要求6所述的方法， 其特征在于， 所述分类器包括第 二自注意力模块和多层 感知机， 该多层感知机包含两层全连接层， 其中第一层全连接层后接一层Relu非线性变换 激活层； 第二层全连接层输出神经元数量为2， 后接一层Sigmoid非线性变换激活层， 所述分 类器输出预测抓取成功或失败的得分。 8.根据权利要求5所述的方法， 其特征在于， 所述骨干网络基于Resnet ‑50、 VGG或权　利　要　求　书 1/2 页 2 CN 115519579 A 2AlexNet网络构建。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 该计算机程序被处理器执 行时实现根据权利要求1至8中任一项所述方法的步骤。 10.一种计算机设备， 包括存储器和处理器， 在所述存储器上存储有能够在处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至8 中任 一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115519579 A 3