国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211416854.9 (22)申请日 2022.11.14 (71)申请人 广东电网有限责任公司佛山供电局 地址 528000 广东省佛山市禅城区汾江南 路1号 (72)发明人 张殷 唐琪 李国伟 王俊波 武利会 蒋维 刘益军 范心明 李新 董镝 宋安琪 王智娇 刘少辉 吴焯军 章涛 刘昊 梁年柏 刘崧 黄静 陈邦发 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任文生 (51)Int.Cl. G06F 16/2455(2019.01)G06F 9/48(2006.01) G06F 16/245(2019.01) G06F 16/28(2019.01) G06K 9/62(2022.01) (54)发明名称 一种基于异构计算的用户特征快速检索方 法 (57)摘要 本发明涉及大数据检索技术领域, 公开了一 种基于异构计算的用户特征快速检索方法, 其通 过对待检索数据进行缓存, 将缓存的待检索数据 转换成对应的特征向量, 获取检索库中的数据向 量, 将数据向量与特征向量分配至多个线程中, 将每个线程分配得到的数据向量与特征向量加 载至CPU缓存, 为每个线程 分配一个堆, 将所述数 据向量与特征向量进行相似度检索, 根据数据向 量的数量确定检索模式, 将检索的数据向量结果 赋值到对应的线程的堆上, 合并每个线程的堆, 得到最终的检索结果, 从而利用CPU缓存优势以 及GPU高效计算优势, 协调异构资源之间通讯和 计算的平衡, 提高了异构特性数据检索速度和效 率, 降低了 计算资源浪费。 权利要求书2页 说明书5页 附图1页 CN 115455061 A 2022.12.09 CN 115455061 A 1.一种基于异构计算的用户特 征快速检索方法, 其特 征在于, 包括以下步骤: 对待检索数据进行缓存, 当缓存的待检索数据的数量或缓存时间达到预定的要求时, 则将缓存的待检索数据转换成对应的特 征向量; 获取检索库中的数据向量, 将多个所述数据向量与特征向量分配至多个线程中, 将每 个线程分配得到的所述数据向量与特 征向量加载至 CPU缓存; 为每个线程分配一个堆, 将所述数据向量与特征向量进行相似度检索, 并根据所述数 据向量的数量确定检索模式, 其中, 若 数据向量的数量大于预设的数量时, 则检索模式为使 用GPU进行检索, 若 数据向量的数量不大于预设的数量时, 则检索模式为使用CPU和GPU进 行 协同检索, 并将检索的数据向量结果赋值到对应的线程的堆上; 赋值完成后, 合并每 个线程的堆, 得到最终的检索结果。 2.根据权利要求1所述的基于异构计算的用户特征快速检索方法, 其特征在于, 对待检 索数据进行缓存, 当缓存的待检索数据的数量或缓存时间达到预定的要求时, 则将缓存的 待检索数据转换成对应的特 征向量的步骤具体包括: 当收到检索请求时, 依次对待检索数据进行缓存; 统计放入缓存中的待检索数据的数量, 并开启定时器开始计时; 当定时器到达预设时长时, 则停止将待检索数据放入缓存, 将缓存的待检索数据转换 成对应的特 征向量; 或, 当缓存中待检索数据的数量达到预设的数量阈值 时, 停止将待检索数据放入缓存, 将缓存的待检索数据转换成对应的特 征向量。 3.根据权利要求1所述的基于异构计算的用户特征快速检索方法, 其特征在于, 还包 括: 在线程创建过程中, 通过 下式计算特 征向量的批处 理大小为: s =[L3 cache size – P/c * sizeof(fl oat)] / [d * sizeof(fl oat)] 式中, s表示批处理大小, L3 cache size为CPU三级缓存大小, sizeof(float)为float 类型的数据占用的字节数, P为检索库中的数据向量的数量, c为预设的线程数, d为特征向 量的维度。 4.根据权利要求1所述的基于异构计算的用户特征快速检索方法, 其特征在于, 获取检 索库中的数据向量, 将多个所述数据向量与特征向量分配至多个线程中, 将每个线程分配 得到的所述数据向量与特 征向量加载至 CPU缓存的步骤具体包括: 获取检索库中的数据向量, 根据预设的线程数量分别对所述数据向量与特征向量进行 切片, 并将切片结果分配至多个线程中, 将每个线程分配得到的所述数据向量与特征向量 加载至CPU三级缓存。 5.根据权利要求1所述的基于异构计算的用户特征快速检索方法, 其特征在于, 使用 GPU进行检索的步骤具体包括: 将所述数据向量与特征向量传输到GPU内存中, 通过GPU利用余弦相似度计算特征向量 与所有数据向量的第一相似度, 比较特征向量与所有数据向量的第一相似度的大小, 按照 第一相似度的大小对所有数据向量进行降序排列, 提取 前k个数据向量作为聚类中心; 通过GPU利用余弦相似度计算每个聚类中心与所有数据向量的第二相似度, 按照第二 相似度的大小对所有数据向量进行降序排列, 取前v个数据向量作为相 应的聚类中心的邻权 利 要 求 书 1/2 页 2 CN 115455061 A 2近数据向量; 通过GPU利用余弦相似度计算特征向量与所有邻近数据向量的第三相似度, 比较特征 向量与所有邻近数据向量的第三相似度的大小, 获得第三相似度的大小最高的邻近数据向 量作为检索的数据向量结果。 6.根据权利要求1所述的基于异构计算的用户特征快速检索方法, 其特征在于, 使用 CPU和GPU 进行协同检索的步骤具体包括: 将所述数据向量与特征向量传输到GPU内存中, 通过GPU利用余弦相似度计算特征向量 与所有数据向量的第一相似度, 比较特征向量与所有数据向量的第一相似度的大小, 按照 第一相似度的大小对所有数据向量进行降序排列, 提取 前k个数据向量作为聚类中心; 将多个所述聚类中心返回至CPU, 通过CPU利用余弦相似度计算每个聚类中心与所有数 据向量的第二相似度, 按照第二相似度的大小对所有 数据向量进 行降序排列, 取前v个数据 向量作为相应的聚类中心的邻近数据向量; 通过CPU利用余弦相似度计算特征向量与所有邻近数据向量的第三相似度, 比较特征 向量与所有邻近数据向量的第三相似度的大小, 获得第三相似度的大小最高的邻近数据向 量作为检索的数据向量结果。权 利 要 求 书 2/2 页 3 CN 115455061 A 3
专利 一种基于异构计算的用户特征快速检索方法
文档预览
中文文档
9 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共9页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:24:47
上传分享
举报
下载
原文档
(499.1 KB)
分享
友情链接
艾瑞咨询 中国云安全行业研究报告 2021.pdf
GB-T 29765-2021 信息安全技术 数据备份与恢复产品技术要求与测试评价方法.pdf
GA 1800.6-2021 电力系统治安反恐防范要求 第6部分:核能发电企业.pdf
GB 29437-2012 工业冰醋酸单位产品能源消耗限额.pdf
T-CI 155—2023 基于多模态大模型的智慧交通出行技术规范.pdf
GB-T 34520.5-2017 连续碳化硅纤维测试方法 第5部分:单纤维拉伸性能.pdf
专利 一种基于大数据解析的信息技术咨询终端.PDF
上海市网络安全事件应急预案 2019.pdf
数据备份与恢复管理规范.pdf
T-CAPE 11002—2019 铁路工程施工质量安全信息化监控系统规范.pdf
GB-T 42452-2023 系统与软件工程 功能规模测量 COSMIC方法.pdf
GB 29146-2012 钼精矿单位产品能源消耗限额.pdf
TTAF 180.3—2023 小程序个人信息保护规范 第3部分:全流程开发管理.pdf
GB-T 41524-2022 玩具材料中短链氯化石蜡含量的测定 气相色谱-质谱联用法.pdf
T-CERDS 2—2022 企业ESG披露指南.pdf
OWASP大语言模型应用程序十大风险V1.0.pdf
GB-T 36619-2018 信息安全技术 政务和公益机构域名命名规范.pdf
T-ZZB 0398—2018 环保节能舒适电热油汀.pdf
GB-T 1425-2021 贵金属及其合金熔化温度范围的测定 热分析试验方法.pdf
GB-T 34658-2017 电动汽车非车载传导式充电机与电池管理系统之间的通信协议一致性测试.pdf
1
/
9
评价文档
赞助2.5元 点击下载(499.1 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。