(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211472983.X (22)申请日 2022.11.23 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 谭立君　胡艳丽　周庄易　朱煜琛　 张馨予　李宏阳　蔡琦　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/247(2020.01) G06F 40/284(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于信息融合和数据增强的篇章级事件检 测方法 (57)摘要 本发明公开了基于信息融合和数据增强的 篇章级事件检测方法， 步骤包括： 预训练得到句 子的词嵌入向量； 将向量输入编码层提取句子的 序列特征， 并通过自注意力机制获得语句上下文 信息； 将词向量、 语句序列信息和上下文信息解 码得到每个token对应的事件标签向量； 将事件 标签向量进行句子级的信息聚合， 将聚合后的前 后相邻句语义信息作为当前语句的输入再次解 码； 将解码层每次迭代得到的语句信息加权求和 后， 通过Softmax层得到序列标注结果。 本发明基 于信息融合和数据增强的事件检测方法， 应用神 经网络模型充分地提取了文档级的上下文信息 及事件相关性， 实现语义信息的跨句传播， 有效 提升了模型的稳定性和准确性。 权利要求书4页 说明书11页 附图2页 CN 115510236 A 2022.12.23 CN 115510236 A 1.基于信息融合和数据增强的篇 章级事件检测方法， 其特 征在于， 包括以下步骤： 使用词嵌入层， 通过语句预训练得到词嵌入向量； 将所述词嵌入向量输入编码层提取句子的序列 特征， 并通过自注意力 机制获得语句上 下文信息； 将所述序列 特征和上下文信 息输入解码层以综合解码层信 息处理的结果， 解码得到每 个token对应的事 件标签向量； 将所述事件标签向量输入信 息融合模块进行句子级的信 息聚合， 并将聚合后的前一句 和后一句的事 件信息作为当前语句的输入再次解码， 通过迭代， 实现跨句信息的不断传播； 将每次迭代得到的语句信息加权求和， 并通过Softmax层得到最后的序列标注结果； 将数据集 通过同义词替换增强后， 加入 模型进行训练。 2.根据权利要求1所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 将事件检测任务视为一个序列到序列的标注问题， 并使用BIO标注模式进行建模， 其中 “B”为begin，“B‑X”表示此元素在片段的开始位置且所在的片段属于X类型； “I”为inside， “I‑Y”表示此元素在片段的中间位置且所在的片段属于Y类型， “O”为outside， 表示所在的 片段不属于任何类型。 3.根据权利要求1所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 通过串 联每个token的词嵌入和NER类型嵌入得到其 综合的词向量表 示， 其中， 词嵌入矩 阵由Skip ‑gram模型预训练， NER类型嵌入矩阵在训练过程中随机初始化和更新； 对于给定 的token ， 其综合嵌入向量表示 为 。 4.根据权利要求1所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 将BiLSTM模型应用于句子级语义编码， 获取每个token的序列信息和上下文信息， 编码 后的向量表示 为 。 5.根据权利要求1所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 对于每个token ， 使用自注意力机制将句子中所有token的语 义信息加权平均后， 作为 其远距离的上 下文表示； 注意力权值 为： 其中 是当前时刻t第j个token的注意力权重， 是第j个token的得分值， 是任一token的得分值， 是当前时刻t的目标状态， 是所有的源状态， 是参数矩 阵， 是偏置项； 由此， 的上下文表示为 ， 连接 的词嵌入和上下文表示 得到 的最终语义表示为： ， 其中 是第j个token的经过BiLSTM编码的语义 向量， 是 经过注意力机制加权的语义向量， 是 的词嵌入表示；权　利　要　求　书 1/4 页 2 CN 115510236 A 2将上下文向量c直接转化为 ， 这等价于用退化的注意力权值表示， 即： ， 是t时刻第 个token的注意力权重， 是t时 刻 的注意力权 重； 先前涉及的事件信息辅助确定由第t个token触发的事件类型， 这种关联由前向解码获 取： 其中， 是前向RNN， 是前向RNN的状态值序列， 是前向事件 标签向量序列， t为对应时刻， 是参数矩阵， 是偏置项， 是操作函数； 如果当前句子的后续语句提到关联事 件， 通过后向解码来捕获这种依赖关系： 其中 是后向RNN， 是后向RNN的状态值序列， 是后向事件标签向量序列， t 为对应时刻； 通过将 和 连接起来， 利用双向解码来对句子中的事件相互关联性进行建模， 得到事件标签向量 ， 从而获取了双向事件的关联关系； 由于 为间接输 入， 因此 还携带了语义信息和事 件相关的实体信息 。 6.根据权利要求5所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 将所述事 件标签向量输入信息融合模块进行句子级的信息聚合， 包括： 对当前句子 ， 采用另一个以事件标记向量 作为输入的LSTM层， 则第t个token处的 信息为： 为第t‑1个token处的信息， 将最后一个状态 作为一个句子的综合表示， 即 。 7.根据权利要求1所述的基于信息融合和数据增强的篇章级事件检测方法， 其特征在 于， 通过用 和 扩展输入来整合跨句信息， 是第 个句子的综合表示， 是 第 个句子的综合表示， 并通过循环将相邻句子的信息迭代地聚合到当前句子， 实现语 句信息的跨句传播： 一个迭代结构由解码层和信息融合模块组成； 对于给定的句子 ， 第k次迭代的输出用 下式计算：权　利　要　求　书 2/4 页 3 CN 115510236 A 3