Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020107878 - PROCÉDÉ ET APPAREIL POUR PRODUIRE UN RÉSUMÉ DE TEXTE, DISPOSITIF INFORMATIQUE ET SUPPORT DE STOCKAGE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

附图

1   2   3   4   5   6   7   8   9   10  

说明书

发明名称 : 文本摘要生成方法、装置、计算机设备及存储介质

[0001]
本申请要求于2018年11月30日提交中国专利局、申请号为CN201811455100.8、申请名称为“文本摘要生成方法、装置、计算机设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及人工智能技术领域,尤其涉及一种文本摘要生成方法、装置、计算机设备及存储介质。

背景技术

[0003]
随着科技的进步与发展,人工智能时代已悄然而至,人们的日常生活中已开始逐渐涉及人工智能。在如今信息爆炸的时代,无时无刻都在产生巨量的信息,如网页新闻、微博、微信文章以及邮件等等。为了实现用户能够快速高效地获取到所需要的信息,需要对文本信息进行收集整理成文本摘要以供用户快速浏览。现有的文本摘要生成方法主要是抽取式,通过从目标文本中提取句子来生成文本摘要,但是该方法生成文本摘要的耗时较长,且文本摘要的精度不高,用户的阅读体验差。
[0004]
发明内容
[0005]
本申请实施例提供了一种文本摘要生成方法、装置、计算机设备及存储介质,旨在解决文本摘要生成耗时长、精度低以及用户阅读体验差的问题。
[0006]
第一方面,本申请实施例提供了一种文本摘要生成方法,其包括:对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量;构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子;对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子;根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[0007]
第二方面,本申请实施例还提供了一种文本摘要生成装置,其包括:转换单元,用于对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量;构建单元,用于构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子;摘要单元,用于对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子;评分单元,用于根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[0008]
第三方面,本申请实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述方法。
[0009]
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述第一方面所述方法。

附图说明

[0010]
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0011]
图1为本申请实施例提供的文本摘要生成方法的应用场景示意图;
[0012]
图2为本申请实施例提供的文本摘要生成方法的流程示意图;
[0013]
图3为本申请实施例提供的文本摘要生成方法的子流程示意图;
[0014]
图4为本申请实施例提供的文本摘要生成方法的子流程示意图;
[0015]
图5为本申请实施例提供的文本摘要生成方法的子流程示意图;
[0016]
图6为本申请实施例提供的文本摘要生成方法的子流程示意图;
[0017]
图7为本申请实施例提供的文本摘要生成装置的示意性框图;
[0018]
图8为本申请实施例提供的文本摘要生成装置的具体单元的示意性框图;
[0019]
图9为本申请实施例提供的文本摘要生成装置的训练单元的示意性框图;以及
[0020]
图10为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

[0021]
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0022]
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0023]
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0024]
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
[0025]
请参阅图1和图2,图1为本申请实施例提供的文本摘要生成方法的应用场景示意图。图2为本申请实施例提供的文本摘要生成方法的示意性流程图。该文本摘要生成方法具体应用在终端10中,通过终端10与服务器20之间的交互实现。
[0026]
图2是本申请实施例提供的文本摘要生成方法的流程示意图。如图所示,该方法包括以下步骤S110-S140。
[0027]
S110、对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量。
[0028]
在一实施例中,词向量工具是一种自然语言处理工具,其作用就是将自然语言中的字词转为计算机可以理解的词向量。传统的词向量容易受维数灾难的困扰,且任意两个词之间都是孤立的,不能体现词和词之间的关系,因此本实施例采用word2vec这一词向量工具来得到词向量,其可通过计算向量之间的距离来体现词与词之间的相似性。Word2Vec主要采用Skip-Gram和CBOW两种模 型来实现词向量的转换,本实施例采用Skip-Gram来实现词向量的转换,Skip-Gram模型主要是通过中心词来预测上下文的词,例如,“今天天气真好”这个句子,通过输入中心词“天气”来预测其上文“今天”和下文“真好”。
[0029]
在一实施例中,如图3所示,所述步骤S110可包括步骤S111-S112。
[0030]
S111、获取目标文本进行分词并根据所述分词进行编码得到初始词向量。
[0031]
在一实施例中,目标文本即用于训练的文本,根据用户的需求获取,例如,目标文本可通过网络爬虫的方式从服务器中获取,也可由用户从数据库中获取。在得到目标文本后,需要先对目标文本进行预处理,预处理包括:首先将目标文本中的标点符号去除,计算词频将低频词去除,然后对目标文本进行分词,基于目标文本的分词构建词汇表,最后再根据分词进行编码得到初始词向量。其中,初始词向量指的是以独热编码的形式来表示词,例如,“今天天气真好”分词后得到今天/天气/真好,再根据分词进行独热编码得到初始词向量,“今天”对应[100],“天气”对应[010]以及“真好”对应[001]。
[0032]
S112、通过词向量工具将所述初始词向量进行转换得到词向量。
[0033]
在一实施例中,Skip-Gram模型已预先训练好,Skip-Gram模型包括输入层、隐藏层以及输出层,从输入层到隐藏层的映射没有采用激活函数,而隐藏层到输出层采用霍夫曼树进行优化。霍夫曼树是一个二叉树,叶子的节点代表词汇表中的词,叶子节点的权重代表词频,叶子节点的权重越大,距离根节点越近,霍夫曼树的根节点到叶子节点的路径即为词的概率,经过霍夫曼树的优化可以大大减少计算量,加快文本摘要的生成速度。具体地,例如,句子“今天天气真好”,输入词“天气”的初始词向量[010]至Skip-Gram模型,最终得到“真好”的词向量{0.259,0.789,-0.048}。
[0034]
S120、构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子。
[0035]
在一实施例中,编码解码框架是一种端到端的神经网络框架,用于解决一种序列转换为另一种序列的问题,其由编码器和解码器组成,通过编码器对输入序列进行编码得到中间编码向量,再由解码器解码得到输出序列。由于处理文本摘要的问题贴近于端到端的序列问题,因此采用编码解码框架构建文本摘要模型。
[0036]
在一实施例中,如图4所示,所述步骤S120可包括步骤S121-S122。
[0037]
S121、将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型。
[0038]
在一实施例中,采用双向门控循环单元神经网络作为编码器以及解码器,由于传统的编码解码模型通过一个固定的中间编码向量来连接编码器和解码器存在一定的局限性,输入序列经过编码器编码后整个序列的信息压缩进一个特定长度的中间编码向量中,导致不能完整的表示整个输入序列的信息,先输入的内容会被后输入的内容覆盖掉,丢失许多细节信息,尤其是在长序列中。因此,为了解决这个问题在解码器解码阶段引入注意力机制,通过注意力机制打破传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。注意力机制用于对目标数据进行加权变化,通过保留编码器对输入序列的中间输出结果,然后通过一个匹配模型来对中间输出结果进行选择性的学习,并且在解码器输出时将输出序列与之进行关联,其中匹配模型指的是计算相似度的模型,总的来说,输出序列中的每一项的生成概率取决于在输入序列中选择了哪些项。
[0039]
S122、将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[0040]
在一实施例中,构建好文本摘要模型后,将所得到的词向量输入到文本摘要模型中进行训练,具体地,首先将词向量输入至编码器中,根据编码器的双向门控循环单元神经网络得到句子的编码向量,然后计算句子的编码向量与上一输出之间的语义相似度,将语义相似度最高的句子的编码向量作为解码器的输入,根据解码器的门控循环单元神经网络对句子的编码向量进行解码,相当于编码的逆过程,最终得到输出,得到输出后用作下一次循环迭代的计算参数继续训练模型。
[0041]
在一实施例中,如图5所示,所述步骤S122可包括步骤S1221-S1223。
[0042]
S1221、将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子的编码向量。
[0043]
在一实施例中,门控循环单元(Gated Recurrent Unit)以下简称GRU,是LSTM(Long Short-Term Memory)的变形,GRU将LSTM中的输入门和遗忘门合并成为更新门,因此其仅包含两个门结构,即重置门以及更新门。其中,更 新门用于控制前一时刻的状态信息被代入到当前状态中的程度;重置门用于控制忽略前一时刻的状态信息的程度。GRU模型具有参数少、样本需求少,训练速度快的优点,其具体公式如下:
[0044]
z t=σ(W z[h t-1,x t])
[0045]
r t=σ(W r[h t-1,x t])
[0046]
[0047]
[0048]
其中,x是输入的词向量,h为GRU模型的输出,σ是sigmoid函数,r是重置门,z是更新门,W z是更新门的权重,W r是重置门的权重,通过更新门以及重置门共同控制从前一时刻的隐藏状态h t-1计算得到当前时刻的隐藏状态h t。在本实施例中,双向门控循环单元神经网络,以下简称BIGRU,是由两个GRU组成,其中双向指的是一个向前传播的GRU以及一个向后传播的GRU,其可在输入与输出的映射之间充分利用过去和未来的信息,实现文本前后的信息交流,极大地提高了上下文预测的精度。通过将所得到的词向量输入至BIGRU中输出得到隐含层状态h即句子的编码向量。
[0049]
S1222、将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子。
[0050]
在一实施例中,解码器同样采用双向门控循环单元神经网络,解码器的解码相当于编码器编码的逆过程,将编码器输出的句子编码向量作为输入,对句子的编码向量进行解码输出待抽取的句子。
[0051]
S1223、通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。
[0052]
在一实施例中,在得到上一个输出即待抽取的句子后,根据注意力机制将该待抽取的句子与当前的句子编码向量进行匹配,计算两者之间的相似度分配权重,选择与上一输出即待抽取的句子最为匹配的句子编码向量作为解码器的输入进行解码得到当前待抽取的句子,将所得到的当前待抽取的句子又与下一个句子编码向量进行匹配,如此循环迭代对文本摘要模型进行训练。
[0053]
S130、对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子。
[0054]
在一实施例中,待处理文本指的是用户想要生成摘要的文本,模型训练好 后,用户可根据需求选择待处理文本,将待处理文本进行预处理通过词向量工具转换为词向量,将待处理文本的词向量输入至文本摘要模型中,由文本摘要模型进行处理输出待抽取的句子。
[0055]
S140、根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[0056]
在一实施例中,采用多层感知机作为预设评分函数模型,多层感知机是一种全连接的前馈人工神经网络模型,其包括输入层、隐藏层以及输出层,其中隐藏层的层数可以有多层,可将一组输入向量映射到另一组输出向量,即可以表示两个不同空间的映射关系。
[0057]
在一实施例中,如图6所示,所述步骤S140可包括步骤S141-S142。
[0058]
S141、根据预设评分函数模型对所述待抽取句子进行评分得到评分值。
[0059]
在一实施例中,预设评分函数模型的具体公式如下:
[0060]
Score=W 1*tanh(W 2*h t+W 3*s i)
[0061]
其中,W是权重,tanh是双曲正切函数,h是隐藏层状态,s是待抽取的句子。预设评分函数模型已预先训练好,其权重经训练后确定为W 1、W 2以及W 3,根据文本摘要模型输出的待抽取的句子作为预设评分函数模型的输入,通过预设评分函数模型的计算输出各待抽取句子对应的评分值。
[0062]
S142、根据所述评分值按照由高到低的顺序进行排序,并根据排序抽取预设数量的句子生成文本摘要。
[0063]
在一实施例中,通过预设评分模型输出每个待抽取句子的评分值,对所有的待抽取句子按照评分值从高到低进行排序,选取预设数量的评分值最高的句子生成摘要,预设数量可根据用户的阅读习惯或者阅读时间进行调整。例如,预设数量为2,“今天天气真好”,“要不要去逛街”,“你最近又胖了”,这三个句子的评分分别为0.5、0.4以及0.1,因此选择“今天天气真好,要不要去逛街”生成文本摘要。
[0064]
本申请实施例展示了一种文本摘要生成方法,通过对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量;构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子;对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文 本摘要模型中输出多个待抽取的句子;根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要,可以快速生成文本摘要,有效地提高文本摘要的精度,提高用户的阅读体验。
[0065]
图7是本申请实施例提供的一种文本摘要生成装置200的示意性框图。如图7所示,对应于以上文本摘要生成方法,本申请还提供一种文本摘要生成装置200。该文本摘要生成装置200包括用于执行上述文本摘要生成方法的单元,该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地,请参阅图7,该文本摘要生成装置200包括转换单元210、构建单元220、摘要单元230以及评分单元240。
[0066]
转换单元210,用于对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量。
[0067]
在一实施例中,如图8所示,所述转换单元210包括子单元:获取单元211以及转换子单元212。
[0068]
获取单元211,用于获取目标文本进行分词并根据所述分词进行编码得到初始词向量。
[0069]
转换子单元212,用于通过词向量工具将所述初始词向量进行转换得到词向量。
[0070]
构建单元220,用于构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子。
[0071]
在一实施例中,如图8所示,所述构建单元220包括子单元:构建子单元221以及训练单元222。
[0072]
构建子单元221,用于将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型。
[0073]
训练单元222,用于将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[0074]
在一实施例中,如图9所示,所述训练单元222包括子单元:编码单元2221、解码单元2222以及反馈单元2223。
[0075]
编码单元2221,用于将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子的编码向量。
[0076]
解码单元2222,用于将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子。
[0077]
反馈单元2223,用于通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。
[0078]
摘要单元230,用于对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子。
[0079]
评分单元240,用于根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[0080]
在一实施例中,如图8所示,所述评分单元240包括子单元:评分子单元241以及抽取单元242。
[0081]
评分子单元241,用于根据预设评分函数模型对所述待抽取句子进行评分得到评分值。
[0082]
抽取单元242,用于根据所述评分值按照由高到低的顺序进行排序,并根据排序抽取预设数量的句子生成文本摘要。
[0083]
需要说明的是,所属领域的技术人员可以清楚地了解到,上述文本摘要生成装置200和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
[0084]
上述文本摘要生成装置可以实现为一种计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
[0085]
请参阅图10,图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。
[0086]
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
[0087]
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种文本摘要生成方法。
[0088]
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
[0089]
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种文本摘要生成方法。
[0090]
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0091]
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现本申请实施例的文本摘要生成方法。
[0092]
应当理解,在本申请实施例中,处理器502可以是中央处理单元(Central Processing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0093]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
[0094]
因此,本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,该计算机程序被处理器执行时使处理器执行以上各实施例中所描述的文本摘要生成方法的步骤。
[0095]
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储计算机程序的计算机可读存储介质。
[0096]
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决 于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0097]
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
[0098]
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
[0099]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
[0100]
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

权利要求书

[权利要求 1]
一种文本摘要生成方法,包括: 对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量; 构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子; 对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子; 根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[权利要求 2]
根据权利要求1所述的文本摘要生成方法,其中,所述对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量,包括: 获取目标文本进行分词并根据所述分词进行编码得到初始词向量; 通过词向量工具将所述初始词向量进行转换得到词向量。
[权利要求 3]
根据权利要求1所述的文本摘要生成方法,其中,所述构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子,包括: 将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型; 将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[权利要求 4]
根据权利要求3所述的文本摘要生成方法,其中,所述将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练,包括: 将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子的编码向量; 将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子; 通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。
[权利要求 5]
根据权利要求1所述的文本摘要生成方法,其中,所述根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要,包括: 根据预设评分函数模型对所述待抽取句子进行评分得到评分值; 根据所述评分值按照由高到低的顺序进行排序,并根据排序抽取预设数量的句子生成文本摘要。
[权利要求 6]
根据权利要求4所述的文本摘要生成方法,其中,所述双向门控循环单元神经网络编码器中的门控循环单元的公式为: z t=σ(W z[h t-1,x t]) r t=σ(W r[h t-1,x t]) 其中,x为输入的词向量,h为门控循环单元的输出,σ为sigmoid函数,r为重置门,z为更新门,W z为更新门的权重,W r为重置门的权重,通过更新门以及重置门共同控制从前一时刻的隐藏状态h t-1计算得到当前时刻的隐藏状态h t
[权利要求 7]
根据权利要求5所述的文本摘要生成方法,其中,所述预设评分函数模型的公式为: Score=W 1*tanh(W 2*h t+W 3*s i) 其中,W为权重,tanh为双曲正切函数,h为隐藏层状态,s为待抽取的句子。
[权利要求 8]
一种文本摘要生成装置,包括: 转换单元,用于对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量; 构建单元,用于构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子; 摘要单元,用于对待处理文本进行预处理并转换为词向量,将所述待处理 文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子; 评分单元,用于根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[权利要求 9]
根据权利要求8所述的文本摘要生成装置,其中,所述构建单元包括: 构建子单元,用于将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型; 训练单元,用于将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[权利要求 10]
根据权利要求9所述的文本摘要生成装置,其中,所述训练单元包括: 编码单元,用于将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子的编码向量; 解码单元,用于将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子; 反馈单元,用于通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。
[权利要求 11]
一种计算机设备,包括存储器以及与所述存储器相连的处理器;所述存储器用于存储计算机程序;所述处理器用于运行所述存储器中存储的计算机程序,以执行如下步骤: 对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量; 构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子; 对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子; 根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[权利要求 12]
根据权利要求11所述的计算机设备,其中,所述对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量的步骤包括: 获取目标文本进行分词并根据所述分词进行编码得到初始词向量; 通过词向量工具将所述初始词向量进行转换得到词向量。
[权利要求 13]
根据权利要求11所述的计算机设备,其中,所述构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子的步骤包括: 将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型; 将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[权利要求 14]
根据权利要求13所述的计算机设备,其中,所述将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练的步骤包括: 将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子的编码向量; 将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子; 通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。
[权利要求 15]
根据权利要求11所述的计算机设备,其中,所述根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要的步骤包括: 根据预设评分函数模型对所述待抽取句子进行评分得到评分值; 根据所述评分值按照由高到低的顺序进行排序,并根据排序抽取预设数量的句子生成文本摘要。
[权利要求 16]
根据权利要求14所述的计算机设备,其中,所述双向门控循环单元神经网络编码器中的门控循环单元的公式为: z t=σ(W z[h t-1,x t]) r t=σ(W r[h t-1,x t]) 其中,x为输入的词向量,h为门控循环单元的输出,σ为sigmoid函数, r为重置门,z为更新门,W z为更新门的杈重,W r为重置门的权重,通过更新门以及重置门共同控制从前一时刻的隐藏状态h t-1计算得到当前时刻的隐藏状态h t
[权利要求 17]
根据权利要求15所述的计算机设备,其中,所述预设评分函数模型的公式为: Score=W 1*tanh(W 2*h t+W 3*s i) 其中,W为权重,tanh为双曲正切函数,h为隐藏层状态,s为待抽取的句子。
[权利要求 18]
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器执行以下步骤: 对目标文本进行预处理并通过词向量工具对预处理后的目标文本进行转换以得到词向量; 构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子; 对待处理文本进行预处理并转换为词向量,将所述待处理文本的词向量输入到训练后的文本摘要模型中输出多个待抽取的句子; 根据预设评分函数模型对所述多个待抽取的句子进行评分,并根据所述待抽取的句子的评分生成文本摘要。
[权利要求 19]
根据权利要求18所述的计算机可读存储介质,其中,所述构建以编码解码为框架的文本摘要模型,将所述词向量作为所述文本摘要模型的输入并以循环迭代的方式对所述文本摘要模型进行训练输出待抽取的句子的步骤包括: 将双向门控循环单元神经网络作为编码器以及解码器并在所述解码器的解码阶段引入注意力机制构建文本摘要模型; 将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练。
[权利要求 20]
根据权利要求19所述的计算机可读存储介质,其中,所述将所述词向量作为所述文本摘要模型的输入并根据循环迭代的方式对所述文本摘要模型进行训练的步骤包括: 将所述词向量输入至双向门控循环单元神经网络编码器进行编码得到句子 的编码向量; 将所述句子的编码向量输入至双向门控循环单元神经网络解码器进行解码得到待抽取的句子; 通过注意力机制将所述待抽取的句子反馈至所述解码器作为下一次解码的输入并以循环迭代的方式进行训练。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]