処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020170906 - 生成装置、学習装置、生成方法及びプログラム

Document

明 細 書

発明の名称 生成装置、学習装置、生成方法及びプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

非特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007  

発明の効果

0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107  

符号の説明

0108  

請求の範囲

1   2   3   4   5   6   7  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 生成装置、学習装置、生成方法及びプログラム

技術分野

[0001]
 本発明は、生成装置、学習装置、生成方法及びプログラムに関する。

背景技術

[0002]
 質問生成は、自然言語で記述された文章(パッセージ)が与えられた場合に、そのパッセージに関する質問(質問文)を自動生成するタスクである。
[0003]
 近年では、パッセージ中から切り出した一部分を回答として質問生成モデルに与えることで、回答部分のみに着目した質問生成を行う技術が提案されている(例えば非特許文献1参照)。このような技術では、例えば「NTTは2018年11月29日に東京都武蔵野市でR&Dフォーラム2018を開催しました。」というパッセージを用いて、このパッセージから切り出した「NTT」を回答として質問生成モデルに与えた場合、「R&Dフォーラムを開催した会社は?」等といった会社名を問う質問が生成される。同様に、例えば「2018年11月29日」を回答として質問生成モデルに与えた場合、「NTTがR&Dフォーラム2018を開催したのはいつ?」等といった時期を問う質問が生成される。

先行技術文献

非特許文献

[0004]
非特許文献1 : Xinya Du, Claire Cardie, "Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia", ACL2018

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、従来の質問生成では、パッセージ中で回答として質問生成モデルに与えられた範囲(すなわち、パッセージ中から切り出された回答部分の範囲)の単語等をそのまま使用した質問が生成される場合があった。このため、例えば、質問生成タスクの応用先であるチャットボットやFAQ検索等では利用されにくい、YES/NOで回答可能な質問が生成されてしまう場合があった。
[0006]
 本発明は、上記の点に鑑みてなされたもので、回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することを目的とする。

課題を解決するための手段

[0007]
 上記目的を達成するため、本発明の実施の形態における生成装置は、文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、前記生成手段は、前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする。

発明の効果

[0008]
 回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することができる。

図面の簡単な説明

[0009]
[図1] 本発明の実施の形態における生成装置の機能構成(回答及び質問生成時)の一例を示す図である。
[図2] 本発明の実施の形態における生成装置の機能構成(学習時)の一例を示す図である。
[図3] 本発明の実施の形態における生成装置のハードウェア構成の一例を示す図である。
[図4] 本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。
[図5] 本発明の実施の形態における学習処理の一例を示すフローチャートである。
[図6] 回答及び質問の一例を説明するための図である。
[図7] 本発明の実施の形態における生成装置の機能構成(回答及び質問生成時)の変形例を示す図である。

発明を実施するための形態

[0010]
 以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。以降の本発明の実施の形態では、パッセージを入力として、パッセージ中で回答となる可能性のある範囲と、その回答に関する質問とを同時に生成する質問生成モデル(以降、単に「生成モデル」とも表す。)を用いた生成装置10について説明する。本発明の実施の形態では、質問回答に用いられる手法である機械読解のモデルとデータセットとを活用することで、パッセージ中で回答となる可能性がある範囲(回答範囲)を複数抽出した上で、これらの回答範囲が回答となるような質問を生成する。これにより、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲の指定を不要とすることができる。なお、これに対して、従来技術では、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲を指定する必要がある。
[0011]
 なお、本発明の実施の形態では、生成モデルは、ニューラルネットワークを用いた機械学習モデルであるものとする。ただし、生成モデルには、複数のニューラルネットワークが用いられてもよい。また、生成モデルの一部又は全部に、ニューラルネットワーク以外の機械学習モデルが用いられていてもよい。
[0012]
 ここで、従来の質問生成では、パッセージの内容に基づく質問を生成するため、質問を構成する単語等をパッセージ中からそのまま使用(コピー)している。このため、例えば、与えられた回答に対応する範囲に含まれる単語等をパッセージ中からそのまま使用した質問が生成される場合がある。例えば、回答範囲「2018月11月29日」に対して、「NTTがR&Dフォーラム2018を開催したのは2018年11月29日?」等というYES/NOで回答可能な質問が生成される場合がある。このようなYES/NOで回答可能な質問は、例えば、質問生成タスクの応用先であるチャットボットやFAQ検索等では利用されにくい質問であるため、YES/NOで回答可能な質問は生成されないようにすることが好ましい。
[0013]
 そこで、本発明の実施の形態では、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲からのコピーを抑止する仕組みを生成モデルに導入する。より具体的には、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲から単語等がコピーされる確率が低くなるように調整(確率が0となるように調整することも含む)する。これにより、回答範囲以外の部分からコピーされた単語等で質問が生成され、YES/NOで回答可能な質問の生成を防止することができる。
[0014]
 <生成装置10の機能構成>
 本発明の実施の形態では、学習済みの生成モデルを用いて回答及び質問を生成する段階(回答及び質問生成時)と、この生成モデルを学習する段階(学習時)とが存在する。
[0015]
  ≪回答及び質問生成時≫
 まず、回答及び質問生成時における生成装置10の機能構成について、図1を参照しながら説明する。図1は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の一例を示す図である。
[0016]
 図1に示すように、回答及び質問生成時における生成装置10は、機能部として、分割部110と、テキスト処理部120と、素性抽出部130と、生成処理部140と、回答・質問出力部150とを有する。本発明の実施の形態では、回答及び質問生成時には、自然文で記述された文書(例えば、マニュアル等)が生成装置10に入力されるものとする。なお、この文書は、例えば、生成装置10又は他の装置に入力された音声を音声認識した結果として得られた文書であってもよい。
[0017]
 分割部110は、入力された文書を1以上の文章(パッセージ)に分割する。ここで、入力された文書が長文である場合等には文書全体を生成モデルで処理することは難しい。そこで、分割部110は、入力された文書を、生成モデルで処理可能な長さのパッセージ(例えば、数百~数千語程度の長さのパッセージ)に分割する。なお、分割部110によって分割された文書は、「部分文書」等と称されてもよい。
[0018]
 入力された文書を1以上のパッセージに分割する方法としては、任意の方法を用いることができる。例えば、文書の各段落をそれぞれパッセージに分割してもよいし、文書がHTML(HyperText Markup Language)形式等の構造化部署である場合にはタグ等のメタ情報を用いてパッセージに分割してもよい。また、例えば、1つのパッセージ中に含まれる文字数等を規定した分割ルールをユーザが独自に作成した上で、これらの分割ルールを用いてパッセージに分割してもよい。
[0019]
 以降のテキスト処理部120、素性抽出部130、生成処理部140及び回答・質問出力部150は、パッセージ単位で処理を実行する。したがって、分割部110によって文書が複数のパッセージに分割された場合、素性抽出部130、生成処理部140及び回答・質問出力部150は、パッセージ毎に繰り返し処理を実行する。
[0020]
 テキスト処理部120は、生成モデルに入力可能な形式にパッセージを変換する。後述する分散表現変換層141では単語単位で分散表現に変換するため、テキスト処理部120は、パッセージを単語単位に分割した形式(例えば、単語単位に半角スペースで区切った形式等)で表現される単語系列に変換する。ここで、パッセージを単語系列に変換する際の変換形式としては、後述する分散表現変換層141で分散表現に変換可能な形式であれば任意の形式を用いることができる。例えば、パッセージが英語である場合には、半角スペース区切りの単語をそのまま用いて単語系列にすることもできるし、単語をサブワードに分割した形式を単語系列とすることもできる。また、例えば、パッセージが日本語である場合には、パッセージを形態素解析した上で、その結果得られる形態素を単語として、これら単語を半角スペースで区切って単語系列としてもよい。なお、形態素解析器については、任意の解析器を用いることができる。
[0021]
 素性抽出部130は、回答及び質問の生成に有効な情報を素性情報としてパッセージから抽出する。この素性情報についても、後述する分散表現変換層141で分散表現に変換可能であれば任意の素性情報を用いることができる。例えば、上記の非特許文献1と同様に単語や文の参照関係を素性情報としてもよいし、パッセージから抽出した固有表現を素性情報としてもよい。なお、素性情報は、単に「素性」と称されたり、「特徴」又は「特徴量」等と称されたりしてもよい。また、素性情報をパッセージから抽出する場合に限られず、例えば、通信ネットワークを介して接続される他の装置等の外部から素性情報が取得されてもよい。
[0022]
 固有表現とは、パッセージ中の固有の表現(例えば、固有名詞等)を抽出した上で、カテゴリラベルを付与したものである。例えば、固有名詞「NTT」であればラベル「会社」を付与したものが固有表現となり、年月日「2018年11月29日」であればラベル「日時」を付与したものが固有表現となる。これらの固有表現は、生成モデルにより生成される質問のタイプを特定するために有用な情報となる。例えば、回答範囲の単語等に対してラベル「日時」が付与されていれば、「~はいつ?」等といった日時や時期を問うタイプの質問を生成すればよいと特定することが可能となる。また、例えば、回答範囲の単語等に対してラベル「会社」が付与されていれば、「~した会社は?」等といった会社名を問うタイプの質問を生成すればよいと特定することが可能となる。なお、質問のタイプとしては、これら以外にも、カテゴリラベルに応じて様々なタイプがある。
[0023]
 生成処理部140は、ニューラルネットワークを用いた生成モデルによって実現される。生成処理部140は、学習済み生成モデルのパラメータを用いて、パッセージ中で回答となる可能性のある範囲(回答範囲)を複数抽出し、これらの回答範囲が回答となるような質問を生成する。ここで、生成処理部140(つまり、ニューラルネットワークを用いた生成モデル)には、分散表現変換層141と、情報エンコード層142と、回答抽出層143と、質問生成層144とが含まれる。なお、これら各層は、ニューラルネットワークを用いた生成モデルを機能的に分割した場合に各機能をそれぞれ実現する層(レイヤー)のことであり、「層」の代わりに「部」と称されてもよい。
[0024]
 分散表現変換層141は、テキスト処理部120により変換された単語系列と、素性抽出部130により抽出された素性情報とを、生成モデルで扱うための分散表現に変換する。
[0025]
 ここで、分散表現変換層141は、まず、単語系列を構成する各単語と、各素性情報とをone―hotベクトルに変換する。例えば、生成モデルで使用する全語彙数をVとして、テキスト処理部120は、各単語を、当該単語に対応する要素のみを1、それ以外の要素を0とするV次元のベクトルにそれぞれ変換する。同様に、例えば、生成モデルで使用する素性情報の種類数をFとして、テキスト処理部120は、各素性情報を、当該素性情報に対応する要素のみを1、それ以外の要素を0とするF次元のベクトルにそれぞれ変換する。
[0026]
 次に、分散表現変換層141は、変換行列Mw∈RV×dを用いて、各単語のone―hotベクトルを、d次元の実数値ベクトル(以降では、この実数値ベクトルを「単語ベクトル」とも表す。)に変換する。なお、Rは実数全体の集合を表す。
[0027]
 同様に、分散表現変換層141は、変換行列Mf∈RF×d´を用いて、各素性情報のone―hotベクトルを、d´次元の実数値ベクトル(以降では、この実数値ベクトルを「素性ベクトル」とも表す。)に変換する。
[0028]
 なお、上記の変換行列Mw及びMfは、学習対象のパラメータとして生成モデルの学習時に学習されてもよいし、学習済みのWord2Vec等の既存の分散表現モデルが用いられてもよい。
[0029]
 情報エンコード層142は、分散表現変換層141で得られた単語ベクトルの集合を用いて、これらの単語ベクトルを、単語間の相互関係を考慮したベクトル系列H∈Rd×Tにエンコードする。ここで、Tは、単語ベクトルの系列長(すなわち、単語ベクトル集合の要素数)を表す。
[0030]
 なお、単語ベクトル集合のエンコード手法は、上記のベクトル系列Hが得られる手法であれば任意の手法を用いることができる。例えば、リカレントニューラルネットワークを用いてベクトル系列Hにエンコードしてもよいし、セルフアテンション(自己注意機構:Self-Attention)を用いた手法によってベクトル系列Hにエンコードしてもよい。
[0031]
 ここで、情報エンコード層142は、単語ベクトルの集合をエンコードすると同時に、分散表現変換層141で得られた素性ベクトルの集合も組み込んだエンコードをすることもできる。なお、素性ベクトル集合も組み込んだエンコード手法は、任意の手法を用いることができる。例えば、素性ベクトルの系列長(すなわち、素性ベクトル集合の要素数)が単語ベクトルの系列長Tと一致する場合、単語ベクトルと素性ベクトルとをそれぞれ結合させたベクトル(d+d´次元のベクトル)を情報エンコード層142の入力とすることで、素性情報も考慮したベクトル系列H∈R(d+d´)×Tを得てもよいし、単語ベクトルの集合と素性ベクトルの集合とをそれぞれ同一又は異なるエンコード層でエンコードしてベクトル系列H1及びH2を得た後、ベクトル系列H1を構成する各ベクトルとベクトル系列H2を構成する各ベクトルとをそれぞれ結合することで、素性情報も考慮したベクトル系列Hを得てもよい。又は、例えば、全結合層等のニューラルネットワークの層を利用して、素性情報も考慮したベクトル系列Hを得てもよい。
[0032]
 なお、情報エンコード層142は、素性ベクトル集合を組み込んだエンコードしてもよいし、素性ベクトル集合を組み込まないエンコードをしてもよい。情報エンコード層142で素性ベクトル集合を組み込まないエンコードをする場合は、生成装置10は、素性抽出部130を有していなくてもよい(この場合、分散表現変換層141には素性情報が入力されないため、素性ベクトルは作成されない。)。
[0033]
 なお、以降では、情報エンコード層142で得られたベクトル系列Hを、H∈Ru×Tとする。ここで、uは、素性ベクトル集合を組み込んだエンコードを行っていない場合はu=dであり、素性ベクトル集合も組み込んだエンコードを行った場合はu=d+d´である。
[0034]
 回答抽出層143は、情報エンコード層142で得られたベクトル系列H∈Ru×Tを用いて、パッセージ中から回答となる記述の始点と終点とを抽出する。始点と終点とが抽出されることで、この始点から終点までの範囲が回答範囲となる。
[0035]
 始点に関しては、ベクトル系列Hを重みW0∈R1×uにより線形変換して、始点ベクトルOstart∈RTを作成する。そして、始点ベクトルOstartに対して系列長Tでsoftmax関数を適用して確率分布Pstartに変換した上で、始点ベクトルOstartの各要素のうち、最も確率が高いs番目(0≦s<T)の要素を始点とする。
[0036]
 一方で、終点に関しては、まず、始点ベクトルOstartとベクトル系列Hとをリカレントニューラルネットワークに入力して、新しいモデリングベクトルM´∈Ru×Tを作成する。次に、このモデリングベクトルM´を重みW0により線形変換して、終点ベクトルOend∈RTを作成する。そして、終点ベクトルOendに対して系列長Tでsoftmax関数を適用して確率分布Pendに変換した上で、終点ベクトルOendの各要素のうち、最も確率が高いe番目(0≦e<T)の要素を終点とする。これにより、パッセージ中のs番目の単語からe番目の単語までの区間が回答範囲となる。
[0037]
 ここで、N個の回答範囲を得るには、上記のPstart及びPendを用いて、以下の(1-1)及び(1-2)によりN個の始点及び終点を抽出すればよい。なお、Nはユーザ等により設定されるハイパーパラメータである。
[0038]
 (1-1) 系列長をT、始点をi、終点をjとして、0≦i<T、かつ、i≦j<Tとなる任意の(i,j)に対して、P(i,j)=Pstart(i)×Pend(j)を計算する。
[0039]
 (1-2) P(i,j)の上位N個の(i,j)を抽出する。
[0040]
 これにより、N個の回答範囲が得られる。これら各回答範囲は質問生成層144に入力される。なお、回答抽出層143は、N個の回答範囲を出力してもよいし、N個の回答範囲にそれぞれ対応する文(つまり、パッセージ中で回答範囲に含まれる単語等で構成される文(回答文))を回答として出力してもよい。
[0041]
 ここで、本発明の実施の形態では、N個の回答範囲を得る際に、各回答範囲の少なくとも一部が重複しないようにする。例えば、1番目の回答範囲が(i1,j1)であり、2番目の回答範囲が(i2,j2)である場合、2番目の回答範囲は、「i2<i1かつj2<i1」又は「i2>j1かつj2>j1」のいずれかの条件を満たす必要がある。他の回答範囲と少なくとも一部が重複する回答範囲は抽出されない。
[0042]
 質問生成層144は、回答範囲と、ベクトル系列Hとを入力として、質問を構成する単語系列を生成する。単語系列の生成には、例えば以下の参考文献1に記載されているエンコーダ・デコーダモデルで用いられるリカレントニューラルネットワークをベースとしたものを使用する。
[0043]
 [参考文献1]
 Ilya Sutskever, Oriol Vinyals, Quoc V. Le, "Sequence to Sequence Learning with Neural Networks", NIPS2014
[0044]
 ここで、単語の生成には、リカレントニューラルネットワークが出力する単語の生成確率pgと、パッセージ中の単語をコピーして使用する確率pcの重み付き和で決定する。すなわち、単語の生成確率pは、以下の式(1)で表される。
[0045]
 p=λpg+(1-λ)pc ・・・(1)
 ここで、λは生成モデルのパラメータである。コピー確率pcは、以下の参考文献2に記載されているpointer-generator-networkと同様に、アテンション(注意機構:Attention)による重み値によって計算する。
[0046]
 [参考文献2]
 Abigail See, Peter J. Liu, Christopher D. Manning, "Get To The Point: Summarization with Pointer-Generator Networks", ACL2018
[0047]
 すなわち、生成する質問を構成するs番目の単語をwsとして、この単語wsを生成するときに、パッセージ中のt番目の単語wtがコピーされる確率を以下の式(2)で計算する。
[0048]
[数1]


 ここで、Htはベクトル系列Hのt番目のベクトル、hsはデコーダのs番目の状態ベクトルを表す。また、score(・)は、アテンションの重み値を決定するためにスカラー値を出力する関数であり、任意の関数が用いられてよい。なお、パッセージ中に含まれない単語のコピー確率は0となる。
[0049]
 ところで、単語wtが回答範囲に含まれる単語である場合には、上記の式(2)により、回答範囲に含まれる単語wtがコピーされる確率pcが計算されることになる。上述したように、質問を構成する単語を生成する際に、回答範囲に含まれる単語からはコピーされないようにすることが好ましい。そこで、本発明の実施の形態では、単語wtが回答範囲に含まれる場合は、pc(wt)を0とする。例えば、単語wtが回答範囲に含まれる場合は、上記の式(2)のscore(Ht,hs)に負の無限大(又は、例えば-10の30乗等の極めて小さい値)を設定する。上記の式(2)はsoftmax関数であるため、負の無限大が設定された場合の確率は0(極めて小さい値が設定された場合は極めて小さい確率)となり、回答範囲からの単語wtがコピーされることを防止(又は抑止)することができる。
[0050]
 なお、パッセージ中の単語wtがコピーされないようにする処理のことを「マスク処理」とも表す。回答範囲に含まれる単語wtがコピーされないようにする場合、回答範囲に対してマスク処理を施したことを意味する。
[0051]
 ここで、マスク処理を行う範囲は、回答範囲だけに限られず、例えばパッセージの性質等に応じてユーザ等によって自由に設定されてもよい。例えば、パッセージ中で、回答範囲内の文字列と一致する全ての文字列部分(つまり、パッセージ中で、回答範囲と同一の文字列が含まれる部分)にマスク処理を施してもよい。
[0052]
 回答・質問出力部150は、生成処理部140により抽出された回答範囲が表す回答(つまり、パッセージ中の回答範囲に含まれる単語等で構成される回答文)と、この回答に対応する質問とを出力する。なお、回答に対応する質問とは、当該回答により表される回答範囲を質問生成層144に入力することで生成された質問のことである。
[0053]
  ≪学習時≫
 次に、学習時における生成装置10の機能構成について、図2を参照しながら説明する。図2は、本発明の実施の形態における生成装置10の機能構成(学習時)の一例を示す図である。
[0054]
 図2に示すように、学習時における生成装置10は、機能部として、テキスト処理部120と、素性抽出部130と、生成処理部140と、パラメータ更新部160とを有する。本発明の実施の形態では、学習時には、機械読解の学習コーパスが入力されるものとする。機械読解の学習コーパスは、質問と、パッセージと、回答範囲との3つの組で構成されている。この学習コーパスを訓練データとして、生成モデルを学習する。なお、質問及びパッセージは自然文で記述されている。
[0055]
 テキスト処理部120及び素性抽出部130の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。また、生成処理部140の分散表現変換層141、情報エンコード層142及び回答抽出層143の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。ただし、生成処理部140は、学習済みでない生成モデルのパラメータを用いて、各処理を実行する。
[0056]
 生成処理部140の質問生成層144は、回答範囲と、ベクトル系列Hとを入力として、質問を構成する単語系列を生成するが、学習時では、回答範囲として、学習コーパスに含まれる回答範囲(以降、「正解回答範囲」とも表す。)を入力する。
[0057]
 又は、学習の進み具合(例えば、エポック数等)に応じて、正解回答範囲と、回答抽出層143から出力された回答範囲(以降、「推定回答範囲」とも表す。)とのいずれかを入力してもよい。このとき、学習の初期の段階から推定回答範囲を入力とした場合、学習が収束しない可能性がある。このため、推定回答範囲を入力とする確率Paをハイパーパラメータとして設定し、この確率Paによって正解回答範囲又は推定回答範囲のいずれを入力とするかを決定する。確率Paには、学習の初期の段階では比較的小さい値(例えば、0~0,05等)となり、学習が進むにつれて徐々にその値が大きくなるような関数を設定する。このような関数は任意の計算方法で設定してよい。
[0058]
 パラメータ更新部160は、正解回答範囲と推定回答範囲との誤差と、質問生成層144から出力された質問(以降、「推定質問」とも表す。)と学習コーパスに含まれる質問(以降、「正解質問」とも表す。)との誤差とを用いて、これらの誤差が最小となるように、既知の最適化手法によって学習済みでない生成モデルのパラメータを更新する。
[0059]
 <生成装置10のハードウェア構成>
 次に、本発明の実施の形態における生成装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本発明の実施の形態における生成装置10のハードウェア構成の一例を示す図である。
[0060]
 図3に示すように、本発明の実施の形態における生成装置10は、ハードウェアとして、入力装置201と、表示装置202と、外部I/F203と、RAM(Random Access Memory)204と、ROM(Read Only Memory)205と、プロセッサ206と、通信I/F207と、補助記憶装置208とを有する。これら各ハードウェアは、それぞれがバスBを介して通信可能に接続されている。
[0061]
 入力装置201は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置202は、例えばディスプレイ等であり、生成装置10の処理結果(例えば、生成された回答及び質問等)を表示する。なお、生成装置10は、入力装置201及び表示装置202の少なくとも一方を有していなくてもよい。
[0062]
 外部I/F203は、記録媒体203a等の外部記録媒体とのインタフェースである。生成装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、生成装置10が有する各機能部(例えば、分割部110、テキスト処理部120、素性抽出部130、生成処理部140、回答・質問出力部150及びパラメータ更新部160等)を実現する1以上のプログラムや、生成モデルのパラメータ等が記録されていてもよい。
[0063]
 記録媒体203aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
[0064]
 RAM204は、プログラムやデータを一時保持する揮発性の半導体メモリである。ROM205は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ROM205には、例えば、OS(Operating System)に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
[0065]
 プロセッサ206は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等であり、ROM205や補助記憶装置208等からプログラムやデータをRAM204上に読み出して処理を実行する演算装置である。生成装置10が有する各機能部は、ROM205や補助記憶装置208等に格納されている1以上のプログラムをRAM204上に読み出してプロセッサ206が処理を実行することで実現される。
[0066]
 通信I/F207は、生成装置10を通信ネットワークに接続するためのインタフェースである。生成装置10が有する各機能部を実現する1以上のプログラムは、通信I/F207を介して、所定のサーバ等から取得(ダウンロード)されてもよい。
[0067]
 補助記憶装置208は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置208に格納されているプログラムやデータには、例えば、OS、当該OS上で各種機能を実現するアプリケーションプログラム、生成装置10が有する各機能部を実現する1以上のプログラム、生成モデルのパラメータ等がある。
[0068]
 本発明の実施の形態における生成装置10は、図3に示すハードウェア構成を有することにより、後述する回答及び質問生成処理や学習処理を実現することができる。なお、図3に示す例では、本発明の実施の形態における生成装置10が1台の装置(コンピュータ)で実現されている場合を示したが、これに限られない。本発明の実施の形態における生成装置10は、複数台の装置(コンピュータ)で実現されていてもよい。また、1台の装置(コンピュータ)には、複数のプロセッサ206や複数のメモリ(RAM204やROM205、補助記憶装置208等)が含まれていてもよい。
[0069]
 <回答及び質問生成処理>
 次に、本発明の実施の形態における生成装置10により回答及び質問を生成する処理(回答及び質問生成処理)について、図4を参照しながら説明する。図4は、本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。なお、回答及び質問生成処理では、生成処理部140は、学習済み生成モデルのパラメータを用いる。
[0070]
 ステップS101:分割部110は、入力された文書を1以上の文章(パッセージ)に分割する。
[0071]
 なお、本発明の実施の形態では、文書が生成装置10に入力されるものとしたが、例えば、パッセージが生成装置10に入力される場合は、上記のステップS101は行われなくてもよい。この場合、生成装置10は、分割部110を有していなくてもよい。
[0072]
 以降のステップS102~ステップS107は、上記のステップS101での分割によって得られたパッセージ毎に繰り返し実行される。
[0073]
 ステップS102:次に、テキスト処理部120は、パッセージを単語単位に分割した形式で表現される単語系列に変換する。
[0074]
 ステップS103:次に、素性抽出部130は、パッセージから素性情報を抽出する。
[0075]
 なお、上記のステップS102及びステップS103の実行順は順不同であり、ステップS103が実行された後にステップS102が実行されてもよいし、ステップS102とステップS103とが平行して実行されてもよい。また、後述するステップS106で単語ベクトル集合をベクトル系列Hにエンコードする際に、素性情報を考慮しない場合(すなわち、素性ベクトル集合をエンコードに組み込まない場合)は、上記のステップS103は行われなくてもよい。
[0076]
 ステップS104:次に、生成処理部140の分散表現変換層141は、上記のステップS102で得られた単語系列を単語ベクトル集合に変換する。
[0077]
 ステップS105:次に、生成処理部140の分散表現変換層141は、上記のステップS103で得られた素性情報を素性ベクトル集合に変換する。
[0078]
 なお、上記のステップS104及びステップS105の実行順は順不同であり、ステップS105が実行された後にステップS104が実行されてもよいし、ステップS104とステップS105とが平行して実行されてもよい。また、後述するステップS106で単語ベクトル集合をベクトル系列Hにエンコードする際に、素性情報を考慮しない場合は、上記のステップS105は行われなくてもよい。
[0079]
 ステップS106:次に、生成処理部140の情報エンコード層142は、上記のステップS104で得られた単語ベクトル集合をベクトル系列Hにエンコードする。このとき、情報エンコード層142は、素性ベクトル集合を組み込んでエンコードしてもよい。
[0080]
 ステップS107:生成処理部140の回答抽出層143は、上記のステップS106で得られたベクトル系列Hを用いて、N個の回答範囲の始点及び終点をそれぞれ抽出する。
[0081]
 ステップS108:生成処理部140の質問生成層144は、上記のステップS107で得られたN個の回答範囲のそれぞれに対して、回答を生成する。
[0082]
 ステップS109:回答・質問出力部150は、上記のステップS107で得られたN個の回答範囲のそれぞれが表すN個の回答と、これらN個の回答のそれぞれに対応する質問とを出力する。なお、回答・質問出力部150の出力先は任意の出力先としてよい。例えば、回答・質問出力部150は、N個の回答及び質問を補助記憶装置208や記録媒体203a等に出力して保存してもよいし、表示装置202に出力して表示させてもよいし、通信ネットワークを介して接続される他の装置等に出力してもよいし。
[0083]
 <学習処理>
 次に、本発明の実施の形態における生成装置10が生成モデルを学習する処理(学習処理)について、図5を参照しながら説明する。図5は、本発明の実施の形態における学習処理の一例を示すフローチャートである。なお、学習処理では、生成処理部140は、学習済みでない生成モデルのパラメータを用いる。
[0084]
 ステップS201~ステップS205は、回答及び質問生成処理のステップS102~ステップS106と同様であるため、その説明を省略する。
[0085]
 ステップS206:生成処理部140の回答抽出層143は、ステップS205で得られたベクトル系列Hを用いて、N個の回答範囲(推定回答範囲)の始点及び終点をそれぞれ抽出する。
[0086]
 ステップS207:次に、生成処理部140の質問生成層144は、入力された正解回答範囲(又は、上記のステップS206で得られた推定回答範囲)に対して、推定質問を生成する。
[0087]
 ステップS208:パラメータ更新部160は、正解回答範囲及び推定回答範囲の誤差と、推定質問及び正解質問の誤差とを用いて、学習済みでない生成モデルのパラメータを更新する。これにより、生成モデルのパラメータが更新される。機械読解の各学習コーパスに対してパラメータ更新が繰り返し実行されることで、生成モデルが学習される。
[0088]
 <回答及び質問の生成結果>
 ここで、回答及び質問生成処理を行って、回答及び質問を生成した結果について、図6を参照しながら説明する。図6は、回答及び質問の一例を説明するための図である。
[0089]
 図6に示す文書1000が生成装置10に入力された場合、図4のステップS101ではパッセージ1100とパッセージ1200とに分割される。そして、パッセージ1100及びパッセージ1200のそれぞれに対して、図4のステップS103~ステップS107が実行されることで、パッセージ1100に対して回答範囲1110及び回答範囲1120が抽出され、パッセージ1200に対して回答範囲1210及び回答範囲1220が抽出される。
[0090]
 そして、図4のステップS108が実行されることで、パッセージ1100に対して、回答範囲1110が表す回答に対応する質問1111と、回答範囲1120が表す回答に対応する質問1121とが生成される。同様に、パッセージ1200に対して、回答範囲1210が表す回答に対応する質問1211と、回答範囲1220が表す回答に対応する質問1221とが生成される。なお、図6に示す例における質問1221に含まれる『「中断証明書」』との文字列は、パッセージ1200の回答範囲1220中の『中断証明書』ではなく、パッセージ1200の『・・・保険契約者からの請求により「中断証明書」を発行することができます。・・・』の『「中断証明書」』がコピーされたものである。
[0091]
 このように、本発明の実施の形態における生成装置10では、各パッセージから回答範囲を抽出し、この回答範囲が表す回答に対応する質問が適切に生成できていることがわかる。
[0092]
 <変形例(その1)>
 次に、変形例(その1)における生成装置10の機能構成について、図7を参照しながら説明する。図7は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の変形例を示す図である。
[0093]
 図7に示すように、回答範囲が生成装置10に入力される場合、当該生成装置10の生成処理部140には、回答抽出層143が含まれていなくてもよい。この場合、生成処理部140の質問生成層144は、入力された回答範囲から質問を生成する。なお、回答範囲が生成装置10に入力される場合であっても、質問生成層144で質問を生成する際にマスク処理を施すことが可能である。
[0094]
 また、回答・質問出力部150は、入力された回答範囲が表す回答と、この回答に対応する質問とを出力する。
[0095]
 なお、変形例(その1)の場合、回答範囲が生成装置10に入力されるため、学習時には、正解質問と推定質問との誤差のみを最小化するように、生成モデルのパラメータが更新されればよい。
[0096]
 <変形例(その2)>
 次に、変形例(その2)について説明する。本発明の実施の形態における生成装置10は、質問と、パッセージと、回答範囲との3つの組で構成されている学習コーパスを訓練データとして生成モデルを学習する代わりに、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することも可能である。これにより、回答及び質問生成時において、質問の代わりに、質問を表すキーワード集合(言い換えれば、質問の際に用いられそうなキーワードの集合)を生成することが可能となる。
[0097]
 ここで、一般的な検索エンジンを用いて質問の回答を探すための検索を行う際には、ユーザは、クエリとして自然文ではなく、キーワード集合を入力とする場合も多い。例えば、「R&Dフォーラムを開催した会社は?」といった質問の回答を探す場合のクエリとしては、キーワード集合「R&Dフォーラム 開催 会社」等を入力することが多い。
[0098]
 又は、ユーザからクエリとして自然文を入力する場合であっても、検索エンジンの前処理等の中で自然文から、検索キーワードとして不適切な単語等を削除する処理が行われることもある。
[0099]
 したがって、検索エンジンを用いてユーザの質問に対する回答を提示するシステムに本発明を適用するような場合は、検索に実際に用いられるクエリの形式に合せて質問と回答とのペアを用意した方が、ユーザの質問に対してより適切な回答を提示することが可能となる。つまり、このような場合は、質問(文)を生成するよりも、質問の際に使われそうなキーワードの集合を生成する方がより適切な回答を提示することが可能なる。
[0100]
 そこで、上述したように、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することで、(パッセージに含まれる)回答と、該回答を検索エンジンから検索するためのキーワード集合である、質問を表すキーワード集合とを生成する生成装置10を実現することが可能となる。これにより、例えば、検索の際にノイズとなる単語を予め排除することが可能となる。また、質問文ではなく、質問を表すキーワード集合を生成するため、例えば、質問文を生成する際にキーワードとキーワードとの間を埋める単語が誤生成されてしまうといった事態を回避することも可能となる。
[0101]
 なお、訓練データとする質問を表すキーワード集合は、例えば、学習コーパスに含まる質問に対して、形態素解析等を行って内容語のみを取り出す、品詞でフィルタリングを行う、等の方法により作成可能である。
[0102]
 <まとめ>
 以上のように、本発明の実施の形態における生成装置10は、1つ以上のパッセージが含まれる文書(又はパッセージ)を入力として、パッセージ中の回答範囲を指定することなく、回答とこの回答に関する質問とを生成することができる。このため、本発明の実施の形態における生成装置10によれば、文書(又はパッセージ)のみを与えれば、大量の質問とその回答とを自動的に生成することが可能となる。したがって、例えば、FAQを自動的に作成したり、質問応答型のチャットボットを容易に実現したりすることが可能となる。
[0103]
 FAQは商品やサービス等に関する「よくある質問集」であるが、従来はこれを人手で作成する必要があった。本発明の実施の形態における生成装置10を用いることで、回答範囲が含まれている文書を回答(A)、自動生成した質問文を質問(Q)とすることで、FAQを構成するQAペアを大量かつ容易に作成することができる。
[0104]
 また、質問応答型のチャットボットは、シナリオ方式という仕組みで動作しているものが多い。シナリオ方式では、QAペアを大量に用意することによるFAQ検索(例えば、特開2017-201478号公報を参照)に近い動作方式である。このため、例えば製品マニュアルやチャットボットキャラクチャのプロフィール文書等を生成装置10に入力することで、質問(Q)と、チャットボットが回答する回答(A)とのQAペアを大量に作成することが可能となり、チャットボットの作成コストを削減させつつ幅広い質問に回答可能なチャットボットを実現することができるようになる。
[0105]
 更に、上述したように、本発明の実施の形態における生成装置10では、質問に含まれる単語を生成する際に、回答範囲から単語がコピーされることを防止している。このため、YES/NOで回答可能な質問の生成を防止することが可能となり、例えば、FAQやチャットボットに相応しい質問及び回答のペアを生成することができる。したがって、本発明の実施の形態における生成装置10を用いることで、例えば、生成された質問及び回答のペアの修正や整備が不要となり、修正や整備に要していたコストの削減も可能となる。
[0106]
 なお、生成モデルを複数のニューラルネットワークを用いて構成する場合、例えば、回答抽出層143を有するニューラルネットワークと、質問生成層144を有するニューラルネットワークとの間で特定の層(例えば、情報エンコード層142等)を共有していてもよい。
[0107]
 本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

符号の説明

[0108]
 10    生成装置
 110   分割部
 120   テキスト処理部
 130   素性抽出部
 140   生成処理部
 141   分散表現変換層
 142   情報エンコード層
 143   回答抽出層
 144   質問生成層
 150   回答・質問出力部
 160   パラメータ更新部

請求の範囲

[請求項1]
 文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、
 前記生成手段は、
 前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成装置。
[請求項2]
 前記生成手段は、
 前記範囲に含まれる単語がコピーされる確率を、0又は微小値に調整する、ことを特徴とする請求項1に記載の生成装置。
[請求項3]
 前記生成手段は、
 エンコーダ・デコーダモデルに用いられるニューラルネットワークが出力する単語の生成確率と、前記範囲に含まれる単語がコピーされる確率との重み付き和で表される確率により、前記質問表現を構成する各単語を生成する、ことを特徴とする請求項1又は2に記載の生成装置。
[請求項4]
 前記質問表現は、質問文、又は、質問を表すキーワード集合である、ことを特徴とする請求項1乃至3の何れか一項に記載の生成装置。
[請求項5]
 文書を入力として、機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段と、
 前記質問表現と、該質問表現に対する正解の質問表現との誤差を少なくとも用いて、前記機械学習モデルのパラメータを学習する学習手段と、
 を有し、
 前記生成手段は、
 前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする学習装置。
[請求項6]
 文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手順、
 をコンピュータが実行し、
 前記生成手順は、
 前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成方法。
[請求項7]
 コンピュータを、請求項1乃至4の何れか一項に記載の生成装置における各手段、又は、請求項5に記載の学習装置における各手段として機能させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]