処理中

しばらくお待ちください...

設定

設定

1. WO2020008881 - 情報処理装置および情報処理方法

Document

明 細 書

発明の名称 情報処理装置および情報処理方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016  

発明の効果

0017  

図面の簡単な説明

0018  

発明を実施するための形態

0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147  

符号の説明

0148  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 情報処理装置および情報処理方法

技術分野

[0001]
 本技術は、ユーザとの対話を通じてクラウド上のサービスを操作可能な複数の個別エージェントが存在するなかで、ユーザの意図に適応した1以上の個別エージェントを選択的に用いる情報処理装置および情報処理方法に関する。

背景技術

[0002]
 近年、ユーザからのサービスを要求する情報を受け付けて、この情報に基づいてサービスを操作し、サービスの結果をユーザに提示するAIアシスタントサービスが普及している(たとえば、特許文献1参照)。また、ユーザから音声による要求情報を入力し、サービスの結果を音声や表示によりユーザ提示するクラウドベースによる音声AIアシスタントサービスが知られている。また近年、このような音声AIアシスタントサービスの活用の場はますます拡大しつつあり、自宅内で利用されるAmazon Echo(登録商標)やGoogle Home(登録商標)などのスマートスピーカの他、車内で利用されるものなども知られている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2015-022310号公報

発明の概要

発明が解決しようとする課題

[0004]
 上記のように、近年、様々な種類のAIアシスタントサービスのエージェントが存在する。そのため将来的には、一人のユーザが複数のエージェントを目的などに応じて使い分けるような状況が予想される。
 しかしながら、それぞれのエージェントの操作方法例えばエージェント起動用のトリガ、コマンドなどは異なるため、各エージェントのサービスをユーザが適宜使い分けるとなると、ユーザの操作の負担が増大することが予想される。また、それぞれのエージェントは互いに独立したものであるため、複数のエージェントのサービスは個別に利用されることに止まっていた。
[0005]
 本技術は、複数の種類のエージェントの各サービスを提供可能な環境において、ユーザがエージェントの種類を意識することなく複数のエージェントのサービスを選択的に利用することができるなど、ユーザの操作性を向上させることのできる情報処理装置および情報処理方法を提供することを目的とするものである。

課題を解決するための手段

[0006]
 上記の課題を解決するために、本技術に係る一形態の情報処理装置は、ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを提供可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示するように制御を行うように構成された制御部を有する。
[0007]
 前記制御部は、前記検出されたユーザの意図に対応する複数のサービスをそれぞれ提供可能な複数のエージェントを操作し、前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を前記ユーザに提示してよい。
[0008]
 前記制御部は、前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を、これらの結果を評価した結果とともに前記ユーザに提示してもよい。
[0009]
 上記情報処理装置は、前記ユーザの意図を音声により入力する音声入力部をさらに具備するものであってよい。
[0010]
 前記制御部は、サービスの結果を音声、画面表示、あるいはその両方により前記ユーザに提示するものであってよい。
[0011]
 また、前記制御部は、前記ユーザと一方の前記エージェントとのコミュニケーションをセッションデータとしてセッションデータ記憶部に保存し、前記セッションデータ記憶部に保存された前記セッションデータを用いて、他方の前記エージェントとのコミュニケーションを行ってよい。
[0012]
 さらに、前記制御部は、前記他方のエージェントとのコミュニケーションの際、前記セッションデータに存在しない質問を他方のエージェントから受けた際にその質問をユーザに提示し、前記ユーザからの回答を前記他方のエージェントに送信するものとしてよい。
[0013]
 前記制御部は、前記ユーザより前記個別エージェントの起動用トリガを含むコマンド音声が入力されたとき、このコマンド音声からの前記ユーザ意図の検出を無効化してよい。
[0014]
 前記制御部は、1つの前記特定サービスの機能の利用中に、当該特定サービスの機能との同時利用が抑制された他の特定サービスの機能を利用するユーザ意図が検出された場合、このユーザ意図に基づく他の特定サービスの機能を利用を抑制するように構成されてもよい。
[0015]
 前記制御部は、検出されたユーザ意図に対して利用するサービスの機能と周辺状況との関係が特定の抑制条件に該当する場合、前記検出されたユーザ意図に対するサービスの機能の利用を抑制するように構成されてものであってよい。
[0016]
 本技術に係る他の形態の情報処理方法は、制御部が、ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを操作可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示する。

発明の効果

[0017]
 以上のように、本技術によれば、複数の種類のエージェントの各サービスを提供可能な環境において、ユーザがエージェントの種類を意識することなく複数のエージェントのサービスを利用することができるなど、ユーザの操作性を向上させることができる。

図面の簡単な説明

[0018]
[図1] 本技術に係る第1の実施形態の情報処理装置であるマッシュアップエージェント23を含むシステム1の構成を示すブロック図である。
[図2] 図1のシステム1におけるマッシュアップエージェント23のハードウェア構成を示すブロック図である。
[図3] 図1のシステム1における基本動作のフローチャートである。
[図4] 複数のサービスを利用したマッシュアップ処理のその1を説明するためのブロック図である。
[図5] 複数のサービスを用いたマッシュアップ処理のその2を説明するためのブロック図である。
[図6] セッションデータを用いたマッシュアップ処理について説明するためのシステム1のブロック図である。
[図7] 複数の特定サービス機能の同時利用を抑制する処理の具体例を説明するためのシステム1のブロック図である。
[図8] 新たなサービスのセットアップ方法を説明するためのブロック図である。
[図9] 図8の新たなサービスのセットアップの手順を示すフローチャートである。
[図10] 未知のトリガおよび未知のコマンドを保存することのできるシステム1の構成を示すブロック図である。
[図11] 未知のトリガおよび未知のコマンドを保存する動作のフローチャートである。
[図12] 2つの個別エージェントを介してそれぞれ提供される2つの買い物サービスA、Bの商品検索機能によってそれぞれ得られた特定商品に関する検索結果とこれらの評価結果の提示例を示す図である。
[図13] 買い物調停行動木の例を示す図である。

発明を実施するための形態

[0019]
 以下、本技術に係る実施形態を説明する。
 <第1の実施形態>
 図1は、本技術に係る第1の実施形態の情報処理装置であるマッシュアップエージェント23を含むシステム1の構成を示すブロック図である。
[0020]
 (本実施形態の要旨)
 本技術に係る第1の実施形態の情報処理装置であるマッシュアップエージェント23は、ユーザUの意図を検出し、検出されたユーザUの意図に対応するサービス(16aまたは16b)を提供可能な個別エージェント(21または22)を操作し、個別エージェント(21または22)がサービス(16aまたは16b)から提供された結果をユーザUに提示する制御部236(図2参照)を有する。
[0021]
 個別エージェント21、22は互いに独立してサービス16a、16bを操作可能な互いに異なるAIアシスタントサービスのエージェントである。
 ここで「サービスを操作する」とは、個別エージェント21、22がサービスに実行させる機能を選択して、その機能を実行させることを言う。「個別エージェントを操作する」とは、マッシュアップエージェント23が、ユーザUの意図に対応するサービスを提供するために、そのサービスを提供可能な個別エージェントを選択して、その個別エージェントにサービスを操作させることを言う。
[0022]
 以下、第1の実施形態のマッシュアップエージェント23を有するシステム1の構成および動作を、より詳細に説明する。
 図1に示したように、このシステム1は、クラウド10とエッジ20を有する。
[0023]
 クラウド10には、個別エージェント21、22によってそれぞれ操作可能な複数のサービス16a、16bが存在する。各々のサービス16a、16bはそれぞれ1以上の機能を有する。さらに、クラウド10にはマッシュアップサービス15と、各種のデータベース/知識ベース11、12、13、14が存在する。
[0024]
 マッシュアップサービス15、サービス16a、16bはそれぞれコンピュータにより構成される。これらのコンピュータはそれぞれ特定の機能を実行するために必要なプログラムとデータを有し、個別エージェント21、22およびマッシュアップエージェント23などからの要求に応じて、特定の機能を実行する。
[0025]
 一方、エッジ20は、ユーザUとサービス16aとの双方向コミュニケーションを仲介する個別エージェント21と、ユーザUとサービス16bの双方向コミュニケーションを仲介する個別エージェント22と、ユーザUと各個別エージェント21、22との双方向コミュニケーションを仲介するマッシュアップエージェント23を有する。
[0026]
 マッシュアップエージェント23はユーザUに対するフロントエンドとして機能する。マッシュアップエージェント23はユーザUから例えば音声などによって入力されるコミュニケーションの中からユーザ意図を検出する。ユーザ意図とは、例えば"○○を購入したい"、"××の予約をとりたい"といった、ユーザUがサービス16a、16bの機能を利用することによって解決したい事柄である。マッシュアップエージェント23は、検出したユーザ意図に対応するサービスを提供可能な個別エージェントを判断してこれを操作し、そのサービスによって提供された結果を個別エージェントから受け取り、ユーザUに提示するように構成される。このようなマッシュアップエージェント23による一連の処理を本実施形態では"マッシュアップ処理"と呼ぶ。
[0027]
 また、マッシュアップエージェント23は、個別エージェント21、22と同様、クラウド上10の各種のサービスに直接アクセスして、それらのサービスの機能を利用することができる。
[0028]
 マッシュアップエージェント23は、ユーザUと音声でコミュニケーションを行うタイプの個別エージェントを操作するために、当該個別エージェントの起動用のトリガとサービス操作用のコマンドを含むトリガ付きコマンド音声を合成出力し、当該個別エージェントからの音声による応答を音声認識を通じて解釈し、ユーザUへの提示情報を生成する。
[0029]
 また、マッシュアップエージェント23は、電子メールやSNS(Social Networking Service)メッセージなどを用いて個別エージェントとコミュニケーションを行うようにしてもよい。
[0030]
 (マッシュアップエージェント23の構成)
 図2は、マッシュアップエージェント23のハードウェア構成を示すブロック図である。
 マッシュアップエージェント23は、音声入力部231、音声出力部232、ディスプレイ部234、無線通信部235、制御部236を備える。音声入力部231は、ユーザUの音声を入力するものである。音声出力部232はサービスの結果などをユーザUに音声で通知するためのものである。また、音声出力部232は、音声AIアシスタンスサービスを行う個別エージェントに対して、ユーザ意図に対応したトリガ付きコマンド音声を出力する。ディスプレイ部234はサービスの結果などをユーザUに表示により通知するためのものである。無線通信部235は、クラウド10上の各種サービスとの通信、さらにはユーザUのスマートホン、携帯電話等のユーザ情報端末との通信を行う。制御部236は、音声入力部231より取り込んだ音声の認識、音声認識等を通じて得たユーザ意図などの情報に基づくAI(Artificial Intelligence)処理、音声出力部232に出力する音声の合成、ディスプレイ部234に表示させる画面データの生成処理などを行う。
[0031]
 制御部236は、主にCPU(Central Processing Unit)と、メインメモリと、ROM(Read Only Memory)等で構成される。メインメモリあるいはROMには、CPUに実行させるプログラムなどが格納される。
[0032]
 さらに、マッシュアップエージェント23は、クラウド10に配置された上記各種のデータベース/知識ベース11、12、13、14のデータ/知識のためのキャッシュ24を備える。このキャッシュ24は、マッシュアップエージェント23に内蔵されたものであってもよいし、マッシュアップエージェント23の外に存在するものであってもよい。キャッシュ24は大容量のストレージ、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、その他の半導体メモリ装置、光ディスクドライブなどによって構成される。
[0033]
 個別エージェント21,22のハードウェア構成は基本的にはマッシュアップエージェント23と同様であるので、ここでは説明を省略する。
[0034]
 図1の説明に戻る。クラウド10上のマッシュアップサービス15は、マッシュアップエージェント23から要求に応じて、クラウド10に存在する各種のデータベース/知識ベース11、12、13、14を参照して、ユーザUの意図に対応したサービス16a、16bに直接アクセスすることが可能である。マッシュアップサービス15は、サービス16a、16bによって提供された結果をマッシュアップエージェント23に応答する。
[0035]
 (各種データベース/知識ベース、キャッシュについて)
 このシステム1において、クラウド10上には、ユーザデータベース11、サービス知識ベース12、マッシュアップ知識ベース13、セッションデータベース14が配置され、エッジ20にはこれらデータベース11、14および知識ベース12、13のキャッシュ24が設けられている。
[0036]
 ユーザデータベース11(以下、「ユーザDB11」と呼ぶ。)には、ユーザUが利用できるサービスのサービス識別子、ユーザUが当該サービスを利用するために必要なユーザアカウント情報、当該サービスの利用に伴ってサービス毎に蓄積されたポイント情報など、ユーザ個人に関する各種の情報が保存される。
[0037]
 サービス知識ベース12(以下、「サービスKB12」と呼ぶ。)には、サービス識別子、サービスを操作する個別エージェントの操作方法、個別エージェントからの応答の解釈方法などが格納される。個別エージェントの操作方法には、エッジ20からのマイクや携帯電話を用いて入力される音声による操作方法、マッシュアップエージェント23からサービスを操作するためのWebAPIなどがある。エッジ20からの音声入力による操作方法は、例えば、個別エージェントを起動させるためのトリガ(ウェイクコマンド)、サービス操作用のコマンドなどの情報を含む。
[0038]
 マッシュアップ知識ベース13(以下、「マッシュアップKB13」と呼ぶ。)には、ユーザ行動識別子毎の行動木などがマッシュアップ知識として格納される。ユーザ行動識別子は、例えば、商品の購入、旅行の予約/計画、音楽/動画の再生など、サービスを使ってユーザが達成したい事柄(ユーザ意図)の識別子である。ユーザ行動識別子は、マッシュアップエージェント23がユーザUとのコミュニケーションから抽出するユーザ意図に基づいてマッシュアップエージェント23によって生成される。行動木は、ユーザ意図をクラウド上の1以上のサービスを操作することによって実現するための行動の手順などを木構造で表現したデータ構造である。
[0039]
 セッションデータベース14(以下、「セッションDB14」と呼ぶ。)には、1つのユーザ意図がクラウド上の1以上のサービスを操作することによって実現するまでのユーザUとサービスとの間で発生したコミュニケーションの内容がセッションデータとして保存される。
[0040]
 (マッシュアップの基本動作)
 図3は本実施形態のシステム1における基本動作のフローチャートである。
[0041]
 まず、マッシュアップエージェント23の制御部236は、ユーザUとのコミュニケーション内容からユーザ意図を検出する(ステップS101)。マッシュアップエージェント23の制御部236は、ユーザ意図を検出すると、このユーザ意図に対応するユーザ行動識別子を生成し、キャッシュ24にこのユーザ行動識別子に対応する行動木およびこの行動木に記述されるサービスに関する情報など、ユーザ意図に対するマッシュアップを行うために必要な情報(以下、この情報を「マッシュアップ知識」と呼ぶ。)が保持されているかどうかを調べる(ステップS102)。
[0042]
 目的のマッシュアップ知識がキャッシュ24に保持されている場合(ステップS102のYES)、マッシュアップエージェント23の制御部236は、キャッシュ24から該当するマッシュアップ知識を抽出する(ステップS103)。
[0043]
 次に、マッシュアップエージェント23の制御部236は、抽出したマッシュアップ知識に含まれる行動木に記述されるサービスの操作方法を、マッシュアップ知識に含まれるサービスに関する情報から確認する。ここで、サービスの操作方法には、大きく分けて"エッジ操作(音声入力)"と、"クラウド操作(WebAPI)"とがある(ステップS105)。サービスの操作方法が"エッジ操作(音声入力)である場合、マッシュアップエージェント23の制御部236は、そのサービスの操作方法に従って、個別エージェントを介して当該サービスを操作するためのトリガ付きコマンド音声を合成し、音声出力部232より出力する(ステップS106)。例えば、行動木に記述されるサービスがサービス16aである場合、このサービス16aを操作可能な個別エージェント21を介して該サービス16aを操作するためのトリガ付きコマンド音声を出力する。
[0044]
 その後、マッシュアップエージェント23は、当該サービス16aから提供された結果を個別エージェント21を通じて取得し(ステップS111)、その結果を、音声、画面表示、またはその両方によってユーザUに提示する(ステップS112)。
[0045]
 また、ステップS105で、サービスの操作方法が"クラウド操作(WebAPI)"である場合、マッシュアップエージェント23の制御部236はマッシュアップサービス15に、当該サービスのサービス識別子を含むマッシュアップ依頼を送信する。マッシュアップサービス15は、この依頼を受けると、これに含まれるサービス識別子に対応するサービスを操作するためのWebAPIを作成し(ステップS108)、このWebAPIを用いてサービスの操作を行う(ステップS109)。マッシュアップサービス15は、サービスの結果を取得すると、このサービスの結果をマッシュアップエージェント23に送信する(ステップS113)。マッシュアップエージェント23は、マッシュアップサービス15より取得したサービス結果を、音声、画面表示、またはその両方によってユーザUに提示する(ステップS112)。
[0046]
 ステップS102で、該当するマッシュアップ知識がキャッシュ24に保持されていないことが判定された場合(ステップS102のNO)、マッシュアップエージェント23からマッシュアップサービス15に、該当するマッシュアップ知識を要求する。マッシュアップサービス15は、この要求を受けると、この要求に含まれるユーザ行動識別子に対応する行動木をマッシュアップKB13から抽出するとともに、サービスKB12から当該行動木に記述されるサービスに関する情報を抽出し、これらの情報を、マッシュアップエージェント23に送信する(ステップS107)。マッシュアップエージェント23の制御部236は、マッシュアップサービス15から送信された情報であるマッシュアップ知識をキャッシュ24に保存してキャッシュ24を更新する(ステップS104)。この後、前述したステップS105より以降の動作が実行される。
[0047]
 上記のように、本実施形態のシステム1では、マッシュアップエージェント23が、ユーザUの意図に対応するサービスを提供可能な個別エージェントを操作して、ユーザ意図に対応するサービスをユーザUに提供する。したがって、ユーザUは自ら個別エージェントを選択して起動させることなく、複数の個別エージェントのサービスを利用することができる。これによりユーザUの操作性が向上する。
[0048]
 (複数のサービスを用いたマッシュアップ処理のその1)
 上記のマッシュアップの基本動作の説明は、利用するサービスが1つである場合を想定したものであるが、次に、複数のサービスを利用したマッシュアップ処理について説明する。
 図4は複数のサービスを利用したマッシュアップ処理のその1を説明するためのブロック図である。
[0049]
 本例では、マッシュアップエージェント23の制御部236が、ユーザUとのコミュニケーション内容から、例えば"商品Xを購入したい"というユーザ意図を検出したこととする。
[0050]
 マッシュアップエージェント23の制御部236は、検出したユーザ意図に対応するユーザ行動識別子を生成する。ここでは、エッジ20内のキャッシュ24に当該ユーザ行動識別子に対するマッシュアップ知識が保持されている場合を想定して説明を進める。ユーザ行動識別子に対応する行動木は、例えば"価格調査サービスを利用して複数の買い物サービスそれぞれの対象商品の価格を調査し、最も価格の低い買い物サービスからの商品購入をユーザに薦め、ユーザにより選択された買い物サービスからの対象商品を購入する"というものであったとする。
[0051]
 マッシュアップエージェント23の制御部236は、キャッシュ24から抽出したマッシュアップ知識に基づいて価格調査サービス16eの操作方法を調べる。価格調査サービス16eの操作方法が"音声入力"ならば、マッシュアップエージェント23の制御部236は、価格調査エージェント27を起動させるトリガと、対象商品Xを特定する情報と、価格調査を要求するコマンドなどを含むトリガ付きコマンド音声を合成し、音声出力部232より出力する。価格調査エージェント27はこのトリガ付きコマンド音声に基づいて価格調査サービス16eを操作し、価格調査サービス16eによるサービスの結果を取得する。
[0052]
 マッシュアップエージェント23の制御部236は、価格調査サービス16eによる価格調査の結果から、行動木に基づいてユーザUに提示する応答を生成してユーザUに提示する。例えば、"買い物サービス16cで買うのがお得です。"といった応答が生成されてユーザUに音声、画面表示、あるいはその両方により提示される。
[0053]
 ユーザUは提示された応答に対し、例えば"買い物サービス16cで商品Xを購入して"のような音声入力を行ったこととする。マッシュアップエージェント23の制御部236は、上記の行動木に基づいて、ユーザUの音声に含まれる"買い物サービス16c"を選択された買い物サービスとして判断し、買い物エージェント25を操作して買い物サービス16cから対象商品を購入するためのトリガ付きコマンド音声を合成して出力する。
[0054]
 買い物エージェント25は、このトリガ付きコマンド音声に従って買い物サービス16cを操作して商品Xを購入するための処理を行う。
[0055]
 上記のように、本実施形態のシステム1では、マッシュアップエージェント23が、ユーザ意図に対応する複数のサービスをそれぞれ提供可能な複数の個別エージェントを特定して、それぞれの個別エージェントを起動させてユーザ意図に対応する複数のサービスを提供することによって、ユーザUは自ら複数の個別エージェントを順番に選択して起動させることなく、複数の個別エージェントのサービスを利用することができる。これによりユーザUの操作性が向上する。
[0056]
 (複数のサービスを用いたマッシュアップ処理のその2)
 図5は複数のサービスを用いたマッシュアップ処理のその2を説明するためのブロック図である。
 本例は、ユーザUから例えば"○○に旅行したい"、"食事をしたい"といった大まかなユーザ意図が与えられた場合のマッシュアップ処理である。
[0057]
 マッシュアップエージェント23の制御部236は、例えば"○○に旅行したい"という大まかなユーザ意図を検出した場合、このユーザ意図に対応するユーザ行動識別子を生成し、このユーザ行動識別子に対応する行動木を含むマッシュアップ知識をキャッシュ24から抽出する。そして、このマッシュアップ知識に基づいてマッシュアップエージェント23の制御部236は、例えば次のように複数のサービスを操作することによってのマッシュアップ処理を行う。なお、ユーザDB11には、ユーザUに関する情報として、ユーザUの年齢、性別、渡航履歴、職業などの情報も格納されているものとする。
[0058]
 マッシュアップエージェント23の制御部236は、"○○に旅行したい"という大まかなユーザ意図における"○○"が意味する旅行の行先が海外であることを判断すると、その旅行先の国の政府サイト(ウェブサービス)にアクセスして渡航制限を確認し、ユーザDB11に格納されたユーザUの情報をもとに、当該ユーザUが渡航制限を受ける対象者であるかどうかを確認し、その結果をユーザUに音声、画面表示、あるいはその両方により提示する。
[0059]
 当該ユーザUが渡航制限を受けない者である場合、マッシュアップエージェント23の制御部236は、ユーザ本人のパスポートおよびビザの発給状況を調べ、その結果をユーザUに音声、画面表示、あるいはその両方により提示する。なお、ユーザ本人のパスポートおよびビザの発給状況はユーザDB11にて管理しておくことによって、マッシュアップエージェント23の制御部236が知ることができる。
[0060]
 次に、マッシュアップエージェント23の制御部236は、旅行予約エージェント28を介して、旅行予約機能を持ったサービス16fを操作することによって、ユーザUが意図する旅行先に関連する旅行プラン情報を収集し、ユーザUに、音声、画面表示、あるいはその両方により提示する。
[0061]
 また、ユーザUが旅行に関連する各種予約を自分で確保したい場合を考慮して、マッシュアップエージェント23の制御部236は、交通機関のチケット予約、ホテル予約、レンタカー予約、レストラン予約、お薦めスポットの紹介などの機能を持つ各サービス16g、16hをそれぞれ提供可能な複数の個別エージェント29、30をそれぞれ操作して、それぞれのサービスから提供された結果に対応する複数の情報画面をユーザUに提示する。
[0062]
 ユーザUは提示された複数の情報画面に基づいて実際に利用したいサービスがあればそのサービス(例えば、サービス16gとする。)を選択し、予約、購入などの新たなユーザ意図をマッシュアップエージェント23に音声などで伝えることで、マッシュアップエージェント23の制御部236は、選択されたサービス16gを操作可能なホテル予約エージェント29に向けたトリガ付きコマンド音声を合成し、出力する。これにより選択されたサービス16gの機能が実行され、その結果が、ホテル予約エージェント29およびマッシュアップエージェント23を通じてユーザUに提示される。
[0063]
 上記のように、本実施形態のシステム1では、ユーザUから例えば"○○に旅行したい"といったような大まかなユーザ意図をマッシュアップエージェント23に与えるだけで、その大まかなユーザ意図に対応する複数のサービスを提供可能な複数の個別エージェントが起動されて複数のサービスが提供される。これによりユーザUの操作性が向上する。
[0064]
 (セッションデータを用いたマッシュアップ処理)
 本実施形態のシステム1において、マッシュアップエージェント23の制御部236は、ユーザと一方の個別エージェントとのコミュニケーションをセッションデータとしてキャッシュ24に保存し、このキャッシュ24に保存された前記セッションデータを用いて、他方の個別エージェントとのコミュニケーションを行うように構成され得る。
[0065]
 図6はこのセッションデータを用いたマッシュアップ処理について説明するためのシステム1のブロック図である。
 本例では、マッシュアップエージェント23の制御部236が、複数の個別エージェント31、32との間で順次、実質的に等価なコミュニケーションを行うことで、複数のサービス16i、16jを操作し、複数の個別エージェント31、32が受け取った複数のサービス16i、16jより提供された結果を例えば統合するなどして得た結果をユーザUに提示する。
[0066]
 複数の個別エージェント31、32との間で順次、実質的に等価なコミュニケーションを行うためにセッションデータが用いられる。
 セッションDB14およびキャッシュ24には、マッシュアップエージェント23が仲介したユーザUと1つの個別エージェントとの相互のコミュニケーションの内容がセッションデータとして保存される。
[0067]
 ここで、セッションデータを収集した際のユーザUとのコミュニケーション相手である個別エージェントが図6の住宅物件検索エージェント31である場合を想定する。図6のシステム1には、同様の住宅物件検索機能を持つもう一つの住宅物件検索エージェント32が存在する。この場合、マッシュアップエージェント23の制御部236は、上記のセッションデータを用いて、もう一つの住宅物件検索エージェント32との間でユーザUに代わってコミュニケーションを行う。
[0068]
 例えば、マッシュアップエージェント23による仲介により、ユーザUと一方の住宅物件検索エージェント31との間で次のようなコミュニケーションが行われたとする。
 1.住宅物件検索エージェント31はユーザUに"お家賃の希望はございますか?"という質問をした。
 2.この質問に対し、ユーザUは"10万円以下で"と回答した。
 3.住宅物件検索エージェント31はユーザUに"お部屋の向きの希望はございますか?"と質問をした。
 4.ユーザUは"南向きで"と回答した。
 5.住宅物件検索エージェント31はユーザUに"間取りの希望はございますか?"という質問をした。
 6.ユーザUは"1LDKで"と回答した。
[0069]
 マッシュアップエージェント23の制御部236は、上記1-6のコミュニケーションの内容をセッションデータとしてセッションDB14に保存する。
[0070]
 その後、マッシュアップエージェント23の制御部236は、もう一つの物件検索機能エージェント32を起動させ、セッションDB14に保存された上記のセッションデータに基づき、物件検索機能エージェント32からユーザUへの質問に対して回答を生成する。
[0071]
 例えば、マッシュアップエージェント23と住宅物件検索エージェント32との間では次のようなコミュニケーションが行われる。
 1.住宅物件検索エージェント32はユーザに"家賃の予算は?"という質問をした。
 2.この質問に対し、マッシュアップエージェント23の制御部236は、セッションデータに基づいて"10万円以下で"と回答した。
 3.住宅物件検索エージェント32はユーザUに"お部屋の向きの希望?"という質問をした。
 4.この質問に対し、マッシュアップエージェント23の制御部236はセッションデータに基づいて"南向きで"と回答した。
 5.住宅物件検索エージェント32は"交通手段の条件は?"という質問をした。この質問内容はセッションDB14のセッションデータに存在しないので、マッシュアップエージェント23の制御部236は、この質問をユーザUに提示する。
 6.ユーザUは"徒歩5分以内で"と回答する。マッシュアップエージェント23は、この回答を住宅物件検索エージェント32に伝える。
[0072]
 そしてマッシュアップエージェント23の制御部236は、複数の住宅物件検索エージェント31、32を介して複数のサービス16i、16jから提供された結果をユーザUに音声、画面表示、あるいはその両方により提示する。
[0073]
 このように、同様の機能を持つ複数のサービスを同様の条件で利用する際に、最初に利用した一方のサービスの個別エージェントとユーザとの間でのコミュニケーションの内容がセッションデータとしてセッションDB14に保存される。次に利用する他方のサービスの個別エージェントとの間では、マッシュアップエージェント23が、セッションDB14に保存されたセッションデータに基づいて、他方のサービスの個別エージェントからの質問に対する回答を生成し、個別エージェントに応答する。これによりユーザUは、複数の個別エージェントに対して同様の回答を繰り返すことなく、複数のサービスの結果を得ることができる。これによりユーザの操作性がアップする。
[0074]
 (トリガ付きコマンド音声の入力時の処理)
 ここまで、マッシュアップエージェント23が、ユーザUとのコミュニケーションからユーザ意図を検出し、このユーザ意図に対応する行動木に従って、ユーザ意図を解決するサービスを、個別エージェントを介して操作する場合について説明してきた。
[0075]
 例えば、ユーザUから"個別エージェントGで音楽を聴きたい"という音声が入力された場合、マッシュアップエージェント23の制御部236は、その個別エージェントG用の起動用トリガと音楽再生コマンドを含むトリガ付きコマンド音声を合成して出力することによって、個別エージェントGを反応させる。
[0076]
 これに対し、マッシュアップエージェント23が、ユーザUから例えば"OK Google(登録商標)、××して"のように、典型的な音声AIアシスタントシステムの個別エージェントのトリガ付きのコマンドの音声を入力した場合には、このコマンド音声からのユーザ意図の検出を無効化することによって、個別エージェントにそのコマンド音声に応答させるようになっている。これによりマッシュアップエージェント23による余計な処理の実行を回避できる。
[0077]
 (複数の特定サービス機能の同時利用の抑制)
 1つのエッジ20で同時に利用することが不向きな複数のサービスの機能の組み合わせが存在する。例えば、複数のサービスの音楽再生機能が同時に起動されてそれぞれによって音楽が再生される状況は一般的には望まれない。また、複数の音楽再生機能が共に起動されることは許されても、音を鳴らした再生は一方の音楽再生機能にだけにしか許されないようにすることが望ましい。
[0078]
 マッシュアップエージェント23の制御部236は、このように同時に起動したり利用することが不向きな複数のサービスの機能が同時に利用されることが抑制されるように、一方のサービスの音楽再生機能の利用中に、他方のサービスの音楽再生機能を利用するユーザ意図が検出された場合には、例えば、このユーザ意図を無視して他方のサービスを操作する個別エージェントを起動させないようにする。
[0079]
 図7は複数の特定サービス機能の同時利用を抑制する処理の具体例を説明するためのシステム1のブロック図である。
 エッジ20には、同時に利用することが不向きな複数のサービスの機能の組み合わせの情報を格納するサービス利用制限データベース201が設けられる。
[0080]
 例えば、サービス16kとサービス16mはともに音楽再生機能を持つものとする。一方のサービス16kは個別エージェント33によって操作可能とされ、他方のサービス16mは別の個別エージェント34によって操作可能とされている。サービス利用制限データベース201には、サービス16kの音楽再生機能とサービス16mの音楽再生機能が同時に利用することが不向きな複数のサービスの機能の組み合わせであることを示す情報が格納されているものとする。
[0081]
 このような条件において、マッシュアップエージェント23の制御部236は、例えば、サービス16kの音楽再生機能がユーザUにより利用されているとき、他方のサービス16mの音楽再生機能を利用するユーザ意図が検出されても、例えば、このユーザ意図を無視するなどして他方のサービス16mを操作する個別エージェント34を起動させないようにする。これにより、複数のサービス16k、16mの音楽再生機能が同時に利用されることが抑制される。
[0082]
 (周辺状況に応じた特定サービス機能の利用抑制)
 さらに、サービス利用制限データベース201には、同時に利用することが不向きな複数のサービスの機能の組み合わせに関する情報の他、周辺状況例えば音楽再生用のプレーヤ機器に電源が入っているかどうかなどのステータスなどと、この周辺状況に対して利用不可なサービスの機能との関係が抑制条件として格納されている。例えば、プレーヤ機器に電源が入っていない場合、音楽を再生するすべてサービスの機能の利用は抑制される。
[0083]
 マッシュアップエージェント23の制御部236は、ユーザ意図を検出すると、周辺状況を調べ、検出したユーザ意図に対して利用するサービスの機能と周辺状況との関係が、サービス利用制限データベース201に抑制条件として格納された関係であるかどうかを判定する。マッシュアップエージェント23の制御部236は、検出したユーザ意図に対して利用するサービスの機能と周辺状況との関係が抑制条件に該当することを判定すると、検出されたユーザ意図に対するサービスの機能を利用不可にするなどして抑制する。これにより、例えば、プレーヤ機器に電源が入っていないにも拘わらず、サービスの音楽再生機能を利用するなどの無益なサービス機能の利用を防止できる。
[0084]
 (新たなサービスのセットアップ方法)
 次に、エッジ20に新たなサービスを導入するためのセットアップ方法について説明する。
[0085]
 図8はこの新たなサービスのセットアップ方法を説明するためのブロック図である。図9は新たなサービスのセットアップの手順を示すフローチャートである。なお、新たなサービスを導入することは新たな個別エージェントの導入を伴う。
[0086]
 サービスKB12には、様々なサービスのセットアップ方法の情報としてセットアップ方法行動木がサービス識別子に対応付けて格納されている。さらに、サービスKB12には、サービス毎にサポートするSSO(Single Sign-On)、個別エージェントのトリガ方法(起動用のコマンド)と、起動用のコマンドに対するサービスの応答内容などが登録されている。また、ユーザDB11にはユーザ毎に利用するSSOの識別子が管理されている。
[0087]
 マッシュアップエージェント23の制御部236は、ユーザとのコミュニケーションからユーザ意図を検出し(ステップS201)、このユーザ意図が新規のサービス16pをユーザUが利用したいという要求である場合(ステップS202のYES)、その旨をマッシュアップサービス15に通知する。
[0088]
 一方、マッシュアップサービス15は、ユーザUが利用するSSOをサポートする未導入のサービス(サービス16pを含む。)の利用が開始状態になったことを検出した後(ステップS211)、マッシュアップエージェント23より、上記ユーザUによる利用要求の旨を受けると、サービスKB12から当該サービス16pのセットアップ方法を木構造で記述したセットアップ方法行動木を読み出し、このセットアップ方法行動木に基づいて、サービス16pの個別エージェント37をマッシュアップエージェント23がコミュニケーションの相手として利用できるようにするためのセットアップを開始する(ステップS212)。
[0089]
 マッシュアップサービス15は、セットアップ方法行動木を評価、つまりセットアップ方法行動木において未完了の行動を探索しつつ実行するなか(ステップS213)、ユーザUの操作(エッジ操作)を要する行動については、その操作方法をマッシュアップエージェント23に通じてユーザUに音声、画面表示、あるいはその両方により提示する(ステップS214→S203)。ユーザUは、提示された操作方法に従って、マッシュアップエージェント23を介して、個別エージェント37とコミュニケーションしてサービス16pの操作を試みる。
[0090]
 マッシュアップエージェント23は、個別エージェント37を通じてサービス16pにより提供された結果を取得すると(ステップS204)、その旨をマッシュアップサービス15に通知する。マッシュアップサービス15は、この通知を受けると、サービス16pの結果とセットアップ方法行動木を探索して次の行動を判断し(ステップS216→S213)、次の行動が存在するならばその行動を実行する。
[0091]
 また、マッシュアップサービス15は、サービスpとのコミュニケーションが必要な行動についてはこれを実行する(ステップS214→S215)。例えば、マッシュアップサービス15は、マッシュアップエージェント23が新規のサービス16pを操作する個別エージェント37をコミュニケーションの相手として利用できるように当該サービス16pからの許可を与えてもらう。サービス16pからの許可を得ると、マッシュアップサービス15は、当該サービス16pのサービス識別子などを含むセットアップ情報をマッシュアップKB13に登録する。このマッシュアップKB13に登録されたサービス16pに関するセットアップ情報は、エッジ20のキャッシュ24にも保持される(ステップSS102-S109)。
[0092]
 これにより、新規のサービス16pを操作する個別エージェント37がマッシュアップエージェント23のコミュニケーションの相手として利用できるようになり、その旨がユーザUに音声、画面表示、あるいはその両方により提示される(ステップS205)。
[0093]
 さらに、マッシュアップエージェント23の制御部236は、周期的に、エッジ20に導入されたすべてのサービス16n、16o、16pの個別エージェント35、36、37に対して確認要求を送信し、それらからの確認応答を受け取る(ステップS206)。ここで、サービスKB12およびマッシュアップKB13に登録されているものの、ユーザDB11には未登録のサービス(サービス16p)が検出されたなら(ステップS207のYES)、マッシュアップエージェント23の制御部236は、マッシュアップサービス15を通じてユーザDB11に未登録のサービスがあることを示す情報を記録し(ステップS217)、ユーザUにユーザDB11にサービス16pのサービス識別子の登録をするように促す(ステップS218→S208)。その後、ユーザUによってユーザDB11にサービス16pのサービス識別子が登録される。
[0094]
 このように、新たなサービスの個別エージェントをマッシュアップエージェント23が利用できるようにするためのセットアップする際、ユーザUが行うべき操作方法などがユーザUに提示されるので、ユーザUの負担を軽減できる。
[0095]
 (マッシュアップ知識の更新のための未知トリガおよび未知コマンドの蓄積)
 例えばGoogle Home(登録商標)などの音声AIアシスタントシステムでは、"OK Google(登録商標),○○をして"といったユーザからのトリガ付きコマンドの音声入力に対し、個別エージェントが"OK Google(登録商標)"を自身の起動用のトリガとして認識し、"○○をして"をサービスの操作コマンドとして認識するようになっている。
[0096]
 本実施形態のシステム1において、サービスKB12には、既知の個別エージェントの起動用のトリガの情報と、サービスに対して要求可能なコマンドの情報が保存されている。これに対し、ユーザ意図に対してマッシュアップエージェント23によって選択される行動木などのマッシュアップ知識は、ユーザが利用可能なサービスとしてどのようなサービスが存在し、また、存在するサービスがどのような機能をもっているかによって適宜適切なものが作成されるべきである。したがって、ユーザUより未知のトリガが入力されたり、未知のコマンドが入力された場合には、これらを保存することによって、マッシュアップ知識の更新に役立てられるようにすることが望ましい。
[0097]
 図10は未知のトリガおよび未知のコマンドを保存することのできるシステム1の構成を示すブロック図である。図11は未知のトリガおよび未知のコマンドを保存する動作のフローチャートである。
[0098]
 マッシュアップエージェント23の制御部236は、ユーザUからの未知のコミュニケーション(トリガ部分またはコマンド部分が未知であるコミュニケーション)を検出すると(ステップS301)、この未知のコミュニケーションのトリガ部分が、未知のサービスの個別エージェントを起動させるためのもの、つまり未知トリガであるかどうかを判定する(ステップS302)。
[0099]
 マッシュアップエージェント23の制御部236は、未知トリガを判定すると(ステップS302のYES)、その未知トリガを未知トリガDB202に保存するとともに、この未知トリガの種類毎の検出回数を未知トリガDB202に保存する(ステップS303)。
[0100]
 次に、マッシュアップエージェント23の制御部236は、検出回数が閾値に達した未知トリガを検出すると(ステップS304のYES)、この未知トリガを未知サービスのトリガ候補としてクラウド10上の未知サービスDB17に登録するように、マッシュアップサービス15に依頼する(ステップS305)。マッシュアップサービス15は、この依頼に応じて、当該トリガ候補を未知サービスDB17に登録する(ステップS311)。
[0101]
 例えば、"Hi Nigel、○○をして"というトリガ付きコマンドがユーザUより入力されたとする。ここで、"Hi Nigel"というトリガ部分は未知トリガであることが判定されて未知トリガDB202に保存される。"Hi Nigel"という未知トリガの検出回数が閾値に達した場合、その"Hi Nigel"という未知トリガが未知サービスのトリガ候補としてクラウド10上の未知サービスDB17に登録される。
[0102]
 また、ユーザUから入力された未知のコミュニケーションのトリガが既知トリガであるが、コマンド部分が未知である場合(ステップSステップS302のNO)、マッシュアップエージェント23の制御部236は、入力されたトリガ付きコマンドにおける既知トリガによって起動される既知の個別エージェントのサービスのサービス識別子と、未知のコマンド部分(未知コマンド)を含む未知コマンド調査依頼をマッシュアップサービス15に送信する。
[0103]
 マッシュアップサービス15は、この未知コマンド調査依頼を受けると、この未知コマンド調査依頼に含まれるサービス識別子に基づいて、クラウド10上の未知コミュニケーションDB18に格納された当該サービス毎のコマンド同定用のベース情報を読み出す。このサービス毎のコマンド同定用のベース情報は、サービス毎の既知のコマンドと実質的に同じ意味をもつ複数の単語で構成される。すなわち、マッシュアップサービス15は、未知コマンド調査依頼に含まれる未知コマンドが、どの既知コマンドと単語の意味において実質的に同じであるかを評価することによって、未知コマンドを既知コマンドに同定する(ステップS312)。そして、マッシュアップサービス15は、当該未知コマンドの既知コマンドへの同定結果をサービスKB12に登録する(ステップS313)。つまり、未知コマンドと、これに対応するサービスの機能との関係がサービスKB12に登録される。
[0104]
 例えば、"OK Google(登録商標),楽曲△を再生して"というトリガ付きコマンドが入力され、"再生して"というコマンドが未知コマンドであった場合、この"再生して"という未知コマンドは、音楽再生機能を起動する既知のコマンドと実質的に同じ意味をもつことが推定される。これにより、"再生して"というコマンドと音楽再生機能との関係がサービスKB12に登録される。
[0105]
 未知サービスDB17に登録された未知サービスのトリガ候補は、例えばマッシュアップ知識を管理する者(以下、「マッシュアップ知識管理者」と呼ぶ。)らによって、何のサービスを提供する個別エージェントを起動させるためのトリガであるかをサービス公開情報等を参照することによって調べられる。サービス公開情報は、提供可能なすべてのサービスに関して公開された情報(トリガの情報等を含む。)である。マッシュアップ知識管理者らによって、何らかのサービスを提供可能な個別エージェントを起動させるためのトリガであることを確認できた場合、マッシュアップ知識管理者は、そのサービスのサービス識別子、トリガの情報など、新たなサービスに関する知識をサービスKB12に登録する。
[0106]
 マッシュアップ知識管理者は、サービスKB12に登録された新たなサービスに関する知識を用いて、例えば新たな行動木の作成、あるいは既存の行動木の更新など、マッシュアップ知識の更新を行う。さらに、マッシュアップKB13に登録された新たなマッシュアップ知識はキャッシュ24にも登録される。
[0107]
 これにより以後、マッシュアップサービス15およびマッシュアップエージェント23の制御部236は、それまで未知であった新たなサービスや、既存のサービスの新たな機能を選択することができる。
[0108]
 (ユーザへのサービス結果の提示)
 次に、ユーザUにサービスの結果を提示する方法について説明する。ユーザUへのサービス結果の提示は音声による方法、表示による方法、あるいはその両方による方法がある。表示による提示方法は音声による提示方法に比べ、よりリッチな情報を提示できる。そこで、この表示による提示方法の一例を説明する。
[0109]
 図12は2つの個別エージェントを介してそれぞれ操作される2つの買い物サービスA、Bの商品検索機能によってそれぞれ得られた特定商品に関する検索結果とこれらの評価結果の提示例を示す図である。
[0110]
 同図において、符号41は第1の買い物サービスAによって検索されたショップ1である。符号42は第1の買い物サービスAによって得られた検索されたショップ2である。符号43は第2の買い物サービスBによって検索されたショップ3である。符号44は第2の買い物サービスBによって検索されたショップ4である。これらの検索結果は特定商品を販売するショップとして検索されたものであり、ショップの識別情報の他、商品の値段、ショップの評判、配送条件などの情報を含む。
[0111]
 ここで、マッシュアップエージェント23の制御部236は、例えば"値段、評判、配送条件などの評価条件をもとに各ショップを総合的に評価した結果から最適なショップの商品の購入をユーザにお薦めする。"という買い物調停行動木に従って、各検索結果を評価する場合を想定する。
[0112]
 例えば、各ショップ1-4に対して次のような評価結果が得られたとする。
 ・ショップ1は評判がいまひとつ。
 ・ショップ2は値段が高い。
 ・ショップ3は平均的に高評価。
 ・ショップ4は配送日時が条件に合わない。
[0113]
 マッシュアップエージェント23の制御部236は、各ショップ1-4の評価結果から総合的に最もユーザにとって高利益のショップを判定する。本例では、評判、値段、配送条件などのいずれの評価項目においてもショップ3が合格域にあるため、ショップ3からの商品の購入がユーザにお薦めされる。
[0114]
 ユーザは、提示された検索結果とその評価結果を参照して、お薦めに対して同意する意思や、お薦め以外のショップから購入する意思を、音声あるいは表示装置に表示された検索結果へのタッチ操作などによって入力することができる。
[0115]
 ユーザによるショップの選択結果は、ユーザがショップを選択する際に重視するポイントを示す情報としてユーザDB11に登録される。これによりマッシュアップエージェント23の制御部236による次回のショップ評価に反映される。
[0116]
 (買い物調停行動木)
 次に、買い物調停行動木に基づく買い物調停の例を説明する。
 行動木は、複数の行動が木構造で記述されたデータ構造である。
行動木には行動の順番を制御する行動を記述できる。また、行動木には繰り返しや条件分岐などの制御構造を導入できる。
[0117]
 図13は買い物調停行動木の例を示す図である。
 この買い物調停行動木では、ルート行動から評価が開始され、ルート行動の下位の行動へと評価が移行される。以下にこの買い物調停行動木の詳細を説明する。
 A-1.買い物機能を有するすべての個別エージェントについて下記A-2、A-3が繰り返される。
 A-2.買い物機能を有する1つの個別エージェントを操作してユーザの希望する商品を検索する。
 A-3.検索結果における価格、ポイント加算結果、ショップ評価などを記録される。
[0118]
 B-1.上記A-3で得られた結果について下記B-2、B-3が繰り返される。
 B-2.上記A-3で得られた結果を評価関数を用いて評価する。
 B-3.評価結果を記録する。
[0119]
 C-1.マッシュアップエージェント23の制御部236のユーザ提示手段がスピーカのみか、スピーカと画面であるかによって処理を分岐する。
 C-2.スピーカのみである場合、すべて評価結果について終了するまで、もしくはユーザがショップを選択するまで、もしくはユーザから終了が指示されるまで下記C-3、C-4、C-5を繰り返す。
 C-3.最上位の評価結果を評価理由とともに文章化する。
 C-4.文章化された評価結果および評価理由を音声でユーザに提示する。
 例えば、"お勧めはショップB1です。価格は2番目に安いです。お店の評価はAです。こちらで購入しますか?といった音声がマッシュアップエージェント23の制御部236のスピーカを通じてユーザUに提示される。
 C-5.ユーザからの返事を評価して記録する。
[0120]
 C-6.ユーザ提示手段がスピーカと画面である場合、上位N個の評価結果を評価理由とともに含む画面データを作成する。
 C-7.その画面データを画面に提示する。
 C-8.ユーザからの返事を評価して記録する。
[0121]
 D-1.ユーザにより商品購入が選択されたことを検出すると、下記のD-1からD-4を行う。
 D-2.ユーザにより選択された購入方法で購入処理を行う。
 D-3.購入処理の結果からユーザへの返事を作成する。
 D-4.返事を音声あるいは画面を通してユーザに与える。
 D-5.セッションを終了する。
[0122]
 E-1.セッション情報の一部をユーザDBに登録する。  
[0123]
 (ユーザフロントエンドについて)
 本実施形態のシステム1において、マッシュアップエージェント23の制御部236は様々なデータ形式でのユーザとのコミュニケーションをサポートする。
[0124]
 ユーザからのコミュニケーションデータの入力を受け付ける機器としては、例えば、据え置き型あるいはポータブル型の音声入力装置、スマートホン、携帯電話などが挙げられる。これらの機器は、いずれもユーザより音声によるコミュニケーションデータの入力が可能である。スマートホンおよび携帯電話は、音声のほか、電子メール送信を使ったテキスト形式のコミュニケーションデータの入力も可能である。
[0125]
 マッシュアップエージェント23の制御部236は、上記いずれかの機器より入力されたユーザの音声を認識し、エッジ20内の個別エージェントが解釈可能な形式(起動ワードおよびコマンド)の音声を生成して、個別エージェントに供給する。
[0126]
 さらに、マッシュアップエージェント23の制御部236は、ユーザの入力音声を認識することによって得たテキスト形式のデータを、クラウド10上のマッシュアップサービス15にネットワークを通じて送信することが可能である。
[0127]
 また、マッシュアップエージェント23の制御部236は、スマートホンおよび携帯電話などから、例えば、電子メール送信などを使ったテキスト形式のコミュニケーションデータが入力された場合には、このテキスト形式のコミュニケーションデータから音声を合成して個別エージェントに供給したり、このテキスト形式のコミュニケーションデータをクラウド10上のマッシュアップサービス15にネットワークを通じて送信することが可能である。
[0128]
 なお、本技術は以下のような構成もとることができる。
(1)ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを提供可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示するように制御を行うように構成された制御部を有する
 情報処理装置。
[0129]
(2)上記(1)の情報処理装置であって、
 前記制御部は、
 前記検出されたユーザの意図に対応する複数のサービスをそれぞれ提供可能な複数のエージェントを操作し、前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を前記ユーザに提示する
 情報処理装置。
[0130]
(3)上記(2)の情報処理装置であって、
 前記制御部は、
 前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を、これらの結果を評価した結果とともに前記ユーザに提示する
 情報処理装置。
[0131]
(4)上記(1)ないし(3)のいずれかの情報処理装置であって、
 前記ユーザの意図を音声により入力する音声入力部を
 さらに具備する情報処理装置。
[0132]
(5)上記(1)ないし(4)のいずれかの情報処理装置であって、
 前記制御部は、サービスの結果を音声、画面表示、あるいはその両方により前記ユーザに提示する
 情報処理装置。
[0133]
(6)上記(2)ないし(5)のいずれかの情報処理装置であって、
 前記制御部は、前記ユーザと一方の前記エージェントとのコミュニケーションをセッションデータとしてセッションデータ記憶部に保存し、
 前記セッションデータ記憶部に保存された前記セッションデータを用いて、他方の前記エージェントとのコミュニケーションを行う
 情報処理装置。
[0134]
(7)上記(6)の情報処理装置であって、
 前記制御部は、
 前記他方のエージェントとのコミュニケーションの際、前記セッションデータに存在しない質問を他方のエージェントから受けた際にその質問をユーザに提示し、前記ユーザからの回答を前記他方のエージェントに送信する
 情報処理装置。
[0135]
(8)上記(1)ないし(7)のいずれかの情報処理装置であって、
 前記制御部は、
 前記ユーザより前記個別エージェントの起動用トリガを含むコマンド音声が入力されたとき、このコマンド音声からの前記ユーザ意図の検出を無効化する
 情報処理装置。
[0136]
(9)上記(1)ないし(8)のいずれかの情報処理装置であって、
 前記制御部は、1つの前記特定サービスの機能の利用中に、当該特定サービスの機能との同時利用が抑制された他の特定サービスの機能を利用するユーザ意図が検出された場合、このユーザ意図に基づく他の特定サービスの機能を利用を抑制する
 情報処理装置。
[0137]
(10)上記(1)ないし(9)のいずれかの情報処理装置であって、
 前記制御部は、検出されたユーザ意図に対して利用するサービスの機能と周辺状況との関係が特待の抑制条件に該当する場合、前記検出されたユーザ意図に対するサービスの機能の利用を抑制する
 情報処理装置。
[0138]
(11)制御部が、ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを操作可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示する
 情報処理方法。
[0139]
(12)上記(11)の情報処理方法であって、
 前記制御部は、
 前記検出されたユーザの意図に対応する複数のサービスをそれぞれ提供可能な複数のエージェントを操作し、前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を前記ユーザに提示する
 情報処理方法。
[0140]
(13)上記(12)の情報処理方法であって、
 前記制御部は、
 前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を、これらの結果を評価した結果とともに前記ユーザに提示する
 情報処理方法。
[0141]
(14)上記(11)ないし(13)のいずれかの情報処理方法であって、
 前記ユーザの意図を音声により入力する
 情報処理方法。
[0142]
(15)上記(11)ないし(14)のいずれかの情報処理方法であって、
 前記制御部は、サービスの結果を音声、画面表示、あるいはその両方により前記ユーザに提示する
 情報処理方法。
[0143]
(16)上記(12)ないし(15)のいずれかの情報処理方法であって、
 前記制御部は、前記ユーザと一方の前記エージェントとのコミュニケーションをセッションデータとしてセッションデータ記憶部に保存し、
 前記セッションデータ記憶部に保存された前記セッションデータを用いて、他方の前記エージェントとのコミュニケーションを行う
 情報処理方法。
[0144]
(17)上記(16)の情報処理方法であって、
 前記制御部は、
 前記他方のエージェントとのコミュニケーションの際、前記セッションデータに存在しない質問を他方のエージェントから受けた際にその質問をユーザに提示し、前記ユーザからの回答を前記他方のエージェントに送信する
 情報処理方法。
[0145]
(18)上記(11)ないし(17)のいずれかの情報処理方法であって、
 前記制御部は、
 前記ユーザより前記個別エージェントの起動用トリガを含むコマンド音声が入力されたとき、このコマンド音声からの前記ユーザ意図の検出を無効化する
 情報処理方法。
[0146]
(19)上記(11)ないし(18)のいずれかの情報処理方法であって、
 前記制御部は、1つの前記特定サービスの機能の利用中に、当該特定サービスの機能との同時利用が抑制された他の特定サービスの機能を利用するユーザ意図が検出された場合、このユーザ意図に基づく他の特定サービスの機能を利用を抑制する
 情報処理方法。
[0147]
(20)上記(11)ないし(19)のいずれかの情報処理方法であって、
 前記制御部は、検出されたユーザ意図に対して利用するサービスの機能と周辺状況との関係が特定の抑制条件に該当する場合、前記検出されたユーザ意図に対するサービスの機能の利用を抑制する
 情報処理方法。

符号の説明

[0148]
 16a.16b…サービス
 21、22…個別エージェント
 23…マッシュアップエージェント
 24…キャッシュ
 231…音声入力部
 232…音声出力部
 234…ディスプレイ部
 235…無線通信部
 236…制御部

請求の範囲

[請求項1]
 ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを提供可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示するように制御を行うように構成された制御部を有する
 情報処理装置。
[請求項2]
 請求項1に記載の情報処理装置であって、
 前記制御部は、
 前記検出されたユーザの意図に対応する複数のサービスをそれぞれ提供可能な複数のエージェントを操作し、前記複数のエージェントが前記複数のサービスからそれぞれ提供結果を前記ユーザに提示する
 情報処理装置。
[請求項3]
 請求項2に記載の情報処理装置であって、
 前記制御部は、
 前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を、これらの結果を評価した結果とともに前記ユーザに提示する
 情報処理装置。
[請求項4]
 請求項3に記載の情報処理装置であって、
 前記ユーザの意図を音声により入力する音声入力部を
 さらに具備する情報処理装置。
[請求項5]
 請求項4に記載の情報処理装置であって、
 前記制御部は、サービスの結果を音声、画面表示、あるいはその両方により前記ユーザに提示する
 情報処理装置。
[請求項6]
 請求項2に記載の情報処理装置であって、
 前記制御部は、前記ユーザと一方の前記エージェントとのコミュニケーションをセッションデータとしてセッションデータ記憶部に保存し、
 前記セッションデータ記憶部に保存された前記セッションデータを用いて、他方の前記エージェントとのコミュニケーションを行う
 情報処理装置。
[請求項7]
 請求項6に記載の情報処理装置であって、
 前記制御部は、
 前記他方のエージェントとのコミュニケーションの際、前記セッションデータに存在しない質問を他方のエージェントから受けた際にその質問をユーザに提示し、前記ユーザからの回答を前記他方のエージェントに送信する
 情報処理装置。
[請求項8]
 請求項1に記載の情報処理装置であって、
 前記制御部は、
 前記ユーザより前記個別エージェントの起動用トリガを含むコマンド音声が入力されたとき、このコマンド音声からの前記ユーザ意図の検出を無効化する
 情報処理装置。
[請求項9]
 請求項1に記載の情報処理装置であって、
 前記制御部は、1つの前記特定サービスの機能の利用中に、当該特定サービスの機能との同時利用が抑制された他の特定サービスの機能を利用するユーザ意図が検出された場合、このユーザ意図に基づく他の特定サービスの機能を利用を抑制する
 情報処理装置。
[請求項10]
 請求項1に記載の情報処理装置であって、
 前記制御部は、検出されたユーザ意図に対して利用するサービスの機能と周辺状況との関係が特定の抑制条件に該当する場合、前記検出されたユーザ意図に対するサービスの機能の利用を抑制する
 情報処理装置。
[請求項11]
 制御部が、ユーザの意図を検出し、前記検出されたユーザの意図に対応するサービスを提供可能なエージェントを操作し、前記エージェントが前記サービスから提供された結果を前記ユーザに提示する
 情報処理方法。
[請求項12]
 請求項11に記載の情報処理方法であって、
 前記制御部は、
 前記検出されたユーザの意図に対応する複数のサービスをそれぞれ提供可能な複数のエージェントを操作し、前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を前記ユーザに提示する
 情報処理方法。
[請求項13]
 請求項12に記載の情報処理方法であって、
 前記制御部は、
 前記複数のエージェントが前記複数のサービスからそれぞれ提供された結果を、これらの結果を評価した結果とともに前記ユーザに提示する
 情報処理方法。
[請求項14]
 請求項13に記載の情報処理方法であって、
 前記ユーザの意図を音声により入力する
 情報処理方法。
[請求項15]
 請求項14に記載の情報処理方法であって、
 前記制御部は、サービスの結果を音声、画面表示、あるいはその両方により前記ユーザに提示する
 情報処理方法。
[請求項16]
 請求項12に記載の情報処理方法であって、
 前記制御部は、前記ユーザと一方の前記エージェントとのコミュニケーションをセッションデータとしてセッションデータ記憶部に保存し、
 前記セッションデータ記憶部に保存された前記セッションデータを用いて、他方の前記エージェントとのコミュニケーションを行う
 情報処理方法。
[請求項17]
 請求項16に記載の情報処理方法であって、
 前記制御部は、
 前記他方のエージェントとのコミュニケーションの際、前記セッションデータに存在しない質問を他方のエージェントから受けた際にその質問をユーザに提示し、前記ユーザからの回答を前記他方のエージェントに送信する
 情報処理方法。
[請求項18]
 請求項11に記載の情報処理方法であって、
 前記制御部は、
 前記ユーザより前記個別エージェントの起動用トリガを含むコマンド音声が入力されたとき、このコマンド音声からの前記ユーザ意図の検出を無効化する
 情報処理方法。
[請求項19]
 請求項11に記載の情報処理方法であって、
 前記制御部は、1つの前記特定サービスの機能の利用中に、当該特定サービスの機能との同時利用が抑制された他の特定サービスの機能を利用するユーザ意図が検出された場合、このユーザ意図に基づく他の特定サービスの機能を利用を抑制する
 情報処理方法。
[請求項20]
 請求項11に記載の情報処理方法であって、
 前記制御部は、検出されたユーザ意図に対して利用するサービスの機能と周辺状況との関係が前記抑制条件に該当する場合、前記検出されたユーザ意図に対するサービスの機能の利用を抑制する
 情報処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]