Einige Inhalte dieser Anwendung sind momentan nicht verfügbar.
Wenn diese Situation weiterhin besteht, kontaktieren Sie uns bitte unterFeedback&Kontakt
1. (WO2019049312) DISPLAY CONTROL DEVICE AND DISPLAY CONTROL METHOD
Document

明 細 書

発明の名称 表示制御装置及び表示制御方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007   0008  

図面の簡単な説明

0009  

発明を実施するための形態

0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085  

符号の説明

0086  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24  

明 細 書

発明の名称 : 表示制御装置及び表示制御方法

技術分野

[0001]
 本発明は、車両とともに移動可能な第1表示部と、当該車両とともに移動可能な第2表示部とを制御可能な表示制御装置に関する。

背景技術

[0002]
 近年、ユーザが発した音声を文字に変換し、当該文字を表示する表示装置が提案されている(例えば特許文献1)。このような表示装置によれば、ユーザの意思疎通先である相手は、ユーザの音声が聴き取れない場合でも、表示された文字を見ることによって当該音声の内容を確認することができる。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2016-090367号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかしながら、ユーザと相手とが車両の前席及び後席にそれぞれ座っている場合などにおいては、相手が見ている表示画面をユーザが見ることが困難である場合がある。この場合、ユーザは、自身が発した音声に基づき表示画面に表示される文字の内容が正しいか否かを確認し難いという問題がある。また、ユーザは、表示画面のどの部分について音声を発したかを示すことができないという問題がある。以上の結果として、ユーザと相手との間の意思疎通に誤りが生じることがあった。
[0005]
 そこで、本発明は、上記のような問題点を鑑みてなされたものであり、ユーザと相手との間における意思疎通の誤りを抑制可能な技術を提供することを目的とする。

課題を解決するための手段

[0006]
 本発明に係る表示制御装置は、車両とともに移動可能な第1表示部と、当該車両とともに移動可能な第2表示部とを制御可能な表示制御装置であって、音声と、ジェスチャー操作とを取得する取得部と、第1表示部の第1表示画面のうち取得部で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示部の第2表示画面のうち取得部で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部で取得された音声から変換された文字を表示する制御を行う制御部とを備える。

発明の効果

[0007]
 本発明によれば、第1表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行う。このような構成によれば、ユーザと相手との間における意思疎通の誤りを抑制することができる。
[0008]
 本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

図面の簡単な説明

[0009]
[図1] 実施の形態1に係る表示制御装置の構成を示すブロック図である。
[図2] 実施の形態1に係る表示制御装置の表示制御を説明するための図である。
[図3] 実施の形態1に係る表示制御装置の表示制御を説明するための図である。
[図4] 実施の形態2に係る表示制御装置の構成を示すブロック図である。
[図5] 実施の形態2に係る表示制御装置の動作を示すフローチャートである。
[図6] 実施の形態2に係る表示制御装置の表示制御を説明するための図である。
[図7] 実施の形態2に係る表示制御装置の表示制御を説明するための図である。
[図8] 実施の形態2に係る表示制御装置の表示制御を説明するための図である。
[図9] 変形例3に係る表示制御装置の表示制御を説明するための図である。
[図10] 変形例3に係る表示制御装置の表示制御を説明するための図である。
[図11] 変形例3に係る表示制御装置の表示制御を説明するための図である。
[図12] 変形例3に係る表示制御装置の表示制御を説明するための図である。
[図13] 変形例4に係る表示制御装置の表示制御を説明するための図である。
[図14] 変形例5に係る表示制御装置の構成を示すブロック図である。
[図15] 変形例5に係る表示制御装置の表示制御を説明するための図である。
[図16] 変形例6に係る表示制御装置の構成を示すブロック図である。
[図17] 変形例6に係る表示制御装置の構成を示すブロック図である。
[図18] 変形例6に係る表示制御装置の構成を示すブロック図である。
[図19] 変形例6に係る表示制御装置の構成を示すブロック図である。
[図20] 変形例6に係る表示制御装置の構成を示すブロック図である。
[図21] その他の変形例に係るナビゲーション装置のハードウェア構成を示すブロック図である。
[図22] その他の変形例に係るナビゲーション装置のハードウェア構成を示すブロック図である。
[図23] その他の変形例に係るサーバの構成を示すブロック図である。
[図24] その他の変形例に係る通信端末の構成を示すブロック図である。

発明を実施するための形態

[0010]
 <実施の形態1>
 図1は、本発明の実施の形態1に係る表示制御装置1の構成を示すブロック図である。この表示制御装置1は、第1表示部2及び第2表示部3と有線または無線によって接続されており、第1表示部2及び第2表示部3を制御することが可能となっている。
[0011]
 第1表示部2は、車両とともに移動可能であり、第2表示部3は、当該車両とともに移動可能である。第1表示部2及び第2表示部3のそれぞれは、例えば、車両に固定された表示部、及び、車両外部から車両に持ち込まれた携帯端末の表示部などである。車両に固定された表示部は、例えば、液晶表示装置、及び、HUD(ヘッドアップディスプレイ)などである。携帯端末は、例えば、携帯電話、スマートフォン及びタブレットなどである。
[0012]
 なお、第1表示部2は、1つの表示装置または複数の表示装置のそれぞれであってもよいし、第2表示部3は、1つの表示装置または複数の表示装置のそれぞれであってもよい。以下では、第1表示部2は、車両の運転者及び同乗者の一方の視認に用いられ、第2表示部3は、他方の視認に用いられる場合を例にして説明する。
[0013]
 図1の表示制御装置1は、取得部11と制御部12とを備える。
[0014]
 取得部11は、音声を取得する。取得部11は、例えば、マイクなどの音声入力装置であってもよいし、当該音声入力装置と通信可能なインターフェースであってもよい。
[0015]
 また取得部11は、ジェスチャー操作も取得する。取得部11は、例えば、第1表示画面及び第2表示画面のそれぞれに設けられたタッチパネルであってもよいし、当該タッチパネルと通信可能なインターフェースであってもよいし、車両室内の画像を取得するカメラと、当該画像を解析する画像解析装置との組み合わせた装置であってもよいし、当該装置と通信可能なインターフェースであってもよい。
[0016]
 なお、ジェスチャー操作は、第1表示部2の表示画面である第1表示画面の部分、または、第2表示部3の表示画面である第2表示画面の部分を指示する操作である。ジェスチャー操作は、第1表示画面及び第2表示画面をなぞる操作などのように第1表示画面及び第2表示画面に触れる操作であってもよいし、第1表示画面及び第2表示画面に触れない操作であってもよい。
[0017]
 制御部12は、第1表示画面のうち取得部11で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示画面のうち取得部11で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部11で取得された音声から変換された文字を表示する制御を行う。第1表示画面及び第2表示画面のうちジェスチャー操作によって指示された部分に対応する部分は、ジェスチャー操作によって指示された部分そのものであってもよいし、当該部分の周辺部分であってもよい。
[0018]
 図2及び図3は、本実施の形態1に係る表示制御装置1の表示制御を説明するための図である。なお、特に説明がない限り、図2以降の表示制御を説明するための図に示される表示画面は、第1表示部2の第1表示画面2a及び第2表示部3の第2表示画面3aのそれぞれであるものとする。
[0019]
 図2の例では、取得部11が、一点を指示するようなジェスチャー操作と、「×××」という音声とを取得した場合の表示画面が示されている。この場合、ジェスチャー操作によって指示された一点に付随して「×××」という文字が表示される。図3の例では、取得部11が、線状の軌跡を描くようなジェスチャー操作と、「△△△」という音声とを取得した場合の表示画面が示されている。この場合、ジェスチャー操作によって描かれた軌跡に付随して「△△△」という文字が表示される。
[0020]
 <実施の形態1のまとめ>
 以上のような本実施の形態1に係る表示制御装置1は、第1表示画面及び第2表示画面のそれぞれに、音声から変換された文字を表示する制御を行う。このため、運転者及び同乗者などのユーザは、自身が発した音声に基づき表示画面に表示される文字の内容が正しいか否かを別々の表示画面で確認することができるので、その確認を容易に行うことができる。また本実施の形態1に係る表示制御装置1は、第1表示画面及び第2表示画面のそれぞれのうちジェスチャー操作によって指示された部分に対応する部分に、文字を表示する制御を行う。このため、ユーザは、表示画面のどの部分について音声を発したかを示すことができる。以上の結果、ユーザと、意思疎通先たる相手との間における意思疎通の誤りを抑制することができる。
[0021]
 <実施の形態2>
 図4は、本発明の実施の形態2に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態2で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。なお、以下のブロック図においては、特に説明がない限り、表示制御装置1が備える構成要素を実線のブロックで示し、表示制御装置1が備えない構成要素を点線のブロックで示す。
[0022]
 まず、表示制御装置1の外部構成について説明する。図4の表示制御装置1は、第1表示部2及び第2表示部3に加えて、第1音声検出装置4、第1ジェスチャー検出装置5、及び、ナビゲーション装置6と、有線または無線によって接続されている。
[0023]
 第1音声検出装置4は、ユーザが発した音声を検出する。この第1音声検出装置4は、例えば、マイクなどの音声入力装置である。
[0024]
 第1ジェスチャー検出装置5は、ユーザのジェスチャー操作を検出する。この第1ジェスチャー検出装置5は、例えば、タッチパネルであってもよいし、車両室内の画像を取得するカメラと、当該画像を解析する画像解析装置との組み合わせた装置であってもよい。なお、ジェスチャー操作は、第1表示画面または第2表示画面上に軌跡を描く軌跡操作などを含む。
[0025]
 ナビゲーション装置6は、例えば地図を示す画像、音楽プレーヤを示す画像、DVD(Digital Versatile Disk)の再生画像、車両情報を示す画像などの、予め定められたコンテンツの画像を表示制御装置1に出力する。
[0026]
 次に、表示制御装置1の内部構成について説明する。図4の表示制御装置1は、インターフェース11a,11bと、音声テキスト変換部12aと、コンテンツ表示制御部12bとを備える。なお、インターフェース11a,11bは、図1の取得部11の概念に含まれ、音声テキスト変換部12a及びコンテンツ表示制御部12bは、図1の制御部12の概念に含まれる。
[0027]
 インターフェース11aは、第1音声検出装置4で検出された音声を取得し、インターフェース11bは、第1ジェスチャー検出装置5で検出されたジェスチャー操作を取得する。
[0028]
 音声テキスト変換部12aは、インターフェース11aで取得された音声の情報を、テキストなどの文字に変換する。以下、音声から変換された文字を「音声文字」と記すこともある。
[0029]
 コンテンツ表示制御部12bは、第1表示画面及び第2表示画面に、ナビゲーション装置6からのコンテンツの画像を表示する制御を行う。また、コンテンツ表示制御部12bは、第1表示画面のうちインターフェース11bで取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示画面のうちインターフェース11bで取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、音声テキスト変換部12aによって変換された音声文字を表示する制御を行う。
[0030]
 例えば、コンテンツ表示制御部12bは、インターフェース11bで取得されたジェスチャー操作が軌跡操作である場合に、当該軌跡操作の軌跡を第1表示画面及び第2表示画面に表示する制御を行う。またこの場合に、コンテンツ表示制御部12bは、第1表示画面のうち軌跡操作の軌跡に対応する部分、及び、第2表示画面のうち軌跡操作の軌跡に対応する部分のそれぞれに、音声文字を表示する制御を行う。
[0031]
 <動作>
 図5は、本実施の形態2に係る表示制御装置1の動作を示すフローチャートである。
[0032]
 まずステップS1にて、音声テキスト変換部12aは、インターフェース11aで音声が取得され、かつ、インターフェース11bでジェスチャー操作が取得されたか否かを判定する。音声及びジェスチャー操作が取得されたと判定された場合には処理がステップS2に進み、音声及びジェスチャー操作が取得されたと判定されなかった場合にはステップS1の処理が再度行われる。
[0033]
 ステップS2にて、音声テキスト変換部12aは、インターフェース11aで取得された音声を音声文字に変換する。
[0034]
 ステップS3にて、コンテンツ表示制御部12bは、インターフェース11bで取得されたジェスチャー操作に基づいて、第1表示画面及び第2表示画面のそれぞれのうち音声文字を表示すべき部分を決定する。
[0035]
 ステップS4にて、コンテンツ表示制御部12bは、第1表示画面及び第2表示画面のそれぞれのうちのステップS3で決定した部分に、ステップS2の音声文字を表示する制御を行う。これにより、第1表示画面及び第2表示画面のそれぞれのうちステップS3で決定された部分に、ステップS2の音声文字が表示される。
[0036]
 ステップS5にて、音声テキスト変換部12aは、インターフェース11aで音声が取得されているか否かに基づいて、会話が継続しているか否かを判定する。会話が継続していると判定された場合には処理がステップS1に戻り、会話が継続していると判定されなかった場合には処理がステップS6に進む。
[0037]
 ステップS6にて、コンテンツ表示制御部12bは、予め定められた条件が満たされたか否かを判定する。ここで、予め定められた条件は、例えば、音声文字を表示する制御を行ってから一定時間が経過したこと、及び、音声文字を消去する操作が行われたことなどである。予め定められた条件が満たされたと判定された場合には処理がステップS7に進み、予め定められた条件が満たされたと判定されなかった場合には処理がステップS5に戻る。
[0038]
 ステップS7にて、コンテンツ表示制御部12bは、第1表示画面及び第2表示画面に表示されている音声文字を消去する。この際、消去された音声文字は履歴として、表示制御装置1の図示しない記憶装置などに記憶されてもよい。その後、図5の動作が終了する。なお、この図5の動作は適宜繰り返し行われてもよい。
[0039]
 図6、図7及び図8は、本実施の形態2に係る表示制御装置1の表示制御を説明するための図である。
[0040]
 図6の例では、線状の軌跡を描く軌跡操作と、「こちらの道から進んで下さい」という音声とが同乗者などから取得された場合の表示画面が示されている。この場合、第1表示画面2a及び第2表示画面3aのそれぞれに、軌跡操作の軌跡21が、当該軌跡操作の向きを示す矢印として表示され、かつ、「こちらの道から進んで下さい」という音声文字が軌跡21に付随して表示される。
[0041]
 図7の例では、楕円状の軌跡を描く軌跡操作と、「この辺りを詳しく説明して下さい」という音声とが運転者などから取得された場合の表示画面が示されている。この場合、第1表示画面2a及び第2表示画面3aのそれぞれに、軌跡操作の軌跡21が表示され、かつ、「この辺りを詳しく説明して下さい」という音声文字が軌跡21に付随して表示される。
[0042]
 図8の例では、一点を指示するようなジェスチャー操作と、「この辺りのケーキ屋に行きたいです」という音声とが同乗者などから取得された場合の表示画面が示されている。この場合、第1表示画面2a及び第2表示画面3aのそれぞれに、当該ジェスチャー操作により指示された一点22が表示され、かつ、「この辺りのケーキ屋に行きたいです」という音声文字が一点22に付随して表示される。
[0043]
 <実施の形態2のまとめ>
 以上のような本実施の形態2に係る表示制御装置1によれば、ジェスチャー操作が軌跡操作である場合に、地図などのコンテンツを表示している第1表示画面及び第2表示画面のそれぞれのうち軌跡操作の軌跡に対応する部分に、音声から変換された文字を表示する制御を行う。このような構成によれば、ユーザと相手との間における意思疎通の誤りを抑制することができる。
[0044]
 また本実施の形態2によれば、第1表示画面及び第2表示画面に表示された音声文字を、予め定められた条件が満たされた場合に消去する。このような構成によれば、音声文字の表示が他の画像の表示を妨げてしまうことを抑制することができる。
[0045]
 <変形例1>
 以上に説明した図1などの構成において、制御部12は、取得部11で取得されたジェスチャー操作の速度に基づいて、音声文字の表示態様を変更してもよいし、図6及び図7の軌跡21の表示態様を変更してもよい。例えば、ジェスチャー操作の速度が速い場合には、音声文字及び軌跡21を太くしたり、音声文字及び軌跡21の色を赤色などの注意を惹きやすい色にしたりしてもよい。このような構成によれば、ユーザは、伝えたい情報の重要性を相手に知らせることができる。
[0046]
 <変形例2>
 以上に説明した図1などの構成において、制御部12は、図6及び図7の軌跡21を表示するタイミングである軌跡表示タイミング、及び、音声文字を表示するタイミングである文字表示タイミングの一方に基づいて他方を調整するように構成されてもよい。これにより、表示制御装置1は、軌跡表示タイミングを、文字表示タイミングと同時にしたり、文字表示タイミングの前後にしたりすることができる。
[0047]
 軌跡表示タイミングが文字表示タイミングの前にされる場合としては、例えば、(1)ジェスチャー操作の取得後も音声の取得が継続して行われている場合、(2)ユーザが音声にすべき言葉を思い出せずに、ジェスチャー操作の取得後も依然として音声が取得されていない場合、(3)一定長を超えるテキストを要約するように構成されている場合において、要約処理によって文字表示タイミングが遅れる場合、(4)音声の言語と音声文字の言語とが異なるように翻訳する構成されている場合において、翻訳処理によって文字表示タイミングが遅れる場合、などがある。
[0048]
 なお、(2)の場合において、制御部12は、取得部11で軌跡操作が取得された場合に、図6及び図7の軌跡21を表示する制御を行い、その後に取得部11で軌跡21へのタップ操作などの特定操作及び音声が取得された場合に、当該音声から変換された文字を軌跡21に付随させて表示する制御を行なってもよい。
[0049]
 以上のような構成によれば、軌跡表示タイミングと、文字表示タイミングとを適切化することができる。
[0050]
 また、以上に説明した構成において、制御部12は、第1表示部2の第1表示画面に音声文字を表示するタイミングである第1表示タイミング、及び、第2表示部3の第2表示画面に音声文字を表示するタイミングである第2表示タイミングの一方に基づいて他方を調整するように構成されてもよい。これにより、表示制御装置1は、第1表示タイミングを、第2表示タイミングと同時にしたり、第2表示タイミングの前後にしたりすることができる。
[0051]
 例えば、表示制御装置1または表示制御装置1を含むシステムにおいて、何らかの通信上の遅延が生じ、第1表示部2及び第2表示部3の一方が音声文字を表示できないけれども他方が音声文字を表示できる状態である場合には、制御部12は、当該他方の表示を待機させるように制御してもよい。これにより、第1表示タイミングと第2表示タイミングとの差を低減することができる。なお、何らかの通信上の遅延には、例えば、クラウドソースの活用の際の通信及びサーバ側の処理の遅延、または、第1表示部2及び第2表示部3の一方が、携帯端末の表示部である場合の遅延などがある。
[0052]
 以上のような構成によれば、第1表示タイミングと、第2表示タイミングとを適切化することができる。
[0053]
 <変形例3>
 以上に説明した図1などの構成において、制御部12は、いずれか一方が音声文字を含む二画面を、第1表示画面及び第2表示画面の少なくともいずれか1つに表示する制御を行ってもよい。図9及び図10には、第1表示画面2aが運転者の視認に用いられる運転者用の表示画面である例が示され、図11及び図12には、第2表示画面3aが同乗者の視認に用いられる同乗者の表示画面である例が示されている。
[0054]
 図9の運転者用の表示画面は、1つの全画面を区分してなる2つの半画面を含む二画面であり、当該二画面は、音声文字を含む地図画面、及び、運転者に渋滞を通知するための通知画面を含む。図10の運転者用の表示画面は、1つの全画面であり、音声文字を含む地図画面である。制御部12は、運転者用の表示画面に表示すべき内容に基づいて、運転者用の表示画面を全画面及び二画面のいずれにするかを決定する。
[0055]
 図11の同乗者用の表示画面は、上述の二画面と同様の二画面であり、当該二画面は、音声文字を含む地図画面、及び、DVDの再生画面を含む。図12の同乗者用の表示画面は、1つの全画面であり、音声文字を含む地図画面である。制御部12は、同乗者用の表示画面に表示すべき内容に基づいて、同乗者用の表示画面を全画面及び二画面のいずれにするかを決定する。
[0056]
 以上のような構成によれば、第1表示画面及び第2表示画面に、音声文字を含む画面だけでなく、それ以外の画面も表示することができる。
[0057]
 <変形例4>
 以上に説明した図1などの構成において、制御部12は、第1表示画面及び第2表示画面におけるコンテンツ上に、音声文字を半透過で表示する制御を行ってもよい。このような構成によれば、音声文字の表示が他の画像の表示を妨げてしまうことを抑制することができる。
[0058]
 また以上に説明した図1などの構成において、表示されるコンテンツが地物情報を含む地図である場合には、制御部12は、地図上の地物情報を避けて音声文字を表示する制御を行ってもよい。なお、地物情報は、地物に関する情報であり、例えば地図のPOI及び当該POIの名称を含む情報である。図13は、そのように構成された表示制御装置1の表示制御を説明するための図である。図13の例では、音声文字が、公園を示すPOI25を避けて表示されている。このような構成によれば、音声文字の表示が、POI25などの地物情報の表示を妨げてしまうことを抑制することができる。なお、以上に説明した構成において、制御部12は、POI25のような、運転者が右左折を行うべき地点付近のPOIを、ポップアップ表示する制御を行ってもよい。
[0059]
 <変形例5>
 以上に説明した構成において、音声文字は、第1言語の音声の内容を示す第1言語の文字と、第1言語の音声の内容を第2言語に翻訳した内容を示す第2言語の文字とを含んでもよい。
[0060]
 図14は、本変形例5に係る表示制御装置1の構成を示すブロック図である。図14の表示制御装置1は、図4の構成に言語翻訳装置12cを追加した構成と同様である。なお、言語翻訳装置12cは、図1の制御部12の概念に含まれる。
[0061]
 言語翻訳装置12cは、第1言語の音声の内容を第2言語の内容に翻訳する。ここで、言語翻訳装置12cは、インターフェース11aにて二種類の言語の音声が取得された場合に、当該二種類の言語を第1言語及び第2言語として決定してもよい。または、言語翻訳装置12cは、ユーザが表示制御装置1に予め設定した言語を第2言語として決定し、インターフェース11aにて第2言語と別の言語の音声が取得された場合に、当該別の言語を第1言語として決定してもよい。
[0062]
 音声テキスト変換部12aは、インターフェース11aで取得された第1言語の音声の内容を、当該内容を示す第1言語の文字に変換する。また、音声テキスト変換部12aは、言語翻訳装置12cで翻訳された第2言語の内容を、当該内容を示す第2言語の文字に変換する。
[0063]
 コンテンツ表示制御部12bは、第1表示画面及び第2表示画面のそれぞれの、ジェスチャー操作によって指示された部分に対応する部分に、音声テキスト変換部12aで変換された第1言語の文字及び第2言語の文字を表示する制御を行う。図15は、本変形例5に係る表示制御装置1の表示制御を説明するための図である。図15の例では、第1言語及び第2言語は日本語及びドイツ語であり、第1言語及び第2言語の文字が並べて表示されている。
[0064]
 以上のような構成によれば、ユーザ及び相手が使用する言語が異なる場合に、ユーザと相手との間における意思疎通を容易に行うことができる。なお、図14の構成では、表示制御装置1が言語翻訳装置12cを備えたが、これに限ったものではない。例えば、表示制御装置1は、言語翻訳装置12cを備えずに、言語翻訳装置12cと同等の装置と接続可能なインターフェースを備えてもよい。
[0065]
 <変形例6>
 以上に説明した図4の構成などでは、表示制御装置1は、第1音声検出装置4及び第1ジェスチャー検出装置5と接続されていたが、これに限ったものではない。例えば図16に示すように、表示制御装置1は、実線のブロックで示される第1音声検出装置4及び第1ジェスチャー検出装置5を備えてもよい。
[0066]
 また以上に説明した構成において、図17に示すように、表示制御装置1は、第2音声検出装置7及び第2ジェスチャー検出装置8とさらに接続されてもよい。この場合、第1音声検出装置4は、車両の第1座席における音声を、インターフェース11aで取得される音声として検出し、第1ジェスチャー検出装置5は、第1座席におけるジェスチャー操作を、インターフェース11bで取得されるジェスチャー操作として検出する。一方、第2音声検出装置7は、車両の第2座席における音声を、インターフェース11aで取得される音声として検出し、第2ジェスチャー検出装置8は、第2座席におけるジェスチャー操作を、インターフェース11bで取得されるジェスチャー操作として検出する。なお、第1座席及び第2座席の一方は、例えば運転座席であり、第1座席及び第2座席の他方は、例えば後部座席である。
[0067]
 また、表示制御装置1は、第1音声検出装置4及び第1ジェスチャー検出装置5と、第2音声検出装置7及び第2ジェスチャー検出装置8との少なくともいずれか1つを備えてもよい。また、表示制御装置1は、第1表示部2と第2表示部3との少なくともいずれか1つを備えてもよい。
[0068]
 図18及び図19のそれぞれは、これらの一例を示す図である。図18には、表示制御装置1が、実線のブロックで示される第1表示部2、第1音声検出装置4及び第1ジェスチャー検出装置5を備えるが、第2表示部3、第2音声検出装置7及び第2ジェスチャー検出装置8を備えない構成例が示されている。図19には、表示制御装置1が、実線のブロックで示される第1表示部2、第1音声検出装置4及び第1ジェスチャー検出装置5を備え、かつ、実線のブロックで示される第2表示部3、第2音声検出装置7及び第2ジェスチャー検出装置8を備える構成例が示されている。
[0069]
 以上のように、音声検出装置及びジェスチャー検出装置のそれぞれが複数設けられた構成によれば、例えば、第1座席と第2座席とが比較的離れている場合に、各席のユーザの音声及びジェスチャー操作の検出精度が低くなることを抑制することができる。
[0070]
 また図20に示すように、表示制御装置1は、第1表示部2を制御する第1表示制御装置1a、及び、第2表示部3を制御する第2表示制御装置1bのうち、第1表示制御装置1aに備えられてもよい。図20では、表示制御装置1が備える構成要素、及び、表示制御装置1を備える構成要素が実線のブロックで示され、それ以外の構成要素が点線のブロックで示されている。なお、表示制御装置1は、図20に示す構成に限ったものではなく、第2表示制御装置1bに備えられてもよいし、第1表示制御装置1a及び第2表示制御装置1bの両方に備えられてもよい。
[0071]
 <変形例7>
 以上に説明した図1などの構成において、取得部11は、ユーザを識別する識別情報をさらに取得し、制御部12は、取得部11で取得された識別情報に基づいて、変形例1と同様に音声文字の表示態様を変更してもよい。例えば、図6の同乗者の音声文字の太さは、図7の運転者の音声文字の太さと異なっている。なお、取得部11は、車両室内の画像を取得し、当該画像を解析することによって識別情報を取得してもよいし、音声の特徴を解析することによって識別情報を取得してもよい。このような構成によれば、ユーザごとに音声文字の表示態様が変更されるので、各ユーザはどのユーザの音声文字であるかを容易に知ることができる。
[0072]
 また以上に説明した図20などの構成において、制御部12は、第1音声検出装置4で検出された音声、及び、第1ジェスチャー検出装置5で検出されたジェスチャー操作に基づいて表示される文字の表示態様と、第2音声検出装置7で検出された音声、及び、第2ジェスチャー検出装置8で検出されたジェスチャー操作に基づいて表示される文字の表示態様とを異ならせてもよい。このような構成によれば、座席ごとに音声文字の表示態様が変更されるので、各ユーザはどの座席のユーザの音声文字であるかを容易に知ることができる。
[0073]
 <その他の変形例>
 上述した図1の取得部11及び制御部12を、以下「取得部11等」と記す。取得部11等は、図21に示す処理回路81により実現される。すなわち、処理回路81は、音声と、ジェスチャー操作とを取得する取得部11と、第1表示画面のうち取得部11で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示画面のうち取得部11で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部11で取得された音声から変換された文字を表示する制御を行う制御部12と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。
[0074]
 処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。取得部11等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
[0075]
 処理回路81がプロセッサである場合、取得部11等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ83に格納される。図22に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路81により実行されるときに、音声と、ジェスチャー操作とを取得するステップと、第1表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
[0076]
 以上、取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部11については専用のハードウェアとしての処理回路81及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
[0077]
 以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
[0078]
 また、以上で説明した表示制御装置1は、PND(Portable Navigation Device)などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置1の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
[0079]
 図23は、本変形例に係るサーバ91の構成を示すブロック図である。図23のサーバ91は、通信部91aと制御部91bとを備えており、車両92のナビゲーション装置93と無線通信を行うことが可能となっている。
[0080]
 取得部である通信部91aは、ナビゲーション装置93と無線通信を行うことにより、ナビゲーション装置93で取得された音声及びジェスチャー操作を受信する。
[0081]
 制御部91bは、サーバ91の図示しないプロセッサなどが、サーバ91の図示しないメモリに記憶されたプログラムを実行することにより、図1の制御部12と同様の機能を有している。つまり、制御部91bは、第1表示部2の第1表示画面のうち通信部91aで取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第2表示部3の第2表示画面のうち通信部91aで取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、通信部91aで取得された音声から変換された文字を表示する制御を行うための制御信号を生成する。そして、通信部91aは、制御部91bで生成された制御信号をナビゲーション装置93に送信する。
[0082]
 このように構成されたサーバ91によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
[0083]
 図24は、本変形例に係る通信端末96の構成を示すブロック図である。図24の通信端末96は、通信部91aと同様の通信部96aと、制御部91bと同様の制御部96bとを備えており、車両97のナビゲーション装置98と無線通信を行うことが可能となっている。このように構成された通信端末96によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
[0084]
 なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
[0085]
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

符号の説明

[0086]
 1 表示制御装置、1a 第1表示制御装置、1b 第2表示制御装置、2 第1表示部、2a 第1表示画面、3 第2表示部、3a 第2表示画面、4 第1音声検出装置、5 第1ジェスチャー検出装置、7 第2音声検出装置、8 第2ジェスチャー検出装置、11 取得部、12 制御部。

請求の範囲

[請求項1]
 車両とともに移動可能な第1表示部と、当該車両とともに移動可能な第2表示部とを制御可能な表示制御装置であって、
 音声と、ジェスチャー操作とを取得する取得部と、
 前記第1表示部の第1表示画面のうち前記取得部で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、前記第2表示部の第2表示画面のうち前記取得部で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、前記取得部で取得された音声から変換された文字を表示する制御を行う制御部と
を備える、表示制御装置。
[請求項2]
 請求項1に記載の表示制御装置であって、
 前記車両の第1座席における音声を、前記取得部で取得される音声として検出する第1音声検出装置、及び、前記車両の第2座席における音声を、前記取得部で取得される音声として検出する第2音声検出装置の少なくともいずれか1つと、
 前記第1座席におけるジェスチャー操作を、前記取得部で取得されるジェスチャー操作として検出する第1ジェスチャー検出装置、及び、前記第2座席におけるジェスチャー操作を、前記取得部で取得されるジェスチャー操作として検出する第2ジェスチャー検出装置の少なくともいずれか1つと
をさらに備える、表示制御装置。
[請求項3]
 請求項1に記載の表示制御装置であって、
 前記第1表示部、及び、前記第2表示部の少なくともいずれか1つをさらに備える、表示制御装置。
[請求項4]
 請求項1に記載の表示制御装置であって、
 前記ジェスチャー操作は、前記第1表示画面または前記第2表示画面上に軌跡を描く軌跡操作を含み、
 前記制御部は、
 前記第1表示画面のうち前記取得部で取得された軌跡操作の軌跡に対応する部分、及び、前記第2表示画面のうち前記取得部で取得された軌跡操作の軌跡に対応する部分のそれぞれに、前記文字を表示する制御を行う、表示制御装置。
[請求項5]
 請求項4に記載の表示制御装置であって、
 前記制御部は、
 前記取得部で取得された軌跡操作の軌跡を前記第1表示画面及び前記第2表示画面に表示する制御を行う、表示制御装置。
[請求項6]
 請求項1に記載の表示制御装置であって、
 前記制御部は、
 前記取得部で取得された前記ジェスチャー操作の速度に基づいて、前記文字の表示態様を変更する、表示制御装置。
[請求項7]
 請求項1に記載の表示制御装置であって、
 前記取得部は、ユーザを識別する識別情報をさらに取得し、
 前記制御部は、
 前記取得部で取得された識別情報に基づいて前記文字の表示態様を変更する、表示制御装置。
[請求項8]
 請求項2に記載の表示制御装置であって、
 前記第1音声検出装置、前記第1ジェスチャー検出装置、前記第2音声検出装置、及び、前記第2ジェスチャー検出装置を備え、
 前記制御部は、
 前記第1音声検出装置で検出された音声、及び、前記第1ジェスチャー検出装置で検出されたジェスチャー操作に基づいて表示される前記文字の表示態様と、前記第2音声検出装置で検出された音声、及び、前記第2ジェスチャー検出装置で検出されたジェスチャー操作に基づいて表示される前記文字の表示態様とを異ならせる、表示制御装置。
[請求項9]
 請求項1に記載の表示制御装置であって、
 前記制御部は、
 前記第1表示画面及び前記第2表示画面に表示された前記文字を、予め定められた条件が満たされた場合に消去する、表示制御装置。
[請求項10]
 請求項5に記載の表示制御装置であって、
 前記制御部は、
 前記軌跡を表示するタイミング、及び、前記文字を表示するタイミングの一方に基づいて他方を調整する、表示制御装置。
[請求項11]
 請求項1に記載の表示制御装置であって、
 前記制御部は、
 前記第1表示画面に前記文字を表示するタイミング、及び、前記第2表示画面に前記文字を表示するタイミングの一方に基づいて他方を調整する、表示制御装置。
[請求項12]
 請求項1に記載の表示制御装置であって、
 前記制御部は、
 いずれか一方が前記文字を含む二画面を、前記第1表示画面及び前記第2表示画面の少なくともいずれか1つに表示する制御を行う、表示制御装置。
[請求項13]
 請求項1に記載の表示制御装置であって、
 前記制御部は、
 前記第1表示画面及び前記第2表示画面に、予め定められたコンテンツを表示する制御を行う、表示制御装置。
[請求項14]
 請求項13に記載の表示制御装置であって、
 前記制御部は、
 前記第1表示画面及び前記第2表示画面における前記コンテンツ上に前記文字を半透過で表示する制御を行う、表示制御装置。
[請求項15]
 請求項13に記載の表示制御装置であって、
 前記コンテンツは地物情報を含む地図であり、
 前記制御部は、
 前記地図上の前記地物情報を避けて前記文字を表示する制御を行う、表示制御装置。
[請求項16]
 請求項1に記載の表示制御装置であって、
 前記音声は、第1言語の音声を含み、
 前記文字は、
 前記第1言語の音声の内容を示す前記第1言語の文字と、前記第1言語の音声の内容を第2言語に翻訳した内容を示す前記第2言語の文字とを含む、表示制御装置。
[請求項17]
 請求項1に記載の表示制御装置であって、
 前記表示制御装置は、前記第1表示部を制御する第1表示制御装置、及び、前記第2表示部を制御する第2表示制御装置の少なくともいずれか1つに備えられる、表示制御装置。
[請求項18]
 車両とともに移動可能な第1表示部と、当該車両とともに移動可能な第2表示部とを制御可能な表示制御方法であって、
 音声と、ジェスチャー操作とを取得し、
 前記第1表示部の第1表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、前記第2表示部の第2表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行う、表示制御方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]