処理中

しばらくお待ちください...

設定

設定

1. WO2020012636 - 操作制御装置、操作制御方法及び操作制御システム

Document

明 細 書

発明の名称 操作制御装置、操作制御方法及び操作制御システム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138  

産業上の利用可能性

0139  

符号の説明

0140  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 操作制御装置、操作制御方法及び操作制御システム

技術分野

[0001]
 本発明は、操作制御装置、操作制御方法及び操作制御システムに関する。

背景技術

[0002]
 従来、運転者用の表示部及び同乗者用の表示部を有する車載用の表示装置が開発されている。かかる表示装置が搭載されている車両において、運転者による操作入力及び同乗者による操作入力が互いに同時になされたとき、前者に対応する画面が運転者用の表示部に表示されるとともに、後者に対応する画面が同乗者用の表示部に表示される。これにより、当該複数人の操作者に対応する当該複数個の画面を互いに同時に表示することができる(例えば、特許文献1参照。)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2005-350018号公報

発明の概要

発明が解決しようとする課題

[0004]
 運転者用の表示部及び同乗者用の表示部を有する表示装置においては、運転者のみが操作入力をするときは同乗者用の表示部が無駄になり、同乗者のみが操作入力をするときは運転者用の表示部が無駄になる問題があった。通常、表示装置が複数個の表示部を有するものである場合における当該複数個の表示部の各々の面積は、仮に当該表示装置が1個の表示部を有するものである場合における当該1個の表示部の面積に比して小さくなる。このため、運転者又は同乗者のうちのいずれか一方が操作入力をするとき、対応する表示部の面積が小さいことにより操作性が低下する問題があった。
[0005]
 本発明は、上記のような課題を解決するためになされたものであり、複数人の操作者による操作入力に対応することができ、かつ、1人の操作者が操作入力をするときの操作性の低下を回避することができる操作制御装置、操作制御方法及び操作制御システムを提供することを目的とする。

課題を解決するための手段

[0006]
 本発明の操作制御装置は、操作入力装置に入力された個々の操作の操作者を判定する操作者判定部と、個々の操作の操作対象が属するカテゴリを判定する操作カテゴリ判定部と、操作者判定部による判定結果及び操作カテゴリ判定部による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、複数の操作者による操作対象が互いに異なるカテゴリに属する状態である第1並行入力状態を検出する第1入力状態検出部と、第1入力状態検出部により第1並行入力状態が検出されたとき、表示装置における単一の表示領域を複数の表示領域に分割して、複数の操作者に対応する複数の画面を複数の表示領域にそれぞれ表示させることにより、複数の画面による分割表示状態を開始させる分割表示開始制御部とを備えるものである。

発明の効果

[0007]
 本発明によれば、上記のように構成したので、複数人の操作者による操作入力に対応することができ、かつ、1人の操作者が操作入力をするときの操作性の低下を回避することができる。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る操作制御装置を含む制御装置の要部を示すブロック図である。
[図2] 図2Aは、実施の形態1に係る操作制御装置を含む制御装置のハードウェア構成を示すブロック図である。図2Bは、実施の形態1に係る操作制御装置を含む制御装置の他のハードウェア構成を示すブロック図である。
[図3] 実施の形態1に係る操作制御装置を含む制御装置の動作を示すフローチャートである。
[図4] 実施の形態1に係る操作制御装置を含む制御装置の他の動作を示すフローチャートである。
[図5] 図5Aは、分割前の1個の表示領域に何らかの画面が表示されている状態の例を示す説明図である。図5Bは、分割前の1個の表示領域に第1画面が表示されている状態の例を示す説明図である。図5Cは、分割後の第1表示領域及び第2表示領域に第1画面及び第2画面がそれぞれ表示されている状態の例を示す説明図である。図5Dは、分割後の第1表示領域及び第2表示領域に第1画面及び第2画面がそれぞれ表示されている状態の他の例を示す説明図である。
[図6] 図6Aは、分割前の1個の表示領域に何らかの画面が表示されている状態の例を示す説明図である。図6Bは、分割前の1個の表示領域に第1画面が表示されている状態の例を示す説明図である。図6Cは、分割後の第1表示領域及び第2表示領域に第1画面及び第2画面がそれぞれ表示されている状態の例を示す説明図である。図6Dは、分割解除後の1個の表示領域に第1操作者及び第2操作者による共用の画面が表示されている状態の例を示す説明図である。
[図7] 実施の形態1に係る操作制御システムを含む制御システムの要部を示すブロック図である。
[図8] 図8Aは、実施の形態1に係る操作制御システムを含む制御システムのシステム構成を示すブロック図である。図8Bは、実施の形態1に係る操作制御システムを含む制御システムの他のシステム構成を示すブロック図である。図8Cは、実施の形態1に係る操作制御システムを含む制御システムの他のシステム構成を示すブロック図である。図8Dは、実施の形態1に係る操作制御システムを含む制御システムの他のシステム構成を示すブロック図である。
[図9] 実施の形態2に係る操作制御装置を含む制御装置の要部を示すブロック図である。
[図10] 実施の形態2に係る操作制御装置を含む制御装置の動作を示すフローチャートである。
[図11] 実施の形態2に係る操作制御システムを含む制御システムの要部を示すブロック図である。
[図12] 実施の形態3に係る操作制御装置を含む制御装置の要部を示すブロック図である。
[図13] 実施の形態3に係る操作制御システムを含む制御システムの要部を示すブロック図である。

発明を実施するための形態

[0009]
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
[0010]
実施の形態1.
 図1は、実施の形態1に係る操作制御装置を含む制御装置の要部を示すブロック図である。図1を参照して、実施の形態1の操作制御装置100について説明する。
[0011]
 図1に示す如く、車両1内に表示装置2、操作入力装置3及び車内機器4が設けられており、車両1外に車外機器5が設けられている。
[0012]
 表示装置2は、例えば、液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイにより構成されており、車両1のダッシュボードに設けられている。操作入力装置3は、例えば、音声入力装置、ジェスチャ入力装置、タッチパネル、ハードウェアキー又はリモートコントローラ(以下「リモコン」という。)により構成されている。音声入力装置は、例えば、複数個のマイクにより構成されており、車両1のダッシュボードに設けられている。ジェスチャ入力装置は、例えば、可視光カメラ、赤外線カメラ又は距離画像センサ(いわゆる「TOF(Time of Flight)カメラ」)により構成されており、車両1のダッシュボードに設けられている。タッチパネルは、例えば、表示装置2と一体に構成されている。ハードウェアキーは、例えば、表示装置2に隣接して設けられている。
[0013]
 車内機器4は、例えば、ナビゲーション装置41及び空調装置42を含むものである。ナビゲーション装置41は、例えば、オーディオ装置と一体に構成されており、車両1のダッシュボードに設けられている。空調装置42は、車両1の室内の温度等を調節するものである。車外機器5は、例えば、車両1の搭乗者の自宅に設けられている空調装置51を含むものである。空調装置51は、当該自宅の室内の温度等を調節するものである。
[0014]
 すなわち、ナビゲーション装置41は、車載用のナビゲーション装置に係る各種機能(以下「ナビゲーション機能」という。)を有するものであり、かつ、車載用のオーディオ装置に係る各種機能(以下「オーディオ機能」という。)を有するものである。より具体的には、ナビゲーション機能は経路探索機能及び経路案内機能などを含むものであり、オーディオ機能はラジオ受信機能及び音楽再生機能などを含むものである。また、空調装置42は車載用の空調装置に係る各種機能(以下「空調機能」という。)を有するものであり、空調装置51は住宅用の空調装置に係る各種機能(以下「空調機能」という。)を有するものである。このように、個々の機器4,5が1個以上の機能を有するものである。
[0015]
 これらの機器4,5は、制御装置200による制御の下、操作入力装置3による操作が可能なものである。以下、これらの機器4,5を単に「機器」ということがあり、これらの機器4,5が有する機能を単に「機能」ということがあり、これらの機器4,5の操作者を単に「操作者」ということがある。すなわち、車両1に1人の搭乗者が搭乗しているときは各機器の各機能が1人の操作者により任意に操作され得るものであり、車両1に複数人の搭乗者が搭乗しているときは各機器の各機能が1人以上の操作者により任意に操作され得るものである。以下、制御装置200の要部について説明する。
[0016]
 操作入力制御部11は、操作入力装置3に1個の操作が入力されたとき、当該1個の操作の入力を受け付けるものである。また、操作入力制御部11は、操作入力装置3に複数個の操作が互いに並行して又は互いに連続して入力されたとき、当該複数個の操作の各々の入力を受け付けるものである。すなわち、操作入力制御部11は、操作入力装置3に個々の操作が入力される毎に、当該個々の操作の入力を受け付けるものである。操作入力制御部11は、当該入力された操作の内容に対応する処理の実行を指示する信号(以下「指示信号」という。)を処理実行指示部12に出力するものである。
[0017]
 例えば、操作入力装置3が音声入力装置により構成されている場合、まず、音声入力装置に入力された音声が音声入力装置により音声信号に変換される。音声入力装置は、当該変換された音声信号を操作入力制御部11に出力する。操作入力制御部11は、当該出力された音声信号に対する音声信号処理を実行する。操作入力制御部11による音声信号処理は、スペクトルサブトラクション法等による雑音除去及びエコー除去を含むものである。また、音声入力装置が複数個のマイクにより構成されている場合、操作入力制御部11による音声信号処理は、当該複数個のマイクにより出力された音声信号に基づく指向性制御及び音源分離などを含むものである。
[0018]
 次いで、操作入力制御部11は、これらの音声信号処理が施された音声信号に対する音声認識処理を実行することにより、発話内容に対応する文字列を生成する。操作入力制御部11は、当該生成された文字列に対応する指示信号を処理実行指示部12に出力する。操作入力制御部11による音声認識処理は、HMM(Hidden Markov Model)法などの公知の種々の方法を用いることができる。これらの方法についての詳細な説明は省略する。
[0019]
 なお、操作入力制御部11は、指示信号を処理実行指示部12に出力するのに加えて、操作入力装置3に入力された個々の操作の操作者の判定に用いられる情報(以下「操作者判定用情報」という。)を操作制御装置100内の操作者判定部21に出力するようになっている。また、操作入力制御部11は、当該個々の操作の内容を示す情報(以下「操作内容情報」という。)を操作制御装置100内の操作カテゴリ判定部22等に出力するようになっている。
[0020]
 処理実行指示部12は、操作入力制御部11により出力された指示信号を対応する機器に送信するものである。すなわち、処理実行指示部12は、操作入力装置3に入力された操作の内容に対応する処理の実行を当該機器に指示するものである。処理実行指示部12は、当該処理の実行中における当該機器の状態を示す情報(以下「機器状態情報」という。)又は当該処理の結果を示す情報(以下「処理結果情報」という。)を当該機器から受信して、当該受信された情報を表示制御部13に出力するものである。なお、当該機器が車外機器5である場合、指示信号の送信、機器状態情報の受信及び処理結果情報の受信は無線通信によるものとなる。
[0021]
 表示制御部13は、処理実行指示部12により機器状態情報が出力されたとき、当該出力された機器状態情報の内容に応じた画面を描画して、当該描画された画面を表示装置2に表示させるものである。また、表示制御部13は、処理実行指示部12により処理結果情報が出力されたとき、当該出力された処理結果情報の内容に応じた画面を描画して、当該描画された画面を表示装置2に表示させるものである。
[0022]
 ここで、表示制御部13は、表示装置2における1個の表示領域に1個の画面を表示させるか、又は当該1個の表示領域を分割してなる複数個の表示領域に複数個の画面をそれぞれ表示させるようになっている。かかる表示領域の分割は、以下のように操作制御装置100により制御される。
[0023]
 操作者判定部21は、操作入力制御部11により出力された操作者判定用情報を用いて、操作入力装置3に個々の操作が入力される毎に、当該個々の操作の操作者を判定するものである。操作者判定部21は、当該個々の操作の操作者を示す情報、すなわち操作者判定部21による判定結果を示す情報(以下「操作者情報」という。)を第1入力状態検出部23に出力するものである。
[0024]
 例えば、操作入力装置3が音声入力装置により構成されている場合、操作者判定部21は、声紋を用いた個人識別を実行する。操作者判定部21は、個々の音声の発話者を特定することにより、個々の操作の操作者を判定する。または、音声入力装置が複数個のマイクにより構成されている場合、操作者判定部21は、当該複数個のマイクにより出力された音声信号に基づく音源定位を実行する。操作者判定部21は、個々の発話に対応する音声の到来方向に基づき、個々の操作の操作者を判定する。これらの場合における操作者判定用情報は、例えば、音声入力装置により出力された音声信号、又は操作入力制御部11による音声信号処理が施された音声信号を含むものである。
[0025]
 または、操作入力装置3がジェスチャ入力装置により構成されている場合、操作者判定部21は、ジェスチャ入力装置におけるカメラによる撮像画像に対する画像認識を実行して、個々の操作が入力されたときの操作入力装置3に対する手の接近方向を算出する。操作者判定部21は、当該算出された手の接近方向に基づき個々の操作の操作者を判定する。この場合における操作者判定用情報は、例えば、当該カメラによる撮像画像を示す画像データを含むものである。
[0026]
 または、操作入力装置3がタッチパネル又はハードウェアキーにより構成されている場合、操作入力装置3に隣接してカメラが設けられている。操作者判定部21は、当該カメラによる撮像画像に対する画像認識を実行して、個々の操作が入力されたときの操作入力装置3に対する手の接近方向を算出する。操作者判定部21は、当該算出された手の接近方向に基づき個々の操作の操作者を判定する。この場合における操作者判定用情報は、例えば、当該カメラによる撮像画像を示す画像データを含むものである。
[0027]
 または、操作入力装置3がリモコンにより構成されている場合、リモコンが操作者に応じた信号を出力する機能を有している。操作者判定部21は、当該出力された信号を用いて個々の操作の操作者を判定する。この場合における操作者判定用情報は、例えば、当該出力された信号を含むものである。
[0028]
 操作カテゴリ判定部22は、操作入力制御部11により出力された操作内容情報を用いて、操作入力装置3に個々の操作が入力される毎に、当該個々の操作による操作対象の機器及び機能を判定するものである。操作カテゴリ判定部22は、当該判定の結果に基づき、当該個々の操作の操作対象が属するカテゴリを判定するものである。操作カテゴリ判定部22は、当該個々の操作の操作対象が属するカテゴリを示す情報、すなわち操作カテゴリ判定部22による判定結果を示す情報(以下「操作カテゴリ情報」という。)を第1入力状態検出部23に出力するものである。
[0029]
 操作対象のカテゴリは、操作対象の機器及び機能に基づき予め分類されたものである。すなわち、互いに同じ機器が操作対象であり、かつ、互いに同じ機能が操作対象である場合、これらの操作は互いに同じカテゴリに分類されている。換言すれば、互いに異なる機器が操作対象である場合、操作対象の機能の異同にかかわらず、これらの操作が互いに異なるカテゴリに分類されている。また、互いに異なる機能が操作対象である場合、操作対象の機器の異同にかかわらず、これらの操作が互いに異なるカテゴリに分類されている。
[0030]
 例えば、ナビゲーション装置41のナビゲーション機能を対象とする操作は、ナビゲーション装置41のオーディオ機能を対象とする操作と異なるカテゴリに分類されており、かつ、空調装置42の空調機能を対象とする操作と異なるカテゴリに分類されており、かつ、空調装置51の空調機能を対象とする操作と異なるカテゴリに分類されている。また、空調装置42の空調機能を対象とする操作は、ナビゲーション装置41のナビゲーション機能を対象とする操作と異なるカテゴリに分類されており、かつ、ナビゲーション装置41のオーディオ機能を対象とする操作と異なるカテゴリに分類されており、かつ、空調装置51の空調機能を対象とする操作と異なるカテゴリに分類されている。
[0031]
 第1入力状態検出部23は、複数人の操作者が互いに並行して操作入力をしている状態であり、かつ、当該複数人の操作者による操作対象が互いに異なるカテゴリに属する状態を検出するものである。以下、この状態を「第1並行入力状態」という。第1並行入力状態の検出には、操作者判定部21により出力された操作者情報及び操作カテゴリ判定部22により出力された操作カテゴリ情報などが用いられる。
[0032]
 例えば、第1入力状態検出部23は、操作入力制御部11により出力された操作内容情報及び操作者判定部21により出力された操作者情報を用いて、ある操作者(以下「第1操作者」という。)による一連の操作入力(以下「第1操作入力」という。)が開始された後、第1操作入力が終了するよりも先に他の操作者(以下「第2操作者」という。)による他の一連の操作入力(以下「第2操作入力」という。)が開始されたことを検出する。これにより、第1入力状態検出部23は、第1操作者及び第2操作者が互いに並行して操作入力をしている状態になったと判定する。
[0033]
 この状態において、第1入力状態検出部23は、操作カテゴリ判定部22により出力された操作カテゴリ情報を用いて、第1操作者による操作対象が属するカテゴリと第2操作者による操作対象が属するカテゴリとを比較する。第1入力状態検出部23は、前者のカテゴリと後者のカテゴリとが互いに異なるものである場合、操作入力装置3による操作入力の状態が第1並行入力状態であると判定する。
[0034]
 分割表示開始制御部24は、第1入力状態検出部23により第1並行入力状態が検出されたとき、表示装置2における1個の表示領域を複数個の表示領域に分割して、第1並行入力状態における複数人の操作者に対応する複数個の画面を当該複数個の表示領域にそれぞれ表示させることにより、当該複数個の画面による分割表示がなされている状態(以下「分割表示状態」という。)を開始させるものである。
[0035]
 例えば、分割表示開始制御部24は、表示装置2における1個の表示領域を第1操作者に対応する表示領域(以下「第1表示領域」という。)及び第2操作者に対応する表示領域(以下「第2表示領域」という。)に分割するように表示制御部13に指示する。また、分割表示開始制御部24は、第1操作入力に係る各操作に対応する機器状態情報又は処理結果情報の内容に応じた画面、すなわち第1操作者用の画面(以下「第1画面」という。)を第1表示領域に表示させるように表示制御部13に指示するとともに、第2操作入力に係る各操作に対応する機器状態情報又は処理結果情報の内容に応じた画面、すなわち第2操作者用の画面(以下「第2画面」という。)を第2表示領域に表示させるように表示制御部13に指示する。
[0036]
 ここで、分割表示開始制御部24は、車両1における第1操作者及び第2操作者の着座位置に応じて、表示装置2における第1表示領域及び第2表示領域の位置を設定するものであっても良い。例えば、車両1がいわゆる「右ハンドル」の車両であり、車両1の運転席に着座している搭乗者(すなわち運転者)が第1操作者であり、車両1の助手席に着座している搭乗者(すなわち同乗者)が第2操作者である場合、分割表示開始制御部24は、分割前の1個の表示領域のうちの右半部に対応する領域を第1表示領域に設定するとともに、分割前の1個の表示領域のうちの左半部に対応する領域を第2表示領域に設定するものであっても良い。このとき、分割表示開始制御部24は、以下のような方法により、車両1における第1操作者及び第2操作者の各々の着座位置を判定するものであっても良い。
[0037]
 例えば、操作入力装置3が音声入力装置により構成されており、かつ、音声入力装置が複数個のマイクにより構成されている場合、操作者判定部21が各操作の操作者を判定するとき、各操作者により発話された音声の到来方向が算出される。分割表示開始制御部24は、これらの到来方向に基づき、操作入力装置3に対する第1操作者及び第2操作者の各々の位置、すなわち車両1における第1操作者及び第2操作者の各々の着座位置を判定する。図1において、この場合における操作者判定部21と分割表示開始制御部24間の接続線は図示を省略している。
[0038]
 または、操作入力装置3がジェスチャ入力装置、タッチパネル又はハードウェアキーにより構成されている場合、操作者判定部21が各操作の操作者を判定するとき、各操作者による操作入力装置3に対する手の接近方向が算出される。分割表示開始制御部24は、これらの接近方向に基づき、操作入力装置3に対する第1操作者及び第2操作者の各々の位置、すなわち車両1における第1操作者及び第2操作者の各々の着座位置を判定する。図1において、この場合における操作者判定部21と分割表示開始制御部24間の接続線は図示を省略している。
[0039]
 第2入力状態検出部25は、分割表示状態の開始後に、すなわち分割表示状態の継続中に、複数人の操作者が互いに並行して操作入力をしている状態であり、かつ、当該複数人の操作者による操作対象が互いに同じカテゴリに属する状態を検出するものである。以下、この状態を「第2並行入力状態」という。第2並行入力状態の検出には、分割表示状態の開始後における操作者情報及び操作カテゴリ情報が用いられる。
[0040]
 例えば、第2入力状態検出部25は、分割表示状態の開始後における操作者情報及び操作カテゴリ情報を用いて、第2操作入力に係る各操作の操作対象が属するカテゴリと同じカテゴリに属する操作対象に対する操作を第1操作者が入力したことを検出する。また、第2入力状態検出部25は、分割表示状態の開始後における操作者情報及び操作カテゴリ情報を用いて、第1操作入力に係る各操作の操作対象が属するカテゴリと同じカテゴリに属する操作対象に対する操作を第2操作者が入力したことを検出する。当該いずれかの検出により、第2入力状態検出部25は、操作入力装置3による操作入力の状態が第2並行入力状態になったと判定する。
[0041]
 分割表示終了制御部26は、第2入力状態検出部25により第2並行入力状態が検出されたとき、分割表示状態を終了させるものである。
[0042]
 例えば、分割表示終了制御部26は、表示装置2における表示領域の分割を解除して、分割後の2個の表示領域(すなわち第1表示領域及び第2表示領域)を分割前の1個の表示領域に戻すように表示制御部13に指示する。ここで、第2並行入力状態における各操作は、操作対象がいずれも同じカテゴリに属するものである。このため、これらの操作に対応する機器状態情報及び処理結果情報の内容は、操作者の異同にかかわらず1個の画面に表示することができる。そこで、分割表示終了制御部26は、当該1個の画面、すなわち第1操作者及び第2操作者による共用の画面を当該1個の表示領域に表示させるように表示制御部13に指示する。
[0043]
 操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26により、操作制御装置100の要部が構成されている。操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御装置100により、制御装置200の要部が構成されている。
[0044]
 次に、図2を参照して、制御装置200の要部のハードウェア構成について説明する。
[0045]
 図2Aに示す如く、制御装置200はプロセッサ31及びメモリ32を有している。メモリ32には、操作入力制御部11、表示制御部13、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26の機能を実現するためのプログラムが記憶されている。メモリ32に記憶されているプログラムをプロセッサ31が読み出して実行することにより、操作入力制御部11、表示制御部13、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26の機能が実現される。また、制御装置200は送信機33及び受信機34を有している。処理実行指示部12が指示信号を送信する機能は送信機33により実現されて、処理実行指示部12が機器状態情報を受信する機能及び処理結果情報を受信する機能は受信機34により実現される。
[0046]
 または、図2Bに示す如く、制御装置200はプロセッサ31及びメモリ32に代えて処理回路35を有するものであっても良い。この場合、操作入力制御部11、表示制御部13、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26の機能が処理回路35により実現されるものであっても良い。
[0047]
 または、制御装置200はプロセッサ31及びメモリ32に加えて処理回路35を有するものであっても良い(不図示)。この場合、操作入力制御部11、表示制御部13、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26の機能のうちの一部の機能がプロセッサ31及びメモリ32に実現されて、残余の機能が処理回路35により実現されるものであっても良い。
[0048]
 プロセッサ31は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)のうちの少なくとも一つを用いたものである。
[0049]
 メモリ32は、例えば、半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクのうちの少なくとも一つを用いたものである。より具体的には、メモリ32は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)、HDD(Hard Disk Drive)、FD(Floppy Disk)、CD(Compact Disc)、DVD(Digital Versatile Disc)、MO(Magneto-Optical)又はMD(Mini Disc)のうちの少なくとも一つを用いたものである。
[0050]
 処理回路35は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)のうちの少なくとも一つを用いたものである。
[0051]
 なお、上記のとおり、複数人の操作者が互いに並行して操作入力をしている状態が想定されるものである。これらの操作入力を並列に処理する観点から、プロセッサ31は、いわゆる「マルチコア」のプロセッサを用いるのが好適である。
[0052]
 次に、図3のフローチャートを参照して、制御装置200の動作について、分割表示状態を開始させるときの動作を中心に説明する。制御装置200は、表示装置2における表示領域が分割されていない状態、すなわち表示装置2における表示領域の分割が解除されている状態にて、操作入力装置3に個々の操作が入力される毎に、ステップST1の処理を開始するようになっている。
[0053]
 まず、ステップST1にて、操作入力制御部11は、操作入力装置3による操作の入力を受け付ける。操作入力制御部11は、当該入力された操作の内容に対応する指示信号を処理実行指示部12に出力する。また、操作入力制御部11は、当該入力された操作に係る操作者判定用情報を操作者判定部21に出力するとともに、当該入力された操作に係る操作内容情報を操作カテゴリ判定部22等に出力する。
[0054]
 次いで、ステップST2にて、処理実行指示部12は、操作入力制御部11により出力された指示信号を対応する機器に送信する。これにより、操作入力装置3に入力された操作の内容に対応する処理の実行が当該機器に指示される。処理実行指示部12は、当該処理に係る機器状態情報又は処理結果情報を当該機器から受信して、当該受信された情報を表示制御部13に出力する。
[0055]
 次いで、ステップST3にて、操作者判定部21は、操作入力制御部11により出力された操作者判定用情報を用いて、操作入力装置3に入力された操作の操作者を判定する。操作者判定部21は、当該判定された操作者を示す情報、すなわち操作者情報を第1入力状態検出部23に出力する。
[0056]
 また、ステップST4にて、操作カテゴリ判定部22は、操作入力制御部11により出力された操作内容情報を用いて、操作入力装置3に入力された操作による操作対象の機器及び機能を判定する。操作カテゴリ判定部22は、当該判定の結果に基づき、当該入力された操作の操作対象が属するカテゴリを判定する。操作カテゴリ判定部22は、当該判定されたカテゴリを示す情報、すなわち操作カテゴリ情報を第1入力状態検出部23に出力する。
[0057]
 次いで、ステップST5にて、第1入力状態検出部23は、操作者判定部21により出力された操作者情報及び操作カテゴリ判定部22により出力された操作カテゴリ情報などを用いて、操作入力装置3による操作入力の状態が第1並行入力状態であるか否かを判定する。すなわち、第1入力状態検出部23は、第1並行入力状態を検出する処理を実行する。
[0058]
 第1並行入力状態が検出された場合(ステップST5“YES”)、ステップST6にて、分割表示開始制御部24は分割表示状態を開始させる。次いで、ステップST7にて、表示制御部13は、処理実行指示部12により出力された情報(すなわち機器状態情報又は処理結果情報)の内容に応じた画面を表示装置2に表示させる。このとき、分割表示状態が開始されているため、表示制御部13は、例えば、第1操作者用の第1画面を第1表示領域に表示させるとともに第2操作者用の第2画面を第2表示領域に表示させる。
[0059]
 他方、第1並行入力状態が検出されなかった場合(ステップST5“NO”)、ステップST6の処理はスキップされて、制御装置200の処理はステップST7に進む。このとき、分割表示状態が開始されていないため、表示制御部13は1個の画面を1個の表示領域に表示させる。
[0060]
 なお、ステップST3,ST4の処理は、図3に示す如く並列に実行されるものであっても良く、又は順次実行されるものであっても良い。例えば、ステップST3の処理に次いでステップST4の処理が実行されるものであっても良い。
[0061]
 次に、図4のフローチャートを参照して、制御装置200の動作について、分割表示状態を終了させるときの動作を中心に説明する。制御装置200は、表示装置2における表示領域が分割されている状態にて、操作入力装置3に個々の操作が入力される毎に、ステップST11の処理を開始するようになっている。
[0062]
 まず、操作入力制御部11がステップST11の処理を実行して、次いで、処理実行指示部12がステップST12の処理を実行する。次いで、操作者判定部21がステップST13の処理を実行するとともに、操作カテゴリ判定部22がステップST14の処理を実行する。ステップST11~ST14の処理内容は、図3に示すステップST1~ST4の処理内容と同様であるため、再度の説明は省略する。
[0063]
 次いで、ステップST15にて、第2入力状態検出部25は、操作者判定部21により出力された操作者情報及び操作カテゴリ判定部22により出力された操作カテゴリ情報を用いて、操作入力装置3による操作入力の状態が第2並行入力状態であるか否かを判定する。すなわち、第2入力状態検出部25は、第2並行入力状態を検出する処理を実行する。
[0064]
 第2並行入力状態が検出された場合(ステップST15“YES”)、ステップST16にて、分割表示終了制御部26は分割表示状態を終了させる。次いで、ステップST17にて、表示制御部13は、処理実行指示部12により出力された情報(すなわち機器状態情報又は処理結果情報)に応じた画面を表示装置2に表示させる。このとき、分割表示状態が終了しているため、表示制御部13は1個の画面、すなわち第1操作者及び第2操作者による共用の画面を1個の表示領域に表示させる。
[0065]
 他方、第2並行入力状態が検出されなかった場合(ステップST15“NO”)、ステップST16の処理はスキップされて、制御装置200の処理はステップST17に進む。このとき、分割表示状態が継続しているため、表示制御部13は、例えば、第1操作者用の第1画面を第1表示領域に表示させるとともに第2操作者用の第2画面を第2表示領域に表示させる。
[0066]
 なお、ステップST13,ST14の処理は、図4に示す如く並列に実行されるものであっても良く、又は順次実行されるものであっても良い。例えば、ステップST13の処理に次いでステップST14の処理が実行されるものであっても良い。
[0067]
 次に、図5を参照して、第1並行入力状態の具体例について説明する。なお、図5に示す例において、車両1は右ハンドルの車両である。また、車両1の運転席に着座している搭乗者(すなわち運転者)が第1操作者となり、次いで、車両1の助手席に着座している搭乗者(すなわち同乗者)が第2操作者となるものである。
[0068]
 まず、図5Aに示す如く、表示装置2における表示領域が分割されておらず、1個の表示領域DAに何らかの画面S0が表示されている。
[0069]
 次いで、図5Bに示す如く、運転席に着座している搭乗者が「オーディオ操作」と発話することにより、第1操作者O1によるナビゲーション装置41のオーディオ機能を対象とする一連の操作入力、すなわち第1操作入力が開始される。表示制御部13は、第1操作者O1用の画面、すなわち第1画面S1を表示領域DAに表示させる。図5Bに示す例において、第1画面S1はオーディオ機能用のメニュー画面である。
[0070]
 次いで、図5Cに示す如く、第1操作入力が終了するよりも先に(すなわち第1操作者が「Song Aを再生」と発話するよりも先に)、助手席に着座している搭乗者が「エアコン操作」と発話することにより、第2操作者O2による空調装置42の空調機能を対象とする一連の操作入力、すなわち第2操作入力が開始される。この場合、第1入力状態検出部23により第1並行入力状態が検出されて、分割表示開始制御部24が分割表示状態を開始させる。表示制御部13は、1個の表示領域DAを2個の表示領域DA1,DA2に分割して、第1表示領域DA1に第1操作者O1用の第1画面S1を表示させるとともに、第2表示領域DA2に第2操作者O2用の第2画面S2を表示させる。図5Cに示す例において、分割前の表示領域DAのうちの右半部に対応する領域が第1表示領域DA1に設定されており、分割前の表示領域DAのうちの左半部に対応する領域が第2表示領域DA2に設定されている。また、第1画面S1がオーディオ機能用のメニュー画面であるのに対して、第2画面S2は空調機能用のメニュー画面である。
[0071]
 次いで、図5Dに示す如く、第1操作者O1が「Song Aを再生」と発話することにより、ナビゲーション装置41が当該歌曲を再生する処理を開始して、第1操作入力が終了する。ここで、上記のとおり、実施の形態1の操作制御装置100における分割表示状態の終了条件は第2並行入力状態の検出であり、第1操作入力又は第2操作入力の終了ではない。このため、第1操作入力の終了により表示領域DA1,DA2の分割が解除されることはなく、分割表示状態が継続したままで当該歌曲が再生される。
[0072]
 次に、図6を参照して、第2並行入力状態の具体例について説明する。なお、図6に示す例において、車両1は右ハンドルの車両である。また、車両1の助手席に着座している搭乗者(すなわち同乗者)が第1操作者となり、次いで、車両1の運転席に着座している搭乗者(すなわち運転者)が第2操作者となるものである。
[0073]
 まず、図6Aに示す如く、表示装置2における表示領域が分割されておらず、1個の表示領域DAに何らかの画面S0が表示されている。
[0074]
 次いで、図6Bに示す如く、助手席に着座している搭乗者が「エアコン操作」と発話することにより、第1操作者O1による空調装置42の空調機能を対象とする一連の操作入力、すなわち第1操作入力が開始される。表示制御部13は、第1操作者O1用の画面、すなわち第1画面S1を表示領域DAに表示させる。図6Bに示す例において、第1画面S1は空調機能用のメニュー画面である。
[0075]
 次いで、図6Cに示す如く、第1操作入力が終了するよりも先に、運転席に着座している搭乗者が「オーディオ操作」と発話することにより、第2操作者O2によるナビゲーション装置41のオーディオ機能を対象とする一連の操作入力、すなわち第2操作入力が開始される。この場合、第1入力状態検出部23により第1並行入力状態が検出されて、分割表示開始制御部24が分割表示状態を開始させる。表示制御部13は、1個の表示領域DAを2個の表示領域DA1,DA2に分割して、第1表示領域DA1に第1操作者O1用の第1画面S1を表示させるとともに、第2表示領域DA2に第2操作者O2用の第2画面S2を表示させる
[0076]
 次いで、図6Dに示す如く、第2操作入力が終了するよりも先に、第1操作者O1が第1操作入力を中止して、又は第1操作入力が終了して、第1操作者O1が「Song Bを再生」と発話する。すなわち、第1操作者O1がナビゲーション装置41のオーディオ機能を対象とする操作を入力する。この場合、第2入力状態検出部25により第2並行入力状態が検出されて、分割表示終了制御部26が分割表示状態を終了させる。表示制御部13は、2個の表示領域DA1,DA2を1個の表示領域DAに戻して、この表示領域DAに第1操作者及び第2操作者による共用の画面S3を表示させる。図6Dに示す例において、この画面S3はオーディオ機能用のメニュー画面である。
[0077]
 このように、実施の形態1の操作制御装置100によれば、複数人の操者者が互いに並行して操作入力をしている場合において当該複数人の操作者による操作対象が互いに異なるカテゴリに属するときに表示領域が分割される一方、この場合において当該複数人の操作者による操作対象が互いに同じカテゴリに属するときは表示領域が分割されず、1人の操作者が操作入力をしている場合も表示領域が分割されない。これにより、複数人の操者者が互いに並行して操作入力をしている場合において当該複数人の操作者による操作対象が互いに異なるカテゴリに属するとき、これらの操作入力に対応することができる。また、この場合において当該複数人の操作者による操作対象が互いに同じカテゴリに属するとき、及び1人の操作者が操作入力をしている場合、表示領域の分割による操作性の低下が発生するのを回避することができる。
[0078]
 なお、図5及び図6及に示す例においては、第1表示領域の大きさが第2表示領域の大きさと同等であった。しかしながら、分割後の複数個の表示領域の各々の大きさは、互いに同じ大きさに限定されるものではない。表示装置2における当該複数個の表示領域の各々の大きさは、分割表示開始制御部24により設定されるものであっても良い。
[0079]
 例えば、通常、各操作に対応する機器状態情報又は処理結果情報の内容に応じた画面に含まれる情報量は、当該操作の操作対象が属するカテゴリに応じて異なるものである。そこで、分割表示開始制御部24は、各操作者による操作対象が属するカテゴリに基づき、情報量の多い画面が表示される表示領域の大きさが情報量の少ない画面が表示される表示領域の大きさに比して大きくなるように、各表示領域の大きさを設定するものであっても良い。
[0080]
 または、分割表示開始制御部24は、各操作者の属性(例えば運転者であるか同乗者であるか)及び車両1の走行状態(例えば走行中であるか停止中であるか)に基づき各表示領領域の大きさを設定するものであっても良い。すなわち、分割表示開始制御部24は、車両1における車速信号又はパーキング信号などを用いて、車両1が走行中であるか停止中であるかを判定する。また、分割表示開始制御部24は、操作者判定部21により算出された音声の到来方向又は手の接近方向などに基づき、各操作者が運転者であるか同乗者であるかを判定する。分割表示開始制御部24は、車両1が走行中である場合、運転者用の画面が表示される表示領域の大きさが同乗者用の画面が表示される表示領域の大きさに比して大きくなるように、各表示領域の大きさを設定する。
[0081]
 または、分割表示開始制御部24は、各操作者による操作対象が属するカテゴリ及び車両1の走行状態に基づき各表示領域の大きさを設定するものであっても良い。すなわち、ナビゲーション装置41のナビゲーション機能を対象とする操作が含まれるカテゴリを「ナビゲーションカテゴリ」という。分割表示開始制御部24は、車両1が走行中である場合、ナビゲーションカテゴリに属する操作対象に対応する表示領域の大きさが他のカテゴリに属する操作対象に対応する表示領域の大きさに比して大きくなるように、各表示領域の大きさを設定する。
[0082]
 または、分割表示開始制御部24は、第1並行入力状態における複数人の操作者による操作入力の開始順に基づき、先に操作入力を開始した操作者に対応する表示領域の大きさが後に操作入力を開始した操作者に対応する表示領域の大きさに比して大きくなるように、各表示領域の大きさを設定するものであっても良い。例えば、第1操作者が第1操作入力を開始した後に第2操作者が第2操作入力を開始した場合、分割表示開始制御部24は、第1表示領域の大きさを第2表示領域の大きさに比して大きい値に設定するものであっても良い。
[0083]
 そのほか、分割表示開始制御部24は、第1並行入力状態における複数人の操作者の各々による操作対象が属するカテゴリ、当該複数人の操作者の各々の属性、車両1の走行状態、又は当該複数人の操作者による操作入力の開始順のうちの少なくとも一つに基づき、各表示領域の大きさを設定するものであっても良い。
[0084]
 また、操作対象のカテゴリの分類方法は、操作対象の機器及び機能に基づくものであれば良く、上記の具体例に限定されるものではない。例えば、一部の機器及び機能については、互いに同じ機能が操作対象である場合、操作対象の機器の異同にかかわらず、これらの操作が互いに同じカテゴリに分類されているものであっても良い。
[0085]
 具体的には、例えば、車両1にディスプレイオーディオ装置が搭載されており、車両1に第1携帯型オーディオ装置及び第2携帯型オーディオ装置が持ち込まれており、第1携帯型オーディオ装置及び第2携帯型オーディオ装置の各々がディスプレイオーディオ装置に接続されている。ディスプレイオーディオ装置は、ディスプレイオーディオ装置に記録されているプレイリスト、第1携帯型オーディオ装置に記録されているプレイリスト及び第2携帯型オーディオ装置に記録されているプレイリストをマージすることができる。このような場合において、ディスプレイオーディオ装置、第1携帯型オーディオ装置及び第2携帯型オーディオ装置が車内機器4に含まれるものであるとき、ディスプレイオーディオ装置の音楽再生機能を対象とする操作、第1携帯型オーディオ装置の音楽再生機能を対象とする操作及び第2携帯型オーディオ装置の音楽再生機能を対象とする操作が互いに同じカテゴリに分類されているものであっても良い。これらの操作は、マージされたプレイリストに基づく1個の画面による表示及び処理が可能だからである。
[0086]
 そのほか、操作対象の機器及び機能に基づき、同一画面による表示及び処理が可能な操作が互いに同じカテゴリに分類されているものあれば、如何なる分類によるものであっても良い。換言すれば、同一画面による表示及び処理が不可能な操作が互いに異なるカテゴリに分類されているものであれば、如何なる分類によるものであっても良い。
[0087]
 例えば、ナビゲーション装置41のオーディオ機能のうちの音楽再生機能を対象とする操作とラジオ受信機能を対象とする操作とが同一画面による表示及び処理が不可能なものである場合、これらの操作が互いに異なるカテゴリに分類されているものであっても良い。さらに、ナビゲーション装置41のオーディオ機能が各種設定(例えば音量又はイコライザの設定)機能を含むものである場合において、音楽再生機能を対象とする操作と各種設定機能を対象とする操作とが同一画面による表示及び処理が不可能なものであるとき、これらの操作が互いに異なるカテゴリに分類されているものであっても良い。
[0088]
 また、制御装置200は、ナビゲーション装置41と一体に構成されているものであっても良い。
[0089]
 また、車内機器4は、表示装置2に操作用の画面が表示された状態にて操作入力装置3により操作されるものであれば、如何なる機器又は装置を含むものであっても良い。すなわち、車内機器4は、ナビゲーション装置41、空調装置42、ディスプレイオーディオ装置、第1携帯型オーディオ装置及び第2携帯型オーディオ装置に限定されるものではない。
[0090]
 また、車外機器5は、表示装置2に操作用の画面が表示された状態にて操作入力装置3により操作されるものであれば、如何なる機器又は装置を含むものであっても良い。すなわち、車外機器5は、空調装置51に限定されるものではない。
[0091]
 また、図7に示す如く、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26により操作制御システム300の要部が構成されているものであっても良い。また、操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御システム300により制御システム400の要部が構成されているものであっても良い。図7において、車両1、表示装置2、操作入力装置3、車内機器4及び車外機器5は図示を省略している。
[0092]
 ここで、制御システム400において、操作入力制御部11、処理実行指示部12、表示制御部13、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25及び分割表示終了制御部26の各々の機能は、車両1に搭載された車載情報機器61により実現されるものであっても良く、車両1に持ち込まれたスマートフォン等の携帯情報端末62により実現されるものであっても良く、又は車載情報機器61若しくは携帯情報端末62と通信自在なサーバ装置63により実現されるものであっても良い。図8A~図8Dの各々は、制御システム400の要部のシステム構成の例を示している。なお、制御システム400が車載情報機器61を含むものである場合、車載情報機器61はナビゲーション装置41又はディスプレイオーディオ装置と一体に構成されているものであっても良い。
[0093]
 また、制御装置200において、第2入力状態検出部25及び分割表示終了制御部26が操作制御装置100外に設けられているものであっても良い。すなわち、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23及び分割表示開始制御部24により操作制御装置100の要部が構成されているものであっても良い。同様に、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23及び分割表示開始制御部24により操作制御システム300の要部が構成されているものであっても良い。
[0094]
 また、操作制御装置100は、上記のように車両1における操作入力の制御に用いることができるのはもちろんのこと、車両1と異なる移動体(例えば船又は航空機)における操作入力の制御にも用いることができる。また、移動体における操作入力と異なる操作入力(例えば各種施設における操作入力)の制御にも用いることができる。
[0095]
 以上のように、実施の形態1の操作制御装置100は、操作入力装置3に入力された個々の操作の操作者を判定する操作者判定部21と、個々の操作の操作対象が属するカテゴリを判定する操作カテゴリ判定部22と、操作者判定部21による判定結果及び操作カテゴリ判定部22による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、複数の操作者による操作対象が互いに異なるカテゴリに属する状態である第1並行入力状態を検出する第1入力状態検出部23と、第1入力状態検出部23により第1並行入力状態が検出されたとき、表示装置2における単一の表示領域(すなわち1個の表示領域)を複数の表示領域に分割して、複数の操作者に対応する複数の画面を複数の表示領域にそれぞれ表示させることにより、複数の画面による分割表示状態を開始させる分割表示開始制御部24とを備える。これにより、複数人の操者者が互いに並行して操作入力をしている場合において当該複数人の操作者による操作対象が互いに異なるカテゴリに属するとき、これらの操作入力に対応することができる。また、この場合において当該複数人の操作者による操作対象が互いに同じカテゴリに属するとき、及び1人の操作者が操作入力をしているとき、表示領域の分割による操作性の低下が発生するのを回避することができる。
[0096]
 また、操作制御装置100は、分割表示状態の継続中に、操作者判定部21による判定結果及び操作カテゴリ判定部22による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、複数の操作者による操作対象が互いに同じカテゴリに属する状態である第2並行入力状態を検出する第2入力状態検出部25と、第2入力状態検出部25により第2並行入力状態が検出されたとき、分割表示状態を終了させる分割表示終了制御部26とを備える。これにより、表示装置2における表示領域の分割が不要となったタイミングにて、当該分割を解除することができる。
[0097]
 また、分割表示開始制御部24は、複数の操作者の各々による操作対象が属するカテゴリ、複数の操作者の各々の属性、車両1の走行状態、又は複数の操作者による操作入力の開始順のうちの少なくとも一つに基づき、複数の表示領域の各々の大きさを設定する。これにより、分割表示状態における各表示領域の大きさを適切な値に設定することができる。
[0098]
実施の形態2.
 図9は、実施の形態2に係る操作制御装置を含む制御装置の要部を示すブロック図である。図9を参照して、実施の形態2の操作制御装置100aについて説明する。なお、図9において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
[0099]
 操作終了判定部27は、分割表示状態の開始後に、すなわち分割表示状態の継続中に、第1並行入力状態における複数人の操作者の各々について、当該操作者による操作入力が終了したか否かを判定するものである。
[0100]
 例えば、操作終了判定部27は、分割表示状態の開始後における、各操作者による操作入力がなされていない状態の継続時間Tをカウントする。操作終了判定部27は、当該カウントされた継続時間Tが所定の基準時間Tref(例えば30秒)を超えたとき、当該操作者による操作入力が終了したと判定する。当該カウント及び当該判定には、分割表示状態の開始後に操作者判定部21により出力された操作者情報などが用いられる。
[0101]
 または、例えば、操作終了判定部27は、各操作者による操作入力に対応する処理が所定のステップに到達したとき、当該操作者による操作入力が終了したと判定する。当該判定には、分割表示状態の開始後に操作者判定部21により出力された操作者情報に加えて、分割表示状態の開始後に操作入力制御部11により出力された操作内容情報又は処理実行指示部12により出力された処理結果情報などが用いられる。すなわち、処理実行指示部12は処理結果情報を操作制御装置100内の操作終了判定部27に出力するものであっても良い。図9において、この場合における処理実行指示部12と操作制御装置100間の接続線は図示を省略している。
[0102]
 具体的には、例えば、第1操作者による第1操作入力が、ナビゲーション装置41のナビゲーション機能における経路案内を開始するための一連の操作入力であるものとする。この場合、車両1の目的地及び案内対象となる経路が決定されて、ナビゲーション装置41の処理が当該経路の案内を開始するステップに到達したとき、操作終了判定部27は第1操作入力が終了したと判定する。また、例えば、第2操作者による第2操作入力が、ナビゲーション装置41のオーディオ機能における音楽再生を開始するための一連の操作入力であるものとする。この場合、再生対象となる楽曲が決定されて、ナビゲーション装置41の処理が当該楽曲の再生を開始するステップに到達したとき、操作終了判定部27は第2操作入力が終了したと判定する。
[0103]
 分割表示終了制御部26aは、操作終了判定部27により第1並行入力状態における複数人の操作者のうちのいずれか1人の操作者を除く残余の操作者による操作入力が終了したと判定されたとき、分割表示状態を終了させるものである。例えば、第1並行入力状態における複数人の操作者が第1操作者及び第2操作者を含むものである場合、分割表示終了制御部26aは、操作終了判定部27により第1操作者又は第2操作者のうちのいずれか一方による操作入力が終了したと判定されたとき、分割表示状態を終了させるものである。
[0104]
 すなわち、実施の形態2の操作制御装置100aは、実施の形態1の操作制御装置100に対して分割表示状態の終了条件が異なるものである。より具体的には、実施の形態1の操作制御装置100における分割表示状態の終了条件が第2並行入力状態の検出であるのに対して、実施の形態2の操作制御装置100aにおける分割表示状態の終了条件は第1操作者又は第2操作者のうちのいずれか一方による操作入力の終了である。
[0105]
 操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、分割表示終了制御部26a及び操作終了判定部27により、操作制御装置100aの要部が構成されている。操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御装置100aにより、制御装置200aの要部が構成されている。
[0106]
 制御装置200aの要部のハードウェア構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、分割表示終了制御部26a及び操作終了判定部27の各々の機能は、プロセッサ31及びメモリ32により実現されるものであっても良く、又は処理回路35により実現されるものであっても良い。
[0107]
 制御装置200aの動作のうちの分割表示状態を開始させるときの動作は、実施の形態1にて図3のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。
[0108]
 次に、図10のフローチャートを参照して、制御装置200aの動作について、分割表示状態を終了させるときの動作を中心に説明する。なお、第1並行入力状態における複数人の操作者は、第1操作者及び第2操作者を含むものである。制御装置200aは、表示装置2における表示領域が分割されている状態にて、操作入力装置3に個々の操作が入力される毎に、ステップST21の処理を開始するようになっている。
[0109]
 まず、操作入力制御部11がステップST21の処理を実行して、次いで、処理実行指示部12がステップST22の処理を実行して、次いで、操作者判定部21がステップST23の処理を実行する。ステップST21~ST23の処理内容は、図3に示すステップST1~ST3の処理内容と同様であり、かつ、図4に示すステップST11~ST13の処理内容と同様であるため、再度の説明は省略する。
[0110]
 次いで、ステップST24にて、操作終了判定部27は、第1操作者及び第2操作者の各々による操作入力が終了したか否かを判定する。
[0111]
 操作終了判定部27により第1操作者又は第2操作者のうちのいずれか一方による操作入力が終了したと判定された場合(ステップST25“YES”)、ステップST26にて、分割表示終了制御部26aは分割表示状態を終了させる。次いで、ステップST27にて、表示制御部13は、処理実行指示部12により出力された情報(すなわち機器状態情報又は処理結果情報)の内容に応じた画面を表示装置2に表示させる。このとき、分割表示状態が終了しているため、表示制御部13は1個の画面を1個の表示領域に表示させる。
[0112]
 他方、操作終了判定部27により第1操作者及び第2操作者のいずれによる操作入力も終了していないと判定された場合(ステップST25“NO”)、すなわち第1操作者及び第2操作者がいずれも操作入力を継続していると判定された場合、ステップST26の処理はスキップされて、制御装置200aの処理はステップST27に進む。このとき、分割表示状態が継続しているため、表示制御部13は、第1操作者用の第1画面を第1表示領域に表示させるとともに、第2操作者用の第2画面を第2表示領域に表示させる。
[0113]
 なお、基準時間Trefは30秒に限定されるものではない。以下のように、操作終了判定部27が基準時間Trefの値を設定するものであっても良い。
[0114]
 例えば、操作終了判定部27は、車両1の走行状態(例えば走行中であるか停止中であるか)に基づき基準時間Trefの値を設定するものであっても良い。すなわち、操作終了判定部27は、車両1における車速信号又はパーキング信号などを用いて、車両1が走行中であるか停止中であるかを判定する。操作終了判定部27は、車両1が走行中であるときは車両1が停止中であるときに比して基準時間Trefを大きい値に設定する。
[0115]
 または、例えば、操作終了判定部27は、車両1の走行状態及び各操作者の属性(例えば運転者であるか同乗者であるか)に基づき基準時間Trefの値を設定するものであっても良い。すなわち、操作終了判定部27は、上記のように車両1が走行中であるか停止中であるかを判定する。また、操作終了判定部27は、操作者判定部21により算出された音声の到来方向又は手の接近方向などに基づき、各操作者が運転者であるか同乗者であるかを判定する。操作終了判定部27は、車両1が走行中である場合、運転者による操作入力の終了判定に係る基準時間Trefを同乗者による操作入力の終了判定に係る基準時間Trefに比して大きい値に設定する。他方、車両1が停止中である場合、操作終了判定部27は、前者の基準時間Trefを後者の基準時間Trefと同等の値に設定する。
[0116]
 または、例えば、操作終了判定部27は、車両1の走行状態及び各操者による操作対象が属するカテゴリに基づき基準時間Trefの値を設定するものであっても良い。すなわち、操作終了判定部27は、上記のように車両1が走行中であるか停止中であるかを判定する。操作終了判定部27は、車両1が走行中である場合、ナビゲーションカテゴリに属する操作対象に対する操作入力の終了判定に係る基準時間Trefを他のカテゴリに属する操作対象に対する操作入力の終了判定に係る基準時間Trefに比して大きい値に設定する。他方、車両1が停止中である場合、操作終了判定部27は、前者の基準時間Trefを後者の基準時間Trefと同等の値に設定する。図9において、操作カテゴリ判定部22と操作終了判定部27間の接続線は図示を省略している。
[0117]
 そのほか、操作終了判定部27は、車両1の走行状態、第1並行入力状態における複数人の操作者の各々の属性、又は当該複数人の操作者の各々による操作対象が属するカテゴリのうちの少なくとも一つに基づき、基準時間Trefの値を設定するものであっても良い。
[0118]
 また、図11に示す如く、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、分割表示終了制御部26a及び操作終了判定部27により操作制御システム300aの要部が構成されているものであって良い。また、操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御システム300aにより制御システム400aの要部が構成されているものであっても良い。制御システム400aの要部のシステム構成は、実施の形態1にて図8を参照して説明したものと同様であるため、図示及び説明を省略する。
[0119]
 また、操作制御装置100aは、操作終了判定部27に加えて、図1に示すものと同様の第2入力状態検出部25を有するものであっても良い。この場合、分割表示終了制御部26aは、第2入力状態検出部25により第2並行入力状態が検出されたとき、及び操作終了判定部27により第1操作者又は第2操作者のうちのいずれか一方による操作入力が終了したと判定されたとき、分割表示状態を終了させるものであっても良い。操作制御システム300aも同様である。
[0120]
 そのほか、操作制御装置100a、制御装置200a、操作制御システム300a及び制御システム400aは、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
[0121]
 以上のように、実施の形態2の操作制御装置100aは、分割表示状態の継続中に、複数の操作者の各々による操作入力が終了したか否かを判定する操作終了判定部27と、複数の操作者が第1操作者及び第2操作者を含む場合において、操作終了判定部27により第1操作者又は第2操作者のうちのいずれか一方による操作入力が終了したと判定されたとき、分割表示状態を終了させる分割表示終了制御部26aとを備える。これにより、表示装置2における表示領域の分割が不要となったタイミングにて、当該分割を解除することができる。
[0122]
 また、操作終了判定部27は、複数の操作者の各々について、当該操作者による操作入力がなされていない状態の継続時間Tが基準時間Trefを超えたとき、当該操作者による操作入力が終了したと判定する。これにより、各操作者による操作入力がなされていない状態の継続時間Tに基づき、各操作者による操作入力が終了したか否かを判定することができる。
[0123]
 また、操作終了判定部27は、車両1の走行状態、複数の操作者の各々の属性、又は複数の操作者の各々による操作対象が属するカテゴリのうちの少なくとも一つに基づき、基準時間Trefの値を設定する。これにより、各操作者による操作入力が終了したか否かの判定精度を向上することができる。
[0124]
 または、操作終了判定部27は、複数の操作者の各々について、当該操作者による操作入力に対応する処理が所定のステップに到達したとき、当該操作者による操作入力が終了したと判定する。これにより、各操作者による操作入力に対応する処理のステップに基づき、各操作者による操作入力が終了したか否かを判定することができる。
[0125]
実施の形態3.
 図12は、実施の形態3に係る操作制御装置を含む制御装置の要部を示すブロック図である。図12を参照して、実施の形態3の操作制御装置100bについて説明する。なお、図12において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
[0126]
 通知制御部28は、分割表示状態の開始後かつ分割表示状態の終了前における操作者情報、すなわち分割表示状態の継続中における操作者情報を用いて、分割表示状態の継続中に操作入力装置3に個々の操作が入力される毎に、当該入力された操作が複数個の画面のうちのいずれの画面に対応する操作であるのかを車両1の搭乗者に通知する制御を実行するものである。
[0127]
 具体的には、例えば、通知制御部28は、表示装置2における表示の態様による通知を行う。すなわち、通知制御部28は、当該操作された操作に対応する画面の表示態様(例えば当該画面の枠部の色)を他の画面の表示態様に比して異ならしめるように表示制御部13に指示する。かかる表示態様の変化により、各操作者は、自分が入力した操作に対応する画面がいずれの画面であるのかを明確かつ容易に視覚的に知ることができる。
[0128]
 または、例えば、表示装置2に隣接して複数個の灯体(不図示)が設けられている。当該複数個の灯体は、分割表示状態における複数個の表示領域、すなわち分割表示状態における複数個の画面と一対一に対応するものである。通知制御部28は、当該複数個の灯体のうち、操作入力装置3に入力された操作に対応する画面に応じた灯体を点灯させる。当該複数個の灯体の各々は、例えば、LED(Light Emitting Diode)により構成されている。かかる灯体の点灯により、各操作者は、自分が入力した操作に対応する画面がいずれの画面であるのかを明確かつ容易に視覚的に知ることができる。
[0129]
 または、例えば、車両1内に音声出力装置(不図示)が設けられている。通知制御部28は、操作入力装置3に入力された操作に対応する画面に応じた音声(例えば当該画面に対応する機能の名称を含む文字列を読み上げる音声)を音声出力装置に出力させる。かかる音声の出力により、各操作者は、自分が入力した操作に対応する画面がいずれの画面であるのかを明確かつ容易に聴覚的に知ることができる。音声出力装置は、例えば、スピーカにより構成されている。音声出力装置は、通知制御部28による通知並びにナビゲーション装置41による経路案内及び音楽再生などにより共用されるものであっても良い。
[0130]
 または、例えば、通知制御部28は、操作入力装置3に入力された操作に対応する画面に応じた効果音(例えば当該画面に応じた高さを有するビープ音)を音声出力装置に出力させる。かかる効果音の出力により、各操作者は、自分が入力した操作に対応する画面がいずれの画面であるのかを明確かつ容易に聴覚的に知ることができる。
[0131]
 操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25、分割表示終了制御部26及び通知制御部28により、操作制御装置100bの要部が構成されている。操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御装置100bにより、制御装置200bの要部が構成されている。
[0132]
 制御装置200bの要部のハードウェア構成は、実施の形態1にて図2を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、通知制御部28の機能は、プロセッサ31及びメモリ32により実現されるものであっても良く、又は処理回路35により実現されるものであっても良い。
[0133]
 なお、通知制御部28は、上記表示の態様による通知、上記灯体の点灯による通知、上記音声の出力による通知、又は上記効果音の出力による通知のうちのいずれか二以上を組み合わせて実行するものであっても良い。
[0134]
 また、図13に示す如く、操作者判定部21、操作カテゴリ判定部22、第1入力状態検出部23、分割表示開始制御部24、第2入力状態検出部25、分割表示終了制御部26及び通知制御部28により操作制御システム300bの要部が構成されているものであっても良い。また、操作入力制御部11、処理実行指示部12、表示制御部13及び操作制御システム300bにより制御システム400bの要部が構成されているものであっても良い。制御システム400bの要部のシステム構成は、実施の形態1にて図8を参照して説明したものと同様であるため、図示及び説明を省略する。
[0135]
 また、操作制御装置100bは、図9に示す操作制御装置100aに通知制御部28を追加してなるものであっても良い。すなわち、操作制御装置100bは、図12に示す分割表示終了制御部26に代えて分割表示終了制御部26aを有するとともに、図12に示す第2入力状態検出部25に代えて又は加えて操作終了判定部27を有するものであっても良い。操作制御システム300bも同様である。
[0136]
 そのほか、操作制御装置100b、制御装置200b、操作制御システム300b及び制御システム400bは、実施の形態1,2にて説明したものと同様の種々の変形例を採用することができる。
[0137]
 以上のように、実施の形態3の操作制御装置100bは、分割表示状態の継続中に、操作者判定部21による判定結果を用いて、表示装置2における表示、灯体の点灯、音声の出力又は効果音の出力のうちの少なくとも一つにより、個々の操作が複数の画面のうちのいずれの画面に対応する操作であるのかを通知する通知制御部28を備える。これにより、第1並行入力状態における複数人の操作者の各々が、自身の操作入力に対応する画面がいずれの画面であるのかを明確かつ容易に知ることができる。この結果、第1並行入力状態における操作性を向上することができる。
[0138]
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

産業上の利用可能性

[0139]
 本発明の操作制御装置、操作制御方法及び操作制御システムは、例えば、車内機器又は車外機器に対する操作入力の制御に用いることができる。

符号の説明

[0140]
 1 車両、2 表示装置、3 操作入力装置、4 車内機器、5 車外機器、11 操作入力制御部、12 処理実行指示部、13 表示制御部、21 操作者判定部、22 操作カテゴリ判定部、23 第1入力状態検出部、24 分割表示開始制御部、25 第2入力状態検出部、26,26a 分割表示終了制御部、27 操作終了判定部、28 通知制御部、31 プロセッサ、32 メモリ、33 送信機、34 受信機、35 処理回路、41 ナビゲーション装置、42 空調装置、51 空調装置、61 車載情報機器、62 携帯情報端末、63 サーバ装置、100,100a,100b 操作制御装置、200,200a,200b 制御装置、300,300a,300b 操作制御システム、400,400a,400b 制御システム。

請求の範囲

[請求項1]
 操作入力装置に入力された個々の操作の操作者を判定する操作者判定部と、
 前記個々の操作の操作対象が属するカテゴリを判定する操作カテゴリ判定部と、
 前記操作者判定部による判定結果及び前記操作カテゴリ判定部による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、前記複数の操作者による操作対象が互いに異なるカテゴリに属する状態である第1並行入力状態を検出する第1入力状態検出部と、
 前記第1入力状態検出部により前記第1並行入力状態が検出されたとき、表示装置における単一の表示領域を複数の表示領域に分割して、前記複数の操作者に対応する複数の画面を前記複数の表示領域にそれぞれ表示させることにより、前記複数の画面による分割表示状態を開始させる分割表示開始制御部と、
 を備える操作制御装置。
[請求項2]
 前記分割表示状態の継続中に、前記操作者判定部による判定結果を用いて、前記表示装置における表示、灯体の点灯、音声の出力又は効果音の出力のうちの少なくとも一つにより、前記個々の操作が前記複数の画面のうちのいずれの画面に対応する操作であるのかを通知する通知制御部を備えることを特徴とする請求項1記載の操作制御装置。
[請求項3]
 前記分割表示状態の継続中に、前記操作者判定部による判定結果及び前記操作カテゴリ判定部による判定結果を用いて、前記複数の操作者が互いに並行して操作入力をしている状態であり、かつ、前記複数の操作者による操作対象が互いに同じカテゴリに属する状態である第2並行入力状態を検出する第2入力状態検出部と、
 前記第2入力状態検出部により前記第2並行入力状態が検出されたとき、前記分割表示状態を終了させる分割表示終了制御部と、
 を備えることを特徴とする請求項1記載の操作制御装置。
[請求項4]
 前記分割表示状態の継続中に、前記複数の操作者の各々による操作入力が終了したか否かを判定する操作終了判定部と、
 前記複数の操作者が第1操作者及び第2操作者を含む場合において、前記操作終了判定部により前記第1操作者又は前記第2操作者のうちのいずれか一方による操作入力が終了したと判定されたとき、前記分割表示状態を終了させる分割表示終了制御部と、
 を備えることを特徴とする請求項1記載の操作制御装置。
[請求項5]
 前記分割表示開始制御部は、前記複数の操作者の各々による操作対象が属するカテゴリ、前記複数の操作者の各々の属性、前記操作入力装置及び前記表示装置が設けられている車両の走行状態、又は前記複数の操作者による操作入力の開始順のうちの少なくとも一つに基づき、前記複数の表示領域の各々の大きさを設定することを特徴とする請求項1記載の操作制御装置。
[請求項6]
 前記操作入力装置が音声入力装置により構成されていることを特徴とする請求項1記載の操作制御装置。
[請求項7]
 前記操作終了判定部は、前記複数の操作者の各々について、当該操作者による操作入力がなされていない状態の継続時間が基準時間を超えたとき、当該操作者による操作入力が終了したと判定することを特徴とする請求項4記載の操作制御装置。
[請求項8]
 前記操作終了判定部は、前記操作入力装置及び前記表示装置が設けられている車両の走行状態、前記複数の操作者の各々の属性、又は前記複数の操作者の各々による操作対象が属するカテゴリのうちの少なくとも一つに基づき、前記基準時間の値を設定することを特徴とする請求項7記載の操作制御装置。
[請求項9]
 前記操作終了判定部は、前記複数の操作者の各々について、当該操作者による操作入力に対応する処理が所定のステップに到達したとき、当該操作者による操作入力が終了したと判定することを特徴とする請求項4記載の操作制御装置。
[請求項10]
 前記操作入力装置がジェスチャ入力装置により構成されていることを特徴とする請求項1記載の操作制御装置。
[請求項11]
 操作者判定部が、操作入力装置に入力された個々の操作の操作者を判定するステップと、
 操作カテゴリ判定部が、前記個々の操作の操作対象が属するカテゴリを判定するステップと、
 第1入力状態検出部が、前記操作者判定部による判定結果及び前記操作カテゴリ判定部による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、前記複数の操作者による操作対象が互いに異なるカテゴリに属する状態である第1並行入力状態を検出するステップと、
 分割表示開始制御部が、前記第1入力状態検出部により前記第1並行入力状態が検出されたとき、表示装置における単一の表示領域を複数の表示領域に分割して、前記複数の操作者に対応する複数の画面を前記複数の表示領域にそれぞれ表示させることにより、前記複数の画面による分割表示状態を開始させるステップと、
 を備える操作制御方法。
[請求項12]
 操作入力装置に入力された個々の操作の操作者を判定する操作者判定部と、
 前記個々の操作の操作対象が属するカテゴリを判定する操作カテゴリ判定部と、
 前記操作者判定部による判定結果及び前記操作カテゴリ判定部による判定結果を用いて、複数の操作者が互いに並行して操作入力をしている状態であり、かつ、前記複数の操作者による操作対象が互いに異なるカテゴリに属する状態である第1並行入力状態を検出する第1入力状態検出部と、
 前記第1入力状態検出部により前記第1並行入力状態が検出されたとき、表示装置における単一の表示領域を複数の表示領域に分割して、前記複数の操作者に対応する複数の画面を前記複数の表示領域にそれぞれ表示させることにより、前記複数の画面による分割表示状態を開始させる分割表示開始制御部と、
 を備える操作制御システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]