Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020195625 - INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Document

明 細 書

発明の名称 情報処理装置、情報処理方法、及び情報処理プログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

図面の簡単な説明

0007  

発明を実施するための形態

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206  

符号の説明

0207  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

図面

1   2   3   4   5   6   7   8   9   10   11   12A   12B   13A   13B   14A   14B   15A   15B   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48  

明 細 書

発明の名称 : 情報処理装置、情報処理方法、及び情報処理プログラム

技術分野

[0001]
 本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

背景技術

[0002]
 快適な視聴環境を移動体の搭乗者に提供するため、移動体に画像表示装置を設置することがある。例えば、特許文献1には、車載カメラで撮像した車両後方又は側後方などの画像を車室内で表示する画像表示装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2017-193190号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかし、単に移動体に画像表示装置を設置しただけでは、移動体の搭乗者に好適な視聴環境(Viewing Environment)が提供されるとは限らない。例えば、移動体の内部は狭いことが多く、大きなディスプレイを設置するのは困難である。また、移動体は移動可能であるため、移動体内部の環境も刻々と変わる。そのため、ある時点で快適な視聴環境が別の時点で好適な視聴環境であるとは限らない。
[0005]
 そこで、本開示では、移動体の搭乗者に好適な視聴環境を提供可能な情報処理装置、情報処理方法、及び情報処理プログラムを提案する。

課題を解決するための手段

[0006]
 上記の課題を解決するために、本開示に係る一形態の情報処理装置は、移動体の外部の光に関する検出結果を取得する取得部と、前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定する解析部と、決定した前記投影位置への前記コンテンツの投影に関する制御を行う表示制御部と、を備える。

図面の簡単な説明

[0007]
[図1] 本実施形態の概要を説明するための図である。
[図2] 本開示の実施形態に係る画像表示システムの構成例を示す図である。
[図3] 本開示の実施形態に係る画像表示システムの具体的構成例を示す図である。
[図4] 本開示の実施形態に係る検出装置の構成例を示す図である。
[図5] 本開示の実施形態に係る情報処理装置の構成例を示す図である。
[図6] 本開示の実施形態に係る画像表示装置の構成例を示す図である。
[図7] ハイブリッドスクリーンの第1の構成例を示す図である。
[図8] ハイブリッドスクリーンの第2の構成例を示す図である。
[図9] ハイブリッドスクリーンの第3の構成例を示す図である。
[図10] 透明スクリーンの構成を説明するための図である。
[図11] 透明スクリーンの構成を説明するための図である。
[図12A] プロジェクタで透明スクリーンに画像を投影した様子を示す図である。
[図12B] 画像の投影を停止した様子を示す図である。
[図13A] 調光フィルムの構成を説明するための図である。
[図13B] 調光フィルムの構成を説明するための図である。
[図14A] 表面反射ミラーの構成を説明するための図である。
[図14B] 表面反射ミラーの構成を説明するための図である。
[図15A] 超短焦点プロジェクタの光学投射例を示す図である。
[図15B] 超短焦点プロジェクタの光学投射例を示す図である。
[図16] ハイブリッドスクリーンの設置例を示す図である。
[図17] ハイブリッドスクリーンの設置例を示す図である。
[図18] ハイブリッドスクリーンの設置例を示す図である。
[図19] ハイブリッドスクリーンの設置例を示す図である。
[図20] ハイブリッドスクリーンの設置例を示す図である。
[図21] ハイブリッドスクリーンの設置例を示す図である。
[図22] ハイブリッドスクリーンの設置例を示す図である。
[図23] ハイブリッドスクリーンの設置例を示す図である。
[図24] 取り外し式のハイブリッドスクリーンの例を示す図である。
[図25] ハイブリッドスクリーンを椅子に取り付けた例を示す図である。
[図26] サンバイザー型のハイブリッドスクリーンの例を示す図である。
[図27] プロジェクタの設置例を示す図である。
[図28] プロジェクタの設置例を示す図である。
[図29] プロジェクタの設置例を示す図である。
[図30] プロジェクタの設置例を示す図である。
[図31] 画像表示システムの動作の説明に使用するシステム構成の一例を示す図である。
[図32] 本開示の実施形態に係る画像表示処理を示すフローチャートである。
[図33] センサ情報に基づく調光/投影制御の一例を示す図である。
[図34] センサ情報に基づく調光/投影制御の一例を示す図である。
[図35] ハイブリッドスクリーンへのゲームの表示例を示す図である。
[図36] ハイブリッドスクリーンに衝撃が加わった様子を示す図である。
[図37] 車内向けカメラで運転者の状況をモニタリングした様子を示す図である。
[図38] 車の各部を説明するための図である。
[図39] 車の前部座席と後部座席の間に設置されたハイブリッドスクリーンにコンテンツが投影された様子を示す図である。
[図40] 車の前部座席と後部座席の間に設置されたハイブリッドスクリーンにコンテンツが投影された様子を示す図である。
[図41] 遮光状態のハイブリッドスクリーンを示す図である。
[図42] 透明状態のハイブリッドスクリーンを示す図である。
[図43] 車の前部座席と後部座席の間にハイブリッドスクリーンが設置された様子を示す図である。
[図44] 安全性を考慮した調光/投影制御の具体的処理例を示す図である。
[図45] 本開示の実施形態に係る可視化制御処理を示すフローチャートである。
[図46] ビデオシースルー制御イメージを示す図である。
[図47] ビデオシースルー制御イメージを示す図である。
[図48] 円卓Tを囲む風にレイアウトされた車の例を示す図である。

発明を実施するための形態

[0008]
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
[0009]
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて検出装置10 、10 、及び10 のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、検出装置10 、10 、及び10 を特に区別する必要が無い場合には、単に検出装置10と称する。
[0010]
 また、以下に示す項目順序に従って本開示を説明する。
  1.はじめに
  2.画像表示システムの構成
   2-1.画像表示システムの全体構成
   2-2.検出装置の構成
   2-3.情報処理装置の構成
   2-4.画像表示装置の構成
   2-5.スクリーンの設置例
   2-6.プロジェクタの設置例
  3.画像表示システムの動作の一例
   3-1.説明に使用するシステム構成
   3-2.処理フロー
   3-3.センサ情報に基づく調光/投影制御
   3-4.安全性を考慮した調光/投影制御
  4.安全性を考慮した調光/投影制御の具体的処理例
   4-1.概要
   4-2.処理フロー
   4-3.実施例の効果
  5.変形例
   5-1.システム構成に関する変形例
   5-2.その他の変形例
  6.むすび
[0011]
<<1.はじめに>>
 従来、自動車等の移動体には非透過なディスプレイやスクリーンが設置されること多い。例えば、自動車を例に採ると、センターコンソールモニター、天井フリップダウンモニター、座席背面モニター、ヘッドレスト埋め込みモニターが設置される。
[0012]
 しかし、これら従来の非透過なディスプレイ及びスクリーンでは位置や画サイズが固定される事により配置可能場所が限られるという問題や、配置場所によっては視界が遮られて安全性が低下するという問題があった。また近接を注視することによる酔いを誘発しがちだった。
[0013]
 そこで、本実施形態では、透明スクリーンと、調光フィルムと、プロジェクションデバイスと、を組み合わせた画像表示システムを移動体に設置する。図1は、本実施形態の概要を説明するための図である。本実施形態では、透明スクリーン(例えば、超短焦点プロジェクタ用透明スクリーン)に調光フィルムを貼り合わせたハイブリッドスクリーンを、コンテンツを表示するスクリーンとする。調光フィルムは、印加電圧等を調整することにより、光の透過率を調整可能である。ハイブリッドスクリーンは、調光フィルムの透過率を調整することにより、透過状態(図1に示す透明スクリーン状態)になったり非透過状態(図1に示すブラックスクリーン状態)になったりすることができる。非透過状態を有するハイブリッドスクリーンも透明スクリーンの一種である。
[0014]
 移動体に設置するスクリーンをハイブリッドスクリーンとすることにより、透過と高コントラスト映像を両立することができる。そのため、本実施形態の画像表示システムは、移動体の搭乗者に多種多様な効果を提示できる。例えば、本実施形態の画像表示システムは、スクリーンが透明体のため任意の配置やサイズで搭乗者に情報を提示できる。また、本実施形態のスクリーンは透過と非透過を瞬時に切り替えられる。そのため、本実施形態の画像表示システムは、従来は視界が遮られるために配置不可能だった場所でも情報を表示することが出来る。さらに、本実施形態の画像表示システムは、種々のセンサと組み合わせつつ調光フィルムで透明度を調節することができるので、適時、必要な視界を確保したり、視界の遮蔽をしたりすることができる。しかも、本実施形態の画像表示システムは、透明度をコントロールして近接映像と遠方視をミックスすることができるので、移動体の搭乗者の酔いを低減させる効果も期待できる。
[0015]
 なお、本実施形態のスクリーンは移動や脱着を可能に構成されていてもよい。また、本実施形態のスクリーンは椅子のアームレストなどから取り出したり、片づけたりすることができるように構成されていてもよい。また、プロジェクションは必要に応じパンチルタと組み合わせ、投射方向を変更できるようにしてもよい。これにより、移動体の搭乗者に更なる好適な視聴環境を提供できる。
[0016]
 以上、本実施形態の概要を説明したが、以下、本実施形態の画像表示システム1を詳細に説明する。
[0017]
<<2.画像表示システムの構成>>
 画像表示システム1は、移動体に設置されるハイブリッドスクリーンを備え、移動体の搭乗者に情報を提供することが可能である。なお、搭乗者という概念には、同乗者のみならず、運転者も含む概念である。上述したように、ハイブリッドスクリーンは透明スクリーンの一種である。ハイブリッドスクリーンが透過状態(透明状態)となったときには、ユーザはスクリーンを挟んで反対側を視認可能になる。画像表示システム1は、例えば、自動車等の移動体に設置され、移動体の搭乗者(以下、単にユーザということがある。)に好適な視聴環境を提供する。
[0018]
 ここで、画像表示システム1が設置される移動体は、陸上(狭義の地上)を移動する移動体(例えば、自動車、バス、トラック、自動二輪車、自転車、列車、リニアモーターカー等の車両)であってもよいし、地中(例えば、トンネル内)を移動する移動体(例えば、地下鉄)であってもよい。
[0019]
 また、画像表示システム1が設置される移動体は、水上を移動する移動体(例えば、旅客船、貨物船、ホバークラフト等の船舶)であってもよいし、水中を移動する移動体(例えば、潜水艇、潜水艦、無人潜水機等の潜水船)であってもよい。
[0020]
 また、画像表示システム1が設置される移動体は、大気圏内を移動する移動体(例えば、飛行機、飛行船等の航空機)であってもよいし、大気圏外を移動する移動体(例えば、宇宙船、宇宙ステーション等の人工天体)であってもよい。
[0021]
 なお、以下の説明では、画像表示システム1は、移動体に設置されるものとするが、画像表示システム1を移動体そのものとみなすことも可能である。
[0022]
 また、以下の説明では、画像表示システム1が設置される移動体は、一例として、車であるものとする。車は、陸上(狭義の地上)を移動する移動体のことであり、典型的には、自動車である。勿論、車は、自動車に限られず、例えば、バス、トラック、自動二輪車、自転車、列車、リニアモーターカー等の自動車以外の移動体であってもよい。
[0023]
 以下、画像表示システム1の構成を具体的に説明する。
[0024]
<2-1.画像表示システムの全体構成>
 図2は、本開示の実施形態に係る画像表示システム1の構成例を示す図である。
[0025]
 画像表示システム1は、図2に示すように、検出装置10と、情報処理装置20と、画像表示装置30と、を備える。画像表示システム1は、検出装置10、情報処理装置20、及び画像表示装置30をそれぞれ複数備えていてもよいし、それぞれ1つだけ備えていてもよい。
[0026]
 図2の例では、画像表示システム1は、検出装置10として検出装置10 、10 、10 等を備えている。また、画像表示システム1は、情報処理装置20として情報処理装置20 等を備えている。また、画像表示システム1は、画像表示装置30として画像表示装置30 、30 、30 等を備えている。
[0027]
 なお、図中の装置は、論理的な意味での装置と考えてもよい。つまり、同図の装置の一部が仮想マシン(VM:Virtual Machine)、コンテナ(Container)、ドッカー(Docker)などで実現され、それらが物理的に同一のハードウェア上で実装されてもよい。
[0028]
 また、画像表示システム1を構成する各装置は、必ずしも全ての装置が移動体に設置される必要はない。例えば、検出装置10及び/又は情報処理装置20は移動体の外部に設置され、通信を介して他の装置に情報を送信したり、他の装置を制御したりしてもよい。勿論、検出装置10及び/又は情報処理装置20は画像表示装置30とともに移動体に設置されてもよい。また、検出装置10及び/又は情報処理装置20は所定の移動体(第1の移動体)に設置され、通信を介して、他の移動体(第2の移動体)に設置された画像表示システム1の一部装置(例えば、画像表示装置30)を制御してもよい。
[0029]
 図3は、本開示の実施形態に係る画像表示システム1の具体的構成例を示す図である。なお、図3に示した構成はあくまで一例であり、画像表示システム1の構成はこの例に限定されない。
[0030]
 以下、実施形態に係る画像表示システム1を構成する各装置の構成を具体的に説明する。なお、以下に示す各装置の構成はあくまで一例である。各装置の構成は、以下の構成とは異なっていてもよい。
[0031]
<2-2.検出装置の構成>
 図4は、本開示の実施形態に係る検出装置10の構成例を示す図である。検出装置10は、移動体の内部或いは外部の各種状態を検出する装置である。例えば、検出装置10はカメラ(画像センサ)等のセンサ装置(センサシステム)である。検出装置は、ミリ波レーダ、超音波センサ等の移動体(例えば、自動車)に予め取り付けられたセンサ装置(センサシステム)であってもよい。
[0032]
 検出装置10は、通信部11と、センサ部12と、制御部13と、を備える。なお、図4に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、検出装置10の機能は、複数の物理的に分離された構成に分散して実装されてもよい。例えば、検出装置10は、複数のセンサ装置により構成されていてもよい。
[0033]
 通信部11は、他の装置と通信するための通信インタフェースである。通信部11は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部11は、NIC(Network Interface Card)等のLAN(Local Area Network)インタフェースであってもよいし、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部11は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部11は、検出装置10の通信手段として機能する。通信部11は、制御部13の制御に従って情報処理装置20と通信する。
[0034]
 センサ部12は、移動体の内部或いは外部の状態を検出する装置である。例えば、センサ部12は、照度センサ、圧力センサ、加速度センサ、位置センサである。センサ部12は、撮像装置(画像センサ)、マイク(音センサ)、ToF(Time of Flight)センサ、或いはデプスセンサであってもよい。撮像装置は、ステレオカメラであってもよい。また、センサ部は、超音波センサ(例えば、コーナーセンサ)、速度センサ、雨検出センサ、衝撃検知センサ等の車に予め取り付けられているセンサであってもよい。また、センサ部12は、画像表示装置30の状態を検知するセンサであってもよい。例えば、センサ部12は、スクリーンがタッチされたか否かを検知するタッチセンサであってもよい。センサ部12は、例えば、車外画像、車内画像、外光/環境情報、運転環境、車両速度、ユーザの頭部の動き、ユーザの視線移動等の情報を検出する。
[0035]
 制御部13は、検出装置10の各部を制御するコントローラ(controller)である。制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサにより実現される。例えば、制御部13は、検出装置10内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部13は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
[0036]
<2-3.情報処理装置の構成>
 次に、情報処理装置20の構成を説明する。図5は、本開示の実施形態に係る情報処理装置20の構成例を示す図である。情報処理装置20は、画像表示装置30が備えるスクリーンに画像を表示するための各種処理を実行する。
[0037]
 なお、情報処理装置20は、画像表示装置30の一部とみなすことも可能である。情報処理装置20は、画像表示装置30の制御用のプロセッサであってもよい。勿論、情報処理装置20は、画像表示装置30の外部の装置であってもよい。
[0038]
 情報処理装置20は、通信部21と、入力部22と、センシング部23と、記憶部24と、ネットワーク通信部25と、制御部26と、を備える。なお、図5に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置20の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
[0039]
 通信部21は、他の装置と通信するための通信インタフェースである。通信部21は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部21は、NIC等のLANインタフェースであってもよいし、USBホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部21は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部21は、情報処理装置20の通信手段として機能する。通信部21は、制御部26の制御に従って検出装置10と通信する。また、通信部21は、スマートフォンやタブレットなどの外部機器との通信を行い、外部機器から送られる画像データや音声データといった各種データを取得することが可能である。
[0040]
 入力部22は、ユーザと情報をやりとりするためのユーザインタフェースである。例えば、入力部22は、キーボード、マウス、操作キー、タッチパネル等、ユーザが各種操作を行うための操作装置である。入力部22は、搭乗者(運転者を含む。)からの入力のみならず、移動体(例えば、車)からの入力も受け付ける。入力部22は、情報処理装置20の入力手段又は操作手段として機能する。搭乗者の入力としては、例えば後述するハイブリッドスクリーンスクリーンへのタッチ入力や、移動体内部にいるユーザのジェスチャ入力も含む。
[0041]
 センシング部23は、移動体の内部或いは外部の状態を検出する装置である。例えば、センシング部23は、照度センサ、圧力センサ、加速度センサ、位置センサとして機能する装置である。センシング部23は、撮像装置(画像センサ)、マイク(音センサ)、ToF(Time of Flight)センサ、或いはデプスセンサとして機能する装置であってもよい。撮像装置は、ステレオカメラであってもよい。また、センシング部23は、超音波センサ(例えば、コーナーセンサ)、速度センサ、雨検出センサ、衝撃検知センサ等の車に予め取り付けられているセンサであってもよい。また、センシング部23は、画像表示装置30の状態を検知するセンサであってもよい。例えば、センシング部23は、スクリーンがタッチされたか否かを検知するタッチセンサであってもよい。センシング部23は、例えば、車外画像、車内画像、外光/環境情報、運転環境、車両速度、ユーザの頭部の動き、ユーザの視線移動等の情報を検出する。
[0042]
 記憶部24は、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部24は、情報処理装置20の記憶手段として機能する。記憶部24は、例えば、画像表示装置30が備えるスクリーンに表示するコンテンツ、車の運動特性、行動履歴、安全情報、運行情報、環境情報等の情報を記憶する。
[0043]
 ネットワーク通信部25は、他の装置と通信するための通信インタフェースである。例えば、ネットワーク通信部25は、NIC等のLANインタフェースである。ネットワーク通信部25は、有線インタフェースであってもよいし、無線インタフェースであってもよい。ネットワーク通信部25は、情報処理装置20のネットワーク通信手段として機能する。ネットワーク通信部25は、制御部26の制御に従って、他の装置と通信する。
[0044]
 制御部26は、情報処理装置20の各部を制御するコントローラである。制御部26は、例えば、CPU、MPU等のプロセッサにより実現される。例えば、制御部26は、情報処理装置20内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部26は、ASICやFPGA等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
[0045]
 制御部26は、図5に示すように、取得部261と、解析部262と、表示制御部263と、を備える。制御部26を構成する各ブロック(取得部261~表示制御部263)はそれぞれ制御部26の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。
[0046]
 なお、制御部26は上述の機能ブロックとは異なる機能単位で構成されていてもよい。制御部26の各機能ブロックはそれぞれ所定の動作を実行する。例えば、解析部262は、コンテンツの選定、搭乗者の意志/状態の解析、行動履歴の解析、安全情報の解析、搭乗者の嗜好の解析等を行う。また、表示制御部263は、画像表示装置30に、駆動情報、映像情報、遮光情報等を送信することにより、画像表示装置30の各部を制御する。制御部26を構成する各ブロック(取得部261~表示制御部263)の動作は、後に述べる。
[0047]
<2-4.画像表示装置の構成>
 次に、画像表示装置30の構成を説明する。図6は、本開示の実施形態に係る画像表示装置30の構成例を示す図である。画像表示装置30は、ユーザに各種情報を表示する。
[0048]
 画像表示装置30は、パンチルタ31と、プロジェクタ32と、ハイブリッドスクリーン33と、を備える。なお、図6に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、画像表示装置30の機能は、複数の物理的に分離された構成に分散して実装されてもよい。プロジェクタにはシフト、パン、ロール、ピッチ、ズーム、フォーカシング、ミラー反射等各種光学機能を含んでも良い。
[0049]
 最初に、ハイブリッドスクリーン33の構成を説明した後、プロジェクタ32及びパンチルタ31の構成を説明する。
[0050]
 [ハイブリッドスクリーン]
 ハイブリッドスクリーン33は、少なくとも透明スクリーン332を備える。そして、ハイブリッドスクリーン33は、透明スクリーン332と、調光フィルム331及び/又は表面反射ミラー333と、が組み合わされて構成されている。以下、ハイブリッドスクリーン33の各部を説明する前に、ハイブリッドスクリーン33の構成例をいくつか説明する。
[0051]
 (ハイブリッドスクリーンの第1の構成例)
 図7は、ハイブリッドスクリーン33の第1の構成例を示す図である。第1の構成例に係るハイブリッドスクリーン33は、透明スクリーン332と調光フィルム331とが貼り合わされて構成される。
[0052]
 調光フィルム331は、印加電圧等を調整することにより、光の透過率を調整可能である。第1の構成例に係るハイブリッドスクリーン33は、調光フィルム331の透過率を調整することにより、透明スクリーン状態(透過状態)になったり、ブラックスクリーン状態(非透過状態)になったり、半透過状態になったりする。
[0053]
 ここで、透過状態(透明状態)とは、例えば、透明度が70%以上~99.9%以上の状態(透明度が100%の状態であってもよい。)であり、非透過状態(不透明状態)とは、例えば、不透明度が70%以上~99.9%以上の状態(不透明度が100%の状態であってもよい。)である。ハイブリッドスクリーン33の状態には、半透過状態があってもよい。半透過状態とは、例えば、透過率が30~70%の状態である。なお、上述した透明度(不透明度)の数値はあくまで一例である。透過状態、非透過状態、及び半透過状態の透明度(不透明度)は上述した数値とは異なっていてもよい。
[0054]
 第1の構成例に係るハイブリッドスクリーン33により、画像表示システム1は、透過と高コントラスト映像を両立することができる。
[0055]
 (ハイブリッドスクリーンの第2の構成例)
 図8は、ハイブリッドスクリーン33の第2の構成例を示す図である。第2の構成例に係るハイブリッドスクリーン33は、透明スクリーン332と調光フィルム331と表面反射ミラー333とが貼り合わされて構成される。なお、表面反射ミラー333は、光の透過率を調整可能な調光ミラーであってもよい。この場合、表面反射ミラー333を透明にすることが可能である。
[0056]
 第1の構成例に係るハイブリッドスクリーン33は、調光フィルム331及び表面反射ミラー333の透過率を調整することにより、透明スクリーン状態(透過状態)になったり、ブラックスクリーン状態(第1の非透過状態)になったり、ミラー+スクリーン状態(第2の非透過状態)になったり、ミラー状態(第3の非透過状態)になったりする。ハイブリッドスクリーン33の状態には、半透過状態(例えば、透過率が30~70%程度)があってもよい。
[0057]
 第2の構成例に係るハイブリッドスクリーン33により、画像表示システム1は、ミラーと高コントラスト映像を両立することができる。
[0058]
 (ハイブリッドスクリーンの第3の構成例)
 図9は、ハイブリッドスクリーン33の第3の構成例を示す図である。第3の構成例に係るハイブリッドスクリーン33は、2枚の透明スクリーン332(透明スクリーン332 、332 )と、2枚の透明スクリーン332の間に配置された調光フィルム331とが貼り合わされて構成される。
[0059]
 第3の構成例に係るハイブリッドスクリーン33は、調光フィルム331の透過率を調整することにより、透明スクリーン状態(透過状態)になったり、ブラックスクリーン状態(非透過状態)になったりする。ハイブリッドスクリーン33の状態には、半透過状態(例えば、透過率が30~70%程度)があってもよい。
[0060]
 第3の構成例に係るハイブリッドスクリーン33により、画像表示システム1は、スクリーンの両面に異なる映像を表示することができる。
[0061]
 (ハイブリッドスクリーンのその他の構成例)
 なお、上述の構成例はあくまで例示である。ハイブリッドスクリーン33の構成は、上述の構成例に限定されない。例えば、ハイブリッドスクリーン33は、2枚の透明スクリーン332(透明スクリーン3321、3322)と、2枚の透明スクリーン332の間に配置された調光フィルム331及び表面反射ミラー333と、が貼り合わされて構成されたものであってもよい。
[0062]
 [透明スクリーン]
 次に、透明スクリーン332の構成を説明する。図10及び図11は、透明スクリーン332の構成を説明するための図である。透明スクリーン332は、透明なスクリーンでありプロジェクタ32により画像を投影可能である。透明スクリーン332は、スクリーンの向こう側の物体(図11の例ではスクリーンの向こう側に立っている人を視認可能である)。
[0063]
 透明スクリーン332は、例えば図10に示すように、スクリーンの幕面に微細なレンズ加工が施されている。(図10のように、微細なレンズ加工により、透明スクリーンに三角形断面を形成することで、光の反射に指向性を持たせることが可能である。また、レンズ加工より形成された三角形断面に、遮光膜を形成することによって、スクリーン面に対して上方から入射する外光の影響を最小限に抑え込む。そして、スクリーンの下方に配置されたプロジェクタ、または、レンズ加工されたスクリーンの反射部に光が入射するように、スクリーン前方に配置されたプロジェクタからの投影光のみ正面に反射させる。これにより、透明スクリーン332は、外光の厳しい明るい環境でもハイコントラストな画像をユーザに提供できる。図12Aは、プロジェクタ32で透明スクリーン332に画像を投影した様子を示す図であり、図12Bは、画像の投影を停止した様子を示す図である。いずれの状態でも、ユーザは、透明スクリーン332の向こう側の人を視認可能である。
[0064]
 [調光フィルム]
 次に、調光フィルム331の構成を説明する。調光フィルム331は、光の透過率を変更可能なフィルムである。図13A及び図13Bは、調光フィルム331の構成を説明するための図である。図13Aは非透過状態の調光フィルム331であり、図13Bは透過状態の調光フィルム331である。
[0065]
 調光フィルム331は、例えば、二色性色素と液晶を用いて構成される。例えば、調光フィルム331に印加される電圧を制御する事により、調光フィルム331の明暗を瞬時に切替えることが可能である。これにより、画像表示システム1(情報処理装置20)は、透過光を制御可能である。
[0066]
 画像表示システム1(情報処理装置20)は、調光フィルム331の電圧を変えることで透過率を調整可能である。調光フィルム331の調光速度は瞬時であり、画像表示システム1(情報処理装置20)は明暗を素早く切替可能である。また、調光フィルム331をセグメント化することにより、画像表示システム1(情報処理装置20)は部分調光をすることも可能になる。
[0067]
 [表面反射ミラー]
 次に、表面反射ミラー333の構成を説明する。本実施形態の表面反射ミラー333は、光の透過率を変更可能な調光ミラーである。図14A及び図14Bは、表面反射ミラー333の構成を説明するための図である。図14Aはミラー状態(非透過状態)の表面反射ミラー333であり、図14Bは非ミラー状態(透過状態)の表面反射ミラー333である。
[0068]
 図14Aの例では、表面反射ミラー333の手前にあるボールBが表面反射ミラー333に写っている。しかし、図14Bの例では、表面反射ミラー333の手前にあるボールBが表面反射ミラー333に写っておらず、表面反射ミラー333の向こう側の人が視認可能になっている。
[0069]
 [プロジェクタ]
 プロジェクタ32は、スクリーンに画像を投影するための装置である。プロジェクタ32は、直投系のものであってもよいし、レンズシフトしているものであってもよいし、短焦点や超短焦点のものであってもよい。図15A及び図15Bは、超短焦点プロジェクタの光学投射例を示す図である。図15Aは、凸面光学系のプロジェクタの例であり、図15Bは、凹面光学系のプロジェクタの例である。プロジェクタ32は、凸面光学系のプロジェクタであってもよいし、凹面光学系のプロジェクタであってもよい。凹面光学系のプロジェクタは、光が収束するので、光学系がコンパクトになる。しかも、折り曲げにも好適である。
[0070]
 [パンチルタ]
 プロジェクタ32はムービングプロジェクタであってもよい。このとき、プロジェクタ32はパンチルタ31を備え、投射方向を制御できるようになっていてもよい。パンチルタ31は、パンやチルトのための機構(パンチルト機構)である。パンチルタ31は、プロジェクタを構成する筐体内部、又はその他プロジェクタが設置される筐体の内部に内蔵され隠蔽されていてもよい。またロールの機構も入っていて良い。
[0071]
<2-5.スクリーンの設置例>
 次に、ハイブリッドスクリーン33の設置例を説明する。
[0072]
 図16~図23は、ハイブリッドスクリーン33の設置例を示す図である。図16~図23には、それぞれハイブリッドスクリーン33の異なる設置例が示されている。
[0073]
 ハイブリッドスクリーン33は、前席と後席の間仕切り位置、例えば、ミニバンの運転席後などに設置されてもよい。図16には、前席と後席の間仕切り位置に1枚の大きなハイブリッドスクリーン33が設置された様子が示されている。
[0074]
 移動体の天井にあらかじめ複数のハイブリッドスクリーン33が仕込まれていてもよい。図17には、前席と後席の間仕切り位置の天井から吊るされるように複数のハイブリッドスクリーン33が設置された様子が示されている。そして、画像表示システム1は、最低限必要なハイブリッドスクリーン33が開くよう構成されていてもよい。具体的には天井部、または、それぞれのハイブリッドスクリーンの間に、スクリーンを扉のように開閉させるスライド機構や、ハイブリッドスクリーンを蝶番などで固定し、固定された部分を軸として開閉させる回転機構を有していてもよい。図17の例では、画像表示システム1(情報処理装置20)は、ハイブリッドスクリーン33 ~33 をそれぞれ開閉制御可能である。図17の例では、最低限のスクリーンしか開かれないので、高い居住性を実現できる。
[0075]
 なお、ハイブリッドスクリーン33のハーネスの仕組みは、絡ませない構造であってもよい。例えば、ハーネスは、電話コードみたいな螺旋型であってもよいし、直動ならS字形状であってもよい。
[0076]
 図18~図23には、ハイブリッドスクリーン33の異なる設置例とハイブリッドスクリーン33へのコンテンツの表示例が示されている。
[0077]
 図18及び図19は、前席のヘッドレスト後部にそれぞれハイブリッドスクリーン33を設置した例である。図中の斜線の部分が、コンテンツが投影される部分である。図18及び図19の例では、運転の邪魔にならないようヘッドレスト後部にコンテンツを投影しつつも、ヘッドレストにディスプレイを埋め込むよりも大きな画像(ヘッドレストから若干はみ出す程度の大きさの画像)が投影されている。図18及び図19の例では、運転者の後方の視認性と好適な視聴環境の両立が実現できる。
[0078]
 図20及び図21は、前席と後席の間仕切り位置に1枚のハイブリッドスクリーン33を設置した例である。図中の斜線の部分が、コンテンツが投影される部分である。図20及び図21の例では、前席のヘッドレスト後部に加えて、それらの中央にもコンテンツが投影されている。図20及び図21の例では、ユーザに多くの情報を提供できる。また、ハイブリッドスクリーンにおいて、プロジェクタからの投影を行うために調光されている領域以外の領域では、透明度が高いため、前席にいるユーザからも後方の状況を確認することが可能である。
[0079]
 図22及び図23は、前席と後席の間仕切り位置に1枚の大きなハイブリッドスクリーン33を設置した例である。図中の斜線の部分が、コンテンツが投影される部分である。図22及び図23の例では、多くの投影領域や大きな投影領域が確保されている。大きな画面は、ブレンディング技術(複数台のプロジェクタ32投影の一部を重ねあわせて1枚の大きな画像に見せる技術)により実現してもよい。図22及び図23の例では、ユーザに極めて好適な視聴環境を提供できる。
[0080]
 なお、図16~図23に示した例は、後部座席にいるユーザを念頭に置いたものである。しかし、ハイブリッドスクリーン33は、前席にいるユーザ(例えば、運転者や助手席にいるユーザ)、9人乗りのワゴン等、前席、中央席、後席がある車では、前席と中央席の間や中央席と後席の間にハイブリッドスクリーン33が配置されていてもよい。また、車のガラス(例えば、後席のサイドのガラス。中央席がある場合は中央席のサイドのガラス)にハイブリッドスクリーン33が配置されていてもよい。なお、自動運転のレベルが上がり、乗員に運転者が不要になることが想定され得る。この場合、座席全体に同様の視聴環境を提供できるよう、全ての座席全体の前にハイブリッドスクリーン33が配置されてもよい。
[0081]
 また、ハイブリッドスクリーン33は、タブレットのような取り外し式であってもよい。図24は、取り外し式のハイブリッドスクリーン33の例である。この場合、画像表示システム1は、ハイブリッドスクリーン33の位置及び/又は向きを検知するセンサ(例えば、ToFセンサ)を備えていてもよい。このセンサは、検出装置10が備えていてもよいし、情報処理装置20が備えていてもよい。そして、情報処理装置20は、ハイブリッドスクリーン33の位置及び/又は向きの検出結果に基づいて、ハイブリッドスクリーン33にコンテンツが表示されるよう、プロジェクタ32の投射方向を制御してもよい。このとき、情報処理装置20は、パンチルタ31を制御することによりプロジェクタ32の投射方向の制御を実現してもよい。なお、情報処理装置20は、複数台のプロジェクタ32を使った別角度からの投影のスタッキング(投影の重畳)により、ハイブリッドスクリーン33にコンテンツを投影してもよい。投影がユーザの陰になる可能性を低減できる。
[0082]
 また、ハイブリッドスクリーン33は、椅子(座席)に設置されてもよい。図25は、ハイブリッドスクリーン33を椅子に取り付けた例である。図25の例では、ハイブリッドスクリーン33は、高級車や航空機、新幹線の椅子(座席)に取り付けられている台のように、椅子(座席)の肘掛に取り付けられている。
[0083]
 なお、ハイブリッドスクリーン33は、椅子のヘッドレストの背面から下方にスライドし、椅子の背面の中央部分で水平方向に延在した状態で固定されてもよい。すなわち、ハイブリッドスクリーン33は、椅子の背面に固定されたテーブルのように固定される。この構成において、ハイブリッドスクリーン33は、ユーザが容易にコンテンツを視聴できるように、水平方向に対して下方向を向くように固定されるのが好ましい。
[0084]
 また、ハイブリッドスクリーン33は、サンバイザーの位置に設置されてもよい。図26は、サンバイザー型のハイブリッドスクリーン33の例を示す図である。この場合、ハイブリッドスクリーン33は、天井の任意の場所に手動/電動で自由に移動可能であってもよい。電動の場合、情報処理装置20は、観察者の位置をセンシングし、最適位置或いは最適方向にハイブリッドスクリーン33が向くようハイブリッドスクリーン33を移動させてもよい。前述の通り、ハイブリッドスクリーン33には、プロジェクタ32等の電子機器の主要なウェイトが設けられていない。したがって、ハイブリッドスクリーン33を移動させるモータ等の駆動系のサイズや重量を小さくすることができる。
[0085]
 上記図24-26が示すハイブリッドスクリーン33の構成は、適宜組み合わせて用いられうる。
[0086]
 例えば、ハイブリッドスクリーン33を取り外し可能な図24の構成は、図25、図26の構成に適用され得る。この構成において、椅子にはハイブリッドスクリーン33を充電可能な端子が設けられてもよい。コンテンツの投影位置は、充電端子へのハイブリッドスクリーン33の接続に基づいて移動したハイブリッドスクリーン33の位置に変更されてもよい。すなわち、取得部261は、充電端子へのハイブリッドスクリーン33の接続により、ハイブリッドスクリーン33に関する位置の情報を間接的に取得する。
[0087]
 ハイブリッドスクリーン33の位置が検出装置10の検出結果に基づいて特定され、コンテンツの投影位置が、ハイブリッドスクリーン33の位置に応じて移動されてもよい。例えば、ハイブリッドスクリーン33の位置は、撮像画像に基づく画像認識結果によって取得部261により取得される。なお、ユーザが任意に手動でハイブリッドスクリーン33を移動させた場合、後述する移動体の外部の光に関する検出結果に基づく投影位置の制御は抑制あるいは禁止されるのが好ましい。
[0088]
<2-6.プロジェクタの設置例>
 次に、プロジェクタ32の設置例を説明する。
[0089]
 図27~図30は、プロジェクタ32の設置例を示す図である。図27~図30には、それぞれプロジェクタ32の異なる設置例が示されている。
[0090]
 図27と図28の例では、前席と後席それぞれの前にハイブリッドスクリーン33が設置されている。図27の例では、車Vのドア内側にプロジェクタ32が埋め込まれており、そこからハイブリッドスクリーン33にコンテンツが投射されている。図28の例では、車Vのドアの内側にプロジェクタ32が埋め込まれており、そこからハイブリッドスクリーン33にコンテンツが投射されている。なお、プロジェクタ32の設置位置はこれらの例に限定されない。例えば、プロジェクタ32は、車Vの座席に埋め込まれてもよい。
[0091]
 また、車Vの前(例えば、駐車場)にハイブリッドスクリーン33が設置されてもよい。そして、画像表示システム1は、車Vの所定の位置に設置したプロジェクタ32からハイブリッドスクリーン33にコンテンツを投射してもよい。図29の例では、車Vのボンネット付近にプロジェクタ32が設置されており、そこからハイブリッドスクリーン33にコンテンツが投射されている。このとき、画像表示システム1(情報処理装置20)は、ハイブリッドスクリーン33を、普段(例えば、車Vが駐車場にいないとき)は透明状態としてもよい。こうすることにより、駐車場の美観を損ねない。画像表示システム1(情報処理装置20)は、車Vのユーザが映画を見るときやプライバシー重視の状況変化に応じてハイブリッドスクリーン33の調光を行ってもよい。この場合、プロジェクタ32はヘッドライトやフロントグリル内に収納されていても良い。
[0092]
 また、車Vのボンネット付近にハイブリッドスクリーン33が設置されてもよい。このとき、ハイブリッドスクリーン33車のボンネット付近からせりあがるよう構成されていてもよい。図30の例では、車Vのフロントガラス上部付近にプロジェクタ32が設置されており、そこからハイブリッドスクリーン33にコンテンツが投射されている。この場合、プロジェクタ32はダッシュボード内やサイドミラー内に収納されていても良い。
[0093]
<<3.画像表示システムの動作の一例>>
 次に、画像表示システム1の動作を説明する。
[0094]
<3-1.説明に使用するシステム構成>
 最初に、画像表示システム1の動作の説明に使用するシステム構成の一例を説明する。
[0095]
 図31は、画像表示システム1の動作の説明に使用するシステム構成の一例を示す図である。画像表示システム1は、入力系と解析系と出力系に分類される。
[0096]
 [入力系]
 入力系では、車内外のセンシング結果と、ユーザの体格及び動的な動きの情報と、が取得される。入力系は、センシング部23と、記憶部24と、入力部22と、取得部261とで構成される。
[0097]
 センシング部23は、車外及び車内の各種センサから状況把握する。センサは情報処理装置20が備えていてもよいし、情報処理装置20の外部の装置が備えていてもよい。センサは、例えば、撮像装置、照度センサ、圧力センサ、加速度センサ、或いは位置センサである。
[0098]
 記憶部24は、各種情報を記憶する。記憶部24は、移動体の現在の位置情報や方向から取得される名勝情報を記憶してもよい。また、記憶部24は、車の特性や搭乗者の行動履歴から判別される、好まれるコンテンツを記憶してもよい。また、記憶部24は、必ずしも情報処理装置20が保持する記憶装置である必要はない。記憶部24は、クラウド上にあってもよい。また、記憶部24は、クラウド上のデータベースとローカールデータベースとを組み合わせたものであってもよい。
[0099]
 入力部22は、ユーザや車から情報を取得する。例えば、入力部22は、ユーザのタッチ操作、スライド操作、ジェスチャ操作等を感知する。
 取得部261は、センシング部23、記憶部24、及び入力部22から情報を取得する。
[0100]
 [解析系]
 解析系では、入力系の結果を加味し画像補正情報を重畳する。解析系は、解析部262で構成される。
[0101]
 解析部262は、取得部261が取得した情報に基づいて画像表示のための解析を行う。
[0102]
 [出力系]
 出力系では、ユーザに各種情報を出力する。出力系は、表示制御部263と、画像表示装置30で構成される。
[0103]
 表示制御部263は、解析部262の解析結果に基づいて画像表示装置30を制御する。
[0104]
 画像表示装置30は、表示制御部263の制御に従って画像を表示する。画像表示装置30は、画像のプロジェクションや調光フィルムや調光ミラーの制御で好適なコンテンツ再生を実現する。
[0105]
<3-2.処理フロー>
 図32は、本開示の実施形態に係る画像表示処理を示すフローチャートである。図32に示した画像表示処理は、画像表示システム1(例えば、情報処理装置20)に電源が投入された場合に実行される。以下に示す画像表示処理は、例えば、情報処理装置20の制御部26で実行される。以下、図32を参照しながら画像表示処理について説明する。
[0106]
 まず、情報処理装置20の制御部26は、起動条件を満たしたか判別する(ステップS101)。例えば、情報処理装置20の取得部261は、撮像装置からユーザの映像を取得する。そして、情報処理装置20の解析部262は、ユーザの映像に基づきユーザのジェスチャを認識する。解析部262はユーザの手の動作を認識し、所定のジェスチャであると認識されると起動条件を満たしたと判別する。また、制御部26は、エンジンが動いた時や、ハイブリッドスクリーンへのタッチ入力が行われた時に起動条件を満たしたと判別してもよいし、IT化された車の場合、その他の認証がなされた場合に起動条件を満たしたと判別してもよい。
[0107]
 起動条件を満たさない場合(ステップS101:No)、制御部26は起動条件を満たすまでステップS101を繰り返す。起動条件を満たした場合(ステップS101:Yes)、制御部26は起動処理を実行する(ステップS102)。例えば、制御部26は、プログラムの初期化処理を実行したり、検出装置10及び画像表示装置30を起動したりする。
[0108]
 起動処理が完了したら、制御部26は、センサ情報に基づく調光/投影制御を実行する(ステップS103)。例えば、情報処理装置20の取得部261は、移動体の外部の光に関する検出結果を取得し、情報処理装置20の解析部262は、移動体の外部の光に関する検出結果に基づいて、コンテンツの移動体内の投影位置を決定する。そして、情報処理装置20の表示制御部263は、決定した投影位置へのコンテンツの投影に関する制御を行う。センサ情報に基づく調光/投影制御については後に詳しく述べる。
[0109]
 続いて、制御部26は、安全性を考慮した調光/投影制御を実行する(ステップS104)。例えば、制御部26は、通常運転時/事故発生時の調光/投影制御(安全性を考慮した制御)、わき見運転や居眠り検知に応じた調光/投影制御を行う。「安全性を考慮した調光/投影制御」については後に詳しく述べる。
[0110]
 続いて、制御部26は、終了条件を満たしたか判別する(ステップS105)。例えば、制御部26は、ユーザが所定のジェスチャを行った場合に終了条件を満たしたと判別する。制御部26は、車のエンジンが停止した場合や、ハイブリッドスクリーンへのタッチ入力に応じて、終了条件を満たしたと判別してもよい。
[0111]
 終了条件を満たさない場合(ステップS105:No)、制御部26はステップS103に戻り、終了条件を満たすまでステップS103~S105を繰り返す。終了条件を満たした場合(ステップS105:Yes)、制御部26はステップS101に戻り、起動条件を満たすのを待機する。
[0112]
<3-3.センサ情報に基づく調光/投影制御>
 次に、ステップS103の「センサ情報に基づく調光/投影制御」について詳しく述べる。
[0113]
 [外光の検出結果による制御]
 センサ情報に基づく調光/投影制御としては、移動体の外部の光に関する検出結果に基づく投影制御が考え得る。なお、特に明記されていない場合、本開示における制御は、移動体の外部の光に関する検出結果を必ずしも参照する必要がない点に留意されたい。すなわち、例えば図26の構成では、観察者の位置のセンシング結果のみがハイブリッドスクリーン33の移動のために参照されうる。したがって、移動体の外部の光に関する検出結果を参照しない制御もまた、本開示の技術範囲に含まれ得る。
[0114]
 例えば、画像表示システム1は、リアルタイムに外光を検知し、コンテンツ表示に有効的な位置を特定し調光/投影制御する。このとき、画像表示システム1は、各種センサもしくは、センサ+クラウドからの情報を基に制御してもよい。例えば、画像表示システム1は、以下の例1~例4の情報を基に制御してもよい。
[0115]
 例1:複数方向の照度センサの情報
 例2:単一方向もしくは複数の外部撮像装置からの画像の解析情報
 例3:単一方向もしくは複数の外部撮像装置からの画像の解析情報
 例4:9軸(3軸加速度+3軸ジャイロ+3軸コンパス)センサ+位置情報+日時=日照方向
[0116]
 具体的には、情報処理装置20は以下の処理を実行してもよい。
[0117]
 例えば、情報処理装置20の取得部261は、移動体の外部の光に関する検出結果(例えば、リアルタイムの外光の検知結果)を取得する。例えば、取得部261は、移動体の外部の光の前記移動体への入射方向の検出結果を取得する。入射方向は、移動体の位置および天候情報に含まれる太陽の位置に基づいて推定されてもよい。このとき、取得部261は、移動体内にいる人に関する検出結果も併せて取得してもよい。例えば、取得部261は、移動体内にいる人の位置の検出結果を取得してもよい。
[0118]
 そして、情報処理装置20の解析部262は、移動体の外部の光に関する検出結果に基づいて、コンテンツの移動体内の投影位置を決定する。例えば、解析部262は、太陽光の入射方向の検出結果に基づいてコンテンツの移動体内の投影位置を決定する。図33及び図34は、センサ情報に基づく調光/投影制御の一例を示す図である。例えば、太陽光が車Vの側面から入射している場合には、ハイブリッドスクリーン33の投影面に太陽光が当たらないように、車Vの進行方向にハイブリッドスクリーン33の投影面が向くように投影位置を決定する。
[0119]
 このとき、解析部262は、移動体の外部の光に関する検出結果に基づいてハイブリッドスクリーン33上の投影位置を決定してもよい。また、ハイブリッドスクリーン33が移動体内に複数のハイブリッドスクリーンを含む場合には、解析部262は、移動体の外部の光に関する検出結果に基づいて、複数のハイブリッドスクリーン33の中から選択された少なくとも1つのハイブリッドスクリーン33をコンテンツの投影位置として決定してもよい。また、ハイブリッドスクリーン33が複数のハイブリッドスクリーンを含む場合には、解析部262は、コンテンツの移動体内の投影位置を決定するとともに、投影位置に基づいてハイブリッドスクリーン33の位置を決定してもよい。例えば、外部の光の影響が相対的に小さい位置を投影位置に特定し、ハイブリッドスクリーン33が、特定された投影位置に移動されてもよい。なお、ハイブリッドスクリーン33は、モータ等の駆動系によって移動され得る。
[0120]
 外光の光に関する検出結果は、照度センサやカメラによる撮像画像から取得される情報に基づいて、取得される。例えば、照度センサは。移動体内部に配置されたハイブリッドスクリーン33の周囲に搭載される。この場合、各ハイブリッドスクリーン33における外光による影響を検知することが可能である。複数のハイブリッドスクリーン33が存在する場合、照度センサから得られる情報に基づいて、相対的に外光の影響が少ないハイブリッドスクリーン33を検出結果に基づいて特定し、特定したハイブリッドスクリーン33に対してコンテンツの投影を行う。これにより、外光の影響が小さなハイブリッドスクリーン33を特定して、コンテンツの投影を行うことができ。
[0121]
 移動体内部のハイブリッドスクリーン33だけでなく、窓にもハイブリッドスクリーン33が搭載することが可能である。窓に配置されたハイブリッドスクリーン33を調光することによって、移動体内部のハイブリッドスクリーン33にコンテンツを投影する際に、太陽光などの外光の影響を減らすことできる。窓に搭載されたハイブリッドスクリーン33の調光度を高めることで、外光の影響を削減できるため、外界からの外光を考慮しなくても投影を行うことが可能である。
[0122]
 ハイブリッドスクリーン33が窓に配置される場合、外界への視認性を考慮して、ハイブリッドスクリーン33の調光度に上限値を設けてもよい。調光に上限値が存在する場合、完全に移動体内への外光の影響を遮断できないため、移動体内部のハイブリッドスクリーン33が外光の影響を受ける。その場合、移動体内部に複数のハイブリッドスクリーン33が備えられており、周辺にある照度センサから得られる情報に基づいて、外光の影響が小さいハイブリッドスクリーン33を特定することができる。調光度の上限値は、移動体の車速に応じて決定されていてもよい。
[0123]
 このとき、取得部261は、移動体内にいる人に関する検出結果も加味してコンテンツの移動体内の投影位置を決定してもよい。例えば、解析部262は、移動体の外部の光の移動体への入射方向の検出結果と、移動体内にいる人の位置の検出結果と、に基づいて、コンテンツの移動体内の投影位置を決定する。例えば、解析部262は、コンテンツ位置が移動体の内部の人から見て太陽の位置と重ならないようにコンテンツ位置を決定する。
[0124]
 このとき、解析部262は、照度センサまたはカメラの撮像画像に基づいて、所望の輝度で投影可能であるかを検知してもよい。所望の輝度は、プロジェクタの性能や、ユーザが設定することによって決定される。プロジェクタの性能によって所望の輝度が決定する場合、所定の照度と照度センサによって検知される照度との比較に基づいて投影位置を決定する。
[0125]
 そして、情報処理装置20の表示制御部263は、決定した投影位置へのコンテンツの投影に関する制御を行う。例えば、表示制御部263は、移動体内にあるハイブリッドスクリーン33へのコンテンツの投影を制御する。
[0126]
 眩しい方向において特定の方向からの外光の影響を抑えつつ、特定の最適な位置にコンテンツを投影することができる。
[0127]
 [ユーザに関する検出結果による制御]
 センサ情報に基づく調光/投影制御としては、移動体のユーザに関する検出結果に基づく投影制御が考え得る。
[0128]
 例えば、解析部262は、ToFセンサ等の移動体内のユーザを検知可能なセンサからの情報に基づいて移動体内のユーザの人数や姿勢を特定する。そして、解析部262は、ユーザの人数に基づいて、コンテンツの適切な投影位置を決定する。そして、表示制御部263は、決定した投影位置へのコンテンツの投影制御を行う。
[0129]
 また、解析部262は、ユーザの位置の検出結果に基づいてコンテンツの投影位置を決定する。例えば、解析部262は、ユーザが座る位置の近くの正面、側面に投影を移動する。表示制御部263は、複数のプロジェクタ32を用いて投影を切り替えてもよいし、プロジェクタ32をパン・チルト・ロール・シフト等制御し投影方向を変えてもよい。また、表示制御部263は、当初からカバー範囲を広く投影し投影範囲を選択してもよい。
[0130]
 解析部262は、複数のユーザが移動体内部に存在する場合は、各ユーザの近くにあるハイブリッドスクリーンにそれぞれ、プロジェクタ32からコンテンツの投影を行う。また、複数のユーザが、同じコンテンツを観賞する場合は、複数のユーザからの距離が近い位置にあるハイブリッドスクリーン33に投影を行う。これにより、複数のユーザが存在する場合でも、それぞれのユーザが観賞しやすい位置にコンテンツの投影を行うことができる。
[0131]
 また、解析部262は、ユーザの位置と投影されるコンテンツの種類に基づいて、投影位置を決定することも可能である。コンテンツの種類としては、ハイブリッドスクリーン33に表示されるコンテンツに対して、インタラクションが可能なコンテンツが挙げられる。そのようなコンテンツの場合は、ユーザの位置に応じて、ユーザの手の届く位置にあるハイブリッドスクリーン33へ投影を行う。
[0132]
 [インタラクションの検出による制御]
 センサ情報に基づく調光/投影制御としては、インタラクションの検出による制御が考え得る。
[0133]
 例えば、情報処理装置20は、ユーザがコンテンツのないところをタッチしたことを検出すると、調光素子のON/OFFを切り替えてもよい。このとき、情報処理装置20は、ユーザがコンテンツに対してタッチすることにより、ユーザがコンテンツ操作を行うことができるよう構成されていてもよい。このとき、タッチは複数個所で行う事が出来、複数人で同時操作が可能であってもよい。また、エアホッケー等対戦ゲームが実施できてもよい。対戦ゲームとしては、例えば、ARホッケー(マルチタッチ対応)が考え得る。図35は、ハイブリッドスクリーン33へのゲームの表示例を示す図である。なお、タッチの認識にはフィルム状のタッチパッドを用いてもよいし、IRセンサを複数個所設け遮蔽により手指を認識してもよい。また、画像センサの解析により操作を検出してもよい。
[0134]
 [衝撃検知による制御]
 センサ情報に基づく調光/投影制御としては、衝撃検知による制御が考え得る。
[0135]
 例えば、ユーザがハイブリッドスクリーン33に表示されたゲームに夢中になって、運転席のヘッドレスト付近を強くたたいたとする。この場合、運転者の注意がそれる可能性があるので、情報処理装置20は、ハイブリッドスクリーン33に対する直接的で過度な衝撃を検知したらハイブリッドスクリーン33へのコンテンツの投影を停止する。
[0136]
 具体的には、情報処理装置20は以下の処理を実行してもよい。
[0137]
 例えば、ハイブリッドスクリーン33が車の前部座席と後部座席の間に設置されているとする。取得部261は、移動体或いはハイブリッドスクリーン33に設置されたセンサの検出結果を取得する。センサは、移動体或いは前記スクリーンに加わった衝撃を検知する衝撃検知センサである。衝撃検知センサとしては、加速度センサ、撮像素子などが挙げられる。表示制御部263は、センサの検出結果に基づいてハイブリッドスクリーン33へのコンテンツの投影を停止する。図36は、ハイブリッドスクリーン33に衝撃が加わった様子を示す図である。例えば、表示制御部263は、衝撃検知センサでハイブリッドスクリーン33への衝撃を検知した場合に、ハイブリッドスクリーン33へのコンテンツの投影を停止する。或いは、表示制御部263は、衝撃検知センサで移動体(例えば、車)への衝撃を検知した場合に、ハイブリッドスクリーン33へのコンテンツの投影を停止する。
[0138]
 また、表示制御部263は、センサ(例えば、衝撃検知センサ)の検出結果に基づいてハイブリッドスクリーン33の調光の制御(例えば、透過率の変更)をしてもよい。例えば、表示制御部263は、衝撃検知センサでハイブリッドスクリーン33への衝撃を検知した場合に、ハイブリッドスクリーン33を非透過状態から透過状態に増加させる。或いは、表示制御部263は、衝撃検知センサでハイブリッドスクリーン33への衝撃を検知した場合に、ハイブリッドスクリーン33の透過率を所定量上昇(例えば、20%上昇)させてもよい。或いは、表示制御部263は、衝撃検知センサで移動体(例えば、車)への衝撃を検知した場合に、ハイブリッドスクリーン33を非透過状態から透過状態に変化させてもよい。或いは、表示制御部263は、衝撃検知センサで移動体(例えば、車)への衝撃を検知した場合に、ハイブリッドスクリーン33の透過率を所定量上昇(例えば、20%上昇)させてもよい。安全性を向上させることができる。
[0139]
 [情報取得に応じた投影制御]
 センサ情報に基づく調光/投影制御としては、情報取得に応じた投影制御が考え得る。
[0140]
 例えば、情報処理装置20は、移動体の外光・内装に関する情報を取得し、取得した情報に基づいて、ハイブリッドスクリーン33の調光やハイブリッドスクリーン33へのコンテンツの投影を制御する。
[0141]
 [天候に応じた投影制御]
 センサ情報に基づく調光/投影制御としては、天候に応じた投影制御が考え得る。
[0142]
 例えば、情報処理装置20は、天候に応じ車内環境(投影映像中心)を動的にコントロールする。例えば、車のサイドのガラスにハイブリッドスクリーン33を配置する。そして、情報処理装置20は、天候の検出結果に基づいてハイブリッドスクリーン33を制御する。例えば、情報処理装置20は、外は雨でも中はお天気、外は雪景色でも中は南の島の楽園となるよう、ハイブリッドスクリーン33への投影を制御する。情報処理装置20は、森の中の木漏れ日のような表現をプロジェクションで代替してもよい。また、情報処理装置20は、車外光を程よく取り込むようハイブリッドスクリーン33の調光を制御してもよい。
[0143]
 [AR技術を用いた風景変換]
 センサ情報に基づく調光/投影制御としては、AR技術を用いた風景変換が考え得る。
[0144]
 例えば、車のサイドのガラスにハイブリッドスクリーン33を配置する。情報処理装置20は、車外の撮像画像を取得する。そして、情報処理装置20は、撮像画像に基づいて、ユーザから見て車外の実体物にコンテンツが重畳するようにハイブリッドスクリーン33へのコンテンツの投影を制御する。情報処理装置20は、車内のユーザの位置の検出結果を取得してもよい。情報処理装置20は、ユーザの位置の情報と撮像画像に基づいて、ユーザから見て車外の実体物にコンテンツが重畳するようにハイブリッドスクリーン33へのコンテンツの投影を制御してもよい。精度の高いARが可能になる。
[0145]
<3-4.安全性を考慮した調光/投影制御>
 次に、ステップS104の「安全性を考慮した調光/投影制御」について詳しく述べる。
[0146]
 [居眠り対策]
 安全性を考慮した調光/投影制御としては、居眠り対策が考え得る。
[0147]
 例えば、画像表示システム1は、運転席側に設けられたビデオシースルー用のカメラで運転者の状況をとってもよい。図37は、車内向けカメラで運転者の状況をモニタリングした様子を示す図である。情報処理装置20は、画像を取得し、運転者が眠そうになっているか否かを解析する。そして情報処理装置20は、運転者が寝そうになっていたら、運転者を起こすモードにする。起こすモードとしては、スピーカを用いて警告が考え得る。情報処理装置20は、プロジェクションを所定の位置にあるハイブリッドスクリーン33に投影し、光による警告をしてもよい。また、情報処理装置20は、ハイブリッドスクリーン33の遮蔽を解除する事により外光を積極的に取り入れて運転者が起きるのを促してもよい。
[0148]
 [酔いへの対応]
 安全性を考慮した調光/投影制御としては、乗り物酔いへの対策が考え得る。
[0149]
 例えば、情報処理装置20は、ユーザ座標系又は、世界座標系を基準として、移動体(例えば、車)の振動がキャンセルされるようにハイブリッドスクリーン33へのコンテンツの投影を制御する。情報処理装置20は、加速度センサによる振動の検出結果に基づいて移動体(例えば、車)の振動がキャンセルされるようにハイブリッドスクリーン33へのコンテンツの投影を制御してもよい。
[0150]
 [運転支援関連]
 安全性を考慮した調光/投影制御としては、運転支援が考え得る。
[0151]
 例えば、情報処理装置20は、車外のリアルタイムの撮像画像を取得する。そして、情報処理装置20は、Aピラー、ボンネットの奥、及びリア周りの死角を、ARを使って無くす。図38は、車の各部を説明するための図である。Aピラー等の車の各部には、画像を投影できるようハイブリッドスクリーン33が配置されていてもよい。情報処理装置20は、リア後方視界周りをプロジェクションして死角を低減してもよい。
[0152]
 [安全性関連]
 その他、安全性を考慮した調光/投影制御としては、以下が考え得る。
[0153]
 例えば、情報処理装置20は、運転席と後席間のスクリーンを必要に応じて透明にしてもよい。図39及び図40は、車の前部座席と後部座席の間に設置されたハイブリッドスクリーン33にコンテンツが投影された様子を示す図である。図39の例では、領域A1~A3にコンテンツが投影されている。情報処理装置20は、例えば、距離センサで後方を走る車が接近したのを検知すると、図40に示すように、領域A2へのコンテンツの投影を停止して運転者の後方視界を確保する。
[0154]
 なお、情報処理装置20は、運転に必要なエリア以外に映像を投影してもよい。
[0155]
 また、情報処理装置20は、ハイブリッドスクリーン33の向こう側の環境によって映像を変え、運転者の後方視界を遮らないようにしてもよい。
[0156]
 また、情報処理装置20は、後方視界部分だけを、カメラ映像にして表示に重畳してもよい。
[0157]
 また、情報処理装置20は、運転者の視認位置(視野)に応じて映像投影を変化させてもよい。すなわち、情報処理装置20は、運転者の注視点(視線方向)を検出し、注視点に映像投影の位置を追従させてもよい。
[0158]
 また、情報処理装置20は、自動運転時はハイブリッドスクリーン33を図41示すように遮光状態(非透過状態)にしておき、危険な状況でハイブリッドスクリーン33を図42に示すように透明状態(透過状態)に変化させてもよい。すなわち、情報処理装置20は、外部状態によりハイブリッドスクリーン33の透明度を変化させてもよい。
[0159]
<<4.安全性を考慮した調光/投影制御の具体的処理例>>
 次に、画像表示システム1の動作の具体例を説明する。ここでは、上述の<3-4.安全性を考慮した調光/投影制御>の具体的処理例を説明する。
[0160]
<4-1.概要>
 運転席と後部座席の間に設けられた従来のディスプレイを、よりサイズの大きい透明スクリーンに置き換え、プロジェクタから投影される表示領域の位置を任意に変更することで、車室内の空間をより有効活用することができる。
[0161]
 しかしながら、上述の通り、透明スクリーンに表示されたコンテンツの視認性を高めるために調光素子(例えば、ハイブリッドスクリーン33の調光フィルム331が備える調光素子)を駆動すると、表示領域のサイズが大きいほど、後部座席のユーザの視界を大きく遮ってしまう。
[0162]
 図43は、車の前部座席と後部座席の間にハイブリッドスクリーン33が設置された様子を示す図である。図43の例では、コンテンツの視聴のためにハイブリッドスクリーン33の調光フィルム331が調光されて、ハイブリッドスクリーン33がブラックスクリーン状態(非透過状態)となっている。この場合、後部座席のユーザから運転者の状態の確認することは困難である。仮に、運転者が運転に集中できていない状態(例えば、眠そうな状態)になっていたとしても、後部座席のユーザが気付くことができなくなる恐れがある。
[0163]
 そこで、運転席側に設けられたセンサによって、運転者の前方の注視状態を検出する。図44は、安全性を考慮した調光/投影制御の具体的処理例を示す図である。図44の例では、運転者の前方の注視状態を検出するため、運転席の前方と後方に検出装置10 1、10 が設置されている。検出装置10 、10 は、例えば、画像センサを備える撮像装置である。より具体的には、検出装置10 は、例えば、ダッシュボード等に設けられた、運転者の顔を撮影する専用カメラであり、検出装置10 は、例えば、運転席後方天井に設けられた、運転者の頭部を後方から撮影する専用カメラである。
[0164]
 情報処理装置20は、検出装置10 、10 の検出結果(撮像画像)に基づき運転者が前方を注視しているか否かを検出する。例えば、情報処理装置20は、検出装置10 から画像を取得し、取得した画像からユーザの視線方向を検出(解析)する。これにより、情報処理装置20は、運転者が前方を注視しているか否かを検出する。運転者が前方を“注視していることが検出されない場合”、情報処理装置20は、前部座席と後部座席の間に設置したハイブリッドスクリーン33が備える調光素子(図44の例では調光フィルム331)をOFFにすることにより、ハイブリッドスクリーン33を透過状態にする。
[0165]
 これにより、後部座席の人が運転者の前方の注視状態を確認できるようになるので、運転者が非注視状態の場合に、後部座席の人が運転者に話しかける等の行動ができるようになる。結果として、画像表示システム1は、安全性に寄与する。
[0166]
<4-2.処理フロー>
 図45は、本開示の実施形態に係る可視化制御処理を示すフローチャートである。図45に示した可視化制御処理は、例えば、画像表示システム1(例えば、情報処理装置20)が上述の画像表示処理を実行した場合に実行される。以下に示す可視化制御処理は、例えば、情報処理装置20の制御部26で画像表示処理と並行して実行される。以下に示す可視化制御処理は、上述の画像表示処理のステップS104で実行される処理とみなしてもよい。以下、図45を参照しながら可視化制御処理について説明する。
[0167]
 まず、情報処理装置20の制御部26は、開始条件を満たしたか判別する(ステップS201)。例えば、制御部26は、上述の画像表示処理のステップS101で示した起動条件が満たされたか判別する。
[0168]
 開始条件を満たさない場合(ステップS201:No)、制御部26は開始条件を満たすまでステップS201を繰り返す。開始条件を満たした場合(ステップS201:Yes)、制御部26は運転席の可視化制御の開始処理を実行する(ステップS202)。例えば、制御部26は、プログラムの初期化処理を実行したり、検出装置10(例えば、運転席の前方及び後方に設置された撮像装置)を起動したりする。
[0169]
 開始処理が完了したら、制御部26は、運転者の注視状態を検出する(ステップS203)。例えば、情報処理装置20の取得部261は、検出装置10の検出結果(例えば、撮像画像)を取得する。そして、情報処理装置20の解析部262は、検出装置10の検出結果(例えば、撮像画像)に基づき運転者が前方を注視しているか否かを検出(解析)する。
[0170]
 例えば、検出装置10がダッシュボード等に設けられた、運転者の顔を撮影する専用カメラであるとする。このとき、解析部262は、専用カメラから取得した画像からユーザの視線方向を検出(解析)してもよい。そして、解析部262は、運転者の視線方向に基づいて運転者が前方を注視しているか否かを検出(解析)してもよい。
[0171]
 また、検出装置10は、ハイブリッドスクリーン33の背面(運転席側)に設けられた、運転者の状態を検出するセンサ(例えば、カメラ)であってもよい。このとき、解析部262は、センサ(例えば、カメラ)から検出される運転者の頭の向きや動きに基づいて、運転者の視線方向を推定してもよい。
[0172]
 そして、制御部26は、ステップS203の検出結果に基づいて運転者が非注視状態か否かを判別する(ステップS204)。例えば、制御部26は、以下の条件のいずれか少なくとも一つでも満たした場合、“非注視状態”として判定してもよい。
[0173]
 条件1:運転者の視線が検出できない(例えば、眼を閉じていることの検出、システム上の視線検出エラー)
 条件2:運転者の視線が、前方“以外を向いている”ことを検出
[0174]
 この判定によれば、運転者が適切に前方を注視していることをシステムが認識していないいずれかの状態において、運転席の可視化制御(後述のステップS205の処理)が実施される。すなわち、情報処理装置20は、運転者側に異常が実際には無い場合であっても、コンテンツの提供を中止する。この結果、車両が運転されている状態における安全性の確保が、コンテンツの提供よりも優先して行われる。すなわち、情報処理装置20は、フェイルセーフ制御を実行する。
[0175]
 運転者が非注視状態でない場合(ステップS204:No)、制御部26はステップS203に戻る。運転者が非注視状態の場合(ステップS204:Yes)、すなわち制御部26が“運転者が注視状態であることを認識できない”場合、情報処理装置20の表示制御部263は運転席の可視化制御を実行する(ステップS205)。例えば、表示制御部263は調光OFF(制御)やビデオシースルー制御を行う。
[0176]
 ここで、“調光OFF(制御)”とは、“可視化制御が行われていない通常状態における調光制御を制限し、ハイブリッドスクリーン33の透過度を上げること”を意味する。調光素子の透過度は、略100%に変更されてもよい。あるいは、調光素子の透過度は、現時点の透過度から所定量(例えば、20%)だけ増加されてもよい。この実施例における調光素子は、部分駆動できない調光素子、すなわち、全面を一括で調光する調光素子であってもよい。
[0177]
 また、“ビデオシースルー制御”とは、運転席側の映像を、ハイブリッドスクリーン33に表示する制御を意味する。運転席側の映像は、例えば、ハイブリッドスクリーン33の背面側(運転席側)に設けられたカメラ等で取得されてもよい。図44の例で説明すると、検出装置10 によって取得された前方画像がハイブリッドスクリーン33に投影されてもよい。これにより、後部座先のユーザにビデオシースルー映像が提供される。なお、ビデオシースルー映像は、コンテンツが投影されている間は、コンテンツが投影されている表示領域外に投影されてもよい。
[0178]
 なお、採用される調光素子の特性次第で、調光素子の透過度を所定量上げるのに時間が掛かってしまう可能性がある。そのような場合、ビデオシースルー映像の提供が即時性の観点で有効である。
[0179]
 図46及び図47は、ビデオシースルー制御イメージを示す図である。図46と図47では、ハイブリッドスクリーン33の透過度が異なっている。図中の斜線の部分が、ビデオシースルー映像が投影される領域である。図中の斜線の部分にカメラにより取得された映像が投影される。ハイブリッドスクリーン33にビデオシースルー映像が投影される場合、調光素子の透過度は変更する必要が無い。したがって、コンテンツの視認性は実質的に維持される。
[0180]
 運転席の可視化制御が終了したら、制御部26はステップS101に戻り、開始条件を満たすのを待機する。
[0181]
<4-3.実施例の効果>
 上記一連の処理によれば、システムが運転席側の注視状態を認識できない場合、システムは後部座席のユーザがコンテンツの視聴を行うことを、調光のOFFやビデオシースルー制御によって実質的に妨げる。これにより、後部座席のユーザは、運転席側の状態に気付くことができる。したがって、運転者の体調不良(居眠り含む)や余所見といった運転者の異常を、後部座席のユーザが見落とすことが抑制される。
[0182]
<<5.変形例>>
 上述の各実施形態は一例を示したものであり、種々の変更及び応用が可能である。
[0183]
<5-1.システム構成に関する変形例>
 例えば、上述の実施形態では、画像表示システム1はハイブリッドスクリーン33を備えるものとしたが、画像表示システム1は単に調光機能を有さない透明スクリーンを備えるだけであってもよい。この場合、上述の「ハイブリッドスクリーン33」の記載は適宜「透明スクリーン」に置き換え可能である。なお、調光機能を有するハイブリッドスクリーン33も透明スクリーンの一種である。
[0184]
 また、ハイブリッドスクリーン33は、電源の供給が停止された状態で透明となるよう構成されていてもよい。何らかのアクシデントが発生した場合にハイブリッドスクリーン33が透明となるので、ハイブリッドスクリーン33が移動体に設置されたとしても、運転の安全性を確保できる。
[0185]
 なお、ハイブリッドスクリーン33が非透過状態で事故が発生した場合、ハイブリッドスクリーン33が非透過状態のままとなることが想定される。事故後にハイブリッドスクリーン33が透明状態に戻ることができるように、ハイブリッドスクリーン33は、透明状態に戻るための処理に使用する蓄電体(例えば、スーパーキャパシタ)を備えていてもよい。安全性をさらに高めることができる。
[0186]
 また、上述の実施形態では画像表示システム1が設置される移動体は主に自動車であったが、画像表示システム1が設置される移動体は自動車に限られない。例えば、画像表示システム1が設置される移動体は、新幹線等の列車であってもよい。
[0187]
 なお、新幹線のような進行方向に向いている椅子の場合、窓にコンテンツを投影したのではユーザはコンテンツを見辛い。この場合、画像表示システム1は、必要な時にハイブリッドスクリーン33が下がってくるよう構成されていてもよい。
[0188]
 なお、ほとんどトンネル内を走行するリニアモーターカーの場合、窓の利用は極めて有効である。リニアモーターカーの窓にハイブリッドスクリーン33を設置し、コンテンツを投影してもよい。
[0189]
 また、地下鉄の窓にハイブリッドスクリーン33を設置し、観光地案内表示等をおこなってもよい。地下的の場合、座席はサイドの窓に並行に配置されることが多い。ユーザが座席に座っていても、対面の席が空いていれば、ユーザは対面する窓のコンテンツを見ることができる。
[0190]
 また、画像表示システム1が設置される移動体は、室内の全面がスクリーンとなるように構成されてもよい。室内の全面スクリーンに移動体外の映像が投影されるとで、移動体と移動体外との境界が排除されたような体験を提供することができる。なお、本変形例を飛行機に適用すると、ユーザにあたかも空に浮いているかのような体験を提供することができる。
[0191]
 また、画像表示システム1が設置される移動体は自動運転可能な自動車であってもよい。完全自動運転時代は、馬車の時代に戻ると想定される。すなわち、乗員が運転する必要がなくなり、御者はAIが行う。乗員全員がリムジンの後席の様な対面で乗車するのが当たり前になると想定される。従ってフリーレイアウト化し乗員に応じて高度にカスタマイズされた部屋を貸切れたり、フラットパネルやプロジェクタも自由に配置できたりすることが想定される。すなわち、ハイブリッドスクリーン33を自由に配置できる。また、ハイブリッドスクリーン33により、坂の上り下りを乗員に気が付かせなくできる。また、自動運転中にユーザは様々な行動が出来るようになると想定される。例えばジムトレーニングやマッサージ、入浴などが可能になると想定される。このような場合に、ユーザにハイブリッドスクリーン33で情報を提供することで、ユーザに好適な視聴環境を提供できる。
[0192]
 また、自動運転時代には自動車のフリーレイアウトが可能になると想定される。そのため限られたスペースの車内でも、色々なぜいたくが出来る場となる。例えば、図48に示すように、円卓Tを囲む風に車Vがレイアウトされることも可能になると想定される。なお、安全性を考えると通常、ユーザは進行方向に座ると想定される。その理由としては、進行方向が逆に座ると酔い易いから、窓があるから、加速が逆だから、といったことが想定される。それをハイブリッドスクリーン33の映像で酔い難さをコントロールすることにより更なるフリーレイアウト化が可能となる。ハイブリッドスクリーン33の映像で酔い難さをコントロールできれば、例えば、シティーコミュータでは、配車完了前に、ユーザの好みに合わせ椅子をレイアウトする等、更なるフリーレイアウトを実現することが可能になる。
[0193]
<5-2.その他の変形例>
 本実施形態の検出装置10、情報処理装置20、又は画像表示装置30を制御する制御装置は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
[0194]
 例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、の検出装置10、情報処理装置20、又は画像表示装置30の外部の装置(例えば、パーソナルコンピュータ)であってもよい。また、制御装置は、の検出装置10、情報処理装置20、又は画像表示装置30の内部の装置(例えば、制御部13、又は制御部26等)であってもよい。
[0195]
 また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
[0196]
 また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[0197]
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
[0198]
 また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
[0199]
 また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
[0200]
 なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0201]
 また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0202]
<<6.むすび>>
 以上説明したように、本開示の一実施形態によれば、情報処理装置20は、移動体の外部の光に関する検出結果を取得し、取得した検出結果に基づいて、コンテンツの移動体内の投影位置を決定する。そして、情報処理装置20は、決定した投影位置へのコンテンツの投影に関する制御を行う。これにより、例えば、逆光等を避けることができるので、情報処理装置20は、移動体の搭乗者に好適な視聴環境を提供できる。
[0203]
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
[0204]
 また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
[0205]
 なお、本開示は、以下のような構成もとることができる。
[0206]
(1)
 移動体の外部の光に関する検出結果を取得する取得部と、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定する解析部と、
 決定した前記投影位置への前記コンテンツの投影に関する制御を行う表示制御部と、
 を備える情報処理装置。
(2)
 前記解析部は、前記移動体の外部の光に関する検出結果と、前記移動体内にいる人に関する検出結果と、に基づいて、前記コンテンツの前記移動体内の前記投影位置を決定する、
 付記(1)に記載の情報処理装置。
(3)
 前記解析部は、前記移動体の外部の光の前記移動体への入射方向の検出結果と、前記移動体内にいる人の位置の検出結果と、に基づいて、前記コンテンツの前記移動体内の前記投影位置を決定する、
 付記(2)に記載の情報処理装置。
(4)
 前記表示制御部は、前記移動体内にある少なくとも1つのスクリーンへの前記コンテンツの投影を制御する、
 付記(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて前記スクリーン上の投影位置を決定する、
 付記(4)に記載の情報処理装置。
(6)
 前記スクリーンは、複数のスクリーンを含み、
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて、前記複数のスクリーンの中から選択された少なくとも1つのスクリーンを前記コンテンツの前記投影位置として決定する、
 付記(4)に記載の情報処理装置。
(7)
 前記スクリーンは、前記移動体内を移動可能であり、
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定するとともに、前記投影位置に基づいて前記スクリーンの位置を決定し、
 前記表示制御部は、決定した位置へ前記スクリーンを移動させる、
 付記(4)に記載の情報処理装置。
(8)
 前記スクリーンは、前記移動体内を移動可能であり、
 前記取得部は、前記スクリーンの位置に関する情報を取得し、
 前記解析部は、前記スクリーンの位置の移動に応じて、前記投影位置を移動させる、
 付記(4)に記載の情報処理装置。
(9)
 前記スクリーンは、透明スクリーンであり、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得し、
 前記表示制御部は、前記センサの検出結果に基づいて前記透明スクリーンへのコンテンツの投影を停止する、
 付記(4)~(8)のいずれか1つに記載の情報処理装置。
(10)
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、前記車或いは前記スクリーンに加わった衝撃を検知する衝撃検知センサであり、
 前記表示制御部は、前記衝撃検知センサで衝撃を検知した場合に前記透明スクリーンへのコンテンツの投影を停止する、
 付記(9)に記載の情報処理装置。
(11)
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、運転席の運転者を撮像するカメラであり、
 前記表示制御部は、前記カメラで前記運転者の非注視状態を検知した場合に前記透明スクリーンへのコンテンツの投影を停止する、
 付記(9)または(10)に記載の情報処理装置。
(12)
 前記スクリーンは、透過率を変更可能な透明スクリーンであり、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得し、
 前記表示制御部は、前記センサの検出結果に基づいて前記透明スクリーンの透過率を変化させる、
 付記(4)~(11)のいずれか1つに記載の情報処理装置。
(13)
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、前記車或いは前記スクリーンに加わった衝撃を検知する衝撃検知センサであり、
 前記表示制御部は、前記衝撃検知センサで衝撃を検知した場合に前記透明スクリーンの透過率を増加させる、
 付記(12)に記載の情報処理装置。
(14)
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、運転席の運転者を撮像するカメラであり、
 前記表示制御部は、前記カメラで前記運転者の非注視状態を検知した場合に前記透明スクリーンの透過率を増加させる、
 付記(12)または(13)に記載の情報処理装置。
(15)
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得するとともに、前部座席側のビデオシースルー映像を取得し、
 前記表示制御部は、前記コンテンツが前記スクリーンに投影されているとき、前記センサで運転者の非注視状態を検知した場合に、前記ビデオシースルー映像を、前記スクリーン上の前記コンテンツが投影されている表示領域外に投影する、
 付記(4)~(14)のいずれか1つに記載の情報処理装置。
(16)
 移動体の外部の光に関する検出結果を取得し、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定し、
 決定した前記投影位置への前記コンテンツの投影を制御する、
 情報処理方法。
(17)
 コンピュータを、
 移動体の外部の光に関する検出結果を取得する取得部、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定する解析部、
 決定した前記投影位置への前記コンテンツの投影を制御する表示制御部、
 として機能させるための情報処理プログラム。

符号の説明

[0207]
 1 画像表示システム
 10 検出装置
 11、21 通信部
 12 センサ部
 13 制御部
 20 情報処理装置
 22 入力部
 23 センシング部
 24 記憶部
 25 ネットワーク通信部
 26 制御部
 261 取得部
 262 解析部
 263 表示制御部
 30 画像表示装置
 31 パンチルタ
 32 プロジェクタ
 33 ハイブリッドスクリーン
 331 調光フィルム
 332 透明スクリーン
 333 表面反射ミラー

請求の範囲

[請求項1]
 移動体の外部の光に関する検出結果を取得する取得部と、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定する解析部と、
 決定した前記投影位置への前記コンテンツの投影に関する制御を行う表示制御部と、
 を備える情報処理装置。
[請求項2]
 前記解析部は、前記移動体の外部の光に関する検出結果と、前記移動体内にいる人に関する検出結果と、に基づいて、前記コンテンツの前記移動体内の前記投影位置を決定する、
 請求項1に記載の情報処理装置。
[請求項3]
 前記解析部は、前記移動体の外部の光の前記移動体への入射方向の検出結果と、前記移動体内にいる人の位置の検出結果と、に基づいて、前記コンテンツの前記移動体内の前記投影位置を決定する、
 請求項2に記載の情報処理装置。
[請求項4]
 前記表示制御部は、前記移動体内にある少なくとも1つのスクリーンへの前記コンテンツの投影を制御する、
 請求項1に記載の情報処理装置。
[請求項5]
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて前記スクリーン上の投影位置を決定する、
 請求項4に記載の情報処理装置。
[請求項6]
 前記スクリーンは、複数のスクリーンを含み、
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて、前記複数のスクリーンの中から選択された少なくとも1つのスクリーンを前記コンテンツの前記投影位置として決定する、
 請求項4に記載の情報処理装置。
[請求項7]
 前記スクリーンは、前記移動体内を移動可能であり、
 前記解析部は、前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定するとともに、前記投影位置に基づいて前記スクリーンの位置を決定し、
 前記表示制御部は、決定した位置へ前記スクリーンを移動させる、
 請求項4に記載の情報処理装置。
[請求項8]
 前記スクリーンは、前記移動体内を移動可能であり、
 前記取得部は、前記スクリーンの位置に関する情報を取得し、
 前記解析部は、前記スクリーンの位置の移動に応じて、前記投影位置を移動させる、
 請求項4に記載の情報処理装置。
[請求項9]
 前記スクリーンは、透明スクリーンであり、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得し、
 前記表示制御部は、前記センサの検出結果に基づいて前記透明スクリーンへのコンテンツの投影を停止する、
 請求項4に記載の情報処理装置。
[請求項10]
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、前記車或いは前記スクリーンに加わった衝撃を検知する衝撃検知センサであり、
 前記表示制御部は、前記衝撃検知センサで衝撃を検知した場合に前記透明スクリーンへのコンテンツの投影を停止する、
 請求項9に記載の情報処理装置。
[請求項11]
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、運転席の運転者を撮像するカメラであり、
 前記表示制御部は、前記カメラで前記運転者の非注視状態を検知した場合に前記透明スクリーンへのコンテンツの投影を停止する、
 請求項9に記載の情報処理装置。
[請求項12]
 前記スクリーンは、透過率を変更可能な透明スクリーンであり、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得し、
 前記表示制御部は、前記センサの検出結果に基づいて前記透明スクリーンの透過率を変化させる、
 請求項4に記載の情報処理装置。
[請求項13]
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、前記車或いは前記スクリーンに加わった衝撃を検知する衝撃検知センサであり、
 前記表示制御部は、前記衝撃検知センサで衝撃を検知した場合に前記透明スクリーンの透過率を増加させる、
 請求項12に記載の情報処理装置。
[請求項14]
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記センサは、運転席の運転者を撮像するカメラであり、
 前記表示制御部は、前記カメラで前記運転者の非注視状態を検知した場合に前記透明スクリーンの透過率を増加させる、
 請求項12に記載の情報処理装置。
[請求項15]
 前記移動体は車であり、
 前記スクリーンは、前記車の前部座席と後部座席の間に設置されており、
 前記取得部は、前記移動体或いは前記スクリーンに設置されたセンサの検出結果を取得するとともに、前部座席側のビデオシースルー映像を取得し、
 前記表示制御部は、前記コンテンツが前記スクリーンに投影されているとき、前記センサで運転者の非注視状態を検知した場合に、前記ビデオシースルー映像を、前記スクリーン上の前記コンテンツが投影されている表示領域外に投影する、
 請求項4に記載の情報処理装置。
[請求項16]
 移動体の外部の光に関する検出結果を取得し、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定し、
 決定した前記投影位置への前記コンテンツの投影を制御する、
 情報処理方法。
[請求項17]
 コンピュータを、
 移動体の外部の光に関する検出結果を取得する取得部、
 前記移動体の外部の光に関する検出結果に基づいて、コンテンツの前記移動体内の投影位置を決定する解析部、
 決定した前記投影位置への前記コンテンツの投影を制御する表示制御部、
 として機能させるための情報処理プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12A]

[ 図 12B]

[ 図 13A]

[ 図 13B]

[ 図 14A]

[ 図 14B]

[ 図 15A]

[ 図 15B]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]

[ 図 43]

[ 図 44]

[ 図 45]

[ 図 46]

[ 図 47]

[ 図 48]