此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2019054204) IMAGE PROCESSING DEVICE AND METHOD
Document

明 細 書

発明の名称 画像処理装置および方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

非特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008   0009   0010  

発明の効果

0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329  

符号の説明

0330  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47  

明 細 書

発明の名称 : 画像処理装置および方法

技術分野

[0001]
 本開示は、画像処理装置および方法に関し、特に、より高速かつ高精度に対応点検出を行うことができるようにした画像処理装置および方法に関する。

背景技術

[0002]
 従来、プロジェクタにより投影された投影画像の歪みの低減や、複数のプロジェクタによる各投影画像の位置合わせのために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等に応じた投影画像の幾何補正を行う方法があった。このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があった。
[0003]
 例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングとして、投影画像にグレイコードを埋め込む方式(例えば、非特許文献1参照)が提案された。また、他の方法として、不可視領域の光源を用いてパタン画像を投影する方式も考えられた。

先行技術文献

非特許文献

[0004]
非特許文献1 : Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、非特許文献1に記載のようなISLの場合、ポジとネガのパタン画像を投影する必要がある為、対応点検出に要する時間が増大するおそれがあった。そのため、例えば動物体を投影面とするような場合に、処理が投影面の形状や姿勢の変化に間に合わず、対応点検出の精度が低減するおそれがあった。
[0006]
 また、不可視領域の光源を用いてパタン画像を投影する場合も、例えば動物体を投影面とするような場合、不可視領域の投影および撮像を行う構成と、可視領域の投影および撮像を行う構成との間の整合をとることが困難であり、対応点検出の精度が低減するおそれがあった。
[0007]
 本開示は、このような状況に鑑みてなされたものであり、より高速かつ高精度に対応点検出を行うことができるようにするものである。

課題を解決するための手段

[0008]
 本技術の一側面の画像処理装置は、不可視光および可視光を互いに同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを、少なくとも一部が投影面の互いに同一の領域に投影されるように、投影する投影部を備える画像処理装置である。
[0009]
 本技術の一側面の画像処理方法は、画像処理装置が、不可視光を可視光と同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを互いに重畳するように投影する画像処理方法である。
[0010]
 本技術の一側面の画像処理装置および方法においては、不可視光が可視光と同一の光学系を介して出力されることにより、前記不可視光の画像と前記可視光の画像とが互いに重畳するように投影される。

発明の効果

[0011]
 本開示によれば、画像を処理することができる。特に、より高速かつ高精度に対応点検出を行うことができる。

図面の簡単な説明

[0012]
[図1] 幾何補正の様子の例を示す図である。
[図2] 幾何補正の様子の例を示す図である。
[図3] 幾何補正の様子の例を示す図である。
[図4] 対応点検出の様子の例を示す図である。
[図5] 対応点検出の様子の例を示す図である。
[図6] 対応点検出の様子の例を示す図である。
[図7] ISLの例を説明する図である。
[図8] 不可視光を用いる対応点検出の例を示す図である。
[図9] 可視光による対応点検出の例を示す図である。
[図10] 不可視光による対応点検出の例を示す図である。
[図11] 不可視光を用いる構成と可視光を用いる構成との間の対応点検出の例を示す図である。
[図12] オンラインセンシングの様子の例を示す図である。
[図13] 投影撮像システムの主な構成例を示すブロック図である。
[図14] 投影撮像装置の主な構成例を示すブロック図である。
[図15] 投影部の主な構成例を示すブロック図である。
[図16] 画像データの例を示す図である。
[図17] 画像投影の様子の例を示す図である。
[図18] 画像の投影とパタン画像の撮像の様子の例を示す図である。
[図19] 画像投影の様子の例を示す図である。
[図20] 制御装置の主な構成例を示すブロック図である。
[図21] 制御装置が実現する機能例を示す機能ブロック図である。
[図22] パタン画像の例を示す図である。
[図23] 特徴点と変数パタンの検出の様子の例を示す図である。
[図24] 特徴点の例を示す図である。
[図25] 符号列の生成の様子の例を示す図である。
[図26] 符号列の生成の様子の例を示す図である。
[図27] 注目領域の抽出と補正の様子の例を示す図である。
[図28] 事前補正の例を示す図である。
[図29] 特徴点検出部が実現する機能例を示す機能ブロック図である。
[図30] 特徴点検出の様子の例を示す図である。
[図31] 特徴点リファインメントの様子の例を示す図である。
[図32] 特徴点リファインメントの様子の例を示す図である。
[図33] 変数パタン検出部が実現する機能例を示す機能ブロック図である。
[図34] 輪郭検出の様子の例を示す図である。
[図35] 変数パタンの例を示す図である。
[図36] 変数パタンに割り当てられる符号の例を示す図である。
[図37] 符号列生成の様子の例を示す図である。
[図38] 部分デコードの例を示す図である。
[図39] 対応点検出処理の流れの例を説明するフローチャートである。
[図40] 特徴点検出処理の流れの例を説明するフローチャートである。
[図41] 変数パタン検出処理の流れの例を説明するフローチャートである。
[図42] 変数パタン識別処理の流れの例を説明するフローチャートである。
[図43] 輪郭検出の様子の例を示す図である。
[図44] 投影撮像システムの他の構成例を示すブロック図である。
[図45] 投影撮像システムの他の構成例を示すブロック図である。
[図46] 投影撮像システムの他の構成例を示すブロック図である。
[図47] 投影撮像装置の主な構成例を示すブロック図である。

発明を実施するための形態

[0013]
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.対応点検出方法
 2.第1の実施の形態(投影撮像システム)
 3.第2の実施の形態(投影撮像システム・投影撮像装置)
 4.その他
[0014]
 <1.対応点検出方法>
  <対応点検出と幾何補正>
 プロジェクタの投影面(スクリーンや壁等)に対する姿勢(位置や向き等)や投影面の形状等によって、例えば図1のAのように、投影された画像(投影画像とも称する)が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、図1のBの例のように、投影画像の歪みを低減し、見やすくすることができる。
[0015]
 また、図2の例のように、複数のプロジェクタにより画像を投影して、1つの投影画像を形成させるシステムがある。例えば、図2のAのように、複数のプロジェクタから互いに同位置に画像を投影することにより、コントラスト比を大きくし、ハイダイナミックレンジを実現する方法がある。また、例えば、図2のBのように、各プロジェクタから投影された投影画像を並べることにより、1台のプロジェクタが投影する投影画像よりも大きな投影画像(1台のプロジェクタが投影する投影画像よりも高解像度の投影画像)を実現する方法がある。これらの方法の場合、各プロジェクタから投影された投影画像同士の位置関係が不適切であると、投影画像同士がずれて重畳されたり不要な隙間が生じたりして投影画像全体としての画質が低減するおそれがある。そのため、各投影画像に対する上述した歪み補正だけでなく、投影画像同士の位置合わせ等の幾何補正も必要になる場合がある。
[0016]
 このように投影する画像に対して幾何補正を行うことにより、図3の例のように、複数のプロジェクタから曲面の投影面に対して画像を投影する場合であっても、1つの画像のように投影することができる。なお、図2のBや図3の例のように、複数の投影画像を並べて大きな投影画像を形成する場合、図3の例のように、隣接する投影画像の一部同士を重畳させる(オーバーラップさせる)ことにより、その位置合わせをより容易にすることができる。
[0017]
 このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正を行う方法が考えられた。
[0018]
 例えば、図4の例のように、プロジェクタ11から所定の絵柄の標準化光パタン12をスクリーン13に投影し、カメラ14によりその投影された標準化光パタン12を撮像して撮像画像15を得る。そして、その標準化光パタン12の絵柄に基づいて標準化光パタン12と撮像画像15との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ11とカメラ14の姿勢(位置関係)やスクリーン13の形状等を求め、その結果に基づいて幾何補正を行う。このようにすることにより、手動で行う場合よりもより容易に幾何補正を行うことができる。
[0019]
 このようにカメラを利用して幾何補正を行う場合、投影画像(投影される画像でもよい)と撮像画像との間で対応点(投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素)を求める必要がある。つまり、カメラ14(撮像画像15)の画素とプロジェクタ11(標準化光パタン12)の画素との対応関係を求める必要がある。
[0020]
 また、図2や図3の例のように複数のプロジェクタを用いる場合は、各投影画像同士の位置関係も求める必要がある。
[0021]
 例えば、図5の例のように、投影部21-1(プロジェクタ)と撮像部22-1(カメラ)とを有する投影撮像装置20-1と、投影部21-2(プロジェクタ)と撮像部22-2(カメラ)とを有する投影撮像装置20-2とを協働させて画像を投影するとする。ここで、投影撮像装置20-1と投影撮像装置20-2とを互いに区別して説明する必要が無い場合、投影撮像装置20と称する。また、投影部21-1と投影部21-2とを互いに区別して説明する必要が無い場合、投影部21と称する。さらに、撮像部22-1と撮像部22-2とを互いに区別して説明する必要が無い場合、撮像部22と称する。
[0022]
 図5に示されるように、投影撮像装置20-1の投影部21-1による投影面23の投影領域(投影画像の範囲)は、P0L乃至P0Rの範囲である。また、投影撮像装置20-2の投影部21-2による投影面23の投影領域は、P1L乃至P1Rの範囲である。つまり、両矢印24で示される範囲(P1L乃至P0Rの範囲)が、互いの投影画像が重畳するオーバーラップ領域となる。
[0023]
 なお、投影撮像装置20-1の撮像部22-1による投影面23の撮像領域(撮像画像に含まれる範囲)は、C0L乃至C0Rの範囲である。また、投影撮像装置20-2の撮像部22-2による投影面23の撮像領域(撮像画像に含まれる範囲)は、C1L乃至C1Rの範囲である。
[0024]
 このようなシステムの場合、上述したように、投影画像同士の位置合わせを行うために、各投影撮像装置20における投影部21と撮像部22との間の対応点を求めるだけでなく、投影撮像装置20間において投影部21と撮像部22との間の対応点を求める必要がある。そこで、例えば、図6のように、投影部21-1のある画素から照射された光(矢印27)が、投影面23のXにおいて反射し、撮像部22-2のどの画素により受光される(矢印28)かが求められる。また、投影部21-2と撮像部22-1との間でも同様の画素対応関係が求められる。
[0025]
 このように、対応点を求めることができる全ての投影部21と撮像部22との間で対応点を求めることにより、幾何補正によって、オーバーラップ領域(両矢印24で示される範囲)の位置合わせを行うことができる。
[0026]
  <オンラインセンシング>
 このような幾何補正の為の対応点検出は、映像の投影を開始する前に行うことが考えられるが、初期設置後、映像を投影している最中に温度や振動などの外乱の影響等により、この対応点がずれてしまうおそれがあった。対応点がずれると、幾何補正が不適切なものとなり、投影画像に歪みや位置ずれが生じてしまうおそれがあった。
[0027]
 このような場合、対応点検出をやり直す必要があるが、そのために映像の投影を中断することは、その映像を視ているユーザにとって好ましくない(満足度を低減させるおそれがあった)。そこで、映像の投影を継続したまま対応点を検出する方法(オンラインセンシング)が考えられた。
[0028]
 オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL(Imperceptible Structured Light)方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ(例えばInfraredプロジェクタ)がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
[0029]
 これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大(すなわちコストの増大)を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
[0030]
  <ISL方式>
 ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
[0031]
 図7に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像(コンテンツ画像)に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの2フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
[0032]
 これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮影画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
[0033]
 このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、理想的には、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
[0034]
 ただし、ISL方式の場合、ポジ・ネガのパタン画像を投影しなければならず、対応点検出に要する時間が増大するおそれがあった。また、不可視性とロバスト性を両立させるためには、パタンの振幅を小さくして、多数の撮影画像を足し合わせる必要があり、対応点検出に要する時間がさらに増大するおそれがあった。そのため、例えば動物体を投影面とするような場合に、処理が投影面の形状や姿勢の変化に間に合わず、対応点検出の精度が低減するおそれがあった。
[0035]
  <不可視光を用いた対応点検出>
 そこで、プロジェクションマッピングをリアルタイムに(即時的に)行うために、不可視領域の光源を利用する手法が検討された。例えば、不可視光のパタン画像等を投影して撮像して被写体の奥行情報を得るデプスセンサをさらに追加することが考えられた。
[0036]
 例えば、図8に示される投影撮像システムは、投影撮像装置31-1および投影撮像装置31-2を有する。投影撮像装置31-1および投影撮像装置31-2を互いに区別し説明する必要が無い場合、投影撮像装置31と称する。
[0037]
 投影撮像装置31-1は、可視光の画像を投影する投影部41-1、可視光を受光して被写体を撮像する撮像部42-1、不可視光である赤外光(IR光)の画像を投影する投影部43-1、およびIR光を受光して被写体を撮像する撮像部44-1を有する。
[0038]
 投影撮像装置31-2は、可視光の画像を投影する投影部41-2、可視光を受光して被写体を撮像する撮像部42-2、IR光の画像を投影する投影部43-2、およびIR光を受光して被写体を撮像する撮像部44-2を有する。
[0039]
 投影部41-1および投影部41-2を互いに区別して説明する必要が無い場合、投影部41と称する。撮像部42-1および撮像部42-2を互いに区別して説明する必要が無い場合、撮像部42と称する。投影部43-1および投影部43-2を互いに区別して説明する必要が無い場合、投影部43と称する。撮像部44-1および撮像部44-2を互いに区別して説明する必要が無い場合、撮像部44と称する。
[0040]
 各投影撮像装置31は、平面32または動物体33を投影面として画像を投影する。
[0041]
 このような投影撮像システムにおいて、センシングと投影の3次元的な整合を取るためには、それぞれのデバイスにおける相対姿勢をキャリブレーションする必要がある。具体的な以下の手順で行われる。
[0042]
 まず、図9に示されるように、可視光を用いる構成(投影部41および撮像部42)の事前キャリブレーションを行う。例えば、投影撮像装置31-1の場合、投影部41-1がパタン画像を平面32に投影し(矢印51-1)、撮像部42-1がその投影画像を撮像することにより(矢印52-1)、投影部41-1の画素と撮像部42-1の画素との対応関係を求める。同様に、投影撮像装置31-2の場合、投影部41-2がパタン画像を平面32に投影し(矢印51-2)、撮像部42-2がその投影画像を撮像することにより(矢印52-2)、投影部41-2の画素と撮像部42-2の画素との対応関係を求める。
[0043]
 次に、図10に示されるように、不可視光を用いる構成(投影部43および撮像部44)の事前キャリブレーションを行う。その際、ハロゲンランプ53を利用して、パタン画像が見える状態とする。例えば、投影撮像装置31-1の場合、投影部43-1がパタン画像を平面32に投影し(矢印54-1)、撮像部44-1がその投影画像を撮像することにより(矢印55-1)、投影部43-1の画素と撮像部44-1の画素との対応関係を求める。同様に、投影撮像装置31-2の場合、投影部43-2がパタン画像を平面32に投影し(矢印54-2)、撮像部44-2がその投影画像を撮像することにより(矢印55-2)、投影部43-2の画素と撮像部44-2の画素との対応関係を求める。
[0044]
 次に、図11に示されるように、可視光を用いる構成と不可視光を用いる構成との間の事前キャリブレーションを行う。その際、可視光と不可視光の整合をとるために、撮像部42および撮像部44の相対姿勢を求める。例えば、投影撮像装置31-1の場合、撮像部42-1の撮像画像(パタン画像)と撮像部44-1の撮像画像(パタン画像)とを比較することにより、撮像部42-1の画素と撮像部44-1の画素との対応関係(矢印56-1と矢印57-1)を求める。同様に、投影撮像装置31-2の場合、撮像部42-2の撮像画像(パタン画像)と撮像部44-2の撮像画像(パタン画像)とを比較することにより、撮像部42-2の画素と撮像部44-2の画素との対応関係(矢印56-2と矢印57-2)を求める。
[0045]
 以上の手順で事前キャリブレーションが完了し、実際にセンシングを行ってその情報を元に投影を行うことができる。しかしながら、可視光と不可視光(RGB-IR)間の整合は事前キャリブレーション時の状況下における局所的な最適解になっていることが多く、その状況から大きく環境が変わってしまうと事前キャリブレーション情報では精度が出ないおそれがあった。例えば、図12の例のように、動物体33を投影面とする場合、動物体33の動きによって、投影面の形状や姿勢等が変化するため、事前キャリブレーション情報に基づく幾何補正では、十分な精度でプロジェクションマッピングを行うことは困難であった。
[0046]
 しかしながら、投影状況に合わせて全体最適化を行おうとしても、当然のことながらセンシング時にRGBとIRの世界を結ぶことはできない。そのため、例えば図12の投影撮像装置31-1のように、投影部41-1と撮像部42-1との間のオンラインセンシング(矢印61および矢印62)は可能であるが、投影部41-1と撮像部44-1との間のオンラインセンシング(矢印61および矢印63)を行うことは困難であった。同様に、図12の投影撮像装置31-2のように、投影部43-2と撮像部44-2との間のオンラインセンシング(矢印64および矢印65)は可能であるが、投影部43-2と撮像部42-2との間のオンラインセンシング(矢印64および矢印66)を行うことは困難であった。したがって、オンラインセンシングにより、幾何補正の精度を向上させることは困難であった。
[0047]
 <2.第1の実施の形態>
  <投影撮像システム>
 図13は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図13において、投影撮像システム100は、画像を投影したり、投影画像を撮像したり、オンラインセンシングによる対応点検出を行ったりすることができるシステムである。
[0048]
 図13に示されるように、投影撮像システム100は、制御装置101、並びに、投影撮像装置102-1乃至投影撮像装置102-N(Nは任意の自然数)を有する。投影撮像装置102-1乃至投影撮像装置102-Nは、それぞれ、ケーブル103-1乃至ケーブル103-Nを介して制御装置101に接続されている。
[0049]
 以下において、投影撮像装置102-1乃至投影撮像装置102-Nを互いに区別して説明する必要が無い場合、投影撮像装置102と称する。また、ケーブル103-1乃至ケーブル103-Nを互いに区別して説明する必要が無い場合、ケーブル103と称する。
[0050]
 制御装置101は、ケーブル103を介して各投影撮像装置102を制御する。例えば、制御装置101は、ケーブル104を介して入力された画像を各投影撮像装置102に供給し、その画像を投影させることができる。また、例えば、制御装置101は、各投影撮像装置102に対して、投影画像等の撮像を指示し、その撮像画像を取得することができる。さらに、例えば、制御装置101は、投影画像と撮像画像の対応点の検出を行ったり、その求めた対応点に基づいてケーブル104を介して入力された画像(各投影撮像装置102に投影させる画像)の幾何補正を行ったりすることができる。なお、この幾何補正には、投影させる画像に対する画像処理(例えば、拡大、縮小、変形等)の他に、各投影撮像装置102の光学系の制御等(例えば、画像の投影方向や撮像方向等の制御等)も含むことができる。
[0051]
 投影撮像装置102-1乃至投影撮像装置102-Nは、それぞれ、画像を投影する投影部111-1乃至投影部111-N、並びに、被写体を撮像する撮像部112-1乃至撮像部112-Nを有する。以下において、投影部111-1乃至投影部111-Nを互いに区別して説明する必要が無い場合、投影部111と称する。また、撮像部112-1乃至撮像部112-Nを互いに区別して説明する必要が無い場合、撮像部112と称する。
[0052]
 投影部111は、所謂プロジェクタの機能を有する。つまり、投影撮像装置102は、投影部111を用いてプロジェクタとして駆動することができる。例えば、投影撮像装置102は、この投影部111を用いて、制御装置101から供給される画像を任意の投影面に投影することができる。
[0053]
 撮像部112は、所謂カメラの機能を有する。つまり、投影撮像装置102は、撮像部112を用いてカメラとして駆動することができる。例えば、投影撮像装置102は、この撮像部112を用いて、投影部111により画像が投影された投影面の撮像を行い、得られた撮像画像のデータを制御装置101に供給することができる。
[0054]
 投影撮像装置102が有する投影部111および撮像部112の数は、それぞれ任意である。単数であってもよいし、複数であってもよい。投影部111の数と撮像部112の数が同一でなくてもよい。各投影撮像装置102が有する投影部111および撮像部112の数が統一されていなくてもよい。
[0055]
 また、投影撮像装置102の数は任意であり、単数でも複数でも良い。投影撮像装置102が複数の場合、各投影撮像装置102は、制御装置101の制御の下、互いに協働し、図2や図3を参照して説明したような画像の投影を行うことができる。つまり、その場合の投影撮像システム100は、所謂マルチプロジェクションシステムであり、所謂プロジェクションマッピングを実現することができる。
[0056]
 なお、投影部111による画像の投影方向や拡大率、並びに、投影画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、投影部111が有する光学系や投影部111全体の位置や姿勢を制御可能としてもよい。
[0057]
 また、撮像部112による画像の撮像方向や画角、並びに、撮像画像の歪み補正等が制御可能としてもよい。この制御のために、例えば、撮像部112が有する光学系や撮像部112全体の位置や姿勢を制御可能としてもよい。
[0058]
 さらに、このような投影部111の制御と撮像部112の制御は、互いに独立して行うことができるようにしてもよい。また、投影撮像装置102の位置や姿勢を制御可能としてもよい。なお、このような投影部111、撮像部112、および投影撮像装置102の制御は、制御装置101が行うようにしてもよいし、制御装置101以外が行うようにしてもよい。
[0059]
 ケーブル103は、制御装置101と投影撮像装置102との間の通信路となり得る任意の通信規格の電気通信ケーブルである。なお、制御装置101と投影撮像装置102とが互いに通信可能であればよく、例えば、制御装置101と投影撮像装置102とが無線通信により接続されるようにしてもよい。その場合、ケーブル103を省略することができる。
[0060]
 このような投影撮像システム100において、制御装置101は、画像の幾何補正のために、各投影部111と各撮像部112との間の対応点検出を行う。例えば、制御装置101は、オンラインセンシングにより対応点検出を行うことができる。その際、制御装置101は、本技術を適用した対応点検出を行うことができる。
[0061]
  <投影撮像装置>
 図14は、投影撮像装置102の主な構成例を示すブロック図である。図14に示されるように、投影撮像装置102は、制御部121、投影部111、撮像部112、入力部131、出力部132、記憶部133、通信部134、およびドライブ135を有する。
[0062]
 制御部121は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。制御部121は、例えば制御装置101の制御に基づいて、それらの処理を行う。
[0063]
 投影部111は、制御部121に制御されて、画像の投影に関する処理を行う。例えば、投影部111は、制御部121から供給される画像を投影撮像装置102の外部(例えば投影面等)に投影する。なお、詳細については後述するが、投影部111は、可視光(RGB)の画像だけでなく、不可視光(IR)の画像も投影することができる。
[0064]
 撮像部112は、制御部121に制御されて、装置外部(例えば投影面等)の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部121に供給する。例えば、撮像部112は、投影部111により投影面に投影された投影画像を撮像する。撮像部112は、例えばCMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサ、CCD(Charge Coupled Device)を用いたイメージセンサ等を有し、そのイメージセンサによって被写体からの光を光電変換して、撮像画像の電気信号(データ)を生成する。なお、撮像部112は、可視光(RGB)を受光する画素と、不可視光(IR)を受光する画素とを有しており、可視光の撮像画像だけでなく、不可視光の撮像画像も生成することができる。
[0065]
 入力部131は、ユーザ入力等の外部の情報を受け付ける任意の入力デバイスよりなる。例えば、入力部131が、操作ボタン、タッチパネル、カメラ、マイクロホン、および入力端子のいずれか1つ以上を有するようにしてもよい。また、例えば、入力部131が、光センサや温度センサ等の任意のセンサを1つ以上有するようにしてもよい。もちろん、入力部131が、これら以外の入力デバイスを有するようにしてもよい。
[0066]
 出力部132は、画像や音声等の情報を出力する任意の出力デバイスよりなる。例えば、出力部132が、ディスプレイ、スピーカ、および出力端子のいずれか1つ以上を有するようにしてもよい。もちろん、出力部132が、これら以外の出力デバイスを有するようにしてもよい。
[0067]
 記憶部133は、任意の記憶媒体により構成される。例えば、記憶部133が、ハードディスク、RAMディスク、および不揮発性メモリのいずれか1つ以上を有するようにしてもよい。もちろん、記憶部133が、これら以外の記憶媒体を有するようにしてもよい。
[0068]
 通信部134は、任意のネットワークインタフェースにより構成される。例えば、通信部134は、制御装置101と通信を行う。なお、通信部134が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
[0069]
 ドライブ135は、自身に装着されたリムーバブルメディア141に記憶されている情報を読み出したり、自身に装着されたリムーバブルメディア141に情報を書き込んだりする。ドライブ135は、例えば、リムーバブルメディア141から情報を読み出し、その読み出した情報を制御部121に供給する。また、ドライブ135は、制御部121から供給された情報をリムーバブルメディア141に書き込む。リムーバブルメディア141は、ドライブ135に対して着脱可能な記録媒体である。例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどであってもよい。
[0070]
  <投影部>
 図15は、投影部111の主な構成例を示すブロック図である。図15に示されるように、投影部111は、制御部151、IR光出力部152、R光出力部153、G光出力部154、B光出力部155、ミラー156-1乃至ミラー156-4、並びに、レンズ部157を有する。
[0071]
 制御部151は、制御部121の制御に従って、IR光出力部152乃至レンズ部157の駆動制御に関する処理を行う。例えば、制御部151は、制御部121から供給される各色成分の画像データをIR光出力部152乃至B光出力部155の内の、その色成分に対応する処理部に供給し、各色成分の光(各色成分の画像)を出力させる。また、例えば、制御部151は、レンズ部157を制御し、焦点距離等の制御を行う。
[0072]
 IR光出力部152は、制御部151の制御に従って、不可視光であるIR光(赤外光)を出力する。R光出力部153は、制御部151の制御に従って、可視光であるR光(赤色成分の光)を出力する。G光出力部154は、制御部151の制御に従って、可視光であるG光(緑色成分の光)を出力する。B光出力部155は、制御部151の制御に従って、可視光であるB光(青色成分の光)を出力する。
[0073]
 IR光出力部152乃至B光出力部155は、それぞれ複数画素の光を出力する。つまり、IR光出力部152乃至B光出力部155は、それぞれの色成分(波長域)の画像を出力する。例えば、IR光出力部152乃至B光出力部155が、可視光および不可視光の光源と、各色成分の画素を有する液晶デバイスにより構成されるようにしてもよい。つまり、投影部111が、液晶デバイスを用いて可視光の画像および不可視光の画像を投影するようにしてもよい。例えば、その液晶デバイスとして、可視光用(RGB光用)の単板式の液晶デバイスのR光用の画素の一部をIR光用に変更することにより可視光および不可視光に対応した液晶デバイスを用いるようにしてもよい。なお、液晶デバイスは反射型であってもよいし、透過型であってもよい。
[0074]
 ミラー156-1は、IR光出力部152から出力されたIR光を反射して、レンズ部157に向かわせる。ミラー156-2は、R光出力部153から出力されたR光を反射して、レンズ部157に向かわせるとともに、ミラー156-1で反射したIR光を透過する。ミラー156-3は、G光出力部154から出力されたG光を反射して、レンズ部157に向かわせるとともに、ミラー156-1で反射したIR光およびミラー156-2で反射したR光を透過する。ミラー156-4は、B光出力部155から出力されたB光を反射して、レンズ部157に向かわせるとともに、ミラー156-1で反射したIR光、ミラー156-2で反射したR光、およびミラー156-3で反射したG光を透過する。
[0075]
 レンズ部157は、レンズや絞り等の任意の光学デバイスにより形成される光学系であり、入射光に対して所定の光学的影響を及ぼす。制御部151は、レンズ部157を構成する光学デバイスの位置や姿勢を設定したり、使用する光学デバイスを選択したりすることにより、レンズ部157による光学的影響を制御することができる。例えば、制御部151は、上述のようにして、焦点距離や画像投影方向等を制御することができる。
[0076]
 図15において点線矢印で示されるように、IR光出力部152乃至B光出力部155が出力する光は、全てレンズ部157を介して投影部111から出力される。つまり、投影部111は、不可視光および可視光を互いに同一の光学系を介して出力する。このようにして投影部111は、不可視光の画像と可視光の画像とを、少なくとも一部が投影面の互いに同一の領域に投影されるように、投影する。
[0077]
 このようにすることにより、不可視光の画像と可視光の画像との間の各画素の対応関係が既知となるので、高精度に合わせたいRGB光とセンシングのIR光のアライメントが取れているのでマルチホップキャリブレーションが不要になる。つまり、不可視光(IR光)を用いて行ったオンラインセンシング結果を、より容易に可視光の投影に反映させることができる。したがって、不可視光を利用してオンラインセンシングを行うことができるので、ISLの場合よりも高速に対応点検出を行うことができ、かつ、より高精度に対応点検出を行うことができる。つまり、センシングのIR光によるオンラインの全体最適化により、投影状況に合わせた高精度なRGB光の投影が可能になる。
[0078]
 なお、投影部111が出力(投影)する可視光の色成分(波長域)は、可視域(可視光の波長域)であれば任意であり、上述したRGB光に限定されない。また、その可視光の色成分の数も任意であり、上述した3色(RGB)に限定されない。例えば投影部111が、4色以上の可視光を出力するようにしてもよいし、2色以下の可視光を出力するようにしてもよい。また、投影部111が出力(投影)する不可視光の波長域も不可域(不可視光の波長域)であれば任意であり、上述したIR光(赤外光)に限定されない。例えば投影部111が、紫外光を不可視光として出力するようにしてもよい。また、不可視光として出力される光の数も任意であり、例えば、投影部111が、互いに波長域の異なる複数の光(画像)を不可視光(の画像)として出力するようにしてもよい。
[0079]
  <画像データ>
 制御装置101は、投影させる画像の画像データを投影撮像装置102に供給する。画像データが供給された投影撮像装置102の制御部121は、その画像データを投影部111に供給する。投影部111の制御部151は、供給された画像データから可視光の各色成分の画像データと不可視光の画像データとをそれぞれ抽出し、抽出したそれらの画像データに基づいて、IR光出力部152乃至B光出力部155を制御し、各光を出力させる。
[0080]
 図16は、この画像データのフォーマットの例を示す図である。図16の例の場合、画像データは、R光用のデータ、G光用のデータ、およびB光用のデータにより構成される。各色成分用のデータのデータ長は10ビットであるが、上位8ビットに可視光の各色成分の画像データが格納され、下位2ビットに不可視光の画像データが格納される。このようにすることにより、可視光用のフォーマットで、可視光の画像データおよび不可視光の画像データを伝送することができる。したがって、可視光の画像データとして処理することができるので、不可視光の画像データを伝送する構成の開発が不要になる。
[0081]
 例えば、制御部151は、このようなフォーマットの画像データが供給されると、各色成分用のデータの上位8ビットから可視光の各色成分の画像データを抽出し、抽出した各画像データに基づいて、R光出力部153乃至B光出力部155を制御し、各光を出力させる。また、制御部151は、各色成分用のデータの下位2ビットからIR光の画像データを抽出し、抽出したIR光の画像データに基づいて、IR光出力部152を制御し、各光を出力させる。
[0082]
 つまり、制御装置101から供給される画像データは、可視光の画像データのフォーマットで構成され、そのフォーマットにおける一部のビットに可視光の画像データが格納され、他の一部のビットに不可視光の画像データが格納されており、投影部111が、その入力された画像データに含まれる可視光の画像データと不可視光の画像データとをそれぞれ抽出し、その可視光の画像データに対応する可視光の画像と、その不可視光の画像データに対応する不可視光の画像とを投影するようにしてもよい。
[0083]
 より具体的には、その可視光の画像データのフォーマットは、R光用のデータ、G光用のデータ、およびB光用のデータにより構成されるRGB用のフォーマット(RGB)であり、各色成分のデータの上位の一部のビットに可視光の各色成分の画像データが格納され、各色成分のデータの下位の一部のビットに不可視光の画像データが格納されるようにしてもよい。
[0084]
 なお、投影撮像装置102の制御部121が、可視光のフォーマットの画像データから可視光の各色成分の画像データと不可視光の画像データとをそれぞれ抽出し、それらを投影部111に供給するようにしてもよい。
[0085]
  <カラーシーケンシャル>
 投影部111が、可視光の各色成分の画像、並びに、不可視光の画像を所定順に順次投影するようにしてもよい。例えば、投影部111が、図17に示されるように、画像データの1垂直同期期間(1V期間)内に、RGB光の各画像とIR光の画像とを順次投影する(各画像をシーケンシャルに投影する)ようにしてもよい。
[0086]
 図17の例の場合、投影部111は、画像データの1垂直同期期間内に、R光の画像、G光の画像、B光の画像、およびIR光の画像を、この順に、2フレームずつ順次投影する。なお、図17において四角で示される各波長域成分の画像データの1フレームをサブフレーム(Sub-Frame)とも称する。図17の例の場合、画像データの1垂直同期期間内に、8サブフレームの画像が表示される。
[0087]
  <画像内容>
 なお、可視光であるR光の画像、G光の画像、およびB光の画像は画像コンテンツ(例えば動画像)のフレーム画像であり、不可視光であるIR光の画像は、対応点検出の為のパタン画像である。例えば、画像コンテンツとして動画像を投影する場合、図17の各サブフレームにおいて、互いに異なるフレーム画像を投影するようにしてもよい。例えば図17の場合、画像データの1垂直同期期間内に、動画像の6フレームの画像と、パタン画像(2サブフレーム期間)とが投影される。つまり、投影部111により順次投影される各画像の内、可視光の各色成分の画像は、動画像の互いに異なるフレームの画像であり、不可視光の画像は、所定の特徴点および所定の変数パタンにより構成され、投影部111により投影された投影画像と撮像部112により撮像された撮像画像との間の対応点を検出するためのパタン画像であるようにしてもよい。
[0088]
 このような投影を、制御装置101が制御するようにしてもよい。つまり、制御装置101(後述する投影制御部233)が、投影部111を制御して、動画像を投影させる際に、その動画像の連続する6フレーム毎に、その6フレームの内の最初の2フレームの可視光のR成分の画像、次の2フレームの可視光のG成分の画像、次の2フレームの可視光のB成分の画像、および不可視光のパタン画像を順次投影させるようにしてもよい。
[0089]
 なお、その際、制御装置101は、投影部111を制御して、不可視光のパタン画像を、動画像の2フレームを投影する期間(つまり2サブフレーム分の期間)、投影させるようにしてもよい。
[0090]
  <不可視光画像撮像>
 撮像部112は、投影部111が投影したパタン画像の投影画像を撮像する。つまり、撮像部112は、上述のように各波長域の画像を順次投影する投影部111に対して、不可視光の画像が投影される期間のみ撮像を行うようにしてもよい。例えば、図18の場合、各撮像部112(Cam0乃至Cam3)は、それぞれ、自身に対応する投影部111(Pro0乃至Pro3)によるIR光の投影タイミングに同期してその期間のみ撮像を行っている。このような投影や撮像を、制御装置101が制御するようにしてもよい。
[0091]
 このようにすることにより、撮像部112に対応する投影部111が投影した可視光の画像が、その撮像部112により得られた撮像画像に含まれるのを抑制することができる。したがって、その撮像画像を用いて行う対応点検出の精度の低減を抑制することができる。
[0092]
 また、図18の例のように、複数の投影部111が画像を投影する場合、各投影部111が互いに異なるタイミングにおいてIR光の画像を投影するようにしてもよい。そして、各撮像部112が、自身に対応する投影部111によるIR光の投影タイミングに同期してその期間のみ撮像を行うようにしてもよい。このような投影や撮像を、制御装置101が制御するようにしてもよい。つまり、制御装置101は、複数の投影部111を制御して、パタン画像を不可視光の画像として、互いに異なるタイミングにおいて投影させ、撮像部112を制御して、複数の投影部111のそれぞれにより投影された不可視光のパタン画像を撮像させるようにしてもよい。
[0093]
 このようにすることにより、複数の投影部111から投影されたパタン画像同士が干渉すること(複数の投影部111から投影されたパタン画像が撮像画像に含まれること)を抑制することができるので、対応点検出の精度の低減を抑制することができる。
[0094]
  <高フレームレート化>
 さらに、4台以上の投影部111により画像を投影する場合、図18の例のように、各波長域の画像の投影タイミングを4種類に分けるようにしてもよい。このようにすることにより図19の例のように、各サブフレーム(SF0乃至SF7)において、全ての波長域の画像(R光の画像、G光の画像、B光の画像、およびIR光の画像)を投影することができる。したがって、この各サブフレームの可視光の画像を、上述したように、動画像の互いに異なるフレーム(連続するフレーム)の画像とすることにより、これらの投影画像が重畳されている領域においては、高フレームレートの画像投影を実現することができる。また、この場合、実質的に単板式ではなくなるので、カラーブレーキングを低減することができる。
[0095]
 このような投影を、制御装置101が制御するようにしてもよい。つまり、制御装置101は、4台以上の投影部111を制御して、動画像の各フレームの、可視光の各色成分の画像と、不可視光のパタン画像とを互いに同期間投影させるようにしてもよい。
[0096]
 なお、この場合、各撮像部112は、自身に対応する投影部111が不可視光のパタン画像を投影するサブフレームにおいて撮像を行う。例えば、図18の例の場合、各撮像部112(Cam0乃至Cam3)は、順次、2サブフレーム(つまり動画像の2フレーム)ずつ撮像を行う。
[0097]
 このようにすることにより、各撮像部112の撮像タイミングが互いに異なるようにすることができ、自身に対応しない投影部111により投影されたパタン画像による干渉を抑制することができる。したがって、対応点検出の精度の低減を抑制することができる。
[0098]
 このような撮像を、制御装置101が制御するようにしてもよい。つまり、制御装置101は、撮像部112を制御して、動画像の各フレームの投影タイミングに同期して、その動画像の2フレーム毎に撮像部112を切り替えながら、投影画像を撮像させるようにしてもよい。
[0099]
  <制御装置>
 図20は、本技術を適用した画像処理装置の一実施の形態である制御装置101の主な構成例を示すブロック図である。
[0100]
 図20に示されるように、制御装置101は、CPU201、ROM202、RAM203、バス204、入出力インタフェース210、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
[0101]
 CPU201、ROM202、RAM203は、バス204を介して相互に接続されている。バス204にはまた、入出力インタフェース210も接続されている。入出力インタフェース210には、入力部211、出力部212、記憶部213、通信部214、およびドライブ215が接続されている。
[0102]
 入力部211は、ユーザ入力等の外部の情報を受け付ける任意の入力デバイスよりなる。例えば、入力部211が、操作ボタン、タッチパネル、カメラ、マイクロホン、および入力端子のいずれか1つ以上を有するようにしてもよい。また、例えば、入力部211が、光センサや温度センサ等の任意のセンサを1つ以上有するようにしてもよい。もちろん、入力部211が、これら以外の入力デバイスを有するようにしてもよい。
[0103]
 出力部212は、画像や音声等の情報を出力する任意の出力デバイスよりなる。例えば、出力部212が、ディスプレイ、スピーカ、および出力端子のいずれか1つ以上を有するようにしてもよい。もちろん、出力部212が、これら以外の出力デバイスを有するようにしてもよい。
[0104]
 記憶部213は、プログラムやデータ等の情報を記憶する任意の記憶媒体よりなる。例えば、記憶部213が、ハードディスク、RAMディスク、不揮発性メモリのいずれか1つ以上を有するようにしてもよい。もちろん、記憶部213が、これら以外の記憶媒体を有するようにしてもよい。
[0105]
 通信部214は、所定の通信媒体(例えばインターネット等の任意のネットワーク)を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う任意の通信デバイスにより構成される。通信部214は、例えば、任意のネットワークインタフェースにより構成されるようにしてもよい。例えば、通信部214は、制御装置101の外部の装置と通信(プログラムやデータの授受)を行う。なお、通信部214が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
[0106]
 ドライブ215は、自身に装着されたリムーバブルメディア221に記憶されている情報を読み出したり、自身に装着されたリムーバブルメディア221に情報を書き込んだりする。ドライブ215は、例えば、リムーバブルメディア221から情報を読み出し、その読み出した情報をCPU201やRAM203等に供給することができる。また、ドライブ215は、書き込み可能なリムーバブルメディア221が自身に装着された場合、CPU201やRAM203等から供給される情報(プログラムやデータ等)を、そのリムーバブルメディア221に記憶させることができる。リムーバブルメディア221は、ドライブ215に対して着脱可能な記録媒体である。例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどであってもよい。
[0107]
 CPU201は、例えば、記憶部213に記憶されているプログラムを、入出力インタフェース210およびバス204を介して、RAM203にロードして実行することにより、各種処理を行う。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。
[0108]
 CPU201は、そのようにプログラム等を実行することにより、対応点の検出に関する処理を行うことができる。
[0109]
  <制御装置の機能ブロック>
 図21は、制御装置101がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図21に示されるように、プログラムを実行することにより制御装置101は、例えば、パタン生成部231、パタン変換部232、投影制御部233、撮像制御部234、ROI(Region of Interest)抽出部235、画像変換部236、特徴点検出部237、変数パタン検出部238、および復号部239等の処理部を有する。また、制御装置101は、プログラムを実行することにより、事前キャリブレーション情報記憶部241、およびパタン情報記憶部242を有する。
[0110]
 パタン生成部231は、所定の特徴点および所定の変数パタンにより構成され、投影部111により投影された投影画像と撮像部112により撮像された撮像画像との間の対応点を検出するためのパタン画像を生成する。パタン生成部231は、生成したパタン画像をパタン変換部232に供給する。
[0111]
 パタン変換部232は、事前キャリブレーション情報記憶部241に記憶されている事前キャリブレーション情報を取得し、パタン生成部231から供給されたパタン画像を、その事前キャリブレーション情報に基づいて変換(事前補正)する。パタン変換部232は、得られた事前補正後のパタン画像を投影制御部233に供給する。
[0112]
 投影制御部233は、投影部111を制御し、その事前補正後のパタン画像を投影させる。投影制御部233は、例えば、図16乃至図19を参照して説明したように、パタン画像を投影させる。
[0113]
 撮像制御部234は、撮像部112を制御し、投影制御部233により制御される投影部111による画像投影に同期した所定のタイミングにおいて、投影制御部233により制御される投影部111が投影したパタン画像の投影画像を撮像し、撮像画像を生成する。撮像制御部234は、生成した撮像画像をROI抽出部235に供給する。
[0114]
 ROI抽出部235は、供給された撮像画像の、パタン画像の投影画像が含まれる部分領域を注目領域(ROI)として抽出する。ROI抽出部235は、その抽出した注目領域の撮像画像を画像変換部236に供給する。
[0115]
 画像変換部236は、事前キャリブレーション情報記憶部241に記憶されている事前キャリブレーション情報を取得し、ROI抽出部235から供給された注目領域の撮像画像を、その事前キャリブレーション情報に基づいて変換(補正)する。画像変換部236は、得られた補正後の撮像画像を特徴点検出部237および変数パタン検出部238に供給する。
[0116]
 特徴点検出部237は、パタン情報記憶部242に記憶されている、パタン画像等に関する情報であるパタン情報を取得し、そのパタン情報に基づいて、補正後の撮像画像(に含まれるパタン画像)に対して特徴点の検出を行う。特徴点検出部237は、検出した特徴点に関する情報を復号部239に供給する。
[0117]
 変数パタン検出部238は、パタン情報記憶部242に記憶されているパタン情報を取得し、そのパタン情報に基づいて、補正後の撮像画像(に含まれるパタン画像)に対して変数パタンの検出を行う。変数パタン検出部238は、検出した変数パタンに関する情報を復号部239に供給する。
[0118]
 復号部239は、変数パタン検出部238により検出された変数パタンに対応する符号列を生成し、パタン情報記憶部242に記憶されているパタン情報を取得し、そのパタン情報に基づいてその符号列を復号することにより、特徴点検出部237により検出された特徴点のパタン画像における位置を特定する。そして、復号部239は、その特徴点の位置に基づいて対応点を検出する。
[0119]
 パタン生成部231乃至復号部239の各処理部は、CPU201がプログラム等を実行することにより実現する。
[0120]
 事前キャリブレーション情報記憶部241は、事前に計測された(既知の)、投影部111や撮像部112等に関するキャリブレーション情報である事前キャリブレーション情報を記憶する。事前キャリブレーション情報記憶部241は、必要に応じて、または要求に応じて、その事前キャリブレーション情報を、パタン変換部232や画像変換部236に供給する。
[0121]
 パタン情報記憶部242は、パタン情報を記憶する。パタン情報記憶部242は、必要に応じて、または要求に応じて、そのパタン情報を、特徴点検出部237、変数パタン検出部238、および復号部239に供給する。
[0122]
 事前キャリブレーション情報記憶部241およびパタン情報記憶部242は、例えば、記憶部213の記憶領域に形成される。
[0123]
  <パタン画像>
 パタン生成部231は、パタン画像として、例えば、図22に示されるような構成のパタン画像301を生成する。パタン画像301は、テンプレートマッチングで検出可能な繰り返しパタンの特徴点を有し、その特徴点のユニークネスを識別性の高い幾何模様のM系列で表現する画像である。
[0124]
 より具体的には、パタン画像301は、図22に示されるように所定の特徴点311および所定の変数パタン312により構成され、投影部111により投影された投影画像と撮像部112により撮像された撮像画像との間の対応点を検出するための画像であって、特徴点311周辺の変数パタン312群を変数化して順列展開した符号列に基づいてパタン画像301における特徴点311の位置が一意に定まるように、特徴点311および変数パタン312が所定の規則性に従って配置された画像である。
[0125]
   <特徴点>
 パタン画像301の特徴点311は、繰り返しパタンとする。このようにするにより、テンプレートマッチングで高速に特徴点311を検出することができる。
[0126]
 より具体的には、図22に示されるように、波線と線分との交点を特徴点311とする。図22においては1つの特徴点にのみ符号(311)を付しているが、図22に示されるように、パタン画像301には複数の特徴点311を配置することができる。なお、パタン画像301に配置される特徴点311の数は任意である。
[0127]
 上述したように特徴点311は、波線と線分との交点により形成されるので、構造が簡易であり、かつ、繰り返しパタンとすることができる(同形状の特徴点311が複数存在する)ので、テンプレートマッチングを採用することができ、検出をより容易に行うことができる。すなわち、特徴点検出処理をより高速に行う(特徴点検出処理の処理時間をより短縮する)ことができる。
[0128]
 また、特徴点311が波線上に形成されることにより、図23の左側に示される探索ライン321-1、探索ライン321-2、探索ライン321-3のように、波線に沿って特徴点311の探索を行えば良いので、探索範囲をより狭くすることができ、検出をより容易に行うことができる。すなわち、特徴点検出処理をより高速に行う(特徴点検出処理の処理時間をより短縮する)ことができる。例えば、図23の場合、探索ライン321-1、探索ライン321-2、探索ライン321-3を探索することにより、同一の波線上に配置される特徴点311-1乃至特徴点311-7を検出することができる。
[0129]
 なお、特徴点311は、波線の、線分と交差する部分の形状によって分類される。つまり、パタン画像301には、波線の線分と交差する部分の形状によって分類される複数種類の特徴点311が配置されている。
[0130]
 例えば、図22や図23のパタン画像301の場合、特徴点311は、図24に示されるように、波線331の線分332と交差する部分の形状によって4種類に分類される。図24のAに示される特徴点311は、波線331の図中左側に湾曲する部分と線分332との交点により形成されている。図23の例の場合、特徴点311-3および特徴点311-7がこの種類に属する。
[0131]
 図24のBに示される特徴点311は、波線331の図中右側に湾曲する部分と線分332との交点により形成されている。図23の例の場合、特徴点311-1および特徴点311-5がこの種類に属する。
[0132]
 図24のCに示される特徴点311は、波線331の図中左上-右下の方向(斜め方向)の部分と線分332との交点により形成されている。図23の例の場合、特徴点311-4がこの種類に属する。
[0133]
 図24のDに示される特徴点311は、波線331の図中右上-左下の方向(斜め方向)の部分と線分332との交点により形成されている。図23の例の場合、特徴点311-2および特徴点311-6がこの種類に属する。
[0134]
 このように、特徴点311を波線と線分との交点とし、その線分を、波線の互いに形状が異なる複数の部分に交差させることにより、パタン生成部231は、波線の線分と交差する部分の形状によって分類される複数種類の特徴点311を配置することができる。したがって、特徴点311のユニーク性を向上させることができ、特徴点311の位置をより容易に特定することができる。すなわち、対応点検出処理をより高速に行う(対応点検出処理の処理時間をより短縮する)ことができる。
[0135]
 なお、その線分を交差させる複数の部分を予め定められた所定の部分とすることにより、特徴点311を探索すべき波線の部分が絞られるので(波線全体を探索する必要がないので)、特徴点検出をより容易に行うことができる。すなわち、特徴点検出処理をより高速に行う(特徴点検出処理の処理時間をより短縮する)ことができる。例えば、図23の例の場合、3本の探索ライン(探索ライン321-1、探索ライン321-2、探索ライン321-3)を探索すればよい(直線なので波線上を探索するより容易である)。
[0136]
 また、図23に示されるように、探索ライン321-1、探索ライン321-2、探索ライン321-3のそれぞれにおいて検出される特徴点311の種類が限定される。例えば、探索ライン321-1においては、図24のAに示される種類の特徴点311が検出される。探索ライン321-2においては、図24のCに示される種類の特徴点311と図24のDに示される種類の特徴点311とが検出される。探索ライン321-3においては、図24のBに示される種類の特徴点311が検出される。したがって、各探索ラインにおいて、所定の一部の種類の特徴点のみを探索する(探索する特徴点の種類を絞り込む)ようにしてもよい。このように既知の情報に基づいて探索する特徴点の種類を絞り込むことにより、全ての探索ラインにおいて、全ての種類の特徴点311を探索する場合よりも、より容易(より高速に)特徴点311を検出することができる。
[0137]
 なお、図22等のパタン画像301においては、波線の長手方向を図中縦方向としたが、この波線の長手方向は任意である。例えば、横方向であってもよいし、斜め方向であってもよい。この波線の長手方向を、投影部111と撮像部112との位置関係に応じた方向とすることにより、対応点検出をより容易に行うことができる。例えば、投影部111と撮像部112とが縦方向に平行に配置され、横方向の位置は互いに同一である場合、図22等の例のように波線の長手方向を、その縦方向とすることにより、対応点検出をより容易化することができる。
[0138]
 なお、波線の形状(曲率や線の太さなど)は任意であり、図22等の例に限定されない。また、パタン画像301に含まれる波線の数は任意であり、図22等の例に限定されない。
[0139]
 もちろん、特徴点311は、どのような形状(構造)であってもよく、上述した波線と線分との交点の例に限定されない。また、線分が交差する波線の位置も任意であり、上述した例に限定されない。ただし、特徴点311を上述したような形状(構造)とすることにより、上述した効果を得ることができる。
[0140]
   <変数パタン>
 パタン画像301の変数パタン312は、特徴点311を特定するための図形である。図22において1つの変数パタンにのみ符号(312)を付しているが、図22に示されるように、パタン画像301には複数の変数パタン312を配置することができる。なお、パタン画像301に配置される変数パタン312の数、位置、大きさ、および形状はそれぞれ任意である。
[0141]
 例えば図23の右側に示されるように、処理対象の特徴点311(斜線模様の円で示される特徴点311)は(すなわち、特徴点311の位置は)、その特徴点311を基準とする所定の範囲322内に位置する変数パタン312(変数パタン312-1乃至変数パタン312-4)の配置パタン(変数パタン312の並び方)に基づいて特定される。
[0142]
 より具体的には、変数パタン312には、その形状によって分類される種類毎(すなわち形状毎)に、互いに異なる符号が割り当てられており、上述したように特徴点を基準として選択される変数パタン312のそれぞれに対応する符号を所定順に並べた符号列を用いて特徴点の(位置の)特定が行われる。
[0143]
 つまり、パタン画像301には、形状によって分類され、互いに異なる符号が割り当てられる複数種類の変数パタン312が配置されている。このように変数パタン312を用いることにより、より正確に各特徴点311を識別することができる(すなわち、特徴点311の位置を特定することができる)。
[0144]
 例えば、図23の右側の所定の範囲322内に位置する変数パタン312(例えば範囲322内に位置する変数パタン312-1乃至変数パタン312-4)を、図25のように、矢印333の順に並べると、図26のように、変数パタン312-1、変数パタン312-2、変数パタン312-3、変数パタン312-4の順に並ぶ。
[0145]
 上述したように、各変数パタン312にはその形状(種類)に応じた符号が割り当てられているので、図26の例のような変数パタン312の並びを符号化すると各変数パタン312に対応する符号からなる符号列が生成される。
[0146]
 換言するに、パタン画像301には、複数の特徴点311のそれぞれの周辺に複数の変数パタン312が、複数の変数パタン312を所定順に並べることにより所定長の符号列が得られるように、配置されている。
[0147]
 この符号列を、予め定められたパタン画像301に含まれる符号列の一覧と比較することにより、その符号列に対応する特徴点311のパタン画像301における位置を特定することができる。つまり、パタン画像301には、このように変数パタン312の並び方によって、特徴点311のユニークネスを表現するように、各変数パタン312が配置されている。
[0148]
 なお、この変数パタン312の並び順は任意であり、図25の例(矢印333)に限定されない。また、図25等においては、4つの変数パタン312を選択するように説明したが、特徴点311に基づいて選択される変数パタン312の数(すなわち符号列の長さ)は任意である。つまり、範囲322の広さおよび形状は任意である。一般的に、特徴点311の識別の為に選択される変数パタン312の数が多い程、特徴点311の識別性は向上する。また、一般的に、特徴点311の識別の為に選択される変数パタン312の数が少ない程、より高速に特徴点311の位置を特定することができる。
[0149]
 図22に示されるように、変数パタン312は、長方形や円形といった簡易な形状の画像(図形)により構成される。このようにすることにより、変数パタン312の形状の識別(すなわち、種類の識別)をより容易に(すなわちより高速に)行うことができる。例えば図22や図23のパタン画像301の場合、白丸(輪郭が円状で重心が抜かれたサークル(Circle))、黒丸(輪郭が円状で重心が塗りつぶされたディスク(Disc))、縦長長方形(長軸が垂直方向の長方形であるレクトアングルバーティカル(Recangle Vertical))、および横長長方形(長軸が水平方向の長方形であるレクトアングルホリゾンタル(Recangle Horizontal))の各画像が変数パタン312である。
[0150]
 もちろん、変数パタン312の形状は任意であり、これらの例に限定されない。また、変数パタン312の種類(形状の数)は任意であり、5種類以上であってもよいし、3種類以下であってもよい。一般的に、変数パタン312の種類数が多い程、特徴点311の識別性は向上する。また、一般的に、変数パタン312の種類数が少ない程、変数パタン312の種類をより高速に識別することができる。
[0151]
 上述したような変数パタン312の並び(すなわち符号列)によって、対応する特徴点311の位置がパタン画像301全体において一意に定まるようにしてもよいし、特徴点311の探索範囲内において一意に定まるようにしてもよい。処理対象の探索範囲の位置は既知であるので、探索範囲内において特徴点311を一意に特定することができれば、パタン画像301内においてもその特徴点311を一意に特定することができる。
[0152]
 換言するに、パタン画像301には、複数種類の変数パタン312が、その符号列を復号することによって、探索範囲内における特徴点311の位置が一意に定まるような位置に、配置されているようにしてもよい。このようにすることにより、特徴点311の特定に必要な、特徴点311の識別性を低減させることができる。例えば、選択する変数パタン312の数(符号列の長さ)を低減させることができる。
[0153]
 なお、詳細については後述するが、符号列の一部を復号することにより、特徴点の探索範囲内における位置が一意に定まるようにしてもよい。つまり、パタン画像301には、複数種類の変数パタン312が、その符号列の一部を復号することによって、探索範囲内における特徴点311の位置が一意に定まるような位置に、配置されているようにしてもよい。このようにすることにより、一部の変数パタン312を識別することができないような場合であっても、特徴点311の位置を特定することができる。つまり特徴点311の位置特定のロバスト性を向上させることができる。
[0154]
  <パタン画像の生成>
 図21に戻り、パタン生成部231は、以上のようなパタン画像301を生成する。なお、パタン画像301が予め生成されており、例えば記憶部213等の任意の記憶媒体に記憶されているようにしてもよい。その場合、パタン生成部231は、そのパタン画像301を記憶媒体から読み出して、パタン変換部232に供給する。
[0155]
 なお、例えば記憶部213等の任意の記憶媒体にパタン画像301が複数記憶されているようにしてもよい。これらの複数のパタン画像301は、特徴点311や変数パタン312の配置が互いに異なる。この場合、パタン生成部231は、投影する動画像や、画像の投影状況等、任意の条件に基づいて、その複数のパタン画像301の中から所望のパタン画像301を選択して読み出し、読み出したパタン画像301をパタン変換部232に供給する。
[0156]
  <逆Rectify>
 パタン変換部232は、パタン生成部231から供給されたパタン画像を、撮像部112により撮像された投影画像の撮像画像を変換(補正)することにより特徴点および変数パタンの重心が所定の画素に位置するように、事前キャリブレーション情報記憶部241から取得した事前キャリブレーション情報に基づいて事前補正する。なお、この事前補正を逆Rectifyとも称する。
[0157]
 例えば、パタン変換部232は、図28のAに示されるように生成されたパタン画像361を、逆Rectifyして、図28のBに示されるようなパタン画像362に変換する。
[0158]
 パタン変換部232がこの事前補正に用いる事前キャリブレーション情報は、投影部111と撮像部112との相対位置や相対姿勢に関する情報(例えば並進成分、回転成分、基線長等)、およびレンズ部157に関する情報(例えば焦点距離、主点、レンズの歪み等)のうち少なくとも1つを含み得る。なお、事前キャリブレーション情報は、これらの情報に限定されず、適宜、事前補正に用いることが可能な従来既知の情報を含んでもよい。換言するに、事前補正(逆Rectify)の処理内容は、投影画像の撮像画像を補正することによりパタン画像の特徴点および変数パタンが所定の画素に位置するようにする処理であれば、どのようなものであってもよい。
[0159]
 パタン変換部232は、得られた事前補正後のパタン画像(逆Rectifyされたパタン画像)を投影制御部233に供給する。
[0160]
 投影制御部233は、投影部111を制御して、事前補正後のパタン画像を不可視光の画像として投影させる。
[0161]
  <ROI抽出>
 撮像制御部234は、撮像部112を制御して、投影部111が投影した不可視光のパタン画像を撮像させ、その撮像画像を取得する。
[0162]
 ROI抽出部235は、供給された撮像画像の、パタン画像の投影画像が含まれる部分領域のみを処理することができるように、この部分領域を注目領域(ROI)として設定し、抽出する。
[0163]
 例えば、図27のAに示されるような撮像画像351が得られるとする。撮像画像351内には、パタン画像301の投影画像352が含まれている。ROI抽出部235は、この投影画像352を含む部分領域353を注目領域として設定し、抽出する。図27のBは、抽出された部分領域353を示す。
[0164]
 ROI抽出部235は、その抽出した注目領域の撮像画像(図27のBの部分領域353)を画像変換部236に供給する。
[0165]
  <Rectify>
 画像変換部236は、変数検出の探索をより効率的に行う為に、供給された撮像画像(図27のBの部分領域353)を、事前キャリブレーション情報記憶部241から取得した事前キャリブレーション情報に基づいて変換(補正)する。この補正をRectifyとも称する。上述したようにパタン画像301は、逆Rectifyされて投影されたので、画像変換部236が部分領域353に対してRectifyすることにより、特徴点および変数パタンの重心が所定の画素に位置する。
[0166]
 つまり、画像変換部236は、投影部111により投影された不可視光のパタン画像301を、撮像部112が撮像して得られた撮像画像を補正して、そのパタン画像301の特徴点311および変数パタン312の重心をそれぞれ所定の画素に位置させる。
[0167]
 このRectifyにより、例えば、図27のBに示されるように部分領域353に対するパタン画像301の投影画像352の傾きが、図27のCのように補正される(傾きが低減される)。
[0168]
  <特徴点検出部>
 図29は、図21の特徴点検出部237の主な構成例を示す機能ブロック図である。図29に示されるように、特徴点検出部237は、テンプレートマッチング部401、特徴点検出部402、および特徴点改善部403を有する。
[0169]
   <テンプレートマッチング>
 テンプレートマッチング部401は、特徴点311の探索範囲内の各画素についてその特徴点311のテンプレート画像との類似度を求める。つまり、テンプレートマッチング部401は、撮像画像とテンプレート画像との比較(テンプレートマッチング)を行い、そのマッチングスコア(類似度)に基づいて特徴点311の検出を行う。
[0170]
 テンプレートマッチング部401は、画像変換部236からRectifyされた画像を取得する。また、テンプレートマッチング部401は、パタン情報記憶部242から、パタン情報として、探索画素位置、特徴点数、およびテンプレート画像等の情報を取得する。探索画素位置は、特徴点311を探索する画素の位置(すなわち探索範囲の位置)を示す情報である。
[0171]
 例えば、図23の探索ライン321-1乃至探索ライン321-3等の位置を示す情報である。なお、この探索ラインの幅(すなわち探索範囲の幅)は1画素でもよいが、複数画素であってもよい。この探索範囲の幅を広くすることにより、特徴点検出のロバスト性を向上させることができる。また、この探索範囲の幅を狭くすることにより、特徴点検出処理の負荷の増大を抑制し、容易化(高速化)することができる。
[0172]
 特徴点数は、探索範囲内に存在する特徴点の数を示す情報である。パタン画像301の構成(特徴点311の位置など)は既知であるので、探索範囲内の特徴点311の数も既知である。
[0173]
 テンプレート画像は、特徴点311のテンプレート画像である。例えば、図24に示されるような画像により構成される。
[0174]
 テンプレートマッチング部401は、このようなテンプレート画像とその画像に対応した探索画素位置を利用して、探索範囲内の各画素におけるマッチングスコアを算出する。テンプレート画像は、計算機上のシミュレーションで生成するので、画素値が0/255の理想的なバイナリパターンとなっている。これに対して、実際にセンシングで得られる撮像画像の明るさはその状況によってしまう。
[0175]
 そこで、テンプレートマッチング部401は、正規化相互相関(ZNCC(Zero-mean Normalized Cross-Correlation))を用いて類似度を算出する。正規化相互相関を用いることにより、明るさの変動があっても安定的に類似度を算出することができる。
[0176]
 テンプレート画像の輝度値をT(i,j)とし、撮像画像の輝度値をI(i,j)とし、それぞれの輝度値の平均値をT AVG、I AVGとする。この場合のZNCCの類似度Score ZNCCは、以下の式(1)のように算出される。
[0177]


 ・・・(1)
[0178]
 平均値T AVG、I AVGは、以下の式(2)および式(3)のように算出される。
[0179]


 ・・・(2)


 ・・・(3)
[0180]
 式(1)乃至式(3)により、類似度Score ZNCCは、以下の式(4)のように算出される。
[0181]


 ・・・(4)
[0182]
 このようにすることにより、テンプレートマッチング部401は、1パスの計算手法により、類似度Score ZNCCを算出することができる。したがって、テンプレートマッチング部401は、より高速に類似度を算出することができる。
[0183]
 テンプレートマッチング部401は、算出した各画素の類似度Score ZNCCを特徴点検出部402に供給する。
[0184]
   <特徴点検出>
 特徴点検出部402は、テンプレートマッチング部401より供給された各画素の類似度Score ZNCCに基づいて、特徴点を検出する。例えば、特徴点検出部402は、類似度が高い画素を特徴点311として検出する。例えば、特徴点検出部402は、周囲より類似度が高い画素を特徴点311として検出するようにしてもよい。例えば、特徴点検出部402は、所定の範囲内において各画素の類似度を参照し、その類似度が最も高い画素を特徴点として検出するようにしてもよい。
[0185]
 一般的に特徴点311近傍の画素も類似度が高くなる。例えば、図30のAのような特徴点311のテンプレート画像との類似度を、図30のBに示されるようなパタン画像301の撮像画像の探索ライン411を中心とする所定の幅の探索範囲で算出すると、範囲412において、図30のCに示されるように各画素の類似度が得られるとする。図30のCにおいて各四角は画素を示している。濃度は各画素の類似度を示し、濃度が濃い程、スコアが高いことを示している。
[0186]
 このような場合、画素414のスコアが最も高いが、その周辺の画素のスコアも高い。したがって、単純に類似度が高い画素を特徴点311として検出すると、本来の特徴点311と一致する画素の近傍の画素も特徴点311として検出してしまうおそれがある。
[0187]
 そこで、図30のCに示されるように、所定の範囲413において各画素のスコアを比較するようにする。このように類似度の高さを周囲と比較することにより、その周辺で最も特徴点311らしい画素414のみを特徴点311として検出することができ、不要な画素の検出を抑制することができる。
[0188]
 なお、この類似度を比較する範囲413の広さおよび形状は任意である。
[0189]
 また、探索範囲(探索ライン)に存在する特徴点の数(想定する特徴点の数)は既知であり、パタン情報の特徴点数により示される。したがって、特徴点検出部402は、上述のように特徴点を候補として検出し、その候補の数がパタン情報記憶部242よりパタン情報として取得した特徴点数、すなわち、想定する特徴点の数よりも多い場合、類似度が高い順に、その想定する数分の候補を選択する。このようにすることにより、特徴点検出部402は、特徴点検出をより高精度に行うことができる。
[0190]
 特徴点検出部402は、特徴点311として検出した画素に関する情報を特徴点改善部403に供給する。
[0191]
  <特徴点リファインメント>
 この特徴点311として検出された画素の座標(特徴点座標)は整数画素精度である。そこで、特徴点改善部403は、この整数画素精度の特徴点座標を、小数点画素精度に改善する(リファインメントする)。
[0192]
 より具体的には、特徴点改善部403は、特徴点311の隣接画素のZNCCスコアを参照し、パラボラフィティングを行うことで小数点画素精度の特徴点画素位置を推定する。
[0193]
 例えば、図31に示されるグラフのように、座標-1において点421に示されるような値のZNCCスコアR(-1)が得られ、座標0において点422に示されるような値のZNCCスコアR(0)が得られ、座標1において点423に示されるような値のZNCCスコアR(1)が得られたとする。このグラフにおいては、図中下方向であるほど、高スコアである。この場合、ZNCCスコアRは、曲線424のように遷移することが想定される。したがって、この曲線424の最下端となる座標dのZNCCスコアR(z)(図中の点425)が最大となる。
[0194]
 したがって、特徴点改善部403は、この座標dを以下の式(5)のように算出し、その座標dを特徴点画素位置とする。
[0195]


 ・・・(5)
[0196]
 なお、このパラボラフィティングは、1次元のパラボラフィティングである。このようなパラボラフィティングを水平方向と垂直方向についてそれぞれ行うことにより、2次元のリファインメントを行うことができる。
[0197]
 例えば、特徴点改善部403は、図32のAに示されるように、整数画素精度で最もスコアの大きかった画素431の水平方向に隣接する画素432および画素433を用いて、図32のBのように水平方向に1次元のパラボラフィティングを行い、水平方向において小数点画素精度の特徴点画素位置436を求める。次に、特徴点改善部403は、図32のAに示されるように、整数画素精度で最もスコアの大きかった画素431の垂直方向に隣接する画素434および画素435を用いて、図32のCのように垂直方向に1次元のパラボラフィティングを行い、垂直方向において小数点画素精度の特徴点画素位置437を求める。このようにして、2次元の小数点画素精度の特徴点画素位置を求めることができる。
[0198]
 なお、特徴点改善部403は、最もスコアの大きい整数画素精度の画素に隣接する8画素を用いて、2次元のパラボラフィティングを行うようにしてもよい。一般的に、1次元のパラボラフィティングの方が計算負荷の増大を抑制することができる。また、一般的に、2次元のパラボラフィティングの方がより正確に小数点画素精度の特徴点画素位置を求めることができる。
[0199]
 特徴点改善部403は、以上のように座標を小数点画素精度にリファインメントした特徴点311に関する情報を復号部239に供給する。
[0200]
  <変数パタン検出部>
 図33は、図21の変数パタン検出部238の主な構成例を示す機能ブロック図である。図33に示されるように、変数パタン検出部238は、2値化部441、輪郭検出部442、変数識別特徴量算出部443、および変数識別部444を有する。
[0201]
   <2値化>
 2値化部441は、Rectifyされた撮像画像を2値化する。例えば、2値化部441は、撮像部112の周辺減光や投影状況による反射率を考慮し、探索範囲内をブロック分割して領域毎の平均輝度値を利用して2値化を行うようにしてもよい。
[0202]
 具体的には、プロジェクタ投影領域のみを対象とするため、2値化部441は、以下の式(6)のように、低輝度の部分を切り捨てる。
[0203]
 Threshold to Zero


 ・・・(6)
[0204]
 次に、2値化部441は、ブロック毎の平均輝度値を利用して2値化を行う。さらに、2値化部441は、変数パタンの幾何形状が変わってしまう程の収縮がないようにConst.に負の値を設定し調整を行う。すなわち、2値化部441は、以下の式(7)のように2値化を行う。
[0205]
 Threshold Binary


 ・・・(7)
[0206]
 2値化部441は、2値化した撮像画像を輪郭検出部442に供給する。
[0207]
   <輪郭検出>
 輪郭検出部442は、その2値化された撮像画像を用いて輪郭検出を行い、変数パタンに外接する矩形を求める。例えば、輪郭検出部442は、図34に示されるように、ラスタスキャンを前提としたチェインコードを利用して輪郭検出を行う。
[0208]
 例えば、輪郭検出部442は、図34のAに示されるように、矢印451および矢印452のようにラスタスキャンを行い、輝度値が最大の(255であるまたは0でない)画素を検出し、検出したその画素を輪郭追跡の開始点453とする。
[0209]
 そして、輪郭検出部442は、その開始点453から輪郭を追跡する。例えば、輪郭検出部442は、図34のBに示されるように各方向に数字を割り当て、1つ前の輪郭の向きをV oldとし、輪郭の検索を開始する向きの値をV newとし、以下の式(8)のように輪郭の検索を開始する向きV newを求める。
[0210]


 ・・・(8)
[0211]
 輪郭検出部442は、このようにして求めた向きV newから輪郭の検索を開始する。このようにすることにより、輪郭検出部442は、効率的に輪郭を追跡することができる。
[0212]
 以上のようにして、輪郭を検出すると、輪郭検出部442は、その検出結果を示す情報を変数識別特徴量算出部443に供給する。
[0213]
   <変数識別特徴量の算出>
 変数識別特徴量算出部443は、変数パタン312を識別するための特徴量である変数識別特徴量の算出を行う。
[0214]
 例えば、図35に示されるような4種類の変数パタン312がパタン画像301に配置されるとする。つまり、図35に示されるように、変数パタン312が、輪郭が円状で重心が抜かれたサークル(Circle)、輪郭が円状で重心が塗りつぶされたディスク(Disc)、長軸が垂直方向の長方形であるレクトアングルバーティカル(Recangle Vertical)、および、長軸が水平方向の長方形であるレクトアングルホリゾンタル(Recangle Horizontal)の4種類の変数パタンにより構成されるものとする。
[0215]
 この場合、変数識別特徴量算出部443は、輪郭検出部442により輪郭が検出された変数パタン312について、以下の式(9)乃至式(11)のようにして、重心Centroidを求める。
[0216]


 ・・・(9)


 ・・・(10)


・・・(11)
[0217]
 また、変数識別特徴量算出部443は、以下の式(12)乃至式(16)のようにして、各変数を算出する。
[0218]


・・・(12)


 ・・・(13)


 ・・・(14)


 ・・・(15)


 ・・・(16)
[0219]
 そして、変数識別特徴量算出部443は、それらの変数を用いて、以下の式(17)乃至式(20)のようにして、各特徴量を算出する。
[0220]


 ・・・(17)


 ・・・(18)


 ・・・(19)


 ・・・(20)
[0221]
 変数識別特徴量算出部443は、以上のように算出した各変数識別特徴量を変数識別部444に供給する。また、特徴量と併せて変数の重心位置を計算し、各変数パターンも対応点情報の候補とする。
[0222]
   <変数識別>
 変数識別部444は、以上のように算出された変数識別特徴量に基づいて、各変数パタンの識別を行う。
[0223]
 最初に、Discの識別について説明する。図35に示される変数パタン312の内、Discのみ重心が抜いてある(輝度値が低い)。したがって、変数識別部444は、輝度分布を利用してDiscを識別する。より具体的には、変数識別部444は、変数パタン312の重心輝度値が周囲の輝度値よりも低い画素が大半である場合、その変数パタン312がDiscであると識別する。
[0224]
 例えば、上述した式(19)により、輝度値が平均値よりも低い画素が求められ、そのような画素の比率が、式(20)により、特徴量LowLumiRatio(Low Luminance Ratio)として算出されている。変数識別部444は、この特徴量LowLumiRatioの値に基づいて、Discを識別する。より具体的には、変数識別部444は、この特徴量LowLumiRatioの値が所定の閾値(Threshold)よりも小さいと判定される場合、その変数パタン312がDiscであると識別する。
[0225]
 次に、CircleとRectangleとの識別について説明する。CircleとRectangleとの一番の違いはパタンの幾何形状が細長いかどうかである。そこで、変数識別部444は、画像モーメント特徴量を利用して、短軸成分と長軸成分の比率を利用して識別する。
[0226]
 例えば、式(15)により長軸成分の特徴量が求められ、式(16)により短軸成分の特徴量が求められ、式(17)により、長軸成分と短軸成分との比が、特徴量InertiaRatioとして算出されている。変数識別部444は、この特徴量InertiaRatioの値に基づいて、CircleとRectangleとを識別する。より具体的には、変数識別部444は、この特徴量InertiaRatioの値が所定の閾値(Threshold)よりも十分に小さいと判定される場合、その変数パタン312をRectangleと識別する。また、変数識別部444は、この特徴量InertiaRatioの値が所定の閾値(Threshold)よりも十分に大きいと判定される場合、その変数パタン312がCircleであると識別する。
[0227]
 次に、Rectangle VerticalとRectangle Horizontalとの識別について説明する。RectangleのVerticalとHorizontalの一番の違いは長軸もしくは短軸の角度である。そこで、変数識別部444は、これも画像モーメント特徴量から長軸の傾きを求めて識別する。
[0228]
 例えば、式(18)により長軸の傾きが、特徴量MajorAxisRadとして算出されている。変数識別部444は、この特徴量MajorAxisRadの値に基づいて、Rectangle VerticalとRectangle Horizontalとを識別する。より具体的には、変数識別部444は、この特徴量MajorAxisRadの値が水平方向を示す(つまり長軸方向が水平方向である、または水平方向に近い)と判定される場合、その変数パタン312がRectangle Horizontalであると識別し、この特徴量MajorAxisRadの値が垂直方向を示す(つまり長軸方向が垂直方向である、または垂直方向に近い)と判定される場合、その変数パタン312がRectangle Verticalであると識別する。
[0229]
 なお、変数パタン312が細長い形状であるものの、特徴量MajorAxisRadの値から、その長軸方向の向きが垂直方向でも水平方向でもないと判定される場合、変数パタン以外の輪郭を誤検出しているものとして、変数識別部444は、その変数パタン312を識別不能としてもよい。
[0230]
 また、特徴量InertiaRatioの値が所定の閾値(Threshold)とほぼ同程度であり、変数パタン312の形状が丸いのか細長いのか不明であると判定される場合がある。例えば、Rectangleの長軸が潰れてしまったり、Circleが伸びてしまったりする場合、特徴量InertiaRatioが有意な特徴量とならず、識別ができなくなることがある。このような場合、変数識別部444は、その変数パタン312を識別不能とせずに、グレー変数として識別するようにしてもよい。
[0231]
 変数識別部444は、以上のようにして求めた変数パタン312の識別結果を示す情報を変数情報として復号部239に供給する。
[0232]
  <復号>
 復号部239は、まず、特徴点座標の周囲に存在する変数パタン312を探索し、符号列化する。変数パタン312には、予めその種類毎(形状毎)に、図36に示されるように符号(コード)が割り当てられている。復号部239は、図37のAに示されるように、特徴点座標の周囲の所定の範囲471に含まれる変数パタン312を、例えば矢印472により示されるような所定の順に各変数パタン312に対応する符号を並べ、図37のBに示されるように符号列化する。
[0233]
 図37のBの例の場合、図36の例のように符号が割り当てられた変数パタン312-1乃至変数パタン312-4が、図37のAに示されるように矢印472の順に並べられるので、符号列は、「0121」となる。
[0234]
 次に、復号部239は、このように求めた符号列を、予め用意されたデータベースと参照し、特徴点311の位置を特定する。パタン画像301に配置された特徴点311および変数パタン312は既知であるので、各特徴点311に対応する符号列も既知である。このようなパタン画像301を構成する各特徴点311に対応する符号列の一覧が、パタン情報としてパタン情報記憶部242に記憶されている。
[0235]
 この符号列の一覧は、例えば、図38のAに示される表のように、探索範囲(探索ライン)毎にまとめられているようにしてもよい。復号部239は、上述したように撮像画像から求めた符号列を、その符号列に対応する特徴点311の探索範囲の符号列一覧(例えば、図38のAの表)と比較する。
[0236]
 図38のAの表の場合、図37のBに示される符号列は、四角枠481で囲まれる符号列と一致している。つまり、この表における符号列の位置(または符号列に対応する特徴点の位置を示す情報(図示せず)等)によって、撮像画像より求めた符号列に対応する特徴点311の位置が特定される。
[0237]
 つまり、復号部239は、特徴点検出部237により検出された特徴点311を基準とする所定の範囲内に位置する、変数パタン検出部238により検出された各変数パタン312に対応する符号を所定順に並べて符号列化し、その符号列(図37のBに示される符号列)を、パタン画像301に含まれる符号列に関する情報(図38のAの表)と比較することにより、パタン画像301における特徴点311の位置を特定する。
[0238]
 以上のように復号部239は、符号列をデータベースと比較するだけで容易に特徴点の位置を特定することができる。
[0239]
  <部分デコード>
 なお、符号列の全ての符号が揃っていなくとも特徴点にユニーク性があるようにしてもよい。例えば、図38のBに示される表は、符号列「0121」についてその一部が不明である場合のユニーク性の例を示している。
[0240]
 つまり、この表において、Code0乃至Code3の各列の値は、値が明らかである符号を示し、「-」は、値が不明な符号を示す。また、「部分ユニーク性」の列の値は、ユニーク性があるか否かを示している。値「1」はユニーク性があることを示し、値「0」はユニーク性がないことを示している。なおこの列の「-」は、符号がすべて明らかである場合であり、ユニーク性の判定を行っていないことを示している。
[0241]
 ユニーク性があるとは、その行の符号列、すなわち、一部の符号の値が不明な符号列によって、特徴点311の位置が特定可能であることを示す。例えば、四角枠482により囲まれる行の符号列は、「0--1」であり、Code0とCode3の符号しか明らかでないが、特徴点311の位置が特定可能である(部分ユニーク性が「1」である)。つまり、この探索範囲内には、Code0が「0」であり、かつ、Code3が「1」である符号列は、1つしか存在しないことを示している。
[0242]
 例えば、図38のCに示される所定の特徴点311を基準とする所定の範囲483内に含まれる変数パタン312-1乃至変数パタン312-4は、図36の表から、変数パタン312-1の符号が「0」であり、変数パタン312-4が「1」であることが明らかである。しかしながら、変数パタン312-2および変数パタン312-3の符号は不明である。
[0243]
 このような場合であっても、図38のBの表によると符号列「0--1」は部分ユニーク性が「1」であるので、この特徴点311の位置は特定することができる。
[0244]
 そこで、復号部239は、変数識別部444がグレー変数として判定したような誤識別する恐れがある変数パタンは、敢えて識別を行わずに、上述のような部分デコードを行うことによって救うようにしてもよい。このようにすることにより、特徴点311がより特定されるようになり、対応点検出をより高精度に行うことができる。
[0245]
 さらに、このような状況が起こる確率を上げるために、例えば、パタン生成部231が、パタン画像301を生成する際に、符号列の識別性であるハミング距離がなるべく大きくなるように、特徴点311および変数パタン312を配置するようにしてもよい。
[0246]
 以上のように各処理を実行することにより、制御装置101は、より高速かつ高精度に対応点検出を行うことができる。
[0247]
  <対応点検出処理の流れ>
 次に、以上のような投影撮像システム100により実行される処理の流れについて説明する。図39のフローチャートを参照して、制御装置101により実行される対応点検出処理の流れの例を説明する。
[0248]
 対応点検出処理が開始されると、パタン生成部231は、ステップS101において、パタン画像301を生成する。
[0249]
 ステップS102において、パタン変換部232は、ステップS101において生成されたパタン画像301を、事前キャリブレーション情報に基づいて事前補正(逆Rectify)する。
[0250]
 ステップS103において、投影制御部233は、投影部111を制御し、ステップS102において事前補正されたパタン画像301を、不可視光の画像として投影させる。
[0251]
 ステップS104において、撮像制御部234は、撮像部112を制御し、ステップS103において投影されたパタン画像の投影画像を撮像させる。
[0252]
 ステップS105において、ROI抽出部235は、ステップS104において得られた撮像画像よりパタン画像301の投影画像を含む注目領域を抽出する。
[0253]
 ステップS106において、画像変換部236は、ステップS105において抽出された注目領域の撮像画像を、事前キャリブレーション情報に基づいて補正(Rectify)する。
[0254]
 ステップS107において、特徴点検出部237は、ステップS106において補正された撮像画像から特徴点311を検出する。
[0255]
 ステップS108において、変数パタン検出部238は、ステップS106において補正された撮像画像から変数パタン312を検出する。
[0256]
 ステップS109において、復号部239は、ステップS108において検出された変数パタン312を符号列化し、その符号列を復号して特徴点311の位置を特定し、特徴点311に基づいて、投影部111と撮像部112との間の対応点を検出する。
[0257]
 ステップS109の処理が終了すると対応点検出処理が終了する。
[0258]
  <特徴点検出処理の流れ>
 次に、図39のステップS107において実行される特徴点検出処理の流れの例を、図40のフローチャートを参照して説明する。
[0259]
 特徴点検出処理が開始されると、特徴点検出部237のテンプレートマッチング部401は、ステップS111において、特徴点311のテンプレートマッチングを行う。
[0260]
 ステップS112において、特徴点検出部402は、ステップS111において行われたテンプレートマッチングの結果に基づいて、特徴点311を検出する。
[0261]
 ステップS113において、特徴点改善部403は、ステップS112において検出された整数画素精度の特徴点311の座標を小数点画素精度にリファインメントする。
[0262]
 ステップS113の処理が終了すると、処理は図39に戻る。
[0263]
  <変数パタン検出処理の流れ>
 次に、図39のステップS108において実行される変数パタン検出処理の流れの例を、図41のフローチャートを参照して説明する。
[0264]
 変数パタン検出処理が開始されると、2値化部441は、ステップS121において、補正された撮像画像を2値化する。
[0265]
 ステップS122において、輪郭検出部442は、ステップS121において2値化された撮像画像において、変数パタン312の輪郭を検出する。
[0266]
 ステップS123において、変数識別特徴量算出部443は、ステップS122において輪郭を検出した変数パタン312について、変数パタン312を識別するための変数識別特徴量を算出する。
[0267]
 ステップS124において、変数識別部444は、ステップS123において算出された変数識別特徴量に基づいて変数パタン312を識別する。
[0268]
 ステップS124の処理が終了すると処理は図39に戻る。
[0269]
  <変数パタン識別処理の流れ>
 次に、図41のステップS124において実行される変数パタン識別処理の流れの例を、図42のフローチャートを参照して説明する。
[0270]
 変数パタン識別処理が開始されると、変数識別部444は、ステップS131において、変数パタン312の重心の輝度が低いか否かを判定する。例えば、変数識別部444は、特徴量LowLumiRatioの値が所定の閾値より小さいか否かを判定する。変数パタン312の重心の輝度が低い(特徴量LowLumiRatioの値が所定の閾値より小さい)と判定された場合、処理はステップS132に進む。
[0271]
 ステップS132において、変数識別部444は、その変数パタン312がDiscであると判定する。ステップS132の処理が終了すると、処理は図41に戻る。
[0272]
 また、図42のステップS131において、変数パタン312の重心の輝度が低くない(特徴量LowLumiRatioの値が所定の閾値より小さくない)と判定された場合、処理はステップS133に進む。
[0273]
 ステップS133において、変数識別部444は、変数パタン312が細長いか否かを判定する。例えば、変数識別部444は、特徴量InertiaRatioが所定の閾値より小さいか否かを判定する。変数パタン312が細長い(特徴量InertiaRatioが所定の閾値より小さい)と判定された場合、処理はステップS134に進む。
[0274]
 ステップS134において、変数識別部444は、その細長い変数パタン312の長手方向(長軸方向)が垂直であるか否かを判定する。例えば変数識別部444は、特徴量MajorAxisRadの値に基づいて、その長手方向が垂直であるか否かを判定する。変数パタン312の長手方向が垂直である(特徴量MajorAxisRadの値が垂直方向を示す)と判定された場合、処理はステップS135に進む。
[0275]
 ステップS135において、変数識別部444は、その変数パタン312がRectangle Verticalであると判定する。ステップS135の処理が終了すると、処理は図41に戻る。
[0276]
 また、図42のステップS134において、変数パタン312の長手方向が垂直でない(特徴量MajorAxisRadの値が垂直方向を示さない)と判定された場合、処理はステップS136に進む。
[0277]
 ステップS136において、変数識別部444は、その細長い変数パタン312の長手方向(長軸方向)が水平であるか否かを判定する。例えば変数識別部444は、特徴量MajorAxisRadの値に基づいて、その長手方向が水平であるか否かを判定する。変数パタン312の長手方向が水平である(特徴量MajorAxisRadの値が水平方向を示す)と判定された場合、処理はステップS137に進む。
[0278]
 ステップS137において、変数識別部444は、その変数パタン312がRectangle Horizontalであると判定する。ステップS137の処理が終了すると、処理は図41に戻る。
[0279]
 また、図42のステップS136において、変数パタン312の長手方向が水平でない(特徴量MajorAxisRadの値が水平方向を示さない)と判定された場合、処理はステップS138に進む。
[0280]
 この場合、変数パタン312の長手方向が垂直方向でも水平方向でもないので、ステップS138において、変数識別部444は、この変数パタン312を識別不能と判定する。ステップS138の処理が終了すると、処理は図41に戻る。
[0281]
 また、図42のステップS133において、変数パタン312が細長くない(特徴量InertiaRatioが所定の閾値より小さくない)と判定された場合、処理はステップS139に進む。
[0282]
 ステップS139において、変数識別部444は、変数パタン312が丸いか否かを判定する。例えば、変数識別部444は、特徴量InertiaRatioが所定の閾値より十分に大きいか否かを判定する。変数パタン312が丸い(特徴量InertiaRatioが所定の閾値より十分に大きい)と判定された場合、処理はステップS140に進む。
[0283]
 ステップS140において、変数識別部444は、その変数パタン312がCircleであると判定する。ステップS140の処理が終了すると、処理は図41に戻る。
[0284]
 また、図42のステップS139において、変数パタン312が丸くない(特徴量InertiaRatioが所定の閾値より十分に大きくない)と判定された場合、処理はステップS141に進む。
[0285]
 この場合、変数パタン312の形状が細長くもなく、丸くもないので、ステップS141において、変数識別部444は、この変数パタン312をグレー変数と判定する。上述したように、このグレー変数を含む符号列は、部分デコードによる識別に利用される。ステップS141の処理が終了すると、処理は図41に戻る。
[0286]
 以上のように各処理を実行することにより、制御装置101は、より高速かつ高精度に対応点検出を行うことができる。
[0287]
  <輪郭追跡の並列処理化>
 以上に説明した各処理のほとんどは、画素、ブロック、探索ライン、検出数など並列度高く処理することができる。しかしながら、輪郭検出部442により行われる輪郭検出だけは、探索ウィンドウ並列で並列度が低いだけでなく、処理量が軽くないので、処理速度のボトルネックになるおそれがある。
[0288]
 そこで、輪郭追跡の開始点探索を細かいブロック並列にして行うようにしてもよい。例えば、図49に示されるような輪郭追跡の開始点を探索する領域490を複数の部分領域に分割し、各部分領域において輪郭追跡の開始点の探索を行うようにし、その各部分領域の処理を並列に実行することができるようにしてもよい。
[0289]
 このようにすることにより、より高速に輪郭検出を行うことができる。
[0290]
 なお、この場合、例えば、変数パタン312-1の開始点は、部分領域491-1乃至部分領域491-4等において検出される。この各部分領域で検出された開始点からそれぞれ輪郭検出が行われるので、変数パタン312-1に対して複数回輪郭検出が行われることになる。つまり、検出される輪郭が重複する。
[0291]
 また、例えば、変数パタン312-3の開始点は、部分領域492-1乃至部分領域492-4等において検出される。この変数パタン312-3のように、部分領域の複数の列にかかると、輪郭の開始点と重心の列インデックスが異なる場合もある。
[0292]
 このように検出される輪郭が重複してしまうことや輪郭の開始点と重心の列インデックスが異なることは、そのあとの処理でサブサンプルと整合をとることで、並列度の高い輪郭追跡を実現することができる。
[0293]
 <3.第2の実施の形態>
  <投影撮像システム、投影撮像装置の他の構成例>
 なお、本技術を適用した投影撮像システムの構成例は、上述した例に限定されない。例えば図44に示される投影撮像システム600のように、制御装置101並びに各投影撮像装置102がネットワーク601を介して互いに接続されるようにしてもよい。
[0294]
 ネットワーク601は、任意の通信網である。ネットワーク601において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク601は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク601に含まれるようにしてもよい。
[0295]
 制御装置101並びに各投影撮像装置102(投影撮像装置102-1乃至投影撮像装置102-N(Nは任意の自然数))は、このネットワーク601に通信可能に接続されている。なお、この接続は有線(すなわち、有線通信を介した接続)であってもよいし、無線(すなわち、無線通信を介した接続)であってもよいし、その両方であってもよい。なお、各装置の数、筐体の形状や大きさ、配置位置等は任意である。
[0296]
 制御装置101並びに各投影撮像装置102は、ネットワーク601を介して互いに通信を行う(情報の授受等を行う)ことができる。換言するに、制御装置101並びに各投影撮像装置102は、他の設備(装置や伝送路等)を介して互いに通信可能に接続されるようにしてもよい。
[0297]
 このような構成の投影撮像システム600の場合も、第1の実施の形態において説明した投影撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
[0298]
 また、例えば図45に示される投影撮像システム610のように、投影部111と撮像部112とが互いに異なる装置として構成されるようにしてもよい。投影撮像システム610は、投影撮像装置102の代わりに、投影装置611-1乃至投影装置611-N(Nは任意の自然数)、並びに、撮像装置612-1乃至撮像装置612-M(Mは任意の自然数)を有する。投影装置611-1乃至投影装置611-Nは、それぞれ、投影部111(投影部111-1乃至投影部111-N)を有し、画像の投影を行う。撮像装置612-1乃至撮像装置612-Mは、それぞれ、撮像部112(撮像部112-1乃至撮像部112-M)を有し、投影面(投影部111が投影した投影画像)の撮像を行う。
[0299]
 投影装置611-1乃至投影装置611-Nを互いに区別して説明する必要が無い場合、投影装置611と称する。撮像装置612-1乃至撮像装置612-Mを互いに区別して説明する必要が無い場合、撮像装置612と称する。
[0300]
 各投影装置611並びに各撮像装置612は、それぞれ制御装置101と通信可能に接続されており、有線通信若しくは無線通信またはその両方により制御装置101と通信を行う(情報を授受する)ことができる。なお、各投影装置611並びに各撮像装置612が、制御装置101を介して、他の投影装置611若しくは他の撮像装置612またはその両方と通信を行うことができるようにしてもよい。
[0301]
 また、各装置(投影装置611、撮像装置612、および制御装置101)の数、筐体の形状や大きさ、配置位置等は任意である。また、図44の例の場合と同様に、各装置(投影装置611、撮像装置612、および制御装置101)が、ネットワーク601等のような他の設備(装置や伝送路)を介して互いに通信可能に接続されるようにしてもよい。
[0302]
 このような構成の投影撮像システム610の場合も、第1の実施の形態において説明した投影撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
[0303]
 また、例えば図46に示される投影撮像システム620のように、制御装置101を省略するようにしてもよい。図46に示されるように、投影撮像システム620は、投影撮像装置621、並びに、投影撮像装置102-2乃至投影撮像装置102-N(Nは任意の自然数)を有する。投影撮像装置621は、通信ケーブル622-1乃至通信ケーブル622-(N-1)を介して、各投影撮像装置102と互いに通信可能に接続されている。通信ケーブル622-1乃至通信ケーブル622-(N-1)を互いに区別して説明する必要が無い場合、通信ケーブル622と称する。なお、この通信ケーブル622を省略し、投影撮像装置621が、無線通信によって各投影撮像装置102と通信を行うことができるようにしてもよい。
[0304]
 投影撮像装置621は、投影撮像装置102と同様に投影部111および撮像部112を有し、さらに、制御部623を有する。制御部623は、制御装置101と同様の機能を有し、同様の処理を行うことができる。つまり、この投影撮像システム620の場合、上述した制御装置101において行われる処理が、投影撮像装置621(の制御部623)において実行される。
[0305]
 このような構成の投影撮像システム620の場合も、第1の実施の形態において説明した投影撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
[0306]
 なお、投影撮像システム620が、投影撮像装置621を複数有するようにしてもよい。その場合、いずれかの投影撮像装置621(の制御部623)が、制御装置101において行われる処理の全てを実行するようにしてもよいし、複数の投影撮像装置621(の制御部623)が、情報を授受し合う等して協働して処理を実行するようにしてもよい。
[0307]
 また、例えば図47に示されるように、第1の実施の形態において説明した投影撮像システム100が1つの装置として構成されるようにしてもよい。図47に示される投影撮像装置630は、投影部111(投影部111-1乃至投影部111-N(Nは任意の自然数))、撮像部112(撮像部112-1乃至撮像部112-M(Mは任意の自然数))、並びに、制御部623を有する。
[0308]
 投影撮像装置630において、制御部623は、上述した制御装置101において行われる処理を実行することにより、各投影部111並びに各撮像部112を制御して対応点の検出等を行う。
[0309]
 したがって、このような構成の投影撮像装置630の場合も、第1の実施の形態において説明した投影撮像システム100の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
[0310]
 <4.その他>
  <本技術の適用分野>
 本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
[0311]
 例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
[0312]
  <ソフトウエア>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムやデータ等が、ネットワークや記録媒体からインストールされる。
[0313]
 例えば図14の投影撮像装置102の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア141により構成される。その場合、例えば、リムーバブルメディア141をドライブ135に装着することにより、そのリムーバブルメディア141に記憶されているこのプログラムやデータ等を読み出させ、記憶部133にインストールさせることができる。
[0314]
 また例えば図20の制御装置101の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムやデータ等を配信するために配布される、そのプログラムやデータ等が記録されているリムーバブルメディア221により構成される。その場合、例えば、リムーバブルメディア221をドライブ215に装着することにより、そのリムーバブルメディア221に記憶されているこのプログラムやデータ等を読み出させ、記憶部213にインストールさせることができる。
[0315]
 また、このプログラムやデータ等は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図14の投影撮像装置102の場合、そのプログラムやデータ等は、通信部134で受信し、記憶部133にインストールすることができる。また、例えば図20の制御装置101の場合、そのプログラムやデータ等は、通信部214で受信し、記憶部213にインストールすることができる。
[0316]
 その他、このプログラムやデータ等は、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図14の投影撮像装置102の場合、プログラムやデータ等は、記憶部133や制御部121内のROM(図示せず)等に予めインストールしておくこともできる。また、例えば図20の制御装置101の場合、プログラムやデータ等は、記憶部213やROM202等に予めインストールしておくこともできる。
[0317]
  <補足>
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0318]
 例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
[0319]
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0320]
 また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
[0321]
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
[0322]
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0323]
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
[0324]
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
[0325]
 コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
[0326]
 本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
[0327]
 なお、本技術は以下のような構成も取ることができる。
   <投影部>
 (1) 不可視光および可視光を互いに同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを、少なくとも一部が投影面の互いに同一の領域に投影されるように、投影する投影部
 を備える画像処理装置。
 (2) 前記不可視光は赤外光である
 (1)に記載の画像処理装置。
 (3) 前記投影部は、入力される画像データに対応する可視光の画像および不可視光の画像を前記投影部に投影する
 (1)または(2)に記載の画像処理装置。
 (4) 前記画像データは、可視光の画像データのフォーマットで構成され、前記フォーマットにおける一部のビットに前記可視光の画像データが格納され、他の一部のビットに不可視光の画像データが格納されており、
 前記投影部は、入力された前記画像データに含まれる前記可視光の画像データと前記不可視光の画像データをそれぞれ抽出し、前記可視光の画像データに対応する前記可視光の画像と、前記不可視光の画像データに対応する前記不可視光の画像とを投影する
 (3)に記載の画像処理装置。
 (5) 前記フォーマットはRGBであり、各色成分のデータの上位の一部のビットに可視光の各色成分の画像データが格納され、各色成分のデータの下位の一部のビットに不可視光の画像データが格納される
 (4)に記載の画像処理装置。
 (6) 前記投影部は、可視光の各色成分の画像、並びに、不可視光の画像を所定順に順次投影する
 (5)に記載の画像処理装置。
 (7) 前記投影部により順次投影される
  前記可視光の各色成分の画像は、動画像の互いに異なるフレームの画像であり、
  前記不可視光の画像は、所定の特徴点および所定の変数パタンにより構成され、前記投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像である
 (6)に記載の画像処理装置。
 (8) 不可視光を受光して被写体を撮像する撮像部をさらに備え、
 前記撮像部は、撮像のタイミングを前記投影部による画像の投影タイミングに対応させ、前記投影部により順次投影される複数の投影画像の内、不可視光の投影画像を撮像する
 (7)に記載の画像処理装置。
 (9) 前記投影部は、液晶デバイスを用いて可視光の画像および不可視光の画像を投影する
 (1)乃至(8)のいずれかに記載の画像処理装置。
 (10) 画像処理装置が、
 不可視光を可視光と同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを互いに重畳するように投影する
 画像処理方法。
[0328]
   <パタン画像>
 (11) 所定の特徴点および所定の変数パタンにより構成され、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像であって、前記特徴点周辺の前記変数パタン群を変数化して順列展開した符号列に基づいて前記パタン画像における前記特徴点の位置が一意に定まるように、前記特徴点および前記変数パタンが配置された、前記パタン画像のデータ。
 (12) 前記特徴点は、波線と線分との交点である
 (11)に記載のデータ。
 (13) 前記パタン画像には、前記波線の前記線分と交差する部分の形状によって分類される複数種類の前記特徴点が配置されている
 (12)に記載のデータ。
 (14) 前記パタン画像には、形状によって分類され、互いに異なる符号が割り当てられる複数種類の前記変数パタンが配置されている
 (13)に記載のデータ。
 (15) 前記パタン画像には、複数の前記特徴点のそれぞれの周辺に複数の前記変数パタンが、複数の前記変数パタンを所定順に並べることにより所定長の符号列が得られるように、配置されている
 (14)に記載のデータ。
 (16) 前記変数パタンは、
  輪郭が円状で重心が抜かれたサークル(Circle)、
  輪郭が円状で重心が塗りつぶされたディスク(Disc)、
  長軸が垂直方向の長方形であるレクトアングルバーティカル(Recangle Vertical)、
  長軸が水平方向の長方形であるレクトアングルホリゾンタル(Recangle Horizontal)
 の4種類の変数パタンにより構成される
 (15)に記載のデータ。
 (17) 前記パタン画像には、複数種類の前記変数パタンが、前記符号列を復号することによって、探索範囲内における前記特徴点の位置が一意に定まるような位置に、配置されている
 (16)に記載のデータ。
 (18) 前記パタン画像には、複数種類の前記変数パタンが、前記符号列の一部を復号することによって、探索範囲内における前記特徴点の位置が一意に定まるような位置に、配置されている
 (17)に記載のデータ。
 (19) 所定の特徴点および所定の変数パタンにより構成され、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像であって、前記特徴点周辺の前記変数パタン群を変数化して順列展開した符号列に基づいて前記パタン画像における前記特徴点の位置が一意に定まるように、前記特徴点および前記変数パタンが配置された、前記パタン画像のデータが記録された記録媒体。
 (20) 所定の特徴点および所定の変数パタンにより構成され、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像であって、前記特徴点周辺の前記変数パタン群を変数化して順列展開した符号列に基づいて前記パタン画像における前記特徴点の位置が一意に定まるように、前記特徴点および前記変数パタンが配置された、前記パタン画像のデータを生成する生成部
 を備える画像処理装置。
[0329]
   <制御装置>
 (31) 所定の特徴点および所定の変数パタンにより構成され、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像を、前記撮像部により撮像された投影画像の撮像画像を補正することにより前記特徴点および前記変数パタンが所定の画素に位置するように、事前キャリブレーション情報に基づいて補正する事前補正部と、
 前記投影部を制御して、前記事前補正部による補正後の前記パタン画像を不可視光の画像として投影させる制御部と
 を備える画像処理装置。
 (32) 前記投影部により投影された不可視光の前記パタン画像を前記制御部により制御された前記撮像部が撮像して得られた撮像画像を補正して、前記パタン画像の前記特徴点および前記変数パタンをそれぞれ所定の画素に位置させる補正部
 をさらに備える(31)に記載の画像処理装置。
 (33) 前記制御部は、
  複数の前記投影部を制御して、補正後の前記パタン画像を不可視光の画像として、互いに異なるタイミングにおいて投影させ、
  前記撮像部を制御して、複数の前記投影部のそれぞれにより投影された不可視光の前記パタン画像を撮像させる
 (32)に記載の画像処理装置。
 (34) 前記制御部は、前記投影部を制御して、動画像を投影させる際に、前記動画像の連続する6フレーム毎に、前記6フレームの内の最初の2フレームの可視光のR成分の画像、次の2フレームの可視光のG成分の画像、次の2フレームの可視光のB成分の画像、および不可視光の前記パタン画像を順次投影させる
 (33)に記載の画像処理装置。
 (35) 前記制御部は、前記投影部を制御して、前記パタン画像を、2フレーム分の期間、投影させる
 (34)に記載の画像処理装置。
 (36) 前記制御部は、4台以上の前記投影部を制御して、前記動画像の各フレームの、可視光の各色成分の画像と、不可視光の前記パタン画像とを互いに同期間投影させる
 (35)に記載の画像処理装置。
 (37) 前記制御部は、前記撮像部を制御して、前記動画像の各フレームの投影タイミングに同期して2フレーム毎に投影画像を撮像させることにより、各投影部より投影された不可視光の前記パタン画像を撮像させる
 (36)に記載の画像処理装置。
 (38) 前記補正部による補正後の前記撮像画像から前記特徴点を検出する特徴点検出部と、
 前記補正部による補正後の前記撮像画像から前記変数パタンを検出する変数パタン検出部と、
 前記特徴点検出部により検出された前記特徴点に対応する、前記変数パタン検出部により検出された複数の変数パタンに対応する符号列を復号し、得られた復号結果に基づいて前記パタン画像における前記特徴点の位置を特定する復号部と
 をさらに備える(32)乃至(37)のいずれかに記載の画像処理装置。
 (39) 前記特徴点検出部は、前記特徴点の探索範囲内の各画素について前記特徴点のテンプレート画像との類似度を求め、前記類似度の高さに基づいて前記特徴点を検出する
 (38)に記載の画像処理装置。
 (40) 前記特徴点検出部は、所定の範囲内において前記類似度が最も高い画素を前記特徴点として検出する
 (39)に記載の画像処理装置。
 (41) 前記特徴点検出部は、前記パタン画像に基づいて定まる前記探索範囲内における前記特徴点の数より多く前記特徴点が検出された場合、前記類似度が高い順に前記特徴点を選択する
 (40)に記載の画像処理装置。
 (42) 前記特徴点検出部は、検出された整数精度の特徴点座標を小数点精度に変換する
 (38)乃至(41)のいずれかに記載の画像処理装置。
 (43) 前記変数パタン検出部は、補正後の前記撮像画像を2値化し、2値化された前記撮像画像において前記変数パタンの輪郭を検出し、輪郭が検出された前記変数パタンの特徴量を算出し、算出された前記特徴量に基づいて前記変数パタンを識別する
 (38)乃至(42)のいずれかに記載の画像処理装置。
 (44) 前記変数パタン検出部は、重心輝度値、短軸成分と長軸成分の比、および長軸成分の傾きの内少なくともいずれか1つに基づいて前記特徴量を算出し、算出された前記特徴量に基づいて前記変数パタンを識別する
 (43)に記載の画像処理装置。
 (45) 前記復号部は、前記特徴点検出部により検出された前記特徴点を基準とする所定の範囲内に位置する、前記変数パタン検出部により検出された各変数パタンに対応する符号を所定順に並べて符号列化し、前記符号列を、前記パタン画像に含まれる符号列に関する情報と比較することにより、前記パタン画像における前記特徴点の位置を特定する
 (44)に記載の画像処理装置。
 (46) 前記変数パタン検出部は、前記短軸成分と前記長軸成分の比が有意な特徴量とならない場合、変数パタンを特定しないグレー変数とし、
 前記復号部は、前記グレー変数以外の変数パタンに対応する符号列に基づいて前記パタン画像における前記特徴点の位置を特定する
 (44)または(45)に記載の画像処理装置。
 (47) 前記変数パタン検出部は、前記変数パタンの輪郭を検出する際、検出対象の領域を複数の部分領域に分割し、各部分領域における前記変数パタンの輪郭検出を並行して行う
 (43)乃至(46)のいずれかに記載の画像処理装置。
 (48) 前記投影部をさらに備える
 (31)乃至(47)のいずれかに記載の画像処理装置。
 (49) 前記撮像部をさらに備える
 (31)乃至(48)のいずれかに記載の画像処理装置。
 (50) 画像処理装置が、
 所定の特徴点および所定の変数パタンにより構成され、投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像を、前記撮像部により撮像された投影画像の撮像画像を補正することにより前記特徴点および前記変数パタンが所定の画素に位置するように、事前キャリブレーション情報に基づいて補正し、
 前記投影部を制御して、補正後の前記パタン画像を不可視光の画像として投影させる
 画像処理方法。

符号の説明

[0330]
 100 投影撮像システム, 101 制御装置, 102 投影撮像装置, 111 投影部, 112 撮像部, 121 制御部, 151 制御部, 152 IR光出力部, 153 R光出力部, 154 G光出力部, 155 B光出力部, 156 ミラー, 157 レンズ部, 201 CPU, 231 パタン生成部, 232 パタン変換部, 233 投影制御部, 234 撮像制御部, 235 ROI抽出部, 236 画像変換部, 237 特徴点検出部, 238 変数パタン検出部, 239 復号部, 241 事前キャリブレーション情報記憶部, 242 パタン情報記憶部, 301 パタン画像, 311 特徴点, 312 変数パタン, 401 テンプレートマッチング部, 402 特徴点検出部, 403 特徴点改善部, 441 2値化部, 442 輪郭検出部, 443 変数識別特徴量算出部, 444 変数識別部, 600 投影撮像システム, 601 ネットワーク, 610 投影撮像システム, 611 投影装置, 612 撮像装置, 620 投影撮像システム, 621 投影撮像装置, 623 制御部, 630 投影撮像装置

請求の範囲

[請求項1]
 不可視光および可視光を互いに同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを、少なくとも一部が投影面の互いに同一の領域に投影されるように、投影する投影部
 を備える画像処理装置。
[請求項2]
 前記不可視光は赤外光である
 請求項1に記載の画像処理装置。
[請求項3]
 所定の特徴点および所定の変数パタンにより構成され、前記投影部により投影された投影画像と撮像部により撮像された撮像画像との間の対応点を検出するためのパタン画像を、前記撮像部により撮像された投影画像の撮像画像を補正することにより前記特徴点および前記変数パタンが所定の画素に位置するように、事前キャリブレーション情報に基づいて補正する事前補正部と、
 前記投影部を制御して、前記事前補正部による補正後の前記パタン画像を不可視光の画像として投影させる制御部と
 をさらに備える請求項1に記載の画像処理装置。
[請求項4]
 前記投影部により投影された不可視光の前記パタン画像を前記制御部により制御された前記撮像部が撮像して得られた撮像画像を補正して、前記パタン画像の前記特徴点および前記変数パタンをそれぞれ所定の画素に位置させる補正部
 をさらに備える請求項3に記載の画像処理装置。
[請求項5]
 前記制御部は、
  複数の前記投影部を制御して、補正後の前記パタン画像を不可視光の画像として、互いに異なるタイミングにおいて投影させ、
  前記撮像部を制御して、複数の前記投影部のそれぞれにより投影された不可視光の前記パタン画像を撮像させる
 請求項4に記載の画像処理装置。
[請求項6]
 前記制御部は、前記投影部を制御して、動画像を投影させる際に、前記動画像の連続する6フレーム毎に、前記6フレームの内の最初の2フレームの可視光のR成分の画像、次の2フレームの可視光のG成分の画像、次の2フレームの可視光のB成分の画像、および不可視光の前記パタン画像を順次投影させる
 請求項5に記載の画像処理装置。
[請求項7]
 前記制御部は、前記投影部を制御して、前記パタン画像を、2フレーム分の期間、投影させる
 請求項6に記載の画像処理装置。
[請求項8]
 前記制御部は、4台以上の前記投影部を制御して、前記動画像の各フレームの、可視光の各色成分の画像と、不可視光の前記パタン画像とを互いに同期間投影させる
 請求項7に記載の画像処理装置。
[請求項9]
 前記制御部は、前記撮像部を制御して、前記動画像の各フレームの投影タイミングに同期して2フレーム毎に投影画像を撮像させることにより、各投影部より投影された不可視光の前記パタン画像を撮像させる
 請求項8に記載の画像処理装置。
[請求項10]
 前記補正部による補正後の前記撮像画像から前記特徴点を検出する特徴点検出部と、
 前記補正部による補正後の前記撮像画像から前記変数パタンを検出する変数パタン検出部と、
 前記特徴点検出部により検出された前記特徴点に対応する、前記変数パタン検出部により検出された複数の変数パタンに対応する符号列を復号し、得られた復号結果に基づいて前記パタン画像における前記特徴点の位置を特定する復号部と
 をさらに備える請求項4に記載の画像処理装置。
[請求項11]
 前記特徴点検出部は、前記特徴点の探索範囲内の各画素について前記特徴点のテンプレート画像との類似度を求め、前記類似度の高さに基づいて前記特徴点を検出する
 請求項10に記載の画像処理装置。
[請求項12]
 前記特徴点検出部は、所定の範囲内において前記類似度が最も高い画素を前記特徴点として検出する
 請求項11に記載の画像処理装置。
[請求項13]
 前記特徴点検出部は、検出された整数精度の特徴点座標を小数点精度に変換する
 請求項10に記載の画像処理装置。
[請求項14]
 前記変数パタン検出部は、補正後の前記撮像画像を2値化し、2値化された前記撮像画像において前記変数パタンの輪郭を検出し、輪郭が検出された前記変数パタンの特徴量を算出し、算出された前記特徴量に基づいて前記変数パタンを識別する
 請求項10に記載の画像処理装置。
[請求項15]
 前記変数パタン検出部は、重心輝度値、短軸成分と長軸成分の比、および長軸成分の傾きの内少なくともいずれか1つに基づいて前記特徴量を算出し、算出された前記特徴量に基づいて前記変数パタンを識別する
 請求項14に記載の画像処理装置。
[請求項16]
 前記変数パタン検出部は、前記短軸成分と前記長軸成分の比が有意な特徴量とならない場合、変数パタンを特定しないグレー変数とし、
 前記復号部は、前記グレー変数以外の変数パタンに対応する符号列に基づいて前記パタン画像における前記特徴点の位置を特定する
 請求項15に記載の画像処理装置。
[請求項17]
 前記変数パタン検出部は、前記変数パタンの輪郭を検出する際、検出対象の領域を複数の部分領域に分割し、各部分領域における前記変数パタンの輪郭検出を並行して行う
 請求項14に記載の画像処理装置。
[請求項18]
 前記パタン画像は、前記特徴点周辺の前記変数パタン群を変数化して順列展開した符号列に基づいて前記パタン画像における前記特徴点の位置が一意に定まるように、前記特徴点および前記変数パタンが配置されている
 請求項3に記載の画像処理装置。
[請求項19]
 前記特徴点は、波線と線分との交点である
 請求項18に記載の画像処理装置。
[請求項20]
 画像処理装置が、
 不可視光を可視光と同一の光学系を介して出力することにより、前記不可視光の画像と前記可視光の画像とを互いに重畳するように投影する
 画像処理方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]

[ 図 43]

[ 図 44]

[ 図 45]

[ 図 46]

[ 図 47]