16:00 CETの火曜日 19.11.2019のメンテナンス理由で数時間使用できません
国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2011129274) 画像生成装置及び操作支援システム
Document

明 細 書

発明の名称 画像生成装置及び操作支援システム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009  

発明の効果

0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181  

産業上の利用可能性

0182  

符号の説明

0183  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3A   3B   4   5   6A   6B   6C   6D   7A   7B   8A   8B   9A   9B   10   11   12A   12B   12C   13A   13B   13C   14A   14B   14C   15   16A   16B   16C   17A   17B   18   19   20  

明 細 書

発明の名称 : 画像生成装置及び操作支援システム

技術分野

[0001]
 本発明は、被操作体に取り付けられた撮像手段が撮像して得られた複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。

背景技術

[0002]
 カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている(例えば、特許文献1参照)。
[0003]
 特許文献1に開示された画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影する。画像生成装置は、その空間モデルに投影された画像を用いて、視点変換画像を生成し、生成した視点変換画像を運転者に対して表示する。視点変換画像とは、路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を映し出す水平画像とを組み合わせた画像である。これにより、画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けることができる。

先行技術文献

特許文献

[0004]
特許文献1 : 特許第3286306号明細書

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1に開示された画像生成装置は、カメラが撮像した路面上の特徴点に基づいて空間モデルを作成し、車両とその特徴点との間の位置関係の変化に応じてその空間モデルを修正する。この画像形成装置では、空間モデルを作成したり修正したりする際には、複数のカメラの設置位置や光軸方向は考慮されておらず、複数のカメラの設置位置や光軸方向に適した空間モデルを用いた出力画像を生成することができない。
[0006]
 そこで、本発明は、複数のカメラの設置位置や光軸方向に適した空間モデルを用いて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することを目的とする。

課題を解決するための手段

[0007]
 上述の目的を達成するために、本発明の一実施態様によれば、被操作体に取り付けられた光軸方向が異なる少なくとも三つの撮像部が撮像して得られた少なくとも三つの入力画像に基づいて出力画像を生成する画像生成装置であって、該被操作体を取り囲むように配置される柱状の空間モデルにおける座標と、該少なくとも三つの入力画像のそれぞれが位置する少なくとも三つの入力画像平面における座標とを対応付ける座標対応付け部と、該柱状の空間モデルにおける座標を介して、該少なくとも三つの入力画像平面における座標の値と該出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成部と、を備え、該柱状の空間モデルは、それぞれが規準軸を有する複数の空間モデル部分の組み合わせであり、該柱状の空間モデルは、該少なくとも三つの撮像部のうちの隣り合う一対の撮像部に対応し、該一対の撮像部のそれぞれの光軸は、対応する該空間モデル部分の該基準軸と交差する、ことを特徴とする画像生成装置が提供される。
[0008]
 本発明の他の実施態様によれば、被操作体に取り付けられた光軸方向が異なる少なくとも三つの撮像部が撮像した少なくとも三つの入力画像に基づいて出力画像を生成する画像生成装置であって、該被操作体を取り囲むように配置される柱状の空間モデルにおける座標と、該少なくとも三つの入力画像のそれぞれが位置する少なくとも三つの入力画像平面における座標とを対応付ける座標対応付け部と、該柱状の空間モデルにおける座標を介して、該少なくとも三つの入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成部と、を備え、該柱状の空間モデルは、それぞれが規準軸を有する複数の空間モデル部分の組み合わせであり、該複数の空間モデル部分のそれぞれは、該少なくとも三つの撮像部のうちの隣り合う一対の撮像部に対応し、該一対の撮像部のそれぞれの光学中心から対応する該空間モデル部分の該基準軸に下ろした垂線は互いに垂直である、ことを特徴とする画像生成装置が提供される。
[0009]
 本発明の更に他の実施態様によれば、被操作体の移動又は操作を支援する操作支援システムであって、上述の画像生成装置と、該画像生成装置が生成する出力画像を表示する表示部とを備えることを特徴とする操作支援システムが提供される。

発明の効果

[0010]
 本発明によれば、複数のカメラの設置位置や光軸方向に適した空間モデルを用いて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムを提供することができる。

図面の簡単な説明

[0011]
[図1] 本発明の一実施例による画像生成装置の概略構成を示すブロック図である。
[図2] 画像生成装置が搭載されるショベルの側面図である。
[図3A] 入力画像が投影される空間モデルの側面図である。
[図3B] 図3Aに示す空間モデルの平面図である。
[図4] 空間モデルと処理対象画像平面との間の関係を示す斜視図である。
[図5] 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
[図6A] 通常射影を採用したカメラの入力画像平面上の座標と空間モデルMD上の座標との間の対応関係を示す図である。
[図6B] 空間モデルMDの曲面領域上の座標と処理対象画像平面上の座標との間の対応関係を示す図である。
[図6C] 処理対象画像平面上の座標と、通常射影を採用する仮想カメラの出力画像平面上の座標との間の対応関係を示す図である。
[図6D] カメラ、仮想カメラ、空間モデルMDの平面領域及び曲面領域、並びに、処理対象画像平面の相互の位置関係を示す図である。
[図7A] XZ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成される状態を示す図である。
[図7B] XZ平面上に位置する平行線群と処理対象画像平面との間で角度β1が形成される状態を示す図である。
[図8A] XZ平面上に位置する補助線群の全てがZ軸上の始点から処理対象画像平面に向かって延在する状態を示す図である。
[図8B] 補助線群の全てがZ軸上の始点から処理対象画像平面に向かって延在する状態を示す図である。
[図9A] XZ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成された状態を示す図である。
[図9B] XZ平面上に位置する平行線群と処理対象画像平面との間で角度β2が形成された状態を示す図である。
[図10] XZ平面上に位置する平行線群と処理対象画像平面との間で角度βが形成された状態を示す図である。
[図11] 処理対象画像生成処理及び出力画像生成処理のフローチャートである。
[図12A] 一つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。
[図12B] 一つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。
[図12C] 一つの棒状の物体が存在する場合において生成された処理対象画像を説明するための平面図である。
[図13A] 二つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。
[図13B] 二つの棒状の物体が存在する場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。
[図13C] 二つの棒状の物体が存在する場合において生成された処理対象画像を説明するための平面図である。
[図14A] 二つの棒状の物体が存在する他の場合において、カメラと空間モデルとの間の位置関係を説明するための平面図である。
[図14B] 二つの棒状の物体が存在する他の場合において、カメラと空間モデルとの間の位置関係を説明するための斜視図である。
[図14C] 二つの棒状の物体が存在する他の場合において生成された処理対象画像を説明するための平面図である。
[図15] 出力画像の表示例を示す図である。
[図16A] ショベルを上方から見たときの三台のカメラと空間モデルMDとの間の位置関係を示す図である。
[図16B] 空間モデルMDを斜め上方から見たときの三台のカメラと空間モデルMDとの間の位置関係を示す図である。
[図16C] 図16A,16Bに示されるように設置された三台のカメラが撮像した入力画像に基づいて画像生成装置が生成する処理対象画像を示す図である。
[図17A] ショベルを上方から見たときの三台のカメラと空間モデルMDとの間の位置関係を示す図である。
[図17B] 図17Aに示されるように配置された三台のカメラが撮像した入力画像に基づいて画像生成装置が生成する処理対象画像を示す図である。
[図18] 図17A,17Bにおける左側方カメラの光軸をショベルの前方に僅かに傾けた場合に画像生成装置が生成する処理対象画像を示す図である。
[図19] ショベルを上方から見たときの四台のカメラと空間モデルとの間の位置関係を示す図である。
[図20] ショベルを上方から見たときの四台のカメラと空間モデルとの間の位置関係を示す図である。

発明を実施するための形態

[0012]
 以下、図面を参照しながら、本発明の実施形態について説明する。
[0013]
 図1は、本発明の一実施形態による画像生成装置の概略構成を概略的示すブロック図である。
[0014]
 一実施形態による画像生成装置100は、例えば、建設機械に搭載されたカメラ2が撮影した入力画像に基づいて主鶴尾句画像を生成し、その出力画像を運転者に提示する。図1に示すように、画像生成装置100は、制御部1、カメラ2、入力部3、記憶部4、及び表示部5を含む。
[0015]
 図2は、画像生成装置100が搭載されるショベル60の側面図である。ショベル60は、クローラ式の下部走行体61、旋回機構62、及び、上部旋回体63を有する。上部旋回体63は、下部走行体61の上に旋回機構62を介して、旋回軸PVの周りで旋回自在に搭載されている。
[0016]
 上部旋回体63の前方左側部にキャブ(運転室)64が設けられ、前方中央部には、掘削アタッチメントEが設けられる。上部旋回体63の右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)が設けられる。キャブ64内の運転者が視認し易い位置には表示部5が設置されている。
[0017]
 次に、画像生成装置100の各構成要素について説明する。
[0018]
 制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータを含む。例えば、後述する座標対応付け部10及び出力画像生成部11のそれぞれに対応するプログラムがROMやNVRAMに格納される。CPUは、一時記憶領域としてRAMを利用しながら、各手段に対応するプログラムを実行して処理を行なう。
[0019]
 カメラ2は、ショベル60の周辺を映し出す入力画像を取得するための装置であり、右側方カメラ2R及び後方カメラ2Bを含む。右側方カメラ2R及び後方カメラ2Bは、例えば、キャブ64にいる運転者の死角となる領域を撮影できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照)。右側方カメラ2R及び後方カメラ2Bの各々は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えている。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
[0020]
 カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力する。ただし、カメラ2は、取得した入力画像を補正せずに、そのまま制御部1に対して出力してもよい。その場合には、制御部1が見掛け上の歪曲やアオリを補正する。
[0021]
 入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等を含む。
[0022]
 記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等を含む。
[0023]
 表示部5は、画像情報を表示するための装置であり、例えば、建設機械のキャブ64(図2参照)内に設置された液晶ディスプレイ又はプロジェクタを含むである。表示部5は、制御部1が出力する各種画像を表示する。
[0024]
 また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示してもよい。
[0025]
 「処理対象画像」は、入力画像に基づいて生成される画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理)の対象となる画像である。例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合がある。そのような場合には、その水平方向の画像が不自然に表示されないように(例えば、空の部分が地表にあるものとして扱われないように)、その入力画像を所定の空間モデルに投影する。そして、空間モデルに投影された投影画像を別の二次元平面に再投影することによって画像変換処理に適した画像を得ることができる。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
[0026]
 「空間モデル」は、入力画像の投影対象であり、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面)を含む。
[0027]
 なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成してもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
[0028]
 図3A,3Bは、入力画像が投影される空間モデルMDの一例を示す図である。図3Aは、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3Bは、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
[0029]
 図3A、3Bに示されるように、空間モデルMDは半円筒形状を有する。半円筒形状の底面内部は平面領域R1含み、側面内部は曲面領域R2を含む。
[0030]
 図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図である。図4において、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4では明確化のために、空間モデルMDを、図3で示すような半円筒形状とは異なり、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよい。これは、以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
[0031]
 次に、制御部1が有する座標対応付け部10及び出力画像生成部11について説明する。
[0032]
 座標対応付け部10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標(入力座標と称することもある)と、空間モデルMD上の座標(空間座標と称することもある)と、処理対象画像平面R3上の座標(投影座標と称することもある)とを対応付けるために設けられている。例えば、予め設定された、或いは、入力部3を介して入力される、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。それらの対応関係は、記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に格納される。
[0033]
 なお、座標対応付け部10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への格納を省略する。
[0034]
 出力画像生成部11は、出力画像を生成するための手段である。出力画像生成部11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。対応関係は記憶部4の処理対象画像・出力画像対応マップ42に格納される。出力画像生成部11は、座標対応付け部10に格納された入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
[0035]
 また、出力画像生成部11は、予め設定された、或いは、入力部3を介して入力される、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。対応関係は記憶部4の処理対象画像・出力画像対応マップ42に記憶される。そして、出力画像生成部11は、座標対応付け部10に格納された入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
[0036]
 なお、出力画像生成部11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
[0037]
 また、出力画像生成部11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、出力画像生成部11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への格納を省略する。
[0038]
 次に、座標対応付け部10及び出力画像生成部11により行なわれる処理の一例について説明する。
[0039]
 座標対応付け部10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の入力座標と空間モデル上の空間座標とを対応付けることができる。
[0040]
 図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表される。
[0041]
 最初に、座標対応付け部10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するため、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を-W軸にそれぞれ一致させるようXYZ座標系を回転させる。ここで、符号「-」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を-Z方向としていることに起因する。
[0042]
 カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有する。これにより、座標対応付け部10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
[0043]
 上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が-W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。したがって、座標対応付け部10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏める。
[0044]
 ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。回転させる角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは以下のように表される。
[0045]
[数1]


 また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から以下のように表される。
[0046]
[数2]


 なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、以下の条件を満たす超複素数である。
[0047]
[数3]


 本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、以下のように表される。
[0048]
[数4]


 したがって、四元数Qの共役四元数は、以下のように表される。
[0049]
[数5]


 四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することがでる。また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
[0050]
 更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することがでる。例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
[0051]
[数6]


 ここで、本実施例において、Z軸を-W軸に一致させる回転を表す四元数をQ とすると、XYZ座標系におけるX軸上の点Xは、点X’に移動させられる。したがって、点X’は以下のように表される。
[0052]
[数7]


 また、本実施例において、X軸上にある点X’と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQ とすると、「Z軸を-W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、以下のように表される。
[0053]
[数8]


 以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P’は、以下のように表される。
[0054]
[数9]


 四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け部10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
[0055]
 空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け部10は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P’とを結ぶ線分CP’と、カメラ2の光軸Gとが形成する入射角αを算出する。
[0056]
 また、座標対応付け部10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P’を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P’とを結ぶ線分EP’と、平面HにおけるU’軸とが形成する偏角φ、及び線分EP’の長さを算出する。
[0057]
 カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。したがって、座標対応付け部10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
[0058]
 その後、座標対応付け部10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部10は、空間モデルMD上の座標P(P’)と入力画像平面R4上の座標とを対応付けることができる。
[0059]
 なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをa とし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをa とすると、空間モデルMD上の座標P(P’)に対応する入力画像平面R4上の座標(u,v)は、以下のように表される。
[0060]
[数10]


[0061]
[数11]


 このようにして、座標対応付け部10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、且つ、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて、対応関連を入力画像・空間モデル対応マップ40に格納する。
[0062]
 座標対応付け部10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を提供する。しかしながら、座標対応付け部10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
[0063]
 複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け部10は、空間モデルMD上の座標P(P’)を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、あるいは、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
[0064]
 次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
[0065]
 図6A,6Bは、座標対応付け部10による座標間の対応付けを説明するための図である。図6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け部10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
[0066]
 図6Aに示す例では、座標対応付け部10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1-L1及び線分K2-L2は共にカメラ2の光学中心Cを通過する。
[0067]
 なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等)を採用した場合、座標対応付け部10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
[0068]
 具体的には、座標対応付け部10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1-L1及び線分K2-L2がカメラ2の光学中心Cを通過することはない。
[0069]
 図6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け部10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入し、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
[0070]
 図6Bに示す例では、座標対応付け部10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。
[0071]
 座標対応付け部10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることができる。ただし、図6Bに示す例では、平面領域R1と処理対象画像平面R3とが共通の平面となっているので、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。
[0072]
 このようにして、座標対応付け部10は、空間モデルMD上の空間座標と、処理対象画像平面R3上の投影座標とを対応付け、且つ、空間モデルMD上の座標及び処理対象画像R3上の座標を関連付けて、空間モデル・処理対象画像対応マップ41に格納する。
[0073]
 図6Cは、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。出力画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するように、両座標を対応付ける。
[0074]
 図6Cに示す例では、出力画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、且つ、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1-N1及び線分M2-N2は共に仮想カメラ2Vの光学中心CVを通過する。
[0075]
 仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用している場合、出力画像生成部11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
[0076]
 具体的には、出力画像生成部11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1-N1及び線分M2-N2が仮想カメラ2Vの光学中心CVを通過することはない。
[0077]
 このようにして、出力画像生成部11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、且つ、出力画像平面R5上の座標及び処理対象画像R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に格納する。そして、出力画像生成部11は、座標対応付け部10に格納された入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
[0078]
 なお、図6Dは、図6A~図6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
[0079]
 次に、図7A,7Bを参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの作用について説明する。
[0080]
 図7Aは、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。図7Bは、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。図7A及び図7Bにおける空間モデルMDの曲面領域R2上の座標La~Ldは、処理対象画像平面R3上の座標Ma~Mdにそれぞれ対応する。図7Aにおける座標La~Ldの間隔は、図7Bにおける座標La~Ldの間隔にそれぞれ等しい。なお、説明を簡単にするために平行線群PLはXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。
[0081]
 図7A及び図7Bに示されるように、処理対象画像平面R3上の座標Ma~Mdの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、座標Ma~Mdの間隔は、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方、図7A,7Bに示す例では処理対象画像平面R3上の座標群への変換が行われないので、空間モデルMDの平面領域R1上の座標群の間隔は変化しない。
[0082]
 これら座標群の間隔の変化は、出力画像平面R5(図6C参照)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
[0083]
 次に、図8A,8Bを参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの代替例について説明する。
[0084]
 図8Aは、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。図8Bは、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。図8A及び図8Bにおける空間モデルMDの曲面領域R2上の座標La~Ldは、処理対象画像平面R3上の座標Ma~Mdにそれぞれ対応する。図8Aに示す例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。図8Aにおける座標La~Ldの間隔は、図8Bにおける座標La~Ldの間隔にそれぞれ等しいものとする。なお、補助線群ALは、説明を便宜上目的のためにXZ平面上に存在しているとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に在している。なお、図7A,7Bに示す例と同様に、この場合のZ軸を「再投影軸」と称する。
[0085]
 図8A及び図8Bに示されるように、処理対象画像平面R3上の座標Ma~Mdの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方、図8A,8Bに示す例では処理対象画像平面R3上の座標群への変換が行われないので、空間モデルMDの平面領域R1上の座標群の間隔は変化しない。
[0086]
 これら座標群の間隔の変化は、平行線群PLのときと同様に、出力画像平面R5(図6C参照)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
[0087]
 このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像)を線形的に或いは非線形的に拡大或いは縮小させることができる。これにより、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
[0088]
 次に、図9A,9B及び図10を参照しながら、空間モデルMDに投影された画像から直接的に出力画像を生成する場合と、空間モデルMDに投影された画像を処理対象画像に再投影しその再投影された処理対象画像から出力画像を生成する場合との違いについて説明する。
[0089]
 図9Aは、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図9Bは、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β2(β2<β)が形成される場合の図である。図9Aにおける空間モデルMDの平面領域R1及び曲面領域R2、処理対象画像平面R3、並びに、通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5及び光学中心CVの位置と、図9Bのそれぞれとは、共通するものとする。
[0090]
 図9A及び図9Bにおいて、平面領域R1を含む処理対象画像平面R3上の座標M1は、出力画像平面R5上の座標N1に対応し、曲面領域R2上の座標L2は、処理対象画像平面R3上の座標M2、及び出力画像平面R5上の座標N2に対応する。距離D1(D3)は、出力画像平面R5の中心点(仮想カメラ2Vの光軸GVとの交点)と座標N1との間のX軸上の距離を示す。距離D2(D4)は、出力画像平面R5の中心点と座標N2との間のX軸上の距離を示す。
[0091]
 図9A及び図9Bに示されるように、平行線群PLと処理対象画像平面R3との間の角度がβのときの距離D2(図9A参照)は、その角度が減少するにつれて増大し、その角度がβ2のときに距離D4(図9B参照)となる。その角度がβのときの距離D1(図9A参照)は、その角度の変化にかかわらず一定であり、その角度がβ2のときの距離D3(図9B参照)に等しい。
[0092]
 このように距離D2が距離D4に変化すること、及び、距離D1(D3)が不変であることは、図7A,7B及び図8A,8Bを用いて説明した作用と同様に、出力画像平面R5上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分(例えば、水平画像である。)のみが拡大或いは縮小されることを意味する。
[0093]
 なお、空間モデルMDに投影された画像に基づいて直接的に出力画像を生成した場合には、空間モデルMDの平面領域R1と曲面領域R2とを別々に取り扱うことができないため(別々に拡大縮小処理の対象とすることができないため)、曲面領域R2に投影された画像に対応する出力画像平面R5上の画像部分のみを拡大或いは縮小することはできない。
[0094]
 図10は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。図10は、通常射影(h=ftanα)を採用する仮想カメラ2Vの光学中心CVを空間モデルMDの外側に移動させたときの状態(光学中心CVのX座標の値を平面領域R1の半径よりも大きくした状態)を示す。
[0095]
 図10に示されるように、出力画像生成部11は、処理対象画像平面R3(平面領域R1)上の座標M1と出力画像平面R5上の座標N1とを、線分M1-N1が光学中心CVを通るように対応付け、且つ、曲面領域R2上の座標L2に対応する処理対象画像平面R3上の座標M2と出力画像平面R5上の座標N2とを、線分M2-N2が光学中心CVを通るように対応付ける。これにより、空間モデルMDの曲面領域R2に投影された画像から直接的に出力画像を生成する場合のように、円筒の側壁外面を見ることとなって適切な出力画像を生成できないという問題(空間モデルMD上の座標と出力画像平面R5上の座標とを対応付けることができないという問題)が引き起こされず、適切な出力画像を生成することができる。
[0096]
 なお、図9A,9B及び図10を参照しながら、通常射影を採用する仮想カメラ2Vに関して説明したが、通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用した仮想カメラ2Vについても同様である。その場合、出力画像生成部11は、処理対象画像平面R3(平面領域R1)上の座標M1と出力画像平面R5上の座標N1とを、線分M1-N1が光学中心CVを通るように(関数h=ftanαに従って)対応付ける代わりに、それぞれの射影方式に対応する関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に従って出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1-N1は仮想カメラ2Vの光学中心CVを通過しない。
[0097]
 次に、図11を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。図11は、処理対象画像生成処理(ステップS1~ステップS3)及び出力画像生成処理(ステップS4~ステップS6)のフローチャートである。カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されているものとする。
[0098]
 最初に、制御部1は、座標対応付け部10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
[0099]
 具体的には、座標対応付け部10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出す。そして、座標対応付け部10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に格納する。平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め格納された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
[0100]
 処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、座標対応付け部10は、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に格納する。
[0101]
 その後、制御部1は、座標対応付け部10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
[0102]
 具体的には、座標対応付け部10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け部10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に格納する。
[0103]
 その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。未だ全ての座標を対応付けていないと判定された場合には(ステップS3のNO)、ステップS1及びステップS2の処理が繰り返される。
[0104]
 一方、制御部1は、全ての座標を対応付けたと判定された場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。これにより、出力画像生成部11は、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
[0105]
 具体的には、出力画像生成部11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、出力画像生成部11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を、処理対象画像・出力画像対応マップ42に格納する。
[0106]
 或いは、仮想カメラ2Vを用いて出力画像を生成する場合には、出力画像生成部11は、採用した射影方式に応じて対象処理画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に格納することとしてもよい。
[0107]
 或いは、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、出力画像生成部11は、その仮想カメラ2Vの光学中心CVの座標を取得した上で、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出してもよい。そして、出力画像生成部11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に格納してもよい。
[0108]
 その後、制御部1は、出力画像生成部11により、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿り、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得する。そして、制御部1は、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、出力画像生成部11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用するようにしてもよい。
[0109]
 その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。未だ全ての座標の値を対応付けていないと判定された場合には(ステップS6のNO)、ステップS4及びステップS5の処理が繰り返される。
[0110]
 一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
[0111]
 なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップS4の“処理対象画像平面上の座標”を“空間モデル上の座標”と読み替える。
[0112]
 以上の構成により、画像生成装置100は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
[0113]
 画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行することにより、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることがでる。したがって、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。なお、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合がある。そのような場合には、それら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
[0114]
 また、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、画像生成装置100は、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
[0115]
 また、出力画像の見え方を変更する場合には、画像生成装置100は、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
[0116]
 同様に、出力画像の視点を変更する場合には、画像生成装置100は、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
[0117]
 次に、図12A~図14Cを参照しながら、カメラ2(右側方カメラ2R、後方カメラ2B)と空間モデルMDとの間の位置関係について説明する。
[0118]
 図12Aは、図3Bと同様に、ショベル60を上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図である。図12Bは、図4と同様に、空間モデルMDを斜め上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図である。図12Cは、画像生成装置100が生成する処理対象画像を示す図である。
[0119]
 図12Bで最良に示されるように、円筒状の空間モデルMDの円筒中心軸は、再投影軸及びショベル60の旋回軸PV(Z軸)に一致し、Y軸上には、Z軸方向に平行に延びる棒状の物体OBJが存在する。
[0120]
 図12Bにおいて、後方カメラ2Bの光軸G1及び右側方カメラ2Rの光軸G2はそれぞれ、空間モデルMDの平面領域R1及び処理対象画像平面R3が位置する平面(XY平面)と交差する。また、光軸G1と光軸G2とは、円筒中心軸(再投影軸)上の点J1で交差する。なお、光軸G1と光軸G2とは、XY平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸(再投影軸)上の点で交差するものであれば、ねじれの位置の関係にあってもよい。
[0121]
 後方カメラ2Bの光学中心から円筒中心軸(再投影軸)に下ろした垂線は、右側方カメラ2Rの光学中心から円筒中心軸(再投影軸)に下ろした垂線と互いに垂直な関係にある。なお、本実施例では、それら二つの垂線は、平面領域R1及び処理対象画像平面R3が位置する平面と平行な一平面上に存在しながら点J2で直交しているが、二つの垂線はそれぞれ別の平面上に位置し、ねじれの位置の関係にあるものであってもよい。
[0122]
 図12A及び図12Bに示されたカメラ2と空間モデルMDとの間の位置関係により、画像生成装置100は、図12Cに示されるように処理対象画像を生成することができる。すなわち、図12Cでは、Y軸上においてZ軸方向に平行に延びる棒状の物体OBJが、平面領域R1に投影された画像に対応する路面画像部分でY軸方向に平行な方向(右側方カメラ2Rの光学中心と物体OBJ上の点とを通る直線の方向)に延在する。また、図12Cでは、棒状の物体OBJは、曲面領域R2に投影された画像に対応する水平画像部分で同じくY軸方向に平行な方向(再投影軸上の点(平行線群PL又は補助線群ALの始点)と物体OBJ上の点とを通る直線の方向)に延在する。言い換えれば、物体OBJは、路面画像部分と水平画像部分との間の境界で折れ曲がらず、直線状に延在する。
[0123]
 図13A~13Cは、それぞれ図12A~12Cと同様の図である。図13A~13Cに示す例では、円筒状の空間モデルMDの円筒中心軸は、再投影軸及びショベル60の旋回軸PV(Z軸)に一致し、Y軸上には、Z軸方向に平行に延びる棒状の物体OBJが存在する。更に、右側方カメラ2Rの光軸G2の方向にも、XY平面からZ軸方向に平行に延びる棒状の物体OBJ1が存在する。
[0124]
 図13Bにおいて、後方カメラ2Bの光軸G1及び右側方カメラ2Rの光軸G2はそれぞれ、図12Bに示す位置関係と同様、空間モデルMDの平面領域R1及び処理対象画像平面R3が位置する平面(XY平面)と交差する。また、光軸G1と光軸G2とは、円筒中心軸(再投影軸)上の点J1で交差する。なお、XY平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸(再投影軸)上の点で交差するものであれば、光軸G1と光軸G2とはねじれの位置の関係にあってもよい。
[0125]
 一方、後方カメラ2Bの光学中心から円筒中心軸(再投影軸)に下ろした垂線は、右側方カメラ2Rの光学中心から円筒中心軸(再投影軸)に下ろした垂線と互いに垂直な関係とはならない。後方カメラ2Bの光学中心から円筒中心軸(再投影軸)に下ろした垂線は、右側方カメラ2Rの光学中心からその垂線に下ろした垂線と円筒中心軸(再投影軸)上にない点J2で直交する。本実施例では、後方カメラ2B及び右側方カメラ2Rの光学中心は、平面領域R1及び処理対象画像平面R3が位置する平面と平行な一平面上に存在している。ただし、後方カメラ2B及び右側方カメラ2Rの光学中心は、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。
[0126]
 図13A及び図13Bに示されたカメラ2と空間モデルMDとの間の位置関係により、画像生成装置100は、図13Cに示されるように、処理対象画像を生成する。図13Cでは、Y軸上においてZ軸方向に平行に延びる棒状の物体OBJは、平面領域R1に投影された画像に対応する路面画像部分でY軸方向から僅かに離れる方向(右側方カメラ2Rの光学中心と物体OBJ上の点とを通る直線の方向)に延在する。また、棒状の物体OBJは、曲面領域R2に投影された画像に対応する水平画像部分でY軸方向に平行な方向(再投影軸上の点(平行線群PL又は補助線群ALの始点)と物体OBJ上の点とを通る直線の方向)に延在する。言い換えれば、物体OBJは、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がっている。
[0127]
 一方、図13Cに示されるように、右側方カメラ2Rの光軸G2の方向にあるZ軸方向に平行に延びる棒状の物体OBJ1は、平面領域R1に投影された画像に対応する路面画像部分で光軸G2方向に平行な方向(右側方カメラ2Rの光学中心と物体OBJ上の点とを通る直線の方向)に延在する。また、棒状の物体OBJ1は、曲面領域R2に投影された画像に対応する水平画像部分で同じく光軸G2方向に平行な方向(再投影軸上の点(平行線群PL又は補助線群ALの始点)と物体OBJ1上の点とを通る直線の方向)に延在する。言い換えれば、物体OBJ1は、路面画像部分と水平画像部分との間の境界で折れ曲がることなく、直線状に延在する。
[0128]
 図14A~14Cは、それぞれ図12A~12Cと同様の図である。図14A~14Cに示す例では、円筒状の空間モデルMDの円筒中心軸は、再投影軸及びショベル60の旋回軸PV(Z軸)に一致し、Y軸上には、Z軸方向に平行に延びる棒状の物体OBJが存在する。更に、右側方カメラ2Rの光軸G2の方向にも、XY平面からZ軸方向に平行に延びる棒状の物体OBJ2が存在する。
[0129]
 図14Bにおいて、後方カメラ2Bの光軸G1及び右側方カメラ2Rの光軸G2はそれぞれ、図12Bに示す位置関係と同様、空間モデルMDの平面領域R1及び処理対象画像平面R3が位置する平面(XY平面)と交差する。また、後方カメラ2Bの光学中心から円筒中心軸(再投影軸)に下ろした垂線は、右側方カメラ2Rの光学中心から円筒中心軸(再投影軸)に下ろした垂線と互いに垂直な関係である。本実施例では、後方カメラ2B及び右側方カメラ2Rの光学中心は、平面領域R1及び処理対象画像平面R3が位置する平面と平行な一平面上に存在する。ただし、後方カメラ2B及び右側方カメラ2Rの光学中心はそれぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。
[0130]
 一方、光軸G1と光軸G2とは、円筒中心軸(再投影軸)上で交差することなく、円筒中心軸(再投影軸)上にない点J1で交差する。なお、XY平面に平行な一平面に投影されたときの成分のそれぞれが円筒中心軸(再投影軸)上にない点で交差するものであれば、光軸G1と光軸G2とはねじれの位置の関係にあってもよい。
[0131]
 図14A及び図14Bで示されたカメラ2と空間モデルMDとの間の位置関係により、画像生成装置100は、図14(C)に示されるように処理対象画像を生成する。図14Cでは、右側方カメラ2Rの光軸G2の方向にあるZ軸方向に平行に延びる棒状の物体OBJ2が、平面領域R1に投影された画像に対応する路面画像部分で光軸G2方向に平行な方向(右側方カメラ2Rの光学中心と物体OBJ上の点とを通る直線の方向)に延在する。また、棒状の物体OBJ2は、曲面領域R2に投影された画像に対応する水平画像部分でY軸方向にほぼ平行な方向(再投影軸上の点(平行線群PL又は補助線群ALの始点)と物体OBJ2上の点とを通る直線の方向)に延在する。言い換えれば、物体OBJ2は、路面画像部分と水平画像部分との間の境界で僅かに折れ曲がっている。
[0132]
 一方、図14Cに示されるように、Y軸上においてZ軸方向に平行に延びる棒状の物体OBJは、平面領域R1に投影された画像に対応する路面画像部分でY軸方向に平行な方向(右側方カメラ2Rの光学中心と物体OBJ上の点とを通る直線の方向)に延在する。また、棒状の物体OBJは、曲面領域R2に投影された画像に対応する水平画像部分で同じくY軸方向に平行な方向(再投影軸上の点(平行線群PL又は補助線群ALの始点)と物体OBJ上の点とを通る直線の方向)に延在する。言い換えれば、物体OBJは、路面画像部分と水平画像部分との間の境界で折れ曲がることなく、直線状に延在する。
[0133]
 以上のように、画像生成装置100は、空間モデルMDの円筒中心軸(再投影軸)とカメラの光軸とを交差させるようにして空間モデルMDを配置することによって、カメラの光軸方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが一台のみの場合にもカメラが三台以上の場合にも得ることができる。
[0134]
 また、画像生成装置100は、後方カメラ2B及び右側方カメラ2Rの光学中心のそれぞれから空間モデルMDの円筒中心軸(再投影軸)に下ろした垂線のそれぞれが互いに垂直となるようにして空間モデルMDを配置することによって、ショベル60の右真横及び真後ろにある物体が路面画像部分と水平画像部分との間の境界で折れ曲がることがないように、処理対象画像を生成することができる。なお、この利点は、カメラが三台以上の場合にも得ることができる。
[0135]
 なお、図12A~図14Cに示されるカメラ2(右側方カメラ2R、後方カメラ2B)と空間モデルMDとの間の位置関係及び作用効果は、画像生成装置100が処理対象画像を生成する場合に対応するものであるが、画像生成装置100が処理対象画像を生成しない場合(処理対象画像平面R3が存在しない場合)にも同様な作用効果を得ることができる。この場合、図12C、図13C、及び図14Cに示す処理対象画像は、空間モデルMDに投影された画像を用いて生成される出力画像で読み替えられる。
[0136]
 図15は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。画像生成装置100は、入力画像の一部を空間モデルMDの平面領域R1に投影し、且つ、入力画像の別の一部を空間モデルMDの曲面領域R2に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。画像生成装置100は、生成した処理対象画像に基づいて、平面領域R1に投影された画像に対応する、ショベル60の近傍を上空から見下ろす画像と、曲面領域R2に投影された画像に対応する、すなわち、処理対象画像平面R3に再投影された画像に対応する、ショベル60から水平方向に周辺を見た画像とを組み合わせて表示する。
[0137]
 なお、画像生成装置100が処理対象画像を生成しない場合には、出力画像は、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理)を施すことによって生成される。
[0138]
 出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされる。すなわち、出力画像は、円の中心CTRが空間モデルMDの円筒中心軸上にあり、且つ、ショベル60の旋回軸PV上となるように生成されており、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
[0139]
 空間モデルMDの半径は、例えば、5メートルである。平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートル)だけ離れた位置に物体(例えば、作業員)が存在する場合に、その物体が表示部5で十分大きく(例えば、7ミリメートル以上)表示されるように、設定することができる。
[0140]
 更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置するようにしてもよい。これは、ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
[0141]
 この状態において、画像生成装置100は、図9A,9Bに示されるように、平面領域R1に投影された画像に対応する出力画像における画像部分に影響を与えることなく、曲面領域R2に投影され更に処理対象画像平面R3に再投影された画像に対応する出力画像における画像部分のみを拡大或いは縮小することができる。また、図10に示されるように、曲面領域R2に投影され更に処理対象画像平面R3に再投影された画像に対応する出力画像における画像部分を真上から見下ろすべく、その画像部分を表示部5の画面領域における任意の位置(例えば、中央)に移動させることもできる。
[0142]
 次に、図16A~図18を参照しながら、三台のカメラ2(左側方カメラ2L、右側方カメラ2R、後方カメラ2B)が設置される場合における、三台のカメラ2と空間モデルMDとの間の位置関係について説明する。
[0143]
 図16Aは、ショベル60を上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図であり、図16Bは、空間モデルMDを斜め上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図である。図16Cは、図16A及び図16Bに示されるように設置された三台のカメラが撮像した入力画像に基づいて画像生成装置100が生成する処理対象画像を示す図である。
[0144]
 図16Bに最良に示されるように、円筒状の空間モデルMDの円筒中心軸は、再投影軸及びショベル60の旋回軸PV(Z軸)に一致している。ショベル60の周囲には、路面からZ軸方向に平行に延びる五本の棒状の物体OBJ3~7が存在する。
[0145]
 図16Bにおいて、後方カメラ2Bの光軸G1、右側方カメラ2Rの光軸G2、及び左側方カメラ2Lの光軸G3はそれぞれ、空間モデルMDの平面領域R1及び処理対象画像平面R3が位置する平面(XY平面)と交差する。光軸G1~G3は、その円筒中心軸(再投影軸)上の点J1で交差する。光軸G1~G3は、XY平面に平行な一平面に投影されたときの成分のそれぞれがその円筒中心軸(再投影軸)上の点で交差するものであれば、ねじれの位置の関係にあってもよい。
[0146]
 後方カメラ2Bの光学中心からその円筒中心軸(再投影軸)に下ろした垂線、右側方カメラ2Rの光学中心からその円筒中心軸(再投影軸)に下ろした垂線、及び、左側方カメラ2Lの光学中心からその円筒中心軸(再投影軸)に下ろした垂線は、互いに垂直である。本実施例では、それら三つの垂線は、平面領域R1及び処理対象画像平面R3が位置する平面と平行な一平面上に存在しながら点J2で直交しているが、それぞれ別の平面上に位置し、互いの垂線がねじれの位置の関係にあるものであってもよい。
[0147]
 図16A及び図16Bに示されたカメラ2と空間モデルMDとの間の位置関係により、画像生成装置100は、光軸G1~G3のそれぞれの方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がらないように、処理対象画像を生成することができる。光軸G1~G3のそれぞれの方向にある物体は、空間モデルMDの円筒中心軸(再投影軸)とカメラ2の光学中心のそれぞれとを結ぶ垂線の方向にある物体であり、すなわち、ショベル60の右真横にある物体OBJ3、真後ろにある物体OBJ5、及び左真横にある物体OBJ7である。
[0148]
 光軸G1~G3のそれぞれがその円筒中心軸(再投影軸)上の点で交差する場合、上述の三つの垂線は、互いに垂直でなくてもよい。この場合であっても、画像生成装置100は、光軸G1~G3のそれぞれの方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がらないように、処理対象画像を生成することができる。
[0149]
 三つの垂線が互いに垂直な関係にある場合、光軸G1~G3のそれぞれは、円筒中心軸(再投影軸)上の点以外の点で交差するものであってもよい。この場合であっても、画像生成装置100は、その円筒中心軸(再投影軸)とカメラ2の光学中心のそれぞれとを結ぶ垂線の方向にある物体が路面画像部分と水平画像部分との間の境界で折れ曲がらないように、処理対象画像を生成することができる。
[0150]
 図17A,17Bは、三台のカメラ2(左側方カメラ2L、右側方カメラ2R、後方カメラ2B)と空間モデルMDとの間の別の位置関係を示す。図17Aは、ショベル60を上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図であり、図17Bは、図17Aに示されるように配置された三台のカメラが撮像した入力画像に基づいて画像生成装置100が生成する処理対象画像を示す図である。
[0151]
 図17Aに示す位置関係は、左側方カメラ2Lが右側方カメラ2Rよりも後方寄りに取り付けられている点で、図16Aに示す位置関係と異なる。ただし、図17Aに示す位置関係は、左側方カメラ2L及び右側方カメラ2Rがそれぞれ真横(-Y方向又は+Y方向)を向き、後方カメラ2Bが真後ろ(+X方向)を向いている点で、図16Aに示す位置関係と同じである。
[0152]
 図17A,17Bに示す例では、空間モデルMDは、後方カメラ2Bの入力画像と右側方カメラ2Rの入力画像とが投影される第一空間モデル部分MD1と、後方カメラ2Bの入力画像と左側方カメラ2Lの入力画像とが投影される第二空間モデル部分MD2との組み合わせとして形成される。
[0153]
 第一空間モデル部分MD1は、その第一円筒中心軸(第一再投影軸)上の点J1において、後方カメラ2Bの光軸G1と右側方カメラ2Rの光軸G2とが交差するよう配置される。或いは、第一空間モデル部分MD1は、その第一円筒中心軸(第一再投影軸)上の点J2において、後方カメラ2Bの光学中心からその第一円筒中心軸(第一再投影軸)に下ろした垂線と右側方カメラ2Rの光学中心からその第一円筒中心軸(第一再投影軸)に下ろした垂線とが直交するよう配置される。第一空間モデル部分MD1は、平面領域R1a及び曲面領域R2aを有する。図17A,17Bにおいて、曲面領域R2aは、点J1、J2を中心とする破線の円弧として表されている。
[0154]
 同様に、第二空間モデル部分MD2は、その第二円筒中心軸(第二再投影軸)上の点J3において、後方カメラ2Bの光軸G1と左側方カメラ2Lの光軸G3とが交差するよう配置さる。或いは、第二空間モデル部分MD2は、その第二円筒中心軸(第二再投影軸)上の点J4において、後方カメラ2Bの光学中心からその第二円筒中心軸(第二再投影軸)に下ろした垂線と左側方カメラ2Lの光学中心からその第二円筒中心軸(第二再投影軸)に下ろした垂線とが直交するよう配置される。第二空間モデル部分MD2は、平面領域R1b及び曲面領域R2bを有している。図17A,17Bにおいて、曲面領域R2bは、点J3、J4を中心とする実線の円弧として表されている。
[0155]
 空間モデルMDは、空間モデル部分MD1の曲面領域R2aを表す破線の円弧と第二空間モデル部分MD2の曲面領域R2bを表す実線の円弧とを、後方カメラ2Bの光軸G1上で滑らかに接続して組み合わせることによって形成される。
[0156]
 なお、第一空間モデル部分MD1に対応する処理対象画像平面R3a、及び、第二空間モデル部分MD2に対応する処理対象画像平面R3bは、上述の実施例と同様に設定される。処理対象画像平面R3a、R3bは、それぞれ、点J1、J2を中心とする円弧領域、及び、点J3、J4を中心とする円弧領域であってもよく、或いは、第一空間モデル部分MD1及び第二空間モデル部分MD2で共用される領域であってもよい。
[0157]
 図17Aに示されたカメラ2と空間モデルMDとの間の位置関係により、画像生成装置100は、図17Bで示されるように、右側方カメラ2Rの光軸G2の方向にある物体OBJ3、後方カメラ2Bの光軸G1の方向にある物体OBJ5、及び、左側方カメラ2Lの光軸G3の方向にある物体OBJ6が、路面画像部分と水平画像部分との間の境界で折れ曲がらないように、処理対象画像を生成することができる。
[0158]
 図18は、図17A,17Bにおける左側方カメラ2Lの光軸G3をショベル60の前方に僅かに傾けた場合に画像生成装置100が生成する処理対象画像を示す図である。第一空間モデル部分MD1は図17A,17Bに示すものと同じであるが、第二空間モデル部分MD2Aは図17A,17Bに示すものと異なる。
[0159]
 第二空間モデル部分MD2Aは、その第二円筒中心軸(第二再投影軸)上の点J3Aにおいて、後方カメラ2Bの光軸G1と左側方カメラ2Lの光軸G3Aとが交差するよう配置される。本実施例では、点J3Aは、後方カメラ2Bの設置位置と重なっている。第二空間モデル部分MD2Aは、平面領域R1c及び曲面領域R2cを有する。図18において、曲面領域R2cは、点J3Aを中心とする実線の円弧として表されている。
[0160]
 この場合においても、画像生成装置100は、図18に示されるように、右側方カメラ2Rの光軸G2の方向にある物体OBJ3、後方カメラ2Bの光軸G1の方向にある物体OBJ5、及び、左側方カメラ2Lの光軸G3Aの方向にある物体OBJ7が、路面画像部分と水平画像部分との間の境界で折れ曲がることなく、処理対象画像を生成することができる。
[0161]
 次に、図19及び図20を参照しながら、四台のカメラ2(左側方カメラ2L、右側方カメラ2R、第一後方カメラ2B-1、第二後方カメラ2B-2)が設置される場合におけるそれら四台のカメラ2と空間モデルMDとの間の位置関係について説明する。
[0162]
 図19及び図20は、ショベル60を上方から見たときのカメラ2と空間モデルMDとの間の位置関係を示す図である。図20に示す位置関係は、第二後方カメラ2B―2の光軸方向が異なること以外は、図19に示す位置関係と同じである。
[0163]
 四台のカメラ2が設置される場合、空間モデルMDは、第一空間モデル部分MD1と、第二空間モデル部分MD2と、第三空間モデル部分MD3とを組み合わせることで形成される。第一空間モデル部分MD1には、右側方カメラ2Rの入力画像と第二後方カメラ2B-2の入力画像とが投影される。第二空間モデル部分MD2には、第一後方カメラ2B-1の入力画像と第二後方カメラ2B-2の入力画像とが投影される。第三空間モデル部分MD3には、第一後方カメラ2B-1の入力画像と左側方カメラ2Lの入力画像とが投影される。
[0164]
 図19において、第一空間モデル部分MD1は、その第一円筒中心軸(第一再投影軸)上の点J5において、第二後方カメラ2B-2の光軸G5と右側方カメラ2Rの光軸G2とが交差するよう配置されている。第一空間モデル部分MD1は、平面領域R1d及び曲面領域R2dを有する。図19において、曲面領域R2dは、点J5を中心とする点線の円弧として表されている。
[0165]
 第二空間モデル部分MD2は、その第二円筒中心軸(第二再投影軸)上の点J6において、第一後方カメラ2B-1の光軸G4と第二後方カメラ2B-2の光軸G5とが交差するよう配置されている。第二空間モデル部分MD2は、平面領域R1e及び曲面領域R2eを有する。図19において、曲面領域R2eは、点J6を中心とする破線の円弧として表されている。
[0166]
 第三空間モデル部分MD3は、その第三円筒中心軸(第三再投影軸)上の点J7において、第一後方カメラ2B-1の光軸G4と左側方カメラ2Lの光軸G3とが交差するよう配置されている。第三空間モデル部分MD3は、平面領域R1f及び曲面領域R2fを有する。図19において、曲面領域R2fは、点J7を中心とする実線の円弧として表されている。
[0167]
 また、図20において、第一空間モデル部分MD1は、その第一円筒中心軸(第一再投影軸)上の点J5Aにおいて、第二後方カメラ2B-2の光軸G5Aと右側方カメラ2Rの光軸G2とが交差するよう配置されている。第一空間モデル部分MD1は、平面領域R1g及び曲面領域R2gを有する。図20において、曲面領域R2gは、点J5Aを中心とする点線の円弧として表されている。
[0168]
 第二空間モデル部分MD2は、その第二円筒中心軸(第二再投影軸)上の点J6Aにおいて、第一後方カメラ2B-1の光軸G4と第二後方カメラ2B-2の光軸G5Aとが交差するよう配置されている。第二空間モデル部分MD2は、平面領域R1h及び曲面領域R2hを有する。図20において、曲面領域R2hは、点J6Aを中心とする破線の円弧として表されている。
[0169]
 第三空間モデル部分MD3は、図19に示す例と同様に、その第三円筒中心軸(第三再投影軸)上の点J7において、第一後方カメラ2B-1の光軸G4と左側方カメラ2Lの光軸G3とが交差するよう配置されている。第三空間モデル部分MD3は、平面領域R1f及び曲面領域R2fを有し、その曲面領域R2fの上面視が、点J7を中心とする実線の円弧として表されている。
[0170]
 以上のように、図19及び図20において、空間モデルMDは、第一空間モデル部分MD1と第二空間モデル部分MD2と第三空間モデル部分MD3とを滑らかに接続するよう組み合わせることによって形成される。
[0171]
 なお、第一空間モデル部分MD1に対応する処理対象画像平面R3d(R3g)、第二空間モデル部分MD2に対応する処理対象画像平面R3e(R3h)、及び、第三空間モデル部分MD3に対応する処理対象画像平面R3fは、上述の実施例と同様に設定される。すなわち、処理対象画像平面R3d(R3g)、処理対象画像平面R3e(R3h)、及び処理対象画像平面R3fは、それぞれ、点J5を中心とする円弧領域、点J6を中心とする円弧領域、及び、点J7を中心とする円弧領域であってもよく、或いは、第一空間モデル部分MD1、第二空間モデル部分MD2、及び第三空間モデル部分MD3で共用される領域であってもよい。
[0172]
 以上の構成により、画像生成装置100は、三台以上のカメラが設置される場合であっても、それら三台以上のカメラの設置位置や光軸方向に適した空間モデルを用いて、違和感のない処理対象画像を生成することができる。
[0173]
 また、三台以上のカメラの設置位置や光軸方向に適した空間モデルを用いて生成される処理対象画像又は出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされる。そして、その円形の中心がショベル60の旋回軸PV上となるように生成され、ショベル60の旋回動作に応じてその中心を軸に回転するように表示される。
[0174]
 なお、図16A~図20に示されるカメラ2の撮像範囲と空間モデルMDとの間の位置関係による作用効果は、画像生成装置100が処理対象画像を生成する場合に得られるものであるが、画像生成装置100が処理対象画像を生成しない場合(処理対象画像平面が存在しない場合)にも得ることができる。この場合、図16C、図17B、及び図18の処理対象画像は、空間モデルMDに投影された画像を用いて生成される出力画像に相当する。
[0175]
 上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用しているが、画像生成装置100は、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよい。或いは、画像生成装置100は、側面のみを有する空間モデルを採用してもよい。
[0176]
 また、上述の実施例において、画像生成装置100は、カメラ2の設置位置や光軸方向に基づいて最適な空間モデルMDの形状や配置を決定するが、空間モデルMDの所望の形状や配置を実現すべくカメラ2の設置位置や光軸方向を決定するようにしてもよい。
[0177]
 この場合、カメラ2の設置位置や光軸方向は、空間モデルMDの円筒中心軸(再投影軸)が、ショベル60の旋回軸PV、ショベル60の車体中心、又はキャブ64の中心(例えば、キャブ64内に着座する運転者の体軸である。)と一致するよう決定され得る。
[0178]
 また、カメラ2の設置位置や光軸方向は、所望の空間モデルMDを複数の空間モデル部分の組み合わせとして形成する場合(複数の基準軸(円筒中心軸)を有する場合)、その空間モデルMDの代表的な基準軸(以下、「代表基準軸」とする。)をそれら複数の基準軸の配置に基づいて決定した上で(例えば、それら複数の基準軸のそれぞれとその代表基準軸との間の距離の最大値が最も小さくなるようにその代表基準軸を決定する。)、その代表基準軸が、ショベル60の旋回軸PV、ショベル60の車体中心、又はキャブ64の中心(例えば、キャブ64内に着座する運転者の体軸である。)と一致するよう決定され得る。
[0179]
 上述の画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれている。しかし、画像生成装置100は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の機械(被操作体)にカメラと共に搭載され、その機械の操作を支援する操作支援システムに組み入れられてもよい。
[0180]
 本発明は具体的に開示された上述の実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、種々の変形例及び改良例がなされるであろう。
[0181]
 本出願は、2010年4月12日出願の優先権主張日本国特許出願第2010-091659号に基づくものであり、その全内容は本出願に援用される。

産業上の利用可能性

[0182]
 本発明は、入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに適用可能である。

符号の説明

[0183]
 1 制御部
 2 カメラ
 2R 右側方カメラ
 2B 後方カメラ
 3 入力部
 4 記憶部
 5 表示部
 10 座標対応付け部
 11 出力画像生成部
 40 入力画像・空間モデル対応マップ
 41 空間モデル・処理対象画像対応マップ
 42 処理対象画像・出力画像対応マップ
 60 ショベル
 61 下部走行体
 62 旋回機構
 63 上部旋回体
 64 キャブ

請求の範囲

[請求項1]
 被操作体に取り付けられた光軸方向が異なる少なくとも三つの撮像部が撮像して得られた少なくとも三つの入力画像に基づいて出力画像を生成する画像生成装置であって、
 前記被操作体を取り囲むように配置される柱状の空間モデルにおける座標と、前記少なくとも三つの入力画像のそれぞれが位置する少なくとも三つの入力画像平面における座標とを対応付ける座標対応付け部と、
 前記柱状の空間モデルにおける座標を介して、前記少なくとも三つの入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成部と、を備え、
 前記柱状の空間モデルは、それぞれが規準軸を有する複数の空間モデル部分の組み合わせであり、
 前記柱状の空間モデルは、前記少なくとも三つの撮像部のうちの隣り合う一対の撮像部に対応し、
 該一対の撮像部のそれぞれの光軸は、対応する前記空間モデル部分の前記基準軸と交差する、
 ことを特徴とする画像生成装置。
[請求項2]
 請求項1に記載の画像生成装置であって、
 前記複数の空間モデル部分のそれぞれは、対応する一対の撮像部のそれぞれの光軸を前記基準軸に垂直な一平面に投影した成分のそれぞれが前記基準軸上の一点で交差するように配置されることを特徴とする画像生成装置。
[請求項3]
 請求項2記載の画像生成装置であって、
 前記複数の空間モデル部分のそれぞれは、対応する一対の撮像部のそれぞれの光学中心から前記基準軸に下ろした垂線のそれぞれが互いに垂直となるように配置されることを特徴とする画像生成装置。
[請求項4]
 請求項1記載の画像生成装置
 前記座標対応付け部は、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記柱状の空間モデルにおける座標とを対応付け、
 前記出力画像生成部は、前記処理対象画像平面における座標と前記柱状の空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
 ことを特徴とする画像生成装置。
[請求項5]
 請求項1記載の画像生成装置であって、
 前記被操作体は、旋回動作可能な建設機械であり、
 前記少なくとも三つの撮像手段は、前記建設機械の左右の側面と後面とに取り付けられる、
 ことを特徴とする画像生成装置。
[請求項6]
 請求項1記載の画像生成装置であって、
 前記座標対応付け部による対応付けにより得られた対応関係情報をマップ情報として格納する記憶部を更に有することを特徴とする画像生成装置。
[請求項7]
 被操作体に取り付けられた光軸方向が異なる少なくとも三つの撮像部が撮像した少なくとも三つの入力画像に基づいて出力画像を生成する画像生成装置であって、
 前記被操作体を取り囲むように配置される柱状の空間モデルにおける座標と、前記少なくとも三つの入力画像のそれぞれが位置する少なくとも三つの入力画像平面における座標とを対応付ける座標対応付け部と、
 前記柱状の空間モデルにおける座標を介して、前記少なくとも三つの入力画像平面における座標の値と前記出力画像が位置する出力画像平面における座標の値とを対応付けて前記出力画像を生成する出力画像生成部と、を備え、
 前記柱状の空間モデルは、それぞれが規準軸を有する複数の空間モデル部分の組み合わせであり、
 前記複数の空間モデル部分のそれぞれは、前記少なくとも三つの撮像部のうちの隣り合う一対の撮像部に対応し、
 該一対の撮像部のそれぞれの光学中心から対応する前記空間モデル部分の前記基準軸に下ろした垂線は互いに垂直である、
 ことを特徴とする画像生成装置。
[請求項8]
 請求項7記載の画像生成装置であって、
 前記座標対応付け部は、画像変換処理の対象となる処理対象画像が位置する処理対象画像平面における座標と、前記柱状の空間モデルにおける座標とを対応付け、
 前記出力画像生成部は、前記処理対象画像平面における座標と前記柱状の空間モデルにおける座標とを介して、前記入力画像平面における座標の値と前記出力画像平面における座標の値とを対応付けて前記出力画像を生成する、
 ことを特徴とする画像生成装置。
[請求項9]
 請求項7記載の画像生成装置であって、
 前記座標対応付け部による対応付けにより得られた対応関係情報をマップ情報として格納する記憶部を更に有することを特徴とする画像生成装置。
[請求項10]
 請求項7記載の画像生成装置であって、
 前記被操作体は、旋回動作可能な建設機械であり、
 前記少なくとも三つの撮像手段は、前記建設機械の左右の側面と後面とに取り付けられる、
 ことを特徴とする画像生成装置。
[請求項11]
 被操作体の移動又は操作を支援する操作支援システムであって、
 請求項1記載の画像生成装置と、
 該画像生成装置が生成する出力画像を表示する表示部と、
 を備えることを特徴とする操作支援システム。
[請求項12]
 請求項11記載の操作支援システムであって、
 前記表示部は、前記被操作体を移動させ或いは操作するための操作室に設置されることを特徴とする操作支援システム。
[請求項13]
 被操作体の移動又は操作を支援する操作支援システムであって、
 請求項7記載の画像生成装置と、
 該画像生成装置が生成する出力画像を表示する表示部と、
 を備えることを特徴とする操作支援システム。
[請求項14]
 請求項13記載の操作支援システムであって、
 前記表示部は、前記被操作体を移動させ或いは操作するための操作室に設置されることを特徴とする操作支援システム。

図面

[ 図 1]

[ 図 2]

[ 図 3A]

[ 図 3B]

[ 図 4]

[ 図 5]

[ 図 6A]

[ 図 6B]

[ 図 6C]

[ 図 6D]

[ 図 7A]

[ 図 7B]

[ 図 8A]

[ 図 8B]

[ 図 9A]

[ 図 9B]

[ 図 10]

[ 図 11]

[ 図 12A]

[ 図 12B]

[ 図 12C]

[ 図 13A]

[ 図 13B]

[ 図 13C]

[ 図 14A]

[ 図 14B]

[ 図 14C]

[ 図 15]

[ 図 16A]

[ 図 16B]

[ 図 16C]

[ 図 17A]

[ 図 17B]

[ 図 18]

[ 図 19]

[ 図 20]