Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2004114224) VIRTUAL VISUAL POINT IMAGE GENERATING METHOD AND 3-D IMAGE DISPLAY METHOD AND DEVICE
Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters
明 細書

仮想視点画像生成方法及び 3次元画像表示方法並びに装置

技術分野

[0001] 本発明は、複数枚の画像から物体の 3次元形状に関する情報を推定し、その情報 を用いて画像を生成する技術に関するものである。本発明の技術は、例えば、テレビ 電話等の視覚的なコミュニケーションを支援するシステムに適用できる。

^景技術

[0002] 従来から、コンピュータグラフィックス(CG;Computer Graphics)やバーチャルリアリ ティ(VR;Virtual Realty)の分野では、カメラが設置された視点位置からだけでなぐ 利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が 盛んに研究されている。

[0003] 例えば、異なる条件で被写体を撮影した複数枚の画像を用いて、被写体の 3次元 像を表示する、あるいは被写体を仮想的な視点から見た画像 (以下、仮想視点画像 という)を生成する方法がある。

[0004] 物体の 3次元像を表示する方法としては、例えば、 DFD(Depth-Fused 3-D)デイス プレイのように、複数枚の画像表示面を持つディスプレイを用いる方法がある。前記 DFDは、複数枚の画像表示面を、ある間隔で重ね合わせたディスプレイである(例え ば、文献 1 :特許第 3022558号公報を参照)。また、前記 DFDには、大きく分けて、 輝度変調型と透過型がある。

[0005] 前記 DFDに前記物体の画像を表示するときには、例えば、表示する物体の 2次元 画像を各画像表示面に表示する。このとき、前記 DFDが輝度変調型であれば、前記 各表示面上の、あらかじめ設定された観察者の視点(基準視点)から見て重なる画素 の輝度を、前記物体の奥行き方向の形状に応じた割合に設定して表示する。こうす ると、前記物体上のある点は、観察者から見て手前にある画像表示面の画素の輝度 が大きくなり、また別の点は、観察者から見て奥の表示面の画素の輝度が大きくなる 。その結果、前記 DFDの各画像表示面に表示される画像を観察する観察者は、前記 物体の立体的な画像(3次元像)を観察することができる。

[0006] また、前記 DFDが透過型であれば、前記各画像表示面上の、あらかじめ設定され た観察者の視点 (基準視点)から見て重なる画素の透過度を、前記物体の奥行き方 向の形状に応じた割合に設定して表示する。

[0007] また、前記物体の 3次元像を表示する方法としては、前記 DFDを用いた表示方法の 他に、例えば、観察者の左右の眼の間隔に相当する視差を有する 2枚の画像を、液 晶ディスプレイ等の夂の画面上に表示する方法もある。

[0008] このような、物体の 3次元像を表示するための画像や任意の視点から見た前記物体 の画像を生成するときに、前記物体の 3次元形状が、例えば、コンピュータ 'グラフイツ タス等で生成されていて既知である場合は、そのモデルを用いて前記各画像を生成 すればよい。一方、前記物体の 3次元形状が既知でない場合は、前記各画像を生成 する前に、前記物体の 3次元形状、すなわち、幾何学的なモデルを取得しなければ ならない。

[0009] また、前記複数枚の画像を用いて前記仮想視点画像を生成するときにも、まず、前 記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る必要がある。こ のとき、得られた前記被写体の幾何学的なモデルは、例えば、ポリゴンやボタセルと 呼ばれる基本図形の集まりとして表現される。

[0010] 前記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法は様々 であり、コンピュータ 'ビジョンの分野において、 Shape from Xとして数多くの研究が なされている。前記 Shape from Xにおいて代表的なモデル取得方法は、ステレオ法 である (1列; ίば、文献 2 :「Takeo Kanade et al. : Virtuahzed Reality:し onstructmg Virtual Worlds from Real

Scenes," IEEE MultiMedia, Vol.4, No. l, pp.34-37, 1997」を参照。 )。

[0011] 前記ステレオ法では、異なる視点から被写体を撮影した複数枚の画像をもとにして 、前記被写体の幾何学的なモデルを得る。このとき、モデルを取得するための基準 視点から前記被写体上の各点までの距離は、例えば、対応点マッチング、すなわち 各画像上の点(画素)の対応付けを行レ、、三角測量の原理で求める。ただしこのとき 、前記ステレオ法で即座に前記被写体の幾何学的なモデルが得られるわけではなく 、得られるのは被写体表面の点群である。そのため、前記被写体の幾何学的なモデ

ルを得るには、前記点群に含まれる各点同士がどのように繋がり、どのような面を構 成するかという構造情報を決定する必要がある(例えば、文献 3 :「池内克史: "画像に よる実物体のモデル作成",日本ロボット学会誌, Vol.16, No.6, pp.763-766, 1998」を参照)。

[0012] つまり、前記ステレオ法を用いて前記被写体の幾何学的なモデルを得る方法では 、画像を生成する装置 (計算機)で、前記被写体の形状の当てはめや統計処理等の 複雑な処理を行わなければならない。そのため、高い計算機パワーが必要となる。

[0013] また、複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法には、 前記ステレオ法とならぶ代表的なモデノレ取得方法として、複数の視点で撮影した各 画像の被写体の輪郭をもとにして、空間中で前記被写体が占める領域を決める Shape from Silhouetteと呼ばれる方法(以下、 Shape from Silhouette法という)がある (ί列は、文献 4 :「Potmesil, M: "Generating Octree Models of 3D Objects from their Silhouettes in a Sequence of Images," CVGIP 40, pp.1-29, 1987」を参照。)。

[0014] 前記 Shape from Silhouette法で得られる前記被写体の幾何学的なモデルは、ボタ セルと呼ばれる微小な立方体の集まりとして表現されることが多レ、。し力しながら、前 記被写体の幾何学的なモデルを前記ボタセルで表現する場合、前記被写体の 3次 元形状を表現するために必要なデータ量が膨大な量になる。そのため、前記 Shape from Silhouette法を用いて前記被写体の幾何学的なモデルを得るには、高い計算 機パワーが要求される。

[0015] そこで近年、前記ステレオ法や前記 Shape from Silhouette法のように前記被写体 の幾何学的なモデルをポリゴンやボタセル等で表現する代わりに、例えば、前記被写 体の部分的な画像を多層構造の投影面にテクスチャマッピングし、前記被写体の 3 次元的な形状を多層平面で表現する方法が提案されている (例えば、文献 5「

Jonathan shade et al : Layered Depth Images, SIG RAPH98 conference

Proceedings, pp.231- 242, 1998」、文献 6「多湖,新田,苗村,原島:"動的レイヤ表現 を用いた Video- Based Rendering", 3次元画像コンファレンス 2001, pp.33-36, 2001」 を参照。)。

[0016] 前記テクスチャマッピングは、多層構造の投影面を設定し、前記撮影した画像から

切り取った部分的な画像(テクスチャ画像)を、そのテクスチャ画像に写っている物体 の距離に対応する投影面に貼り合わせて、立体的な視覚効果を得る方法である。そ のため、一般に普及しているパーソナル 'コンピュータに搭載されているグラフィックス •ハードウェアでも、十分に高速な処理を行うことができるとともに、データの扱いが容 易であるという利点がある。

[0017] しかしその一方、前記テクスチャマッピングによる多層平面で前記被写体の幾何学 的なモデルを表現する場合、前記投影面の設定間隔が広すぎると、前記被写体の 詳細な形状を表現することができない。そのため、大まかな形状は投影面(平面)で 表現し、微細な形状については、前記テクスチャ画像の画素毎に、例えば、 R (赤), G (緑), B (青)の色情報に加えて、もう 1つの値 (デブス値)を持たせるような工夫がな されている。前記文献 5では、各テクスチャ画像の画素の位置を前記デプス値に応じ て変化させて、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法 が提案されている。また、前記文献 6では、前記デプス値に応じて、各画素の透明度 を設定して、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法が 提案されている。

発明の開示

発明が解決しょうとする課題

[0018] し力、しながら、被写体の幾何学的なモデルを得る方法のうち、前記ステレオ法を用 レ、て前記被写体の幾何学的なモデルを得る方法では、前記被写体の形状や表面の 模様 (テクスチャ)、前記被写体周辺の環境の影響を受けやすぐどのような形状の被 写体でも、そして前記被写体上のどの点でも信頼性の高い距離情報を得られるとは 限らなレ、(例えば、文献 7 :「奥富正敏: "ステレオがなぜ難しいか",日本ロボット学会 誌, Vol.16, No.6, pp.39- 43, 1998」を参照。)。

[0019] 前記被写体の距離を推定するときに、その推定の信頼性が低いと、誤った距離を 推定してしまうことがある。距離の推定を誤った場合、前記被写体の幾何学的なモデ ルを用いて生成した仮想視点画像は、例えば、前記距離の推定を誤った箇所に不 連続なノイズが現れる。そのため、前記仮想視点画像は、例えば、図 1に示すように、 被写体 7の一部に欠損領域 7Bが生じてレ、るように見える。

[0020] また、前記 Shape from Silhouette法は、原理的に、前記被写体が凸形状であること を仮定して前記被写体の幾何学的なモデルを得る方法である。そのため、前記被写 体が全体的あるいは部分的に凹形状であると、前記被写体の正しいモデルを取得す ることができないとレ、う問題がある。

[0021] また、前記 Shape from Silhouette法は、画像上の背景と前記被写体の輪郭を正確 に抽出すること自体が難しぐ正確に抽出する方法については、現在でもコンピュー タ 'ビジョン分野における主要な研究課題となっている。つまり、前記 Shape from Silhouette法で得られる前記被写体の幾何学的なモデルは、不正確な輪郭から得ら れるモデルであり、その信頼性は十分に高いとはいえない。そのため、前記 Shape from Silhouette法で得られた前記被写体の幾何学的なモデルから生成される画像 は、十分に満足できる画質ではないとレ、う問題がある。

[0022] また、前記テクスチャマッピングのように前記被写体の 3次元的な形状を多層平面 で表現する方法は、各テクスチャ画素に与える前記デプス値が既知である、すなわ ち前記被写体の形状が正確に求められていることを前提にしている。そのため、前記 物体の形状が既知でない場合は、まず、前記被写体の幾何学的なモデルを取得し なければならない。その結果、前記被写体の形状を推定したときに信頼性が低い箇 所があると、前記テクスチャ画像を誤った投影面に貼り付けてしまうことがあり、生成し た画像が著しく劣化することがあるという問題がある。

[0023] また、前記テクスチャマッピングにより前記被写体の 3次元的な形状を表現する方 法では、前記多層構造の投影面に画像を貼り付ける処理は高速であるが、前記デブ ス値を求める処理において前記被写体の形状を正確に求めようとすると、高い処理 能力が必要になる。

[0024] 以上説明したように、従来技術では、前記被写体の形状を推定するときに、その推 定の信頼性が低い箇所があると、距離の推定を誤りやすぐ生成した画像上に不連 続なノイズが生じて画質が低下しやすいとレ、う問題があった。

[0025] また、前記被写体の形状の推定の誤りによる画質の低下を防ぐためには、推定の 信頼性が高くなるようにすればよいが、そのためには、多数の画像を用い、厳密な計 算処理を行って、前記被写体の正確な幾何学的なモデルを得なければならない。し

かしながら、その場合、仮想視点画像等を生成する装置に高い処理性能 (計算機パ ヮー)が必要である。そのため、一般に普及しているパーソナル 'コンピュータ等では 、画質の劣化が少ない仮想視点画像を高速で生成することが難しいという問題もあつ た。

[0026] また、被写体の幾何学的なモデルの信頼性を高くするためには、より多くの視点か ら撮影した画像が必要になる。そのため、撮影装置が大型化し、装置構成が複雑化 するという問題もあった。

[0027] 本発明の目的は、複数枚の画像から被写体の 3次元的な形状を取得して被写体の 画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画 質の劣化を低減することが可能な技術を提供することにある。

[0028] 本発明の他の目的は、複数枚の画像から被写体の 3次元的な形状を取得して被写 体の画像を生成するときに、処理性能が低い装置でも、部分的な画質の劣化が少な ぐかつ、短時間で画像を生成することが可能な技術を提供することにある。

[0029] 本発明の他の目的は、被写体の幾何学的なモデルを得るために用いる画像を撮 影する撮影装置の小型化し、装置構成を簡素化が可能な技術を提供することにある

[0030] 本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付 図面によって明らかになるであろう。

課題を解決するための手段

[0031] 上記の課題を解決するために、本発明は、複数のカメラで撮影された複数枚の被 写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定す るステップと、前記取得した被写体の画像をもとに、前記視点力、ら被写体を見たとき の画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法に おいて、前記仮想視点画像を生成するステップは、多層構造をもつ投影面を設定す るステップ 1と、前記投影面上の各投影点と対応する、前記各被写体の画像上の対 応点を求めるステップ 2と、複数の対応点の色情報または輝度情報に基づレ、て前記 投影点の色情報または輝度情報を決定するステップ 3と、空間上のある基準視点か ら見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前 記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関 の度合いに基づいて計算するステップ 4と、前記仮想視点から見て重なり合う基準点 の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合 処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定す るステップ 5と、前記仮想視点画像の画素に相当するすべての点について、前記ステ ップ 1からステップ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点 画像生成方法として構成できる。

[0032] また、本発明の画像生成方法は、複数の異なる視点から被写体を撮影した画像を 取得するステップと、前記複数枚の画像から前記被写体の 3次元形状を取得するス テツプと、取得した前記被写体の 3次元形状に基づいて、観察者の視点から見た前 記被写体の画像を生成するステップとを有する画像生成方法であって、前記被写体 の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を 設定するステップと、前記被写体の 3次元形状を取得するための基準視点を決定す るステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対 応点の色情報または輝度情報から、前記投影点の色情報を決定するステップと、前 記投影点と対応する対応点間の相関度を算出するステップと、前記基準視点から見 て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投 影点に物体の表面が存在する確率である存在確率を決定するステップとを有し、前 記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視点の 組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセットに含ま れる画像上の対応点から相関度を求めるステップとを有し、前記存在確率を決定す るステップは、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確 率を算出するステップと、前記カメラセット毎に決定した存在確率の統合処理をして 前記各投影点の存在確率を決定するステップとを有するものとして構成することもで きる。

[0033] また、本発明は、合焦距離を変えて被写体を撮影した複数枚の画像を取得するス テツプと、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定 :、前記複数枚の画像から前記被写体の 3次元形状を取

と、前記取得した被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写 体の画像を生成するステップとを有する画像生成方法であって、前記被写体の 3次 元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定す るステップと、前記被写体の 3次元形状を取得するための基準視点を決定するステツ プと、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の 色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステツ プと、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定 するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投 影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体 の表面が存在する確率である存在確率を決定するステップとを有し、前記仮想視点 力 見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合 う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成 する画像上の各点の色情報または輝度情報を決定することを特徴とする画像生成方 法として構成することちできる。

また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップ と、前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取 得した被写体の 3次元形状に基づいて、前記観察者の視点から見た前記被写体の 画像を生成するステップとを有する画像生成方法であって、前記被写体の 3次元形 状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定するス テツプと、前記被写体の 3次元形状を取得するための基準視点を決定するステップと 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと

、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写 体の表面が存在する確率である存在確率を決定するステップとを有し、前記存在確 率を決定するステップは、前記対応点の画像情報から前記各投影点の評価基準値 を算出するステップと、前記各投影点の評価基準値の統計処理を行うステップと、前 記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するス テツプとを有することを特徴とする画像生成方法として構成することもできる。 [0035] また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップ と、前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、観察者か ら見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置 を設定するステップと、前記取得した被写体の 3次元形状に基づいて前記各画像表 示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各 表示面に表示することで前記被写体の 3次元像を提示するステップとを有する 3次元 画像表示方法であって、前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定するステップと、前記被写体の 3次元形状 を取得するための基準視点を決定するステップと、前記投影面上の点である投影点 と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影 点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う 複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存 在確率を決定するステップとを有し、前記 2次元画像を生成するステップは、前記投 影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と 対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在 確率に変換して前記 2次元画像を生成し、前記被写体の 3次元像を提示するステツ プは、前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表 示することを特徴とする 3次元画像表示方法として構成することもできる。

発明の効果

[0036] 本発明によれば、複数枚の画像から被写体の 3次元的な形状を取得して被写体の 画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画 質の劣化を低減することが可能となる。また、処理性能が低い装置でも、部分的な画 質の劣化が少なぐかつ、短時間で画像を生成することが可能となる。更に、被写体 の幾何学的なモデルを得るために用いる画像を撮影する撮影装置の小型化し、装 置構成を簡素化が可能となる。

図面の簡単な説明

[0037] [図 1]従来の仮想視点画像の問題点を説明するための図である。

[図 2]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、投影面群,カメラ,基準視点,投影点,対応点の一例を示す図である。

[図 3]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図である。

[図 4]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、投影点の透明度に応じた混合処理の一例を示す図である。

[図 5]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、被写体,投影面群,基準視点,仮想視点,投影点の一例を示す図であ る。

[図 6]実施例 1 - 1の仮想視点画像生成装置の概略構成を示す模式図であり、画像生 成装置内部の構成を示すブロック図である。

[図 7]実施例 1 - 1の仮想視点画像生成装置の概略構成を示す模式図であり、画像生 成装置を用いたシステムの構成例を示す図である。

[図 8]実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理 モデルを説明するための模式図であり、投影変換の一例を示す図である。

[図 9]実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理 モデルを説明するための模式図であり、座標変換の一例を示す図である。

[図 10]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり

、生成処理全体のフロー図である。

[図 11]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、仮想視点画像を生成するステップの具体的なフロー図である。

[図 12]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、投影面の設定方法の一例を示す図である。

[図 13]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、投影点,投影点列,投影点列の集合の一例を示す図である。

[図 14]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、色情報の混合処理を説明するための基準視点,投影点,カメラ位置によりなす角 度の一例を示す図である。

[図 15]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、対応点マッチング処理の一例を示す図である。

[図 16]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、レンダリング処理を説明するための図である。

[図 17]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、生成された仮想視点画像の一例を示す図である。

[図 18]実施例 1一 1の仮想視点画像生成装置を適用したシステムの応用例を示す模 式図である。

[図 19] (a)は実施例 1一 2の特徴となる処理を示すフロー図であり、 (b)は透明度情報 を決定するステップの具体的な処理手順の一例を示すフロー図である。

[図 20]実施例 1一 3の仮想視点画像生成方法を説明するための模式図であり、投影 面群,基準視点,仮想視点,投影点の一例を示す図である。

[図 21]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、生 成方法の概念を説明する図である。

[図 22]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、図

21を 2次元的に表現した図である。

[図 23]対応点の相関度の求め方を説明する図である。

[図 24]対応点の相関度を求めるときに問題となる点を説明する図である。

[図 25]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、相 関度を求めるときの問題を解決する方法を説明する図である。

[図 26]存在確率の精度を向上させる方法の一例を説明する図である。

[図 27]第 2の実施の形態の画像生成方法の原理を説明するための模式図である。

[図 28]第 2の実施の形態の画像生成方法の原理を説明するための模式図である。

[図 29]実施例 2— 1の画像生成方法を説明するための模式図であり、全体的な処理 手順の一例を示すフロー図である。

[図 30]実施例 2_1の画像生成方法を説明するための模式図であり、図 29における 投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー 図である。

[図 31]実施例 2_1の画像生成方法を説明するための模式図であり、図 30における 存在確率を決定するステップの一例を示すフロー図である。

[図 32]実施例 2— 1の画像生成方法を説明するための模式図であり、カメラセットの設 定例を示す図である。

[図 33]実施例 2— 1の画像生成方法を説明するための模式図であり、投影面の情報を 表示面の情報に変換する方法を説明する図である。

[図 34]投影面の情報を表示面の情報に変換する方法を説明する図である。

[図 35]実施例 2 - 1の画像生成方法を適用した画像生成装置の構成例を示すブロッ ク図である。

[図 36]実施例 2 - 1の画像生成方法を適用した画像生成装置を用いた画像表示シス テムの構成例を示す図である。

[図 37]実施例 2— 1の画像生成方法を適用した画像生成装置を用いた画像表示シス テムの他の構成例を示す図である。

[図 38]実施例 2— 2の画像生成方法を説明するための模式図であり、全体的な処理 手順の一例を示すフロー図である。

[図 39]実施例 2— 2の画像生成方法を説明するための模式図であり、レンダリングの 原理を説明する図である。

[図 40]実施例 2 - 2の画像生成方法を説明するための模式図であり、本実施例 2の画 像生成方法で問題となる点を説明する図である。

[図 41]実施例 2— 2の画像生成方法を説明するための模式図であり、本実施例 2の画 像生成方法で問題となる点の解決方法を説明する図である。

[図 42]実施例 2— 2の画像生成方法を説明するための模式図であり、存在確率を透明 度に変換する処理手順の一例を示すフロー図である。

[図 43]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影面及び基準視点の設定例を示す図である。

[図 44]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影面及び基準視点の設定例を示す図である。

[図 45]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の色情報及び合焦点度の決定方法を説明する図である。

[図 46]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。

[図 47]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。

[図 48]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。

[図 49]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、仮 想視点から見た画像の生成方法を説明する図である。

[図 50]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、本 発明の画像生成方法において問題となる点を説明する図である。

[図 51]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、本 発明の画像生成方法において問題となる点を解決する方法を説明する図である。

[図 52]第 3の実施の形態の画像生成方法の数理モデルを説明するための模式図で あり、投影点,対応点,生成する画像上の点の関係を示す図である。

[図 53]第 3の実施の形態の画像生成方法の数理モデルを説明するための模式図で あり、空間上の点と画像上の画素の変換方法を説明する図である。

[図 54]実施例 3 - 1の画像生成方法を説明するための模式図であり、画像の生成手 順を示すフロー図である。

[図 55]実施例 3— 1の画像生成方法を説明するための模式図であり、投影点列の設 定方法を説明する図である。

[図 56]実施例 3— 1の画像生成方法を説明するための模式図であり、図 54のステップ 10305の処理の具体例を示すフロー図である。

[図 57]実施例 3_1の画像生成方法を説明するための模式図であり、レンダリングの 方法を説明する図である。

[図 58]実施例 3 - 1の画像生成方法で画像を生成する装置の概略構成を示す模式図 であり、装置の構成を示すブロック図である。

[図 59]実施例 3-1における被写体画像撮影手段の構成例を説明する図である。

[図 60]実施例 3-1における被写体画像撮影手段の構成例を説明する図である。

[図 61]実施例 3— 1における被写体画像撮影手段の構成例を説明する図である。

[図 62]実施例 3— 1の画像生成装置を用いた画像生成システムの概略構成を示す模 式図であり、画像生成システムの一構成例を示す図である。

[図 63]実施例 3— 1の画像生成装置を用いた画像生成システムの概略構成を示す模 式図であり、画像生成システムの他の構成例を示す図である。

[図 64]実施例 3— 2の仮想視点画像生成方法の処理を示すフロー図である。

[図 65]第 3の実施の形態の画像生成方法における、他の生成方法を説明するための 模式図である。

[図 66]第 3の実施の形態による実施例 4一 1の画像生成方法を説明するための模式 図であり、全体的な処理手順の一例を示すフロー図である。

[図 67]実施例 4一 1の画像生成方法を説明するための模式図であり、投影面の設定 方法の一例を示す図である。

[図 68]実施例 4一 1の画像生成方法を説明するための模式図であり、投影面の設定 方法の一例を示す図である。

[図 69]実施例 4一 1の画像生成方法を説明するための模式図であり、投影点列の設 定方法を説明する図である。

[図 70]実施例 4一 1の画像生成方法を説明するための模式図であり、投影点の色情 報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。

[図 71]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。

[図 72]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。

[図 73]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。

[図 74]実施例 4 - 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。

[図 75]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。

[図 76]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。

[図 77]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。

[図 78]実施例 4一 2の画像生成方法を説明するための模式図であり、投影点と対応点 の関係を示す図である。

[図 79]実施例 4一 2の画像生成方法を説明するための模式図であり、投影点の色情 報及び存在確率を決定するステップの一例を示すフロー図である。

[図 80]実施例 4一 2の画像生成方法を説明するための模式図であり、存在確率の求 め方を説明する図である。

[図 81]実施例 4一 2の画像生成方法を説明するための模式図であり、存在確率の求 め方を説明する図である。

[図 82]実施例 4一 3の任意視点画像生成方法を説明するための模式図であり、全体 的な処理手順の一例を示すフロー図である。

[図 83]実施例 4一 3の任意視点画像生成方法を説明するための模式図であり、レンダ リングの原理を説明する図である。

[図 84]実施例 4一 3において存在確率を透明度に変換する処理手順の一例を示すフ ロー図である。

[図 85]実施例 4 - 4の画像生成装置の概略構成を示す模式図である。

[図 86]実施例 4 - 4の画像生成装置の概略構成を示す模式図である。

[図 87]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。

[図 88]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。

[図 89]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。

[図 90]第 5の実施の形態による実施例 5— 1の 3次元画像表示方法を説明するための 模式図であり、全体的な処理手順の一例を示すフロー図である。

[図 91]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、投影面の 設定方法の一例を示す図である。

[図 92]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、投影面の 設定方法の一例を示す図である。

[図 93]実施例 5— 1の 3次元画像表示方法を説明するための模式図であり、投影点の 設定方法を説明する図である。

[図 94]実施例 5— 1の 3次元画像表示方法を説明するための模式図であり、投影点の 色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。

[図 95]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。

[図 96]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。

[図 97]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。

[図 98]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像表 示面で表示する 2次元画像の生成方法を説明する図である。

[図 99]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像表 示面で表示する 2次元画像の生成方法を説明する図である。

[図 100]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像 表示面で表示する 2次元画像の生成方法を説明する図である。

[図 101]実施例 5— 2の 3次元画像表示方法を説明するための模式図であり、投影点と 対応点の関係を示す図である。

[図 102]実施例 5— 2の 3次元画像表示方法を説明するための模式図であり、投影点 の色情報及び存在確率を決定するステップの一例を示すフロー図である。

[図 103]実施例 5 - 2の 3次元画像表示方法を説明するための模式図であり、存在確 率の求め方を説明する図である。

[図 104]実施例 5 - 2の 3次元画像表示方法を説明するための模式図であり、存在確 率の求め方を説明する図である。

符号の説明

(第 1の実施の形態)

1 , 1A, 1B, 1C…仮想視点画像生成装置、 101…仮想視点決定手段、 102…被 写体画像取得手段、 103…画像生成手段、 103a…投影面決定手段、 103b…基準 視点決定手段、 103c…テクスチャ配列確保手段、 103d…対応点マッチング処理手 段、 103e…色情報決定手段、 103f…存在確率情報決定手段、 103g…レンダリン グ手段、 104…生成画像出力手段、 2…視点位置入力手段、 3…被写体撮影手段( カメラ)、 4…画像表示手段、 6…仮想視点画像、 7…被写体の像、 7A…画像が劣化 している部分、 7B…画像が欠損している部分。

(第 2の実施の形態)

6, 6A, 6B, 6C…画像生成装置、 601…被写体画像取得手段、 602…観察者視点 設定手段、 603…投影面設定手段、 604…投影面情報格納領域確保手段、 605· · · 色情報/存在確率決定手段、 606…投影面情報 -表示面情報変換手段、 607…画 像出力手段、 7, 7A, 7B…画像表示手段、 8, 8A, 8B…被写体画像撮影手段、 9, 9A, 9B…基準視点入力手段

(第 3の実施の形態)

2, 2A, 2B, 2C…画像生成装置、 201…被写体画像取得手段、 202…仮想視点 設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 205…色情 報/存在確率決定手段、 206…レンダリング手段、 207…生成画像出力手段、 3, 3 A, 3B…被写体画像撮影手段、 4, 4A, 4B…視点情報入力手段、 5, 5A, 5B…画 像表示手段、 6…偏光型二値光学系、 7, 7A, 7B…イメージセンサ、 8…ビームスプ リツタ、 9…偏光フイノレタ、 10…可変焦点レンズ、 11a, l ib, 11c, l id…固定焦点レ ンズ、 12…レンズホルダ

(第 4の実施の形態)

2, 2A, 2B, 2C…画像生成装置、 201…被写体画像取得手段、 202…観察者視 点設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 205…色 情報/存在確率決定手段、 206…投影面情報 -表示面情報変換手段、 207…画像 出力手段、 208…レンダリング手段、 3, 3A, 3B…画像表示手段、 4, 4A, 4B…被

写体画像撮影手段、 5, 5A, 5B…基準視点入力手段

(第 5の実施の形態)

2, 2A, 2B, 20· · · 3次元画像生成装置、 201…被写体画像取得手段、 202…観 察者視点設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 2 05…色情報/存在確率決定手段、 206…投影面情報 -表示面情報変換手段、 20 7…画像出力手段、 3, 3Α, 3Β· · ·画像表示手段、 4, 4A, 4Β· · ·被写体画像撮影手 段、 5, 5A, 5B…基準視点入力手段

発明を実施するための最良の形態

[0039] 以下、発明を実施するための最良の形態として、第 1の実施の形態一第 5の実施の 形態について説明する。

[0040] [第 1の実施の形態]

まず、本発明の第 1の実施の形態について説明する。なお、第 1の実施の形態は、 主に請求項 1一請求項 11に対応する実施の形態である。本実施の形態では、色情 報の表現として赤 (R),緑 (G) ,青(B)の 3原色を用いる例を示しているが、輝度 (Y) もしくは色差 (U, V)を用いた表現をとることも可能であり、また白黒画像の場合には 色情報として輝度情報のみを用いることが可能である。なお、第 1の実施の形態を説 明するための図において、同一機能を有するものは、同一符号を付ける。

[0041] 第 1の実施の形態における各実施例を説明する前に、まず、第 1の実施の形態に おける仮想視点画像生成方法の原理について説明する。

[0042] 図 2乃至図 5は、本発明における仮想視点画像生成方法の原理を説明するための 模式図であり、図 2は投影面群,カメラ,基準視点,投影点,対応点の一例を示す図 、図 3 (a)及び図 3 (b)は対応点間の相関度のグラフの一例を示す図、図 4 (a)は投影 点の透明度に応じた混合処理の一例を示す図、図 4 (b)は透明度に応じた色情報の 混合処理を色空間において表現した図、図 5は被写体,投影面群,基準視点,仮想 視点,投影点の一例を示す図である。

[0043] 本発明における仮想視点画像の生成方法は、多層構造をもつ投影面群を設定す るステップ 1と、投影面上の各点(投影点)に対応する複数のカメラの撮影画像上で の点(対応点)を求めるステップ 2と、複数の対応点の色情報を混合もしくはそのうち の 1つを選択することで投影点の色情報を決定するステップ 3と、空間上のある視点( 基準視点)から見て重なり合う複数の投影点について、各投影点の距離に被写体が 存在する可能性の度合い(存在確率情報)を対応点もしくはその近傍領域の相関の 度合いをもとに計算するステップ 4と、仮想視点から見て重なり合う基準点の色情報 を存在確率情報に応じた混合処理をして仮想視点における各画素の色情報を決定 するステップ 5と、仮想視点画像の画素に相当するすべての点について前記ステップ 1からステップ 5を繰り返し行うステップ 6とを有する。すなわち、従来の手段のようにあ らゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく 、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得 られなレ、ことを前提として、信頼性が低レ、推定値が得られた箇所にっレ、ては曖昧に 描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性 が高い距離データが得られた箇所については明瞭に描画して画像生成への寄与を 高くする。

[0044] ここで推定の信頼性は、撮影した画像の対応点の相関の程度(相関度)によって以 下のように判別される。例えば、図 2に示すように、基準視点 R、カメラの中心位置 C ( i=l,2,〜,N)、互いに平行な投影面 L (」·=1,2,· · ·,Μ)を設定し、投影点 Τを中心位置 C のカメラで撮影した対応点を Gとする。

[0045] すると、例えば、投影面 L m上にある投影点 Τmについて対応点の集合 {G im I i=l,2,

…,N }が得られ、それらの相関の程度(相関度)も計算できる。

[0046] ここで、基準視点 Rから見て直線上にある複数の投影点 T (j=l,2,- · ·,Μ)につレ、て相 関度を計算し、横軸に基準視点 Rと投影面の距離 1、縦軸に相関度をとると、図 3 (a) あるいは図 3 (b)に示すようなグラフが得られる。相関度の具体的な計算方法につい ては後の実施例で述べることとし、ここでは相関度が大きいほど対応点間の相関の程 度が大きいものとして図示する。

[0047] 相関度が高い距離では複数のカメラにおける対応点は類似しており、投影点の位 置で被写体上の同じ点を撮影している可能性が高いため、その距離に被写体が存 在する可能性も高い。そして、基準視点 Rを通る直線上で被写体が存在する距離が 1つであると仮定すれば、図 3 (a)及び図 3 (b)に示したように、最も高い相関度をとる

距離 1=1*に被写体が存在すると推定できる。

[0048] このとき、図 3 (a)に示したように、距離 1=1*における対応点の相関度が他の候補よ りも非常に高い場合には信頼性の高い推定ができるが、図 3 (b)に示した、距離 1=1* と距離 1=1'のように推定値の候補が複数あり、かつその対応点の相関度が同程度の 場合には推定の信頼性が低くなる。

[0049] 図 3 (b)に示したような場合に、相関度が最も高い距離 1=1*に相当する投影点を 1 点だけ描画する方法をとると、推定の誤りにより、実際には被写体が距離 1=1'にあつ た場合、生成画像に大きなノイズとなって現れてしまう。

[0050] それに対し、本発明では相関度から被写体の存在する可能性 (存在確率情報)を 計算し、存在確率情報に応じた明瞭さで複数の投影点を描画することで、推定の信 頼性が低い場合には複数の投影点が曖昧に描画され、生成画像のノイズが目立た ず、観察者の見た目にはより良好な画像を生成する効果がある。

[0051] 一方、推定の信頼性が高い場合には存在確率情報が高い投影点が明瞭に描画さ れるため、より良好な画像を生成することが可能である。

[0052] また、本発明の描画手法はコンピュータグラフィクスの基本的な手法であるテクスチ ャマッピングによりシンプノレに実装でき、普及型のパーソナルコンピュータに搭載して レ、る 3次元グラフィックスハードウェアで良好に処理できるほど計算機負荷が軽くなる 効果がある。

[0053] また、本発明による仮想視点画像生成方法では、投影面上の各基準点は透過から 不透過までの階調を持つ透明度を有し、各基準点における透明度は上記ステップ 4 で得られる存在確率情報を変換することにより計算され、上記ステップ 5で仮想視点 における各点の色情報を得るための混合処理は仮想視点に遠い投影点から近い投 影点に向かって逐次的に処理され、ある投影点までの混合処理で得られる色情報は 、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報 とを透明度に応じた比率で内分して得る。このとき、混合処理により得られる色情報 は、ある段階での色情報とその次の色情報の内分である。

[0054] ここで、例えば、図 4 (a)に示すように、投影面 L (j=l,2,…)、投影点 T 0=1,2,· - ·

,M)、赤,緑,青 (R, G, B)の成分を持ち、投影点の色情報を表すベクトル K (j=l,2,

•••,M)が、下記数式 1で表される色空間に設定されている場合を考える。

[0055] [数 1]

K. ^V,V≡{{R,G,B)\ ≤R≤h ≤G≤h ≤B≤l}

また、投影点の透明度ひ(

J j=l,2,…)は、下記数式 2となるように設定されているも のとする。

[0056] [数 2]

0< ゾ≤1

このとき、 j=mまでの混合処理で得られる色情報 D mは、下記数式 3及び数式 4のよう な漸化式で表され、仮想視点から見て一番手前の j=Mまで混合処理した色情報 D が仮想視点における色情報となる。

[0057] [数 3]

D— =amKm+^ 1 -" ) m-l

[0058] [数 4]

このとき、前記数式 2及び数式 3の関係より、色情報 D mは色空間 Vにおいて K mと D m-lの内分点であるため、図 4(b)に示すように、 K m , D m-l ならば D m である。

[0059] すると、前記数式 1及び数式 2の条件を満たせば、仮想視点における色情報 D に っレ、て、下記数式 5のようになること力 S保証される。

[0060] [数 5]

前記数式 5のような保証は、数学的帰納法により証明されるが、詳細な説明は省略 する。

[0061] つまり、投影点の色情報及び透明度を前記数式 1及び数式 2を満たすように設定す れば、仮想視点の色情報は必ず適切な色空間 Vに納めることができる。

[0062] 以上のような特徴により、同一の被写体において複数の仮想視点画像を生成する 場合に、ある 1つの基準視点から投影点の色情報と透明度情報を計算したとしても、 その色情報及び透明度が前記数式 1及び数式 2を満たせば、すべての仮想視点画 像で適切な色情報の範囲で画像を生成することができる。

[0063] ここで、例えば、図 5に示すように、被写体〇bjがあり、 2つの投影面 L , L、基準視 点 仮想視点 Pを設定した場合において、投影点 τ 1 , T2, T1 ', T 2 'における色情報 がそれぞれ κ 1 , κ2 , K1 ' , K 2 '、被写体が存在する可能性の度合いが i3 1 , β 2, β 1 ' , β 2 'である場合を考える。

[0064] 前記被写体が存在する可能性の度合レ、 (存在可能性情報)は、基準視点 Rを通る 直線上で計算され、同一直線上の投影点における存在可能性情報の合計は 1となり 、投影点 Τ 1 '及び Τ 2付近に被写体の表面が存在するため、この点での存在可能性情 報は Τ 1及び Τ 2 'に比べて高くなる。すると、前記存在可能性情報は、下記数式 6及び 数式 7のようになる。

[0065] [数 6]

Α = > β2 = ι

[0066] [数 7]

このとき、仮想視点 Pの画像面の点 Aにおける色情報 K Aは直線 PA上にある投影点 の色情報を存在可能性情報に応じた重み付けで加算することで計算され、下記数式 8のようになる。

[0067] [数 8]

ΚΑ = β[Κ[ + β2Κ2

また、前記数式 8は、前記数式 6及び数式 7により、下記数式 9のように表される c

[0068] [数 9]


仮想視点 Ρから見たときに、 Τ A 'は Τ Aにより遮蔽されているため、点 Αにおける本来 の色情報は K A =Κ 2であるが、前記数式 9では Κ 1 'の分だけ(R, G, Β)の各成分の輝 度が上がってしまう。

[0069] また、 K A及び K A 'の各成分が大きな輝度を持つ場合には、 K Aは有効な色空間の 範囲を超えてしまう。そのため、有効な色情報の範囲内に収まるようにクリッピング処 理が必要となる。

[0070] そこで、例えば、後の実施例 1 - 2で述べる計算方法により存在確率情報から透明 度を求めると、下記数式 10及び数式 11と計算される。

[0071] [数 10]

= β αλ = 1

[0072] [数 11]


ただし、前記数式 10及び数式 11において、ひ,ひ,ひ ',ひ

1 2 1 2 'はそれぞれ τ ,

1 τ

, Τ 1 ', Τ 2 'における透明度である。

[0073] 二こで、仮想視点における各点の色情報を得るために、仮想視点に遠い投影点か ら近い投影点に向かって逐次的に混合処理し、ある投影点までの混合処理で得られ る色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得ら れる色情報とを透明度に応じた比率で内分して得るようにすると、 Κ Aは、下記数式 12 のようになる。

[0074] [数 12]

ΚΛ = α2Κ2 + (1 - α2)α[Κ[

このとき、前記数式 12は、前記数式 6,数式 7,数式 10,数式 11から下記数式 13 のようになり、本来の色情報のよい近似となる。

[0075] [数 13]

κΑ2

以上で述べたとおり、存在確率情報をそのまま用いた画像生成では、基準視点と

仮想視点が同一である場合には問題なレ、ものの、両者が異なる場合に被写体の遮 蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率情報を透明度に変 換する画像生成では、この現象を防止する効果がある。

[0076] また、存在確率情報をそのまま用レ、る画像生成において基準視点と仮想視点が異 なる場合には、後に示す数式を用いた演算で色情報を計算した場合に有効な色情 報の範囲内に収まる保証がなぐ例えば、補正処理が必要であるのに対し、透明度 に変換する画像生成では、このような補正は不要である。

[0077] また、存在確率情報を透明度に変換する画像生成では、半透過の被写体も効率的 に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用 できる効果がある。

[0078] また、本発明の仮想視点画像生成方法では、ステップ 1においてカメラ毎に固有の 投影面群を設定し、ステップ 3において投影点の色情報は、投影点が属する投影面 に固有のカメラによる撮影画像の対応点の色情報を用い、ステップ 4における存在確 率情報は、投影点が属する投影面に固有のカメラの視点を基準視点として計算され 、ステップ 5における仮想視点の色情報の混合処理は、仮想視点と各基準視点との 位置関係により補正する。このようにすると、カメラ間の位置関係とは無関係にカメラ 毎に固有の投影面群を設定するため、カメラの配置が複雑であったり不規則であつ たりしても、投影面群の設定処理が影響を受けることはなぐ一貫した処理方法により 画像生成ができる。

[0079] また、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関して は対応するカメラで撮影した画像間での混合処理が必要ない。そのため、例えば、 計算機(コンピュータ)で処理する際に並列処理が可能であり、画像生成の高速化が 可能である。

[0080] また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため 、計算機 (コンピュータ)で処理する際に、色情報を格納するテクスチャメモリを共有 できる。そのため、投影面の数ほどはメモリを消費することがなぐ画像生成に用いる 装置の負荷を低減することができる。

[0081] また、ある投影面に対応するカメラは一意に決定されているため、両者の座標の対 応関係をあらかじめ設定しておくことで、レンズの歪曲収差の補正などのキヤリブレー シヨンを容易にかつ高速に行うことができる。

[0082] よって、本発明の第 1の実施の形態の仮想視点画像生成方法を専用の装置、普及 型のパーソナルコンピュータ等で実行させるプログラムは広い適用範囲と高い汎用 性を持つ。

[0083] 以下、第 1の実施の形態の仮想視点画像生成方法を実行する装置及び具体的な 画像生成方法を、実施例を挙げて説明する。

[0084] (実施例 1一 1)

図 6及び図 7は、本発明による実施例 1 - 1の仮想視点画像生成装置の概略構成を 示す模式図であり、図 6は画像生成装置内部の構成を示すブロック図、図 7は画像 生成装置を用いたシステムの構成例を示す図である。

[0085] 図 6において、 1は仮想視点画像生成装置、 101は仮想視点決定手段、 102は被 写体画像取得手段、 103は画像生成手段、 103aは投影面決定手段、 103bは基準 視点決定手段、 103cはテクスチャ配列確保手段、 103dは対応点マッチング処理手 段、 103eは色情報決定手段、 103fは存在確率情報決定手段、 103gはレンダリング 手段、 104は生成画像出力手段、 2は視点位置入力手段、 3は被写体撮影手段、 4 は画像表示手段である。また、図 7において、 Userは仮想視点画像生成装置の利用 者、 Objは被写体である。

[0086] 本実施例 1 - 1の仮想視点画像生成装置 1は、図 6及び図 7に示すように、利用者 Userが視点位置入力手段 2を用いて入力した視点(仮想視点)のパラメータを決定す る仮想視点決定手段 101と、複数の視点位置 Cにある被写体撮影手段 (カメラ) 3で 撮影された被写体〇bjの画像を取得する被写体画像取得手段 102と、前記取得した 被写体〇bjの画像をもとに、前記仮想視点から前記被写体 Objを見たときの画像 (仮 想視点画像)を生成する画像生成手段 103と、前記画像生成手段 103で生成した仮 想視点画像を画像表示手段 4に表示させるための生成画像出力手段 104とにより構 成される。

[0087] 仮想視点決定手段 101では、前記仮想視点のパラメータとして、例えば、位置、方 向、画角を決定する。また、前記視点位置入力手段 2は、例えば、図 7に示したように 、マウス等の利用者 Userが操作して選択するデバイスであってもよいし、キーボード 等の利用者 Userが直接数値として入力するデバイスでもよレ、し、前記利用者 Userが 装着する位置 ·姿勢検出センサでもよい。また、他のプログラムにより与えられるもの でも、ネットワークを介して与えられるものでも可能である。

[0088] また、前記被写体画像取得手段 102は、刻々と変化する被写体の位置 ·姿勢を一 定の間隔、例えば 30Hzの間隔で逐次的に取得することも、任意の時刻における被 写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記 録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの 被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したもので あることが望ましいが、被写体の位置 '姿勢の変化が十分に遅ぐ静止物と見なせる 場合にはこの限りではない。

[0089] また、前記画像生成手段 103は、図 6に示したように、画像生成に用いる投影面の 位置 ·形状を決定する投影面決定手段 103aと、基準視点の位置を決定する基準視 点決定手段 103bと、投影面に貼り付けるテクスチャ画像の配列をメモリ上に割り当て るテクスチャ配列確保手段 103cと、前記被写体画像取得手段 102で取得した被写 体の画像において、複数の視点位置の間で被写体の同一の領域が撮影されている 箇所の対応付けを行う対応点マッチング処理手段 103dと、前記テクスチャ配列確保 手段 103cで確保したテクスチャ配列のうちの色情報を、取得した複数枚の被写体の 画像の色情報を混合処理することで決定する色情報決定手段 103eと、前記テクス チヤ配列確保手段 103cで確保したテクスチャ配列のうちの、投影面上に被写体が 存在する可能性の度合い(存在確率情報)を、前記対応点マッチング処理手段 103 dの結果に基づいて決定する存在確率情報決定手段 103fと、前記色情報決定手段 103eで決定した色情報及び前記存在確率情報決定手段 103fで決定した存在確率 情報をもとに、前記仮想視点から見た前記投影面をレンダリングするレンダリング手 段 103gとにより構成される。

[0090] 前記テクスチャ配列確保手段 103cで確保する配列は、各画素にっレ、て色情報と 存在確率情報を保持し、例えば、赤 (R) ,緑 (G) ,青 (B)の 3原色及び前記存在確 率情報に対して各 8ビットで表現する。ただし、本発明はこのような特定のデータ表現 形式に依存するものではない。

[0091] また、前記画像表示手段 4は、例えば、ディスプレイ端子等の生成画像出力手段 1 04に接続された CRT (Cathode Ray Tube) , LCD (Liquid Crystal Display) , PDP ( Plasma Display Panel)等の表示装置である。前記画像表示手段 4は、例えば、 2次元 平面状の表示装置でもよいし、利用者 Userを取り囲むような曲面状の表示装置であ つてもよい。また、前記画像表示手段 4として、立体表示が可能な表示装置を用いれ ば、前記仮想視点決定手段 101で、前記利用者 Userの左右眼に相当する 2つの仮 想視点を決定し、前記画像生成手段 103で前記 2つの仮想視点からの仮想視点画 像を生成したのち、利用者の左右眼に独立した画像を提示することも可能である。ま た、 3つ以上の仮想視点からの画像を生成し、 3つ以上の視差がついた画像を表示 することのできる 3次元ディスプレイを用いれば、 1人以上の利用者に対して立体映 像を提示することも可能である。

[0092] また、前記仮想視点画像生成装置 1を用いたシステムは、例えば、図 7に示したよう な構成になっており、利用者 Use ま前記視点位置入力手段 2を介して仮想視点画像 生成装置 1に所望の視点位置 ·方向 ·画角を指定すると、前記仮想視点画像生成装 置 1は被写体 Objを前記被写体撮影手段(カメラ) 3で撮影し、その画像を取得した後 、前記取得した被写体の画像をもとに指示された視点における画像 (仮想視点画像) を生成する。前記生成された仮想視点画像は、前記画像表示手段 4により利用者 Userに提示する。

[0093] なお、図 7のシステム構成は本発明における画像生成装置の実装の一例を示すも のであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなぐ個 々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意であ る。

[0094] 以下、前記画像生成手段 103による画像生成処理について説明するが、その具体 的な処理手順を記述する前に、処理の前提となる数理モデルにっレ、て説明する。

[0095] 図 8及び図 9は、本実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像 生成方法の数理モデルを説明するための模式図であり、図 8は投影変換の一例を示 す図、図 9は座標変換の一例を示す図である。

[0096] 本実施例 1 - 1の仮想視点画像生成装置を用いた画像生成処理では、例えば、図 8に示したように、カメラ 3の中心位置 C (i=l,2,〜,N)及び仮想視点 P、投影面 L ( 』=1,2,· · ·,Μ)が設定されている。以下、複数台のカメラ 3を区別するために、前記カメラ の中心位置はカメラ自体も示すものとし、同様に Pは仮想視点自体を示すとともに 仮想視点の中心の位置を示すものとする。

[0097] また、図 8では、カメラ Cは横一列に配置している力本発明はこのような配置に限 定されるものではなぐ例えば 2次元格子状や円弧状などの多様な配置にも適用可 能である。さらに、投影面 L Jの配置も必ずしも平行に限定されるものではなぐ後述の 実施例 1-3のように曲面とすることも可能である。ただし、本実施例 1—1の説明では 投影面 L jは平面であるとする。

[0098] 本実施の形態の仮想視点画像生成方法では、実際にカメラを配置した位置 Cで取 得した被写体〇bjの画像をもとに前記カメラが配置されていない仮想視点 Pの画像を 生成するため、基本的には、カメラ C iで撮影した被写体の画像の一部をコンピュータ 等の仮想視点画像生成装置 1上に想定した投影面 L Jに貼付 (テクスチャマッピング) し、そのテクスチャマッピングされた投影面を前記仮想視点 Pから見たときの画像を座 標計算処理により生成するという手順を経る。

[0099] このような処理を行う際、前記仮想視点 P及びカメラ Cは、 3次元空間中の点をそれ ぞれの画像面の 2次元の点に射影する。

[0100] 一般的に、 3次元空間上の点 (X, Υ, Z)から画像面上の点(X, y)へ射影する行列 は 3行 4列の行列で与えられ、下記数式 14及び数式 15のように表すことができる。

[0101] [数 14]


[0102] [数 15]


このとき、例えば、原点を中心とした焦点距離 fの透視投影変換を表す行列 Φ 0は、 下記数式 16となる。

[0103] [数 16]


また、コンピュータにより扱う画像はいわゆるディジタル画像であり、メモリ上の 2次 元配列により表現されている。この配列の位置を示す座標系(U, V)をディジタル画像 座標系と呼ぶことにする。

[0104] このとき、例えば、 640画素 X 480画素の大きさをもつディジタル画像上の 1点は、 0 力 639の整数値のレ、ずれかをとる変数 uと、 0から 479の整数値のレ、ずれかをとる変 数 Vにより示され、その点での色情報はそのアドレスでの赤(R) ,緑 (G) ,青(Β)情報 を 8ビットなどで量子化したデータで表される。

[0105] またこのとき、図 9 (a)に示すような画像座標(X, y)と、図 9 (b)に示すようなディジタ ル画像座標 (u, V)は、 1対 1で対応付けされ、例えば、下記数式 17のような関係を持 つ。

[0106] [数 17]


ここで、図 9 (a)に示した x軸と図 9 (b)に示した u軸は平行であり、 u軸と V軸の単位 長は (X, y)座標系を基準に k, k、 u軸と V軸のなす角度を Θとおいた。

[0107] なお、 2次元配列の書き込み及び読み取りをする際、前記ディジタル画像座標 (u,

V)は離散値をとる力以下の説明では断りのない限り連続値をとることとし、配列への アクセスの際に適当な離散化処理を行うものとする。

[0108] また、この座標変換で前記数式 17の関係に加え、レンズの収差による画像の歪み を補正した変換を行うことも可能である。

[0109] 以下、前記数理モデルを用いて、具体的な仮想視点画像の生成処理手順につい て説明する。

[0110] 図 10乃至図 17は、本実施例 1 1の仮想視点画像の生成処理手順を説明するた めの模式図であり、図 10は生成処理全体のフロー図、図 11は仮想視点画像を生成 するステップの具体的なフロー図、図 12は投影面の設定方法の一例を示す図、図 1 3は投影点、投影点列、投影点列の集合の一例を示す図、図 14は色情報の混合処 理を説明するための基準視点,投影点,カメラ位置によりなす角度の一例を示す図、 図 15は対応点マッチング処理の一例を示す図、図 16はレンダリング処理を説明する ための図、図 17は生成された仮想視点画像の一例を示す図である。

[0111] 本実施例 1 1の仮想視点画像生成装置 1を用いて仮想視点画像を生成するときに は、図 10に示すように、まず、利用者 Userからの要求に基づき、前記仮想視点決定 手段で仮想視点 Pのパラメータを決定する(ステップ 501)。前記ステップ 501では、 例えば、仮想視点 Pの位置、方向、画角等を決定する。

[0112] 次に、前記複数台のカメラ 3 (C )で撮影した被写体 Objの画像を、前記被写体画像 取得手段 102で取得する(ステップ 502)。

[0113] 次に、前記被写体画像取得手段 102で取得した被写体の画像をもとに、前記仮想 視点 Pから前記被写体 Objを見たときの画像 (仮想視点画像)を生成する (ステップ 50 3)。

[0114] 前記ステップ 503では、例えば、図 11に示すような各ステップの処理を行レ、、仮想 視点画像を生成する。

[0115] 前記ステップ 503の処理では、まず、前記投影面決定手段 103aにより、仮想視点 画像の生成に用いる多層構造の投影面 L (jejJ≡{l,2!- - -,M})の位置、形状を決定 する(ステップ 503a)。前記ステップ 503aで前記投影面 Lを設定するときには、例え ば、図 8に示したような、平面形状を持つ投影面を等間隔に平行に設置する。

[0116] また、前記カメラ Cが等間隔に配置されているときには、その設置間隔を B、カメラ の焦点距離を F、画像面の 1画素の大きさを δとして、下記数式 18で求められる距離 の系列 1 (d=l,2,3,' に平面(投影面)を配置してもよい。

[0117] [数 18]

BF (d = l9 2, 3,

δά

このような場合、カメラ間の対応点マッチングの奥行き分解能と投影面の設置間隔 がー致する。すなわち、図 12に示すように、カメラ C及び C が間隔 Βで設置されて おり、カメラ Cの画像面上の点を Α、カメラ C の画像面上で Cにおける点 Αに相当 する点を A '、 A 'から d画素目の点を A 'とすれば、点 Aの対応点は {A ' I d=l,2,

… }からなる系列となり、その際に計算される距離の系列は前記数式 18で与えられる

[0118] ただし、前記投影面 Lの設定例はあくまでも一例であり、本発明の画像生成法は基 本的に 2枚以上の異なる投影面を設定すればよぐこのような特定の投影面の設定 法に限定されるものではなレ、。

[0119] 前記ステップ 503aの処理が済んだら、次に、前記基準視点決定手段 103bにより、 後の処理で用いる、投影点上に被写体が存在する可能性の度合い(存在確率情報)

を計算する際に基準とする点 (基準視点) Rを決定する (ステップ 503b)。前記基準 視点 Rの位置は仮想視点 Pの位置と一致させてもよいし、仮想視点が複数ある場合 にはその重心位置にとってもよい。ただし、本発明は特定の基準視点の取り方に依 存した方法を提供するものではない。

[0120] 前記ステップ 503bの処理が済んだら、次に、前記投影面上に多数の投影点を設 定する(ステップ 503c)。このとき、基準視点 Rを通る複数の直線上に投影点が乗るよ うに設定し、同一の直線上にある投影点を投影点列としてひとまとめに扱う。ここで、 例えば、図 1 3に示すように、基準視点 Rを通るある直線に着目し、投影面 L

J上にある 投影点を τ、それらを集めた投影点列を sとおけば、 S = {T

J J I jej}と書け、さらに投 影点列の集合を∑とおけば s≡∑となる。

[0121] 前記ステップ 503の処理が済んだら、次に、前記テクスチャ配列確保手段 103cに より、前記投影面にテクスチャマッピングする画像を保持する配列 (テクスチャ配列) を、画像生成装置のメモリ上に確保する(ステップ 503d)。このとき、確保する配列は 、前記投影点の位置に対応するテクスチャ情報を画素毎に、色情報 (R, G, B)及び 存在確率情報を例えば 8ビットずつ持たせる。

[0122] また、前記ステップ 503dでは、テクスチャ配列の画素の 2次元ディジタル座標(U ,

J)と投影点丁 Jの3次元座標 J, Y

J, Ζ )

J の対応関係も設定する。このとき、例えば、 すべての(U , V )

j j の値に対して(X , Υ , Ζ )

j j j の値をテーブルとして設定してもよいし、 代表的な(Uj, Vj)に対してのみ (Xj, Y, Zj)の値を設定し、その他対応は補完処理( 例えば線形補完)により求めてもよい。

[0123] 前記ステップ 503dの処理が済んだら、前記ステップ 502で取得した被写体の画像 をもとに、前記ステップ 503dで確保した各投影点に相当する画素の色情報及び存 在可能性情報を決定する。その際、投影点列 Sを∑の範囲で順に走査し、さらに 投影点 T

Jを T

J の範囲で順に走査し、 2重のループ処理を行う。

[0124] 前記ループ処理は、まず、操作する投影点列 Sを開始位置に初期化する (ステップ 503e)。そして次に、走査する投影点 T

Jを投影点列 S内で開始位置に初期化し、例 えば、 j= lとする(ステップ 503f)。

[0125] 前記ステップ 503e及び前記ステップ 503fの処理が済んだら、次に、投影点 Tの座 標 (X *, Y*, Ζ *)を求め、 (X *, Υ*, ζ *)の位置にある点を各カメラで撮影したとき、画 像面のそれぞれどの位置に対応するかを前記数式 14から数式 17までの関係を用い て算出する (ステップ 503g)。このとき、前記対応点を計算するカメラの集合 S≡{ C;

I iei}とおく。前記カメラの集合 Ξは、すべてのカメラであってもよいし、仮想視点 P や基準視点 R、投影点 Tの位置に応じて 1つもしくは複数のカメラを任意に選択して あよい。

[0126] ここで求めた各カメラの対応点を G (i e i)とおき、そのディジタル座標を (u *, v *) (i ei)とおく。

[0127] 前記ステップ 503gの処理が済んだら、次に、前記色情報決定手段 103eにより、投 影点 Tに対応するテクスチャ配列上の画素(U *, V *)における色情報を、 (u *, *) (i

≡I)における色情報を混合することにより決定する(ステップ 503h)。前記混合処理 は、例えば、各カメラの対応点の色情報の平均値をとる。

[0128] また、前記混合処理では、例えば、カメラ C ,投影点 T ,基準視点 Rによりなす角 Θ に応じた重み付けを行うことも可能である。ここで、例えば、図 14に示すように、カメラ の集合を S = { C, C , C } (l={n,n+l ,n+2})とした場合を考える。このとき、投影点

Tと対応点 Gにおける色情報 (R, G, B)を表すベクトルをそれぞれ Κ , Kとおくと、 例えば、下記数式 19のように Kを決定すれば、基準視点 Rから投影点 Τを見る角度 と近い角度から撮影したカメラほど、混合処理の寄与の程度が大きくなる。

[0129] [数 19]

∑ cos θϋ . Κ


前記ステップ 503hの処理が済んだら、前記対応点マッチング処理手段 103dにより 、投影点 Tに対する各カメラの対応点 G (i e i)の相関の程度 Qを計算する (ステップ

503i)。前記相関の程度 Qは、例えば下記数式 20のようにすれば、 Qが正の値をと

り、対応点の相関が高いほど Qjは小さな値をとる。

[0130] [数 20]

κも

/

また、前記数式 20では、投影点と対応点の色情報を 1点でのみ比較しているが、投 影点と対応点の近傍にある複数の点で色情報の比較を行うこともできる。このとき、例 えば、図 14に示すように、投影面 Τの近傍の領域 Φ、カメラ Cにおける対応領域 Ψ をとると、これらの領域における相関の程度 Qは、例えば、下記数式 21により計算さ れる。

[0131] [数 21]


ここで K (U, V J)はテクスチャ配列の座標(U J , V )における色情報の推定値、 K (u ij

, v )はカメラ Cにおける撮影画像の座標 (u , v J)における色情報を示す。

[0132] なお、相関の程度を計算する方法は上記の限りではなぐ本発明は特定の計算方 法に依存するものではなレ、。例えば、図 15に示した例では、投影点 T J及び対応点に 相当する画素とその周りの 8画素からなる領域を、それぞれ近傍の領域 Φ、及びそ の対応領域 Ψとしている。しかし、近傍の領域 Φ、及びその対応領域 Ψの定め方 は、この例に限定されるものではない。

[0133] 前記ステップ 503iの処理が済んだら、次に、前記投影点 Tを更新し (ステップ 50¾

)、投影点 T jE Sをすベて走査したかを判別する (ステップ 503k)。ここでもし、すべて を走査し終えたのなら、次のステップ 5031に進み、まだ走査し終えていないのであれ

ば前記ステップ 503gに戻る。

[0134] 前記ステップ 503kで、すべて走査し終えたと判別されたら、次に、前記存在確率 情報決定手段 103fにより、前記ステップ 503iで計算した相関の程度 Qをもとにして 、基準視点 Rを通る直線上にあるすベての投影点 T (j e j)について、投影点上に被 写体が存在する可能性の度合い(存在確率情報) βを決定する (ステップ 5031)。た だし、前記存在確率情報は、下記数式 22及び数式 23の条件を満たす必要があ る

[0135] [数 22]

0≤≤1

[0136] [数 23]

Μ

さらに、投影点 Τに被写体が存在する確率が高いほど 1に近い値をとるため、前記 ステップ 503iで計算した投影点と対応点の相関の程度 Qに対し、例えば、下記数式 24及び数式 25で表される変換処理を施して前記存在確率情報 β . (j e j)を得る。

[0137] [数 24]

- 1

[0138] [数 25]

j =


ただし、前記存在確率情報 i3は、前記数式 22及び数式 23の条件を満たせばよい ため、変換処理は必ずしも前記数式 24及び数式 25で表される方法に限定されるも のではない。

[0139] 前記ステップ 5031の処理が済んだら、次に、投影点列 Sを更新し (ステップ 503m) 、投影点列 ∑をすベて走査したかを判別する(ステップ 503η)。ここでもし、すべ てを走査し終えたのなら次のステップ 503οに進み、まだ走査し終えていないのであ ればステップ 503fに戻る。

[0140] 前記ステップ 503ηで、すべて走査し終えたと判別されたら、次に、前記レンダリン グ手段 103gにより、多層構造を持つ投影面 L (j=l,2, ' ,M)を仮想視点 Pから見た画 像を、前記存在確率情報 /3に応じて描画して生成する(ステップ 503o)。ここで、例 えば、図 16に示すように、仮想視点 Pにおける画像面の座標が(u , V )で表されてい るとする。このとき、画像面上のある画素 p* (u *, V *)の色情報 K *は、 Pと p*を結ぶ直 線上にある投影点列 {T* I jej}の色情報 {K* I jej}に対応する存在確率情報 {

I J}を掛けて加算したものとして決定され、下記数式 26のように表される。

[0141] [数 26]


そして、画像面上にあるすベての画素について色情報を決定すれば、仮想視点 P における画像を得ることができる。

[0142] また、前記数式 26の代わりに、下記数式 27として K *を計算すると、基準視点 Rと仮 想視点 Pの位置が異なる場合でも、 K P *は必ず有効な色空間の範囲内に収めることが 保証される。

[0143] [数 27]


なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに 限らず、例えば、 OpenGLや DirectX等の汎用的なグラフィックスライブラリに投影面の 構成、テクスチャ配歹 IJ、視点 Pの設定などのデータを受け渡し、描画処理を任せても よい。

[0144] 以上で前記仮想視点画像の生成処理 (ステップ 503)が終了し、生成された仮想視 点画像は、前記画像表示手段 4に表示される(ステップ 504)。このとき、前記画像表 示手段 4に表示される仮想視点画像 6は、例えば、図 17に示すように、被写体の像 7 のうち、前記ステップ 5031で計算した前記相関の程度 Q jが低レ、、すなわち推定値の 信頼性が低い箇所 7Aは、曖昧に描画され、ぼやけたようになつている。そのため、例 えば、図 1に示したような、従来の仮想視点画像 6のように、画像が欠損しているよう には見えず、利用者の目には気にならない程度の劣化となる。

[0145] その後、前記ステップ 505で、処理の継続あるいは終了を判断し、継続するのであ れば最初のステップ 501から繰り返し、終了であれば終了処理を行う。

[0146] 以上説明したように、本実施例 1一 1の仮想視点画像生成装置を用いた仮想視点画 像生成方法によれば、従来の手段のようにあらゆる場合及びあらゆる箇所で被写体 の正確な幾何モデルを得ようとするのではなぐ被写体の撮影条件や部位によって は距離推定で十分な信頼性を持つ推定値が得られなレ、ことを前提として、信頼性が 低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、

極端な画像の劣化を防止するとともに、信頼性が高い距離データが得られた箇所に ついては明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性が 低い箇所の画像の劣化を目立たなくすることができ、利用者の見た目には劣化の少 なレ、仮想視点画像とすることができる。

[0147] また、本実施例 1一 1の仮想視点画像生成装置 1では、テクスチャマッピングを利用 して仮想視点画像を生成するので、画像生成処理における装置の負荷を小さくする ことができ、かつ、高速に仮想視点画像を生成することができる。

[0148] また、前記仮想視点画像生成装置 1は、専用の装置である必要はなぐ例えば、

CPU,及び、メモリ、ハードディスク等の記憶装置を有するコンピュータとプログラムに よっても実現すること力 Sできる。その場合、図 11に示したような各ステップをコンピュー タに実行させることが可能なプログラムを作成し、前記コンピュータに実行させれば、 普及型のパーソナルコンピュータでも、画像の劣化が少ない仮想視点画像を容易に

、かつ高速に生成することができる。なお、この場合、処理に係るデータは記憶装置 に保持され、適宜読み出されて CPUにより処理がなされる。

前記プログラムは、フロッピーディスクや CD-ROM等の記録媒体に記録して提供する こともできるし、ネットワークを通して提供することも可能である。

[0149] なお、本実施例 1 - 1で説明した仮想視点画像生成装置の構成、及び仮想視点画 像の生成方法や処理手順は一例であり、本発明の本旨とするところは、多層から構 成される投影面の透明度情報を、複数の異なる視点位置力被写体を撮影した画像 間の対応領域の信頼性に応じて決定することである。そのため、この主旨を大きく逸 脱しなレ、範囲にぉレ、て特定の処理方法や実装に依存するものではなレ、。

[0150] また、前記仮想視点画像生成装置 1を利用したシステムも、図 7に示したような、一 方向のシステムに限らず、双方向のシステムでも適用できる。

[0151] 図 18は、前記実施例 1一 1の仮想視点画像生成装置 1を適用したシステムの応用 例を示す模式図である。

[0152] 前記実施例 1一 1の仮想視点画像生成装置 1は、例えば、テレビ電話やテレビ会議 等のシステムに適しており、例えば、図 18に示すように、通信ネットワークを介して遠 隔地に存在する利用者 UserA及び UserBにおいて、両者が利用者であるとともに被

写体であると見なし、お互いの画像を提示し合い、視覚的なコミュニケーションを支援 するシステムに適用することができる。このとき、 UserAが所望する視点からの UserB の画像を Img[A→B]とおけば、 Img[A→B]は UserB側の被写体撮影手段(カメラ) 3 Bにより撮影された UserBの画像をもとに生成されて UserA側の画像表示手段 4Aに 提示される。また、 UserBが所望する視点力の UserAの画像を Img[B→A]とおけば 、 Img[B→A]は UserA側の被写体撮影手段(カメラ) 3Aにより撮影された UserAの画 像をもとに生成されて UserB側の画像表示手段 4Bに提示される。

[0153] また、図 18に示したシステムでは、各 Userの視点位置入力手段力利用者の頭部 に装着された位置 Z姿勢センサのデータ送信部 201A, 201Bとデータ受信部 202 A, 202Bにより構成され、利用者の頭部移動に自動的に追従して所望の仮想視点 を算出するような例を示している。しかしながら、前記視点位置入力手段は、必ずしも このような形態をとる必要はない。また、被写体撮影手段 3A, 3Bにより撮影された利 用者の画像をもとに頭部の位置/姿勢を推定し、同様の機能を持たせることも可能 である。

[0154] ここで、 Img[A→B]は UserA側の仮想視点画像生成装置 1Aと UserB側の仮想視 点画像生成装置 1Bのどちらで生成するようなシステム構成も可能である。前者の場 合には、カメラ 3Bで撮影された UserBの画像がネットワーク 8を介して UserA側の仮 想視点画像生成装置 1Aに伝送され、それをもとに前記仮想視点画像生成装置 1A で Img[A→B]が生成されて画像表示手段 4Aで提示される。また、後者の場合には UserB側のカメラ 3Bで撮影された UserBの画像をもとに UserB側の仮想視点画像生 成装置 1Bで Img[A→B]が生成されたのち、仮想視点画像 Img[A→B]が UserA側 の仮想視点画像生成装置 1Aに伝送されて画像表示手段 4Aで提示される。また、説 明は省略するが、 Img[B→A]についても同様である。

[0155] また、図 6における画像生成手段 103を構成する各手段は、 UserA側の仮想視点 画像生成装置 1A及び UserB側の仮想視点画像生成装置 1Bのどちらで分担するこ とも可能であり、例えば、 Img[A→B]を生成するために User A側にある画像生成装置 1Aで投影面決定手段 103a及び基準視点決定手段 103b、ならびに対応点マッチ ング手段 103dを実装し、 UserB側にある画像生成処理装置 1Bでテクスチャ配列確 保手段 103c及び色情報決定手段 103e及び存在確率情報決定手段 103f及びレン ダリング手段 103gを実装することができる。また、説明は省略するが、 Img[B→A]に ついても同様である。

[0156] さらには、ネットワーク 8上の任意の場所に、 UserA側及び UserB側の前記仮想視 点画像生成装置 1A, 1Bとは別の画像生成装置 1Cを設け、画像生成手段のすべて 若しくは一部を実装することも可能である。

[0157] なお、ここでは UserAと UserBの 2人の利用者間での通信について述べた力利用 者の人数は、この限りではなぐさらに多数の利用者間でも同様に本発明を適用する こと力 Sできる。その際、利用者が実際に存在する実空間とは別にコミュニケーションに 用いる仮想空間を想定し、その位置関係に応じた他の利用者の画像をお互いに提 示し合えば、あた力、もネットワーク上の仮想空間(サイバースペース)を共有するかの ような感覚を利用者に提示することができる。

[0158] (実施例 1一 2)

図 19は、実施例 1一 2の仮想視点画像生成方法を説明するための模式図であり、 図 19 (a)は本実施例 1一 2の特徴となる処理を示すフロー図、図 19 (b)は透明度情報 を決定するステップの具体的な処理手順の一例を示すフロー図である。

[0159] 本実施例 1 - 2では、前記実施例 1 - 1で説明した仮想視点画像の生成処理にぉレ、 て、前記ステップ 5031で計算した投影点の存在確率情報の代わりに、前記存在確率 情報を透明度情報に変換して画像生成を行う例を示す。

[0160] このとき、前記仮想視点画像生成装置 1の構成や、全体的な処理手順については 、前記実施例 1一 1で説明した例と同様な形態をとることができるため、以下、差異の ある部分のみを説明する。

[0161] 前記実施例 1—1では、前記画像を生成するステップ 503において、図 11に示した ように、前記ステップ 5031で決定した前記存在確率情報 j3 jを用いて、仮想視点画像 を生成していたが、本実施例 1一 2では、図 19 (a)に示すように、前記ステップ 5031の 後、前記存在確率情報を変換して透明度を決定するステップ 503Pを付加する。

[0162] そのため、前記実施例 1—1のテクスチャ配列を確保するステップ 503dでは、色情 報及び前記存在確率情報を保持する配列を確保したのに対し、本実施例 1一 2のス

テツプ 503dでは、色情報及び前記透明度情報を保持する配列を確保する。

[0163] 前記透明度情報 αは、前記存在確率情報 j3をもとに計算され、前記実施例: のステップ 5031と同様、本実施例 1一 2でも、前記ステップ 5031で前記存在確率情報 をレ、つたん計算し、次のステップ 503pで透明度情報を計算する。

[0164] また、本実施例 1—2のレンダリング処理を行うステップ 503οでは、前記実施例 1一 1 で説明した前記数式 26や数式 27の代わりに、前記数式 2から前記数式 4までに従つ て Dを逐次的に計算する。そのため、画像面上のある画素 p* (u *, V *)の色情報 K* は、下記数式 28のように計算することになる。

[0165] [数 28]

M

二 aMKM + ( 1 - " Μ- — i + · · '

+ - "Λ Χΐ - 1)· · ·(1 - "2) "

以上が本実施例における画像生成方法であるが、前記存在確率情報をもとに透 明度情報 αを計算する方法の一例を、以下で示す。

[0166] まず、前記数式 26と前記数式 28を比較すると、下記数式 29のようになる。

[0167] [数 29]

βΜ = Μ

β】 a. J)


この関係から、」·=Μ,Μ-1,· · ·,1の順にを求めていく手順は以下のようになる。

[0168] まず、図 19 (b)に示すように、 jの初期値として j=Mとする(ステップ 5031p)。次に、 前記数式 29から、ひ = β と決定する (ステップ 5032ρ)。次に、 jの値を j=j-lと更新 する(ステップ 5033p)。

[0169] 次に、 α 力 S iか否かを判別する(ステップ 5034ρ)。このとき、 α ≠1であれば、前 記数式 29の関係から、下記数式 30により αを決定する(ステップ 5035ρ)。

[0170] [数 30]


一方、 α = 1のときは、下記数式 31により αを決定する(ステップ 5036ρ) (

[0171] [数 31]

α, = 1

この根拠を説明すると、まず、ひ = 1ならば、下記数式 32のようになり、前記数式 3

0では分母が 0 (零)となるため計算できなレ、。

[0172] [数 32]


そこで前記数式 32を展開すると、下記数式 33となり、前記数式 29を代入すると、数 式 34のようになる。

[0173] [数 33]

+ (1 -« )(1 -¾-1 · ·(1 -^ 2 ) ゾ+1 = 1

[0174] [数 34]

+ Α - …十 +1 = ι

前記数式 34と前記数式 22及び数式 23から、下記数式 35が得られる c

[0175] [数 35]

= 0

ここで、前記数式 32と前記数式 35を、前記数式 29の下辺に代入すれば 0 = 0 X a

Jとなり、 a jは任意の値をとりうることがわかる。そこで、本実施例 1—2では、例えば、ひ j

= 1と設定する。

[0176] ただし、上記の通りひ jは任意の値に設定することができ、本発明は特定のひ Jの決 定法に依存するものではない。

[0177] 次に、 j=lまで処理したかを判別し (ステップ 5037p)、すべての処理が済んだなら ば終了、まだ済んでいないのであれば前記ステップ 5033pに戻る。

[0178] 以上説明したように、本実施例 1 - 2の仮想視点画像生成方法によれば、前記実施 例 1-1と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ 高速に生成することができる。

[0179] また、前記実施例 1一 1で説明したように、存在確率情報をそのまま用いた画像生成 では、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が 生じることがあるのに対し、本実施例 1-2のように、存在確率情報を透明度に変換す

る画像生成では、この現象を防止する効果がある。そのため、画像の劣化が少なぐ より実際の被写体に近い仮想視点画像を得ることができる。

[0180] また、前記実施例 1一 1で説明したように、存在確率情報をそのまま用いる画像生成 では、基準視点と仮想視点が異なる場合には、後に示す数式を用いた演算で色情 報を計算した場合に有効な色情報の範囲内に収まる保証がなぐ例えば、補正処理 が必要であるのに対し、本実施例 1一 2のように、前記存在確率情報を透明度に変換 する画像生成では、このような補正は不要である。そのため、画像生成処理が簡略化 できる。

[0181] また、本実施例 1一 2の仮想視点画像生成方法のように、存在確率情報を透明度に 変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界 にあるより多くの被写体に対して広く本発明を適用できる効果がある。

[0182] なお、本実施例 1 - 2で説明した仮想視点画像生成方法は一例であり、本実施例の 本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生 成することである。そのため、この主旨を大きく逸脱しない範囲において特定の計算 方法や処理手順に依存するものではなレ、。

[0183] また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理す ることが可能である。

[0184] (実施例 1一 3)

図 20は、実施例 1一 3の仮想視点画像生成方法を説明するための模式図であり、 投影面群、基準視点、仮想視点、投影点の一例を示す図である。

[0185] 本実施例 1一 3では、複数のカメラで共通の投影面 Lを用いるのではなぐカメラ C 毎に固有の投影面を設定して画像生成する方法について説明する。なお、仮想視 点画像生成装置 1の構成や、全体的な画像生成の処理手順は前記実施例 1 - 1で説 明した手順と同様であるので、詳細な説明は省略する。

[0186] まず、前記実施例 1一 1で説明したように、前記ステップ 501で仮想視点を決定し、 次の前記ステップ 502で被写体の画像を取得する。

[0187] 本実施例 1 - 3の画像生成方法では、次に行われる前記仮想視点画像を生成する ステップ 503の、投影面を決定するステップ 503において、前記カメラ毎に固有の投 影面群を設定する。

[0188] このとき、前記投影面群は、例えば、図 20に示すように、カメラ Ci (iei,

Hn-l,n,n+l,n+2})の画像面 Img (i≡l)に平行に、それぞれ固有の投影面群 Λ≡{L

I jej}を設定する。

[0189] 前記投影面群の設定が済んだら、次に、前記ステップ 503bの基準視点を決定する 処理において、前記投影面群 Λ iに固有の基準視点 R iを、カメラの視点 C iと同じ位置 に設定する。

[0190] 前記ステップ 503bが済んだら、次に、前記実施例 1一 1で説明したような手順で前 記ステップ 503cの処理を行う。そしてその次のステップ 503dでは、カメラで撮影した ディジタル画像の各画素を投影面上に逆投影し、投影面のテクスチャ配列の各画素 と対応づける。

[0191] ここで、ディジタル画像の点(u, V)と画像面上の点(X, y)への変換は、例えば、前 記数式 17で表され、(X, y)から 3次元空間中の投影面上の点(X, Υ, Z)への逆投 影は例えば以下のように数式化できる。

[0192] 一般に、 2次元の点 (X, y)が与えられたとき、前記数式 14及び前記数式 15を満た すような点 (X, Υ, Z)は 3次元中に無数にある力そのうち投影面上にある点 (X, Y,

Z)が逆投影像である。

[0193] 投影面の式は一般的に aX + bY + cZ + d = 0と表現され、これをベクトル表現で書 き直すと、下記数式 36のようになる。

[0194] [数 36]

X

Y

[a b e d] = 0

Z

1

ここで前記数式 14及び前記数式 15、ならびに前記数式 36をまとめると、下記数式 37が得られる。

[0195] [数 37]


そこで、前記数式 37を (Χ, Υ, Ζ)について解くと (χ, y)から (X, Y, Ζ)への逆投影 像を求めることができる。ここで、例えば、前記数式 37の 4行 4列の行列が逆行列を 持つならば、 s'=l/sとおけば、前記逆投影像は下記数式 38で求められる。

[0196] [数 38]



なお、上記の例はあくまでも一例であり、レンズの収差 (例えば歪曲収差)を補正す るようなキャリブレーションを行うことも可能であるし、ディジタル画像の点(U, V)に対 応する投影面上の点(Χ, Υ, Ζ)をテーブルとして持つことも可能である。

[0197] その後、前記実施例 1-1で説明した手順で前記ステップ 503eから前記ステップ 50 3g間での処理を行う。そしてその次のステップ 503hの色情報を決定する処理では、 前記投影面群 Λ上の投影点は、カメラ Cで撮影した画像の色情報のみを用いて決

定する。

[0198] 本実施例 1-3で説明した前記ステップ 503dと前記ステップ 503hのようにすること で、カメラで撮影したディジタル画像をそのまま投影面のテクスチャ配列の色情報とし て用いることができる。

[0199] その後再び、前記ステップ 503iから前記ステップ 503ηまでは、前記実施例 1一 1と 同じ手順で処理を行う。そしてその次に、前記ステップ 503οのレンダリング手段にお いては、仮想視点 Ρから見て重なり合うすべての投影点について色情報の混合処理 を行う。このとき、例えば、図 20に示した例では、投影面群 Λ及び Λ 上の投影点 につレ、て、仮想視点 Ρを通る直線上で色情報の混合処理を行ってレ、る。

[0200] ここで、投影面 L上にある投影点を Τ、 Τでの色情報を Κ ,存在可能性情報を β として、前記実施例 1 - 1で前記数式 27として表された仮想視点 Pの画像面の色情報 は例えば以下のように決定される。

[0201] すなわち、画像面上のある画素 p* (u *, V *)の色情報 K *は、 Pと p*を結ぶ直線上に ある投影点列 {T * I i e ijej}の色情報 {K * I i e ijej}に対応する存在可能性情報

{ i3 Ί i e ijej}を係数とした重み付き平均値として決定され、下記数式 39となる。

[0202] [数 39]

M

κ。 = i≡I =l

-P M

に U

ゾ =ι

以上説明したように、本実施例 1 - 3の仮想視点画像生成方法によれば、前記実施 例 1-1と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ 高速に生成することができる。

[0203] また、本実施例 1一 3のように、カメラ間の位置関係とは無関係にカメラ毎に固有の 投影面群を設定すれば、カメラの配置が複雑であったり不規則であったりしても、投

影面群の設定処理が影響を受けることはなぐ一貫した処理方法により画像生成が できる。

[0204] なお、本実施例 1 - 3で説明した仮想視点画像生成方法は一例であり、本実施例の 本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生 成することである。そのため、この主旨を大きく逸脱しない範囲において特定 の計算方法や処理手順に依存するものではない。

[0205] また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理す ることが可能である。

[0206] (第 1の実施の形態の効果)

第 1の実施の形態で説明した方法によれば、従来の方法のようにあらゆる場合及び あらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなぐ被写体の撮影 条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを 前提とし、信頼性が低い推定値が得られた箇所については曖昧に描画して画像生 成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い距離デ ータが得られた箇所については明瞭に描画して画像生成への寄与を高くする。その ため、推定の信頼性が低い箇所の画像の劣化が目立たなくなる。

[0207] また、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加 が生じるという問題を解決できる。また、基準視点と仮想視点が異なる場合、色情報 を計算したときに有効な色情報の範囲内に収まる保証がないので、補正処理が必要 となることがある力本実施の形態で説明した方法ではこのような補正は不要である。 また、半透過の被写体も効率的に表現することができ、現実世界に存在する、より多 くの被写体に対して広く本発明を適用できる効果がある。また、カメラ間の位置関係と は無関係にカメラ毎に固有の投影面群を設定すれば、カメラの配置が複雑であった り不規則であったりしても、投影面群の設定処理が影響を受けることはなぐ一貫した 処理方法により画像生成ができる。

[0208] 更に、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関して は対応するカメラで撮影した画像間での混合処理が必要なレ、。そのため、例えば、 計算機(コンピュータ)で処理する際に並列処理が可能であり、画像生成の高速化が 可能である。

[0209] また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため 、計算機 (コンピュータ)で処理する際に、色情報を格納するテクスチャメモリを共有 できる。そのため、投影面の数ほどはメモリを消費することがなぐ画像生成に用いる 装置の負荷を低減することができる。更に、ある投影面に対応するカメラは一意に決 定されているため、両者の座標の対応関係をあら力、じめ設定しておくことで、レンズの 歪曲収差の補正などのキャリブレーションを容易にかつ高速に行うことができる。

[0210] また、複数枚の被写体の画像をもとに仮想視点画像を生成する装置の処理時間を 短縮する、あるいは装置に力、かる負荷を軽減することができ、普及型のパーソナルコ ンピュータでも部分的な劣化が少ない画像を短時間で生成させることができる。

[0211] [第 2の実施の形態]

以下、本発明の第 2の実施の形態について説明する。第 2の実施の形態は、主に 請求項 12—請求項 21に対応する実施の形態である。第 2の実施の形態における基 本的なしくみは第 1の実施の形態と同様である力第 2の実施の形態では、カメラセッ トを複数組用意し、カメラセット毎に求めた相関度に基づき存在確率を算出する点に 特徴がある。なお、第 2の実施の形態を説明するための図において、同一機能を有 するものは、同一符号を付ける。

[0212] 第 2の実施の形態の画像生成方法は、視点が異なる複数枚の画像から、前記画像 に写っている物体の 3次元形状を取得し、前記物体の 3次元像を提示する画像、ある いは任意の視点から前記物体を見たときの画像を生成する方法である。このとき、前 記物体の 3次元形状は、テクスチャマッピングの手法を用い、多層構造の投影面を設 定して、前記観察者の視点から物体の表面上の各点までの距離を推定して求める。 前記物体の表面までの距離を推定するときには、例えば、前記観察者の視点から見 て重なり合う各投影面上の点(以下、投影点という)に対して、前記投影点と対応する 各画像上の点(以下、対応点という)の相関度を求める。そして、前記観察者の視点 力 見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの 投影点の近傍に前記物体の表面が存在するか推定する。ただし、本実施の形態の 画像生成方法では、前記観察者の視点から見て重なり合う複数の投影点のうち、ど の投影点の近傍に前記物体の表面が存在するかということを考えるのではなぐ前記 各投影点の近傍に、前記各投影点の相関度の大きさに応じた割合で物体の表面が 存在すると考える。このとき、本発明の画像生成方法では、前記各投影点に対する 相関度から、前記各投影点もしくはその近傍に物体の表面が存在する確率 (以下、 存在確率という)を決定する。そして、前記被写体の 3次元形状に基づいて画像を生 成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り 当てるときに、前記存在確率の高さに応じた割合で割り当てる。このようにして、前記 投影面を観察してレ、る観察者から見て、前記物体表面までの距離の推定が難しレヽ部 分を曖昧に描画し、不連続なノイズ等を目立ちにくくする。

[0213] また、前記観察者の視点、もしくは物体の 3次元形状を取得するための基準視点か ら見て重なり合う複数の投影点について、物体表面の存在確率の確率密度分布をあ る程度想定できるのであれば、確率密度分布を反映したパラメータ関数 P (l)を用い て前記存在確率を求めてもよい。その場合、撮影した画像上のノイズ (雑音)の影響 による相関度のばらつきを低減でき、存在確率の信頼性の低下を防げる。

[0214] またさらに、ある投影点に対する相関度を、全ての画像上の対応点を用いて求める のではなぐあらかじめ定められていくつかの視点から撮影した画像上の対応点から 求めれば、例えば、ォクルージョン (遮蔽)により前記投影点上に物体の表面があつ ても写らない画像を取り除くことで、前記相関度の高さの信頼性が向上し、前記存在 確率の信頼性も向上する。

[0215] 図 21乃至図 28は、本実施の形態の画像表示方法の原理を説明するための模式 図であり、図 21は表示する画像の生成方法の概念を説明する図、図 22は図 21を 2 次元的に表現した図、図 23 (a)及び図 23 (b)は対応点の相関度の求め方を説明す る図、図 24 (a)及び図 24 (b)は対応点の相関度を求めるときに問題となる点を説明 する図、図 25は相関度を求めるときの問題を解決する方法を説明する図、図 26 (a) 及び図 26 (b)は存在確率の精度を向上させる方法の一例を説明する図、図 27 (a) , 図 27 (b),及び図 28は本実施の形態の特徴を説明する図である。

[0216] 本実施の形態の画像表示方法では、表示する画像を生成するときに、まず、コンビ ユータ等の画像生成装置内に仮想的な 3次元空間を設定し、前記 3次元空間上に、 前記物体の画像を撮影したカメラの視点〇^=1,2 ',、及び物体の 3次元形状を 推定する多層構造の投影面 L (j=l,2,一,M)を設定する。このとき、前記カメラがある 1 本の直線上に並んでいるとすれば、前記視点 Cは、例えば、図 21及び図 22に示す ように、 X軸 (Z = 0)上に設定する。また、前記投影面 Lは、例えば、図 21及び図 22 に示すように、 XY平面に平行な平面を、 Z =l (< 0)に設定する。

[0217] このとき、図 21及び図 22に示したように、観察者の視点 Pから引いた直線 lpとある 投影面 L mの交点(投影点) T mに物体の表面があれば、その点は、前記視点 C lに設置 したカメラで撮影した画像上の点(対応点) G i,mに写るはずである。同様に、前記投影 点 τ mに物体の表面があれば、その点は、前記視点 C i+1, C i+2に設置したカメラで撮影 した画像上ではそれぞれ、対応点 G 1+1, m, G 1+2, mに写るはずである。そのため、前記投 影点 T mに対する前記各画像上の対応点 G i,m , G i+l,m , G i+2,mの相関度 (類似度)がわか れば、前記投影点 T m上もしくはその近傍に物体の表面が存在するかどうか推定する こと力 Sできる。そして、このような推定を、前記観察者の視点 Pから引いた直線 lp上の 各投影点 T Jに対して行えば、前記観察者の視点 Pから引いた直線 lp上では、物体の 表面がどの投影点 T (投影面 L )の近傍にあるか推定できる。

[0218] 前記観察者の視点 Pから引レ、た直線 lp上で、物体の表面がどの投影点 T (投影面 L j)の近傍にあるか推定するときには、例えば、前記投影点 T Jと対応する各対応点 G "J の相関度 Qを用いる。前記相関度 Qは、例えば、第 1の実施の形態と同様に、下記 数式 40を用いて求める。

[0219] [数 40]


ここで、 Iは各カメラの視点 C 1 (ί=1,2,· · ·,Ν)のうち画像面上に前記投影点 T Jに対する 対応点 G 1を定義できる視点 C 1の組み合わせ、 K IJは各対応点 G i,Jの色情報、 K Jは投影 点 T Jの色情報で前記各対応点 G i.Jの色情報 K IJの平均値とする。

[0220] このとき、設定した投影面 Lに、実際の物体の表面形状を重ね合わせると、例えば

、図 23 (a)のようになる場合を考えてみる。このとき、前記観察者の視点 Pから引いた 直線 lp上の投影点 T jのうち、前記カメラの視点 C i, C i+1 , C i+2から見える物体表面に最 も近い投影点は投影点 Tmである。そのため、前記投影点 Tに対する対応点 G , G i+1'm, G i+2,mのそれぞれに写っている物体表面上の点は、図 23 (a)に示したように、非 常に近い位置関係にある。一方、例えば、投影面 T 2に対する対応点のそれぞれに写 つている物体表面上の点は、離れた位置関係にある。その結果、前記数式 40を用い て、前記直線 lp上の各投影点 T Jの相関度 Q Jを求めると、図 23 (b)に示すように、前記 投影点 T mの相関度 Q mだけが非常に小さな値となる。そのため、前記観察者の視点 Ρ 力、ら前記直線 lpの方向を見たときに、物体の表面は、前記投影点 T m、すなわち前記 投影面 L mが設定されている距離 1 mの位置にあると推定できる。

[0221] そこで、前記観察者の視点 Pから様々な方向に直線 lpを引き、各直線 lp上の投影 点 T Jに対して、同様の処理を繰り返せば、前記画像に写っている物体の表面形状を 推定すること力 Sできる。

[0222] ただし、このような推定方法が有効である、すなわち推定した物体の表面形状の信 頼性が高いのは、図 23 (a)及び図 23 (b)に示したように、実際の物体の表面形状が 比較的単純な場合だけであり、物体の形状が複雑であったり、複数の物体が観察者 の視点 Pから見て重なっている場合には、推定した物体の表面形状の信頼性が低く なる。

[0223] ここで、推定した物体の表面形状の信頼性が低くなる例として、 2個の物体が観察 者の視点 Pから見て重なっており、設定した投影面 Lと、 2個の物体の表面形状を重 ね合わせると、例えば、図 24 (a)のようになる場合を考えてみる。このとき、図 24 (a) におレ、て破線で示してレ、る観察者の視点 Pから引レ、た直線 lp上の投影点 Tに対して 相関度 Qを求めれば、例えば、図 23 (b)に示したような分布になると考えられる。そ のため、前記直線 lpの付近では、推定した物体 Aの表面形状の信頼性が高いと考え られる。

[02241 ところ力例えば、図 24 (a)において実線で示している観察者の視点 Pから引いた 直線 lp'上の投影点 T' mに対して相関度 Q' mを求める場合、視点 C Iから撮影した画像 の対応点 G' i,mには物体 Bの表面が写っており、前記視点 C Iナ l,m , C i+2,mから撮影した画 像の対応点 G' , G' には物体 Aの表面が写っている。このような場合、前記数式

40から求めた相関度 Q' は大きくなつてしまう。その結果、前記直線 lp'上の投影点 T

'の相関度 Q'の分布は、図 24 (b)に示したようになり、どの投影点 Tの近傍に物体の 表面があるか推定することが難しい。このとき、図 23 (b)に示したような分布の場合と 同様に、相関度 Q'が最も小さい投影点 T'の近傍に物体の表面があると推定すると、 その推定が誤りであった場合、表示する画像上に不連続なノイズとなって現れてしま う。

[0225] そこで、本実施の形態の画像表示方法では、例えば、前記相関度 Qが最も小さレ、 投影点 Tもしくはその近傍に物体の表面があるという推定をせず、各投影点 Tに、前 記相関度 Qの大きさの割合に応じた確率で物体の表面が存在すると考える。このとき

、前記投影点 Tもしくはその近傍に物体の表面が存在する確率 (存在確率)をとす ると、前記観察者の視点 Pから引いた直線 lp上の投影点、すなわち前記観察者の視 点 Pから見て重なり合う投影点 Tの存在確率は、下記数式 41及び数式 42のような 条件を満たすことが必要である。

[0226] [数 41]

0 < ≤1

[0227] [数 42]

M

=1

さらに、投影点 τのうち、物体表面が存在する確率が高い投影点ほど、前記存在確 率/^が 1に近い値をとるようにするためには、前記各投影点 Tの相関度 Qに対して、 例えば、下記数式 43及び数式 44で表される変換処理を行って、前記各投影点丁の 存在確率 βを決定する。

[0228] [数 43]

1

[0229] [数 44]

ただし、前記存在確率は、前記数式 41及び数式 42の条件を満たしていればよ レ、。そのため、前記存在確率は、前記数式 43及び数式 44で表される変換処理以 外の方法で決定してもよい。

[0230] このような処理により、前記各投影点 Tもしくはその近傍に物体の表面が存在する 確率 /3を決定すると、例えば、図 25に示すように、前記観察者の視点 Pから引いた ある直線 lp上の各投影点 Tに対する色情報 K及び存在確率 βが決定する。

[0231] こうして推定した物体の 3次元形状を用いて、例えば、輝度変調型の DFDに前記物 体の 3次元像を表示する場合は、複数の表示面のうちの、前記各投影点 Τに相当す る画素を、色情報 K,前記存在確率 /3 Jに応じた輝度で表示する。こうすると、前記直 線 lp上の各投影点 Tの相関度 Q力例えば、図 23 (b)に示したように、ある投影点 T mの相関度 Qmの値だけ、他の相関度の値と著しく異なる場合、その投影点 T mの存在 確率 /3 mだけが大きな値をとる。そのため、前記投影点 T mに相当する画素の輝度だ けが大きくなり、前記観察者の視点 Pから前記投影面 Lを見ている観察者の見た目 に明瞭にうつる。

[0232] 一方、前記直線 lpの各投影点 Tの相関度 Q力例えば、図 24 (b)に示したようにな り、どの投影点 Tの近傍に物体の表面があるか推定することが難しい場合、同程度の 存在確率になる投影点が複数個現れる。そのため、複数の投影面上の投影点 ηに 相当する画素が同程度の輝度で表示され、前記観察者の視点 Pから前記投影面 L を見ている観察者の見た目には、距離感が曖昧にうつる。し力ながら、観察者の視 点 Pから見て重なる複数の投影点に物体の表面像を表示するので、物体表面までの 距離の推定を誤ることで生じるような不連続なノイズにはならなレ、。そのため、表示す る物体の正確な 3次元形状を求めなくても、観察者の見た目に自然な物体の 3次元 像を表示することができる。

[0233] また、前記手順で推定した物体の 3次元形状を用いて、任意の視点から前記物体 を見たときの二次元画像 (任意視点画像)を表示する場合には、例えば、前記観察 者の視点 Pから引いた直線 lp上の各投影点 Tの色情報 K Jを前記存在確率 β Jの割合 で混合した色情報を、前記直線 lpと表示する画像の画像面との交点の色情報とすれ ばよい。

[0234] また、前記存在確率 β Jを決定するときに、物体の表面が存在する確率の確率密度 分布をある程度想定することができるのであれば、前記数式 43及び数式 44で決定し た前記各投影点 Tの存在確率 j3に、前記物体の形状分布に基づいた統計処理を 行うことで、前記各視点 Cで撮影した画像のノイズ (雑音)による推定の誤差を低減す ること力 Sできる。ここで、前記統計処理を行う前の存在確率と処理を行ったあとの存在 確率を区別するために、前記統計処理を行う前の存在確率、すなわち前記数式 43 及び数式 44から求めた存在確率 βを、評価基準値 Vとする。そして、前記評価基 準値 Vに対して統計処理を行ったあとに得られる値を存在確率とする。

[0235] 前記数式 43及び数式 44から求めた評価基準値 Vに対して行う統計処理では、ま ず、例えば、図 26 (a)に示すように、前記評価基準値 Vの分布に、物体の存在確率 の確率密度分布を当てはめ、存在確率の分布関数 p (l)を求める。このとき、前記確 率密度分布が、例えば、正規分布 (ガウス分布)に従うとすれば、前記存在確率の分 布関数 p (l)は、下記数式 45のように表すことができる。

[0236] [数 45]


ここで、 μは平均値、 σは分散を表すパラメータであり、前記評価基準値 V

Jを用レ' て、下記数式 46及び数式 47のように推定することができる。

[0237] [数 46]

M

μ =∑β

[0238] [数 47]


こうして存在確率の分布関数 ρ (1)を求めたら、例えば、下記数式 48を用いて、前記 存在確率 β Jを決定する。

[0239] [数 48]


ここで、 1—及び 1 +は、図 26 (b)に示すように、距離 1にある投影面 Lに物体の表面が 存在するとみなす距離の下限値及び上限値であり、例えば、下記数式 49及び数式 5

0で与える。

[0240] [数 49]

一 ^-i /丁 =—00

2

[0241] [数 50]

+ 一 + j+ =

- 2 ' M

前記数式 45から数式 50の関係を用いて求めた前記存在確率 Vに基づいて、前 記 DFDに物体の 3次元像を表示したり、任意の視点から見た 2次元画像を表示したり することで、もとの画像、すなわち前記視点 Cから前記物体を撮影した画像のノイズ の影響を低減した画像を表示することができる。

[0242] また、例えば、図 24 (a)及び図 24 (b)に示したように、物体のォクルージョン (遮蔽) により、ある投影点 T Jに対する対応点 G i.Jの中に、他の対応点とは異なる物体がうつつ ているような場合、その対応点を除外して相関度 Q Jを求めれば、比較的信頼性の高 い推定をすることができると考えられる。ここで、図 24 (a)のような場合を考えてみると 、レ、ままで説明した方法では、前記観察者の視点 Pから引いた直線 lp'上の投影点 T' mの相関度 Q' mを求めるときに、前記物体 Aの表面でなぐ物体 Bの表面がうつってい る対応点 G i,mも用いて求める。そのため、前記数式 40から求めた相関度 Q' mは大きく なり、前記直線 lp'で物体の表面が存在する距離を推定することが難しかった。

[0243] そこで、例えば、図 27 (a)に示すように、前記物体 Bの表面がうつっている対応点 G l'mを除外して前記投影点 T mに関する相関度 Q mを求める。このとき、図 27 (a)に示した 例では、前記投影点 T mに対する対応点 G十 l,m, G i+2,mを用いて相関度 Q mを求めること になる。こうすると、前記対応点 G i+1'm , G i+2,mには、前記物体 Aの表面の非常に近い点 力 Sうつっているので、前記数式 40から相関度 Q 'を求めれば、図 27 (b)に示すように 、投影点 T' の相関度 Q'だけが他の投影点の相関度よりも小さいような分布になる。 そのため、ォクルージョンの影響を低減し、実際の物体の表面形状に近い 3次元形 状を推定することができる。

[0244] またこのとき、前記相関度 Qを求めるための対応点 G (視点 C )の組み合わせ Ξを 何通りか設定しておき、前記観察者の視点 Ρから引いたある直線 lp上の各投影点 τ の相関度 Qを、全ての組み合わせ Ξの場合について求め、その結果を統合して、最 終的な存在確率を求める。一般に、対応点 G "J (視点 C 1)の組み合わせを Ξ (h G H)

h と し、前記各組み合わせ Ξ hを用いて求めた前記直線 lp上の存在確率の分布関数を p

(1)、前記各分布関数 p h (1)から求めた存在確率を β j,hとすれば、統合された存在確 率 /3は下記数式 51から求めることができる。

[0245] [数 51]


また、前記投影点 T jの色情報 K jは、例えば、前記組み合せ組み合わせ Ξ h毎に求 めた色情報 K 及び存在確率 J,hから、例えば、下記数式 52を用いて決定できる。

[0246] [数 52]


すると、例えば、図 28に示すように、ある組み合わせ Ξで求めた物体表面まで

の距離の推定の信頼性が高く明瞭なピークが現れる分布関数 p h (1)が、別の組み合 わせ S h'で求めた物体表面までの距離の推定の信頼性が低い分布関数 p (1)の影響 を受けにくい。そのため、全体として前記観察者の視点から表示する物体上の各点 までの距離の推定の信頼性が向上する。

[0247] (実施例 2— 1)

図 29乃至図 34は、本発明による実施例 2— 1の画像生成方法を説明するための模 式図であり、図 29は全体的な処理手順の一例を示すフロー図、図 30は図 29におけ る投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロ 一図、図 31は図 30における存在確率を決定するステップの一例を示すフロー図、図 32はカメラセットの設定例を示す図、図 33,図 34 (a) ,及び図 34 (b)は投影面の情 報を表示面の情報に変換する方法を説明する図である。

[0248] 本実施例 2 - 1の画像生成方法は、複数の視点から撮影した画像を用いて、前記画 像に写っている物体の 3次元形状を取得し、取得した前記物体の 3次元形状に基づ いて、例えば、 DFDのように複数の画像表示面を持つ画像表示手段の各画像表示 面に表示する 2次元画像を生成する方法である。

[0249] 前記画像生成方法は、例えば、図 29に示すように、視点 Cから撮影した物体の画 像を取得するステップ 1と、観察者の視点 Pを設定するステップ 2と、前記物体の 3次 元形状を取得するステップ 3と、取得した 3次元形状を表現する投影面上の点(投影 点)の色情報及び存在確率を画像表示面上の点(表示点)の色情報及び存在確率 に変換して前記画像表示面に表示する 2次元画像を生成するステップ 4と、画像表 示面上の表示点を色情報,存在確率に応じた輝度または透明度で表示させるステツ プ 5とを有する。

[0250] また、前記ステップ 3は、例えば、図 29に示すように、多層構造の投影面 Lを設定 するステップ 301と、物体の 3次元形状を取得するための基準視点を決定するステツ プ 302と、前記基準視点から見て重なる各投影面 L J上の投影点 Tの組でなる投影点 列及び前記投影点列の各投影点 Tに対応する取得した各画像上の対応点 G を設 定するステップ 303と、前記各投影点 Tの相関度 Qを求めるための視点 C Iの組み合 わせ(以下、カメラセットという) Ξを決定するステップ 304と、前記投影点 Tの色情報 及び存在確率を格納する配列を確保するステップ 305と、前記投影点 Tの色情報及 び存在確率を決定するステップ 306とを有する。

[0251] また、前記ステップ 306は、例えば、図 30に示すように、前記投影点列を初期化す るステップ 30601と、前記カメラセット Ξ及び投票データを初期化するステップ 3060

2と、前記投影点列上の投影点 Tを初期化するステップ 30603と、前記投影点丁の 色情報を決定するステップ 30604と、前記投影点 T Jに対する対応点 G のうち、前記 カメラセット Ξ hの組み合わせに含まれる対応点を用いて相関度 Q j,hを算出するステツ プ 30605と、処理の対象となっている投影点列上の全ての投影点 T jに対して前記ス テツプ 30604及びステップ 30605の処理を繰り返し行わせるステップ 30606と、前 記カメラセット Ξ hで求めた各相関度 Q j,hを投票するステップ 30607と、カメラセット Ξ h を更新し、全てのカメラセットで前記ステップ 30604力もステップ 30607までの処理を 繰り返し行わせるステップ 30608と、前記ステップ 30607で投票した相関度 Q ],hに基 づいて前記各投影点 T Jの存在確率を決定するステップ 30609と、投影点列を更新し

、全ての投影点列に対して前記ステップ 30602からステップ 30609までの処理を繰 り返し行わせるステップ 30610とを有する。

[0252] またさらに、前記ステップ 30609は、図 31に示すように、カメラセット S hを初期化す るステップ 30609aと、前記カメラセット Ξ hを用いて求めた相関度 Q j'hから評価基準値

J>hを算出するステップ 30609bと、前記評価基準値 v j,hの統計処理により存在確率 の分布関数 p h (1)を決定するステップ 30609cと、前記存在確率の分布関数から、前 記各投影点 T jの存在確率 j,hを決定するステップ 30609dと、前記カメラセット Ξ hを 更新し、前記ステップ 30609bからステップ 30609dまでの処理を繰り返し行わせるス テツプ 30609eと、前記各カメラセット Ξ hで求めた存在確率 j3 j,hを統合して、前記各 投影点 Tの存在確率 j3を決定するステップ 30609fとを有する。

[0253] 本実施例 2 - 1の画像生成方法を用いて、例えば、前記 DFDの各画像表示面に表 示する 2次元画像を生成するときには、まず、複数の異なる視点 C (i=l,2,〜,N)に設 置したカメラで物体を撮影した画像を取得する (ステップ 1)。このとき、前記視点 C Iは 画像を撮影するカメラの設置位置とし、例えば、図 21に示したように、ある 1つの直線 上に 1次元的に並んでいるとする。またこのとき、前記カメラの視点 Cは、ある 1つの直

線上に限らず、複数の直線上あるいは曲線上に 1次元的に並んでいてもよい。また、 1次元的ではなぐ平面上あるいは曲面上に 2次元格子状に並んでいてもよい。また このとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実 施例 2—1では、画像上の各点(画素)が赤 (R) ,緑 (G),青(B)の 3原色を用いた色 情報で表現されるカラー画像を取得するとして説明する。

[0254] 次に、コンピュータ等の画像生成装置上の仮想空間に、 DFDに表示する物体の 3 次元像 (画像)を観察する観察者の視点 Pを設定する (ステップ 2)。

[0255] 次に、前記画像を生成するために用いる、物体の 3次元形状を取得する(ステップ 3 )。前記ステップ 3では、まず、前記仮想空間上に、前記物体の 3次元形状 (表面形状 )を推定するための投影面 Lを設定する(ステップ 301)。このとき、前記投影面 L Jは、 例えば、図 21に示したように、 XY平面と平行な平面として設定する。またこのとき、 前記投影面 Lの設定間隔は、例えば、画像を表示する DFDの画像表示面の間隔と 一致させてもよいし、一致させなくてもよい。

[0256] 次に、前記物体の 3次元形状を取得するための基準視点を決定する(ステップ 302 )。前記基準視点は、例えば、観察者の視点としても良いし、観察者の視点以外の 3 次元空間上の任意の点に決定しても良い。

[0257] 次に、前記観察者の視点 Pあるいは基準視点から見て重なる各投影面 L上の投影 点 Tの組でなる投影点列、及び前記各投影点 Tと対応する前記取得した画像上の 対応点 G i'Jを設定する (ステップ 303)。

[0258] このとき、前記投影点 Tは、前記仮想空間(3次元空間)上の点 (Χ, Υ , Z )で表さ れ、視点 Cから撮影した画像の画像面上に 2次元の xy座標系を考えると前記対応点 G 'Jの座標は (X, y )で与えられる。このとき、前記対応点 G 'Jの座標 (X

'J , y "J )は、前 記投影点 (X, Y, Z )を前記視点 C力も撮影した画像の画像面上に射影して求める

。この射影は、第 1の実施の形態で説明した一般的な 3行 4列の変換行歹を用いれ ばよい。

[0259] また、コンピュータのような画像生成装置を用いる場合、扱う画像はいわゆるデイジ タル画像であり、装置のメモリ上の 2次元配列で表現されている。以下、前記配列の 位置を表す座標系をディジタル画像座標系といい、その位置は (u, V)で表す。ここ で、例えば、横 640画素,縦 480画素のディジタル画像を考えると、前記ディジタル画 像上の各画素の位置は、 0から 639までの整数値のいずれかをとる変数 uと、 0から 479 までの整数値のいずれかをとる変数 Vにより示される。そして、その点の色情報は、そ のアドレスでの赤 (R),緑 (G) ,青(B)の情報を 8ビット等に量子化したデータで与え られる。

[0260] このとき、 3次元の仮想空間内での前記対応点 G の座標 (X , y

, )と、前記ディジタ ル画像座標系(u, V)は、 1対 1で対応付けされ、例えば、数式 53のような関係を持つ

[0261] [数 53]

K -ku cote u0 x

0 k sinO v0 y


0 0 1 1

なお、前記数式 53は、例えば、ディジタル画像座標系の u軸を、 X軸と平行にとって レ、るとする。また前記数式 53において、 k , kはそれぞれ、仮想空間上の(X, y)座標 系を基準にした前記ディジタル画像座標系の u軸と V軸の単位長、 Θは u軸と V軸のな す角である。

[0262] そこで、前記ステップ 303では、前記投影点 Tの座標(X , Υ , Z )と前記ディジタノレ 画像座標 (u , V )の対応付けを行う。この対応付けは、たとえば全ての (U , V )に対 して(X , Υ , Ζ )の値をテーブルとして与えてぉレ、てもよレ、し、代表的な(u , V )に対 してのみ (X , Y , ζ.)の値を設定し、その他の点は、例えば、線形補完等の補完処理 で求めてもよい。

[0263] また、前記ディジタル画像座標系では (u, V)は離散値をとる力以下の説明では、 断りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離 散化処理を行うものとする。

[0264] 前記ステップ 303の処理が済んだら、次に、相関度 Qを求めるときに用いるカメラの 視点 Cの組み合わせ (カメラセット) Ξ を決定する(ステップ 304)。ここで、例えば、視 点〇i、すなわちカメラが、図 32に示すように、 3 X 3の格子状に設置されているとすれ ば、前記カメラセット Ξ hは、例えば、 Ξ 1 = {C 1, C2, C3, C5}, Ξ 2 = {C 3, C5, C6, C9}

, Ξ 3 = {C 5 , C 7 , C 8 , C 9 } , Ξ 4 = {C 1 , C 4 , C 5 , C 7 }の 4つに決定する。

[0265] なお、前記カメラセット Ξ hの決定方法は任意であり、図 32に示した例では、 Ξ 1, Ξ 2

, Ξ 3, Ξ 4だけに限らず、他のカメラセットを用意してもよい。またこのとき、前記カメラ セット Ξ hは、前記カメラ (視点 C i)の設置状況に合わせてあらかじめ用意しておいても よいし、観察者が指定してもよい。

[0266] 前記ステップ 304の処理が済んだら、次に、例えば、前記画像生成装置のメモリ( 記憶手段)上に、前記投影点 T Jの色情報 K J及び物体が存在する確率 /3 Jの情報を格 納する配列を確保する(ステップ 305)。このとき、情報を格納する配列は、前記投影 点 T Jの各情報 Κ J, β Jは、例えば、赤 (R) ,緑 (G) ,青(Β)の色情報及び物体が存在 する確率を、例えば、 8ビットずつ持たせるような配列を確保する。

[0267] 前記ステップ 305の処理が済んだら、次に、前記取得した複数枚の画像を用いて、 前記各投影点 T Jの色情報及び物体が存在する確率を決定する(ステップ 306)。前 記ステップ 306では、例えば、ある投影点列に対して、指定したカメラセット Ξ hを用い て前記投影点列上の各投影点 T Jの色情報 K J,h及び相関度 Q J,hを求める処理を行い、 その処理を全てのカメラセット Ξ hで繰り返すという処理を行う。そして、その処理を全 ての投影点列に対して繰り返し行う。

[0268] そこで、前記ステップ 306では、まず、図 30に示すように、投影点列を初期化する( ステップ 30601)。

[0269] 次に、カメラセット S h及び相関度の投票データを初期化する(ステップ 30602)。

[0270] 次に、処理の対象となっている投影点列上の投影点 Tを初期化し、例えば、 j=lとす る(ステップ 30603)。

[0271] 次に、選択されているカメラセット Ξ hに含まれる対応点 G i,iの色情報から、前記投影 点 T Jの色情報 K j.hを決定する(ステップ 30604)。このとき、前記投影点 Τ jの色情報 Κ は、例えば、前記カメラセット Ξ に含まれる対応点 G の色情報 Κの平均値にする

[0272] 次に、前記投影点 Τと、前記選択されているカメラセット Ξ に含まれる対応点 G の

相関度 Q J,hを算出する(30605)。このとき、前記相関度 Q J,hは、例えば、前記数式 40 を用いて算出する。

[0273] 次に、投影点 Tを更新し、処理の対象となっている投影点列上の全ての投影点で 前記ステップ 30604及びステップ 30605の処理を行ったか判定する(ステップ 3060 6)。ここで、前記ステップ 30604及びステップ 30605の処理を行っていない投影点 があれば、前記ステップ 30604に戻って、処理を繰り返す。

[0274] 処理の対象となってレ、る投影点列上の全ての投影点で前記ステップ 30604及びス テツプ 30605の処理を行ったら、その結果、すなわち選択されたカメラセット Ξ hに含 まれる対応点 G,J力求めた色情報 K j.h及び相関度 Q j,hを投票する(ステップ 30607)

[0275] 前記ステップ 30607の処理が済んだら、次に、前記カメラセット Ξ hを更新し、処理 の対象となっている投影点列に対して、前記ステップ 30604からステップ 30607まで の処理を行っていないカメラセットがあるか判定する(ステップ 30608)。ここで、前記 ステップ 30604力ステップ 30607までの処理を行っていないカメラセットがあれば、 前記ステップ 30603に戻って、処理を繰り返す。

[0276] 処理の対象となっている投影点列に対して、全てのカメラセット Ξ hで、前記ステップ

30604力らステップ 30607までの処理を行ったら、前記ステップ 30607で投票した 色情報 K J,n及び相関度 Q j,hから、投影点 T Jの色情報 K J及び存在確率 Jを決定する( ステップ 30609)。

[0277] 前記ステップ 30609では、例えば、図 31に示すように、まず、カメラセット Ξ を初期 化する(ステップ 30609a)。

[0278] 次に、カメラセット Ξ を用いて算出した各投影点 Tの相関度 Q から、例えば、評価 基準値 V

J>hを算出する(ステップ 30609b)。前記評価基準値 V

j,hは、例えば、前記数 式 43及び数式 44で表される変換処理で求める。

[0279] 次に、前記評価基準値 V

j,hの統計処理を行レ、、前記カメラセット Ξ hを用いた場合の 存在確率の分布関数 p h (1)を求める (ステップ 30609c)。前記分布関数 p h (1)は、例 えば、前記数式 45,数式 46,数式 47を用いて求める。

[0280] 次に、前記カメラセット Ξ を用いた場合の存在確率の分布関数 p (1)から、前記カメ

ラセット S hを用いた場合の各投影点 T jに物体の表面が存在する確率 (存在確率) 13 を決定する(ステップ 30609d)。前記存在確率 β は、例えば、前記数式 48,数式

49,数式 50を用いて求める。

[0281] 次に、前記カメラセット Ξ を更新し、処理の対象となっている投影点列に対して、前 記ステップ 30609b力ステップ 30609dまでの処理を行ってレヽなレ、カメラセット Ξが あるか判定する(ステップ 30609e)。ここで、前記ステップ 30609b力らステップ 3060 9dまでの処理を行っていないカメラセット Ξがあれば、前記ステップ 30609bに戻つ て、処理を繰り返す。

[0282] 処理の対象となっている投影点列に対して、前記ステップ 30609bからステップ 30 609dまでの処理を行ったら、その処理結果を統合して、前記投影点 Tの色情報 K j 及び存在確率 /3を決定する(ステップ 30609f)。このとき、前記色情報 K Jは、例えば

、前記数式 52を用いて求める。また、前記存在確率 /3 jは、例えば、前記数式 51を用 いて求める。

[0283] 前記ステップ 30609fの処理が終了すると、前記ステップ 30609の処理が終了する 。そして次に、投影点列を更新し、前記ステップ 30602からステップ 30609までの処 理を行っていない投影点列があるか判定する(ステップ 30610)。ここで、前記ステツ プ 30602からステップ 30609までの処理を行っていない投影点列があれば、ステツ プ 30602に戻って、処理を繰り返す。

[0284] 全ての投影点列に対して、前記ステップ 30602からステップ 30609までの処理を 行ったら、前記ステップ 306 (ステップ 3)の処理が終了し、前記物体の 3次元形状を 取得すること力 Sできる。

[0285] 前記ステップ 3の処理が終わり、前記物体の 3次元形状が得られたら、次に、前記 物体の 3次元形状に基づいて、前記 DFDの各画像表示面上に表示する 2次元画像 を生成する。前記 2次元画像を生成するときには、例えば、図 33に示すように、前記 物体の形状を取得した仮想空間上に前記 2次元画像を生成するための画像生成面 LD (r=l,2,— ,R)を設定する。

[0286] ここでまず、例えば、図 33に示すように、前記投影面 Lの設定枚数及び間隔と前記 画像生成面 LDの数及び間隔が一致する場合を考える。この場合、前記画像生成

面し の表示点の色情報 KDh及び存在確率 γ I 前記表示点と一致する投影 点 Τの色情報 Κ及び存在確率 βとすればょレ、。

[0287] また、前記投影面 Lの設定間隔は、前記画像生成面 LDの設置間隔と一致させる 必要はなぐ前記投影面 Lの設定枚数と前記画像生成面 LDの設定枚数を一致させ る必要もない。つまり、前記投影面 Lの設定の仕方によっては、例えば、図 34 (a)に 示すように、前記投影面 Lの設置間隔と前記画像生成面 LDの設置間隔が一致して レ、ない場合もある。このような場合、前記観察者の視点 Ρから引いた直線 lrと前記各 画像生成面 LDの交点(表示点) Aの色情報 KD及び存在確率 γ は、次のような手 順で求める。

[0288] まず、前記各表示点 Αの色情報 KDは、例えば、前記直線 lp上の投影点 Tであり、 その表示点 A (画像生成面 LD )が最も近い表示点(画像生成面)となる投影点丁の 色情報 Kの平均値にする。このとき、前記表示点 Aの色情報 KDは、平均値の代わ りに、前記表示点 A力もっとも近い投影点 Tの色情報 Kとしてもよい。

[0289] 一方、前記各表示点 Aの存在確率 Ί は、その表示点 Α (画像生成面 LD )が最も 近い表示点(画像生成面)となる投影点 Tの存在確率 βを足し合わせた値とする。こ のとき、ある画像生成面 LDが最も近い画像生成面となる投影面 Lの集合を {L I }≡ R}とおくと、前記画像生成面 LD r上の表示点 Α rの存在確率 γ hは、前記各投影面 L j の投影点 Tの存在確率を用いて、下記数式 54で与えることができる。

[0290] [数 54]


ここで、図 34 (a)に示した場合を考えると、前記画像生成面 LD 1が最も近い画像生 成面になるのは、投影面 L 1, L 2 , L 3である。そのため、前記表示点 A rの色情報 KD rは

、例えば、投影点 T 1, T 2, τ 3の色情報 κ 1 , κ 2 , K 3の平均値にする。また、前記表示点

A rの存在確率 γ rは、前記投影点 Τ 1 , Τ 2, Τ 3の存在確率 /3 ,

1 β ,

2 β 3の和にする。同

様に、前記画像生成面 LD 2上の表示点 A 2の色情報 KD 2は、例えば、投影点 Τ 4 , T 5 の色情報 Κ 4 , K 5の平均値にする。また、前記表示点 A 2の存在確率 γ 2は、前記投影 点 Τ 4, Τ 5の存在確率 4, β 5の和にする。

[0291] また、例えば、図 34 (b)に示すように、前記画像生成面 Dの設置間隔と前記投影 面 L jの設定間隔が異なり、 2枚の連続した画像生成面 LD 1 , LD 2の間に 2枚の投影面

L 1 , L 2が設定されている場合、前記各画像生成面 LD 1, LD2の表示点 A 1 , A2の存在 確率 γ 1, γ 2は、前記各投影面 L ]の投影点 Τ ]'の存在確率 ]を、前記投影点 Τ ]から各 画像生成面 LD 1 , LD 2までの距離の比に応じて分配してもよい。このとき、一般に、前 記画像生成面 LD 1 , LD2の間に複数枚の投影面 L jの集合を {L j I jej}とすると、前 記画像生成面 LD上の表示点 Aの存在確率 Ί は、前記各投影点 Τの存在確率 β を用いて、下記数式 55で与えることができる。

[0292] [数 55]


jら J

ここで、 w は、投影面 Lの画像生成面 LDに対する寄与の度合いを表す係数であ る。

[0293] ここで、例えば、図 34 (b)に示すように、 2枚の画像生成面 LD 1 , LD 2の間に、投影 面し 1, L 2が設定されている場合を考える。このとき、投影面 L 1から前記各画像生成面

LD 1 , LD 2までの距離がそれぞれ B 1 , B 2であれば、前記投影面 L 1の前記各画像生成 面 LD 1 , LD 2に対する寄与の度合い w 1,1 , w 1,2はそれぞれ、下記数式 56で与えられる

[0294] [数 56]

1,1 B, + B2 Bx + B2

同様に、投影面 L 2から前記各画像生成面 LD 1, LD 2までの距離がそれぞれ B 3, B 4 であれば、前記投影面 L 2の前記各画像生成面 LD 1 , LD 2に対する寄与の度合い w 2,

, w 2,2はそれぞれ、下記数式 57で与えられる。

[0295] [数 57]

B4 B3

B, + BA , B3 + Bt

この結果、前記画像生成面 LD 1の表示点 A 1の存在確率 γ 1、及び前記画像生成面

LD 2の表示点 Α 2の存在確率 γ 2はそれぞれ、下記数式 58のようになる。

[0296] [数 58]

= u A + w2tl A, ϊι = wi A + ¾2 βι

以上のような手順により、前記ステップ 4の処理を行うことで、前記 DFDの各画像表 示面に表示する 2次元画像が得られる。そして、 DFDの各画像表示面上の点(画素) を、前記各画像生成面 LD上の各点に割り当てられた色情報 Αで表示させる(ステツ プ 5)。このとき、前記 DFDが輝度変調型であれば、前記各画像生成面 LDの各表示 点 Aの色情報 KDを、前記存在確率 γ に応じた輝度で表示させればよい。また、前 記 DFDが透過型の場合は、例えば、各表示点 Αの透過度を前記存在確率 Ύ に応じ た透過度に設定して表示すればよい。

[0297] このように、図 29に示したステップ 1からステップ 5の処理を行って、前記 DFD物体 の 3次元像を表示した場合、前記原理のところで説明したように、物体の正確な 3次 元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することができる。

[0298] 図 35乃至図 37は、本実施例 2 - 1の画像生成方法を適用した装置及びシステムの 概略構成を示す模式図であり、図 35は画像生成装置の構成例を示すブロック図、図 36は画像生成装置を用いた画像表示システムの構成例を示す図、図 37は画像生 成装置を用いた画像表示システムの他の構成例を示す図である。

図 35において、 6は画像生成装置、 601は被写体画像取得手段、 602は基準視点 設定手段、 603は投影面設定手段、 604は投影面情報格納領域確保手段、 605は 色情報/存在確率決定手段、 606は投影面情報 -表示面情報変換手段、 607は画 像出力手段、 7は画像表示手段 (DFD)、 8は被写体画像撮影手段、 9は観察者視点 入力手段である。

[0299] 本実施例 2— 1の画像生成方法を適用した画像生成装置 6は、例えば、図 35に示 すように、撮影条件が異なる複数枚の被写体画像を取得する被写体画像取得手段 6 01と、生成する画像を見る観察者の視点を設定する観察者視点設定手段 602と、存 在確率を決定するための投影面,投影点列,対応点,カメラセット等を設定する投影 面等設定手段 603と、投影面上の点(投影点)の色情報及び存在確率を格納する領 域を確保する投影面情報格納領域確保手段 604と、前記投影点の色情報及び前記 投影点に物体が存在する確率 (存在確率)を決定する色情報/存在確率決定手段 6 05と、前記投影点の色情報及び存在確率の情報を表示面の色情報及び存在確率 に変換する投影面情報一表示面情報変換手段 606と、画像出力手段 607とを備える 。このとき、前記画像出力手段 607から出力された画像は、例えば、 DFDのように、複 数の重なり合う表示面を備える画像表示手段 7で表示される。

[0300] また、前記被写体画像取得手段 601は、被写体画像撮影手段 (カメラ) 8で撮影さ れた被写体 (物体)の画像を取得する。なお、取得する画像は、前記被写体画像撮 影手段 8で撮影した画像を直接取得してもよレ、し、前記被写体画像撮影手段 8で撮 影した画像が記録された、磁気的,電気的,光学的な記録媒体力も間接的に取得し てもよい。

[0301] また、前記観察者視点設定手段 602は、例えば、観察者が、マウスやキーボード等 の画像条件入力手段 9を用いて入力した情報に基づいて、前記観察者の視点から 前記画像表示手段 7までの距離や視線等の画像生成面 LDとの相対的な位置関係 を設定する。また、前記画像条件入力手段 9は、前記観察者の姿勢や視線を検知し て、その姿勢や視線に応じた情報を入力する手段であってもよい。

[0302] また、前記投影面等設定手段 603は、例えば、図 22に示したように、視点(カメラ) C力もの距離が 1 ϋ=1,2, · · · ,Μ)の平行な投影面 Lを設定する。また、前記投影面等設 定手段 603では、前記観察者視点設定手段 602で設定した観察者の視点 Ρから見 て重なる各投影面 L上の投影点 Τ

Jの組でなる投影点列や、前記投影点 Τ

Jに対応す る各画像上の対応点 Gも設定する。またこのとき、前記投影面等設定手段 603では 、前記画像条件入力手段 9により入力された条件に基づいたカメラセット Ξ

hを設定し てもよい。

[0303] また、前記投影面情報格納領域確保手段 604は、各投影面上の各投影点 T

Jの色 情報 κ

J及び存在確率 Jを格納する領域を、例えば、装置内に設けられたメモリ上に 確保する。

[0304] また、前記色情報/存在確率決定手段 605は、前述のような原理に基づいて、前 記投影点 T

Jと対応する画像上の対応点 G

ijの色情報から前記投影点 T

Jの色情報 Kを 決定するとともに、前記投影点 τに物体の表面が存在する確率を決定する。

[0305] また、前記投影面情報 -表示面情報変換手段 606では、本実施例 2 - 1で説明した ように、前記投影面の色情報及び存在確率を前記画像生成面、すなわち前記画像 表示手段 7の表示面に表示する画像を生成する面上の点(表示点)の色情報及び輝 度分配率に変換する。

[0306] 前記画像生成装置 6は、本実施例 2 - 1で説明した前記ステップ 1から前記ステップ 5までの処理を行って、前記 DFDに表示する画像を生成する。すなわち、前記画像 生成装置 6では、従来のような物体の正確な 3次元形状を求める処理を行わなくてよ レ、。そのため、高い処理能力がない装置でも、前記 DFDに表示する画像を高速に、 かつ、容易に生成することができる。

[0307] また、前記画像生成装置 6は、例えば、コンピュータと前記コンピュータに実行させ るプログラムによっても実現することができる。その場合、本実施例 2— 1で説明した処 理手順に相当する命令が記述されたプログラムを前記コンピュータに実行させれば よい。またこのとき、前記プログラムは、例えば、磁気的,電気的,光学的な記録媒体 に記録して提供してもよいし、インターネット等のネットワークを利用して提供してもよ レ、。

[0308] また、前記画像生成装置 6を用いた画像表示システムは、例えば、図 36に示すよう な構成が考えられる。このとき、前記被写体画像撮影手段 8は、観察者 Userが前記 画像表示手段(DFD) 7を観察してレ、る空間に近レ、場所に設置されてレ、てもよレ、し、 地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手段 8が地理 的に遠隔な場所に設置されている場合、撮影した画像は、インターネット等のネットヮ ークを利用して、前記画像生成装置 6に転送すればょレ、。

[0309] また、前記画像生成装置 6を用いた画像表示システムは、図 36に示したように、あ る観察者 Userが、ある被写体 Objを観察する場合だけでなぐテレビ電話やテレビ会 議といった双方向の通信システムに適用することもできる。その場合、例えば、図 37 に示すように、各観察者 UserA, UserBがいる空間のそれぞれに、画像生成装置 6A , 6B、画像表示手段 (DFD) 7A, 7B、被写体画像撮影手段 8A, 8B、基準視点設定 手段 9A, 9Bを設置すればよい。そして、例えば、前記各観察者 UserA, UserBがい る空間に設置された画像生成装置 6A, 6Bを、インターネット等のネットワーク 10で接 続しておけば、観察者 UserAは、被写体画像撮影手段 8Bで撮影された画像から生 成した観察者 UserBの 3次元像を前記画像表示手段 7Aで観察することができる。同 様に、観察者 UserBは、被写体画像撮影手段 8Aで撮影された画像から生成した観 察者 UserAの 3次元像を前記画像表示手段 7Bで観察することができる。

[0310] また、このような双方向の通信システムに適用する場合、前記各画像生成装置 6A , 6B力図 35に示したような構成になっている必要はなぐ前記画像生成装置 6A, 6Bのどちらかは、図 35に示したような構成手段を備えていない一般的な通信端末で あってもよレ、。また、図 35に示したような各構成手段が、前記画像生成装置 6A, 6B に割り振られていてもよい。

[0311] また、図 37に示したように、ネットワーク 10上に他の画像生成装置 6Cが設けられて いれば、前記観察者 UserA, UserBがいる空間に、前記画像生成装置 6A, 6Bが設

置されていなくても、前記ネットワーク 10上の画像生成装置 6Cを利用して、前記画 像表示手段(DFD) 7A, 7Bで表示する物体の 3次元像を取得することができる。

[0312] また、図 37に示した画像生成システムでは、利用者力 SUserA, UserBの 2人である が、さらに多数の観察者 (利用者)間での通信システムにも適用できる。

[0313] また、図 36及び図 37では、前記被写体画像撮影手段 8は、 4個のカメラからなる撮 影手段を示しているが、前記カメラは、 2個または 3個であってもよいし、 5個以上であ つてもよレ、。また、前記カメラの配置は、直線または曲線上に 1次元的に配置されて レ、てもよレ、し、平面または曲面に 2次元格子状に配置されてレ、てもよレ、。

[0314] 以上説明したように、本実施例 2— 1の画像生成方法によれば、表示する物体の正 確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することが できる。

[0315] また、本実施例 2— 1の画像生成方法では、前記カメラセット Ξ hを、前記ステップ 30

4であらかじめ設定して処理を行っている力これに限らず、例えば、プログラム的な 処理により、表示する画像を生成する処理を行いながら、観察者が指定した条件に 合うようなカメラセットを動的に設定してもよい。このとき、例えば、観察者が、前記画 像条件入力手段から、前記相関度 Qの分布あるいは閾値等の条件を入力し、その 条件に合うようなカメラセットを探しながら前記ステップ 306の処理を行えば、前記観 察者が望んでいる画像に近い 3次元像を表示することができると考えられる。

[0316] また、本実施例 2— 1の画像生成方法では、画像上の点(画素)が赤 (R) ,緑 (G) , 青 )の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 2— 1の画像表示方法で は、前記カラー画像に限らず、画像上の各点 (画素)が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 2-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。

(実施例 2— 2)

図 38乃至図 42は、実施例 2— 2の任意視点画像生成方法を説明するための模式

図であり、図 38は全体的な処理手順の一例を示すフロー図、図 39はレンダリングの 原理を説明する図、図 40は任意視点画像を生成するときに問題となる点を説明する 図、図 41 (a)、(b)は任意視点画像を生成するときに問題となる点を解決する方法を 説明する図、図 42は存在確率を透明度に変換する処理手順の一例を示すフロー図 である。

[0317] 前記実施例 2— 1では、前記ステップ 3で取得した前記被写体の 3次元形状を用い て、前記 DFDのように複数の画像表示面を有する装置の前記各画像表示面で表示 する 2次元画像を生成する方法を例に挙げたが、前記被写体の 3次元形状モデルは 、これに限らず、任意の視点から見た前記被写体の 2次元画像を生成するときにも用 レ、ることができる。このとき、前記実施例 2— 1と異なるのは、図 38に示したように、前 記ステップ 3の後、レンダリング、すなわち前記被写体の 3次元形状を前記観察者の 視点から見た 2次元画像にするステップ 11の処理を行う点である。このとき、前記ステ ップ 1からステップ 3で前記被写体の 3次元形状を取得する処理は前記実施例 2 - 1 で説明しているとおりなので、詳細な説明は省略する。

[0318] また、本実施例 2— 2の任意視点画像生成方法において、レンダリングをするステツ プ 11では、例えば、図 39に示すように、前記表示する任意視点画像上の各点(画素 )の色情報は、前記観察者の視点 Pから見て、前記任意視点画像上の点 Aと重なる 投影点 T 0=1,2,· · ·, M)の色情報 Kを混合処理して決定する。このとき、前記混合処 理は、例えば、前記各投影点 Tの色情報 Kに前記存在確率の値で重み付けをし て混合し、前記生成する画像上の点 Aの色情報 K Aは、例えば、下記数式 59で算出 する。

[0319] [数 59]

M

ただし、前記数式 59を用いた混合処理の場合、例えば、被写体の形状や基準視

点 Rと仮想視点 Pの位置関係によっては、生成する画像上の点の色情報が、実際の 物体の表面の色情報と大きく異なったり、有効な色空間に収まらなかったりする。ここ で、実際の物体上に、図 40に示すような位置関係で、 2枚の投影面 L 1 , L 2、基準視 点 R、仮想視点 Pを重ね合わせた場合を考えてみる。このとき、前記基準視点から 見て重なり合う投影点 T 1, T 2について前記実施例 2— 1で説明したような方法で存在 確率 /3 1, j3 2を決定すると、 β 1はほぼ 0になり、 β 2はほぼ 1になる。同様に前記基準 視点 Rから見て重なり合う投影点 T' 1, T' 2について前記実施例 2— 1で説明したような 方法で存在確率 /3 ' 1, β ' 2を決定すると、 β, 1はほぼ 1になり、 β, 2はほぼ 0になる。

[0320] このとき、前記仮想視点 Ρの画像面の点 Αにおける色情報 Κ Aは、前記数式 59を用 レ、ると、前記仮想視点 Pからみて前記画像面上の点 Aと重なる投影点 Τ' 1 , T 2の色情 報 Κ' 1 , K 2を、前記存在確率 /3 ' 1, β 2に応じた重み付けで加算することで求まる。そう すると、今、 β,,

1 β 2ともにほぼ 1になるので、前記点 Αの色情報 Κ Aは A =Kf 1 +K 2 になる。

[0321] し力ながら、前記仮想視点 Pから前記物体 Objを見たときには、投影点 T' 1は、投 影点 T 2により遮蔽されているので、画像面上の点 Aにおける本来の色情報は Κ A =K 2 である。つまり、生成された画像上の点 Aの色情報 K Aは、本来の色情報よりも K' 1の 分だけ (R, G, B)の各成分の輝度が上がってしまう。

[0322] またこのとき、前記投影点 T' 1, T 2の色情報 K' 1, K 2の各成分が大きな輝度を持つ場 合、点 Aの色情報 K Aは有効な色空間の範囲を超えてしまう。そのため、有効な色情 報の範囲内に収まるようにするクリッピング処理が必要となる。

[0323] そこで、このような問題を解決するために、例えば、前記投影点の存在確率に基づ いて、各投影点に透過から不透過までの複数の階調を持つ透明度を設定する。この とき、前記生成する画像における各点の色情報を得るための混合処理は、前記生成 する画像の視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投 影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の 投影点までの混合処理で得られる色情報とを前記透明度に応じた比率で内分して 得る。またこのとき、前記混合処理により得られる色情報は、ある段階での色情報とそ の次の色情報の内分である。

[0324] 前記色情報の混合処理の原理を説明するために、例えば、色空間 Vに、図 41 (a) に示すように、投影面 L '=1,2,···,Μ)、投影点 T、赤 (R),緑 (G),青 (B)の成分を持 ち投影点の色情報を表すベクトル Kが設定されている場合を考える。このとき、前記 色空間 Vは、下記数式 60で表されるとする。

[0325] [数 60]


また、前記投影点 Tの透明度ひは、下記数式 61の条件を満たすように設定されて いるとする。

[0326] [数 61]


このとき、変数 j=mまでの混合処理で得られる色情報 D mは、下記数式 62及び数式 6

3のような漸化式で表される。そして、前記仮想視点 Pから見て一番手前の投影面 L

、すなわち変数 j=Mまで混合したときの色情報 D ヽ前記生成する画像の画像面上 の点 Aにおける色情報 K Aとなる。

[0327] [数 62]

Dm =amKm+(l~am)Dm^

[0328] [数 63]

またこのとき、前記数式 61及び数式 62の関係から、前記色情報 Dmは、図 41 (b) 示すように、色空間 Vにおいてベクトル Kと色情報 D の内分点である。そのため、 前記色情報 Dは、 K ≡V, D ならば D となる。

[0329] すると、第 1の実施の形態でも説明したとおり、前記数式 60及び数式 61の条件を 満たせば、前記仮想視点 Pにおける色情報 D について、 D が保証される。

[0330] つまり、前記投影点 Tの色情報 K及び透明度ひを、前記数式 60及び数式 61を満 たすように設定すれば、前記生成する画像の点 Aの色情報 D は、必ず適切な色空 間 Vに納めることができる。

[0331] このように、透明度ひを用いた色情報の混合処理を行うと、同一の被写体において 複数の仮想視点から見た画像を生成するときに、ある 1つの視点(基準視点)から投 影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式

60及び数式 61の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で 生成すること力できる。

[0332] そこで、本実施例 2 - 2の任意視点画像の生成方法では、例えば、図 30に示したス テツプ 30609の後、あるいは前記レンダリングを行うステップ 1 1において、前記存在 確率 を透明度 αに変換する処理を行う。

[0333] 前記存在確率 βを透明度 αに変換する処理は、例えば、図 42に示すように、まず 、投影点 Τを初期化して j=Mとする(ステップ 1 101)。次に、前記投影点 Tの透明度 a を a β とする(ステップ 1 102)。

[0334] 次に、変数 jの値を j=j_lに更新する (ステップ 1 103)。そして、透明度ひ力 S 1か否 力を判別する(ステップ 1 104)。ここで、透明度 α が α ≠1であれば、例えば、下 記数式 64から前記透明度ひを求める(ステップ 1 105)。

[0335] [数 64]

1

j, - M

m

m=j+l

また、前記透明度ひ

j+l力である場合は、例えば、ひ

J = 1とする(ステップ 1106)。な お、前記ステップ 1105で前記透明度 αを求めるときには、前記数式 64に限らず、他 の数式を用いて求めてもよい。また、詳細な説明は省略する力前記ステップ 1106 においても、実際には、透明度ひを任意の値にすることができるので、 1以外の値に してもよい。

[0336] 次に、前記ステップ 1104力、らステップ 1106の処理を変数 j= lまで行ったか判別す る(ステップ 1107)。ここで、処理がまだ済んでいなければ、前記ステップ 1103に戻 つて、処理を繰り返す。

[0337] 前記ステップ 1104からステップ 1106の処理を変数 j=lまで行ったら、前記観察者 視点 Pから見て画像面上の点 Aと重なる投影点 T Jの前記存在確率 j3 Jを透明度ひ

Jに 変換する処理が終了する。その後、前記数式 62及び数式 63を用いた混合処理を行 レ、、任意視点画像上の点 Aの色情報 D を求める。そして、この処理を、前記任意視 点画像上の全ての点(画素)について行えば、前記観察者の視点 Pから任意視点画 像が得られる。

[0338] また、このような任意視点画像を生成する画像生成装置の基本的な構成は、前記 実施例 2— 1で説明した画像生成装置と同様の構成であり、図 35に示した投影面情 報 -表示面情報変換手段 606に相当する手段として、前述のような混合処理を行う 手段を備えればよい。そのため、装置に関する説明は省略する。

[0339] 以上説明したように、本実施例 2 - 2の画像生成方法によれば、物体の正確な 3次 元形状を求めなくても、観察者の見た目に自然な任意視点画像を生成することがで きる。

[0340] また、本実施例 2— 2の任意視点画像表示方法でも、前記カメラセット Ξ hは、例えば

、プログラム的な処理により、表示する画像を生成する処理を行いながら、観察者が 指定した条件に合うようなカメラセットを動的に設定してもよい。このとき、例えば、観 察者が、前記画像条件入力手段から、前記相関度 Q Jの分布あるいは閾値等の条件 を入力し、その条件に合うようなカメラセットを探しながら前記ステップ 306の処理を行 えば、前記観察者が望んでレ、る画像に近い 3次元像を表示することができると考えら れる。

[0341] また、本実施例 2— 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (γ)を用いて、前記実施例 2— 1で説明したような処理を行って物体の 3次元形 状を取得した後、本実施例 2— 2で説明したような手順で仮想視点画像を生成すれば よい。

[0342] (第 2の実施の形態の効果)

上記の通り、第 2の実施の形態の画像生成方法は、前記被写体の 3次元形状を取 得するときに、複数の投影面を設定し、前記基準視点から見て重なり合う前記各投影 面上の点(投影点)に対して、物体の表面が存在する確率 (存在確率)をあたえる。す なわち、従来のように前記基準視点から見て重なり合う各投影点のうちの 1つの投影 面上に物体の表面があるとして正確な被写体の 3次元形状を取得しょうとするのでは なぐ前記物体の表面が前記各投影点上にある存在確率で存在するとして前記被写 体の 3次元形状を取得する。こうすることで、前記基準視点から見てある方向の物体 の表面の距離を推定するときに、その推定の信頼性が低い部分は前記各投影点の 存在確率に応じた割合で曖昧に描画される。そのため、前記物体の 3次元形状に基 づいて画像を生成したときに、従来のような物体表面の距離の推定を誤ったときに生 じる不連続なノイズを目立ちに《することができ、見た目に自然な画像を生成するこ とができる。

[0343] また、前述のように、前記取得した画像の中から、前記カメラセットに含まれる数枚 の画像から存在確率を算出すると、例えば、ォクルージョン (遮蔽領域)の影響により 、ある投影点の近傍にある物体の表面力ある領域の視点からは見えない場合に、 その視点から撮影した画像を取り除レ、た存在確率を算出することができ、前記各投 影点の存在確率の信頼性が高くなる。

[0344] また、前記存在確率を決定するときに、前記存在確率の確率密度分布がある程度 想定できる場合は、前記各投影点の相関度から評価基準値を算出し、その評価基 準値に対して統計処理を行うことで得られる存在確率の分布関数に基づいて存在確 率を決定してもよい。このように、統計処理を行って存在確率を決定する場合、取得 した画像上のノイズ (雑音)による存在確率の信頼性の低下を防ぐことができる。 [0345] [第 3の実施の形態]

次に本発明の第 3の実施の形態について説明する。第 3の実施の形態は、主に請 求項 22—請求項 29に対応する実施の形態である。第 3の実施の形態では、 1つの 視点から合焦距離を変えて撮影した複数枚の画像 (多焦点画像)をもとにして前記画 像に写っている被写体の 3次元的な形状を取得し、任意の視点 (仮想視点)から見た 前記被写体の画像を生成する。すなわち、複数の視点力被写体を撮影した複数枚 の画像をもとにして被写体の 3次元的な形状を取得する第 1、第 2の実施の形態に対 し、本実施の形態は、 1つの視点から合焦距離を変えて撮影した複数枚の画像を用 レ、る点に特徴がある。なお、本実施の形態でも、前記被写体の 3次元的な形状は、テ タスチヤマッピングの手法を用いた多層平面で表現する。なお、第 3の実施の形態を 説明するための図において、同一機能を有するものは、同一符号を付ける。

[0346] 図 43乃至図 51は、本実施の形態の画像生成方法の原理を説明するための模式 図であり、図 43及び図 44は投影面及び基準視点の設定例を示す図、図 45は投影 点の色情報及び合焦点度の決定方法を説明する図、図 46乃至図 48は投影点の存 在確率の決定方法を説明する図、図 49は仮想視点から見た画像の生成方法を説明 する図、図 50は本実施の形態の画像生成方法において問題となる点を説明する図 、図 51は本実施の形態の画像生成方法において問題となる点を解決する方法を説 明する図である。

[0347] 本発明の画像生成方法では、前述のように、 1つの視点から合焦距離を変えて撮 影した複数枚の画像(多焦点画像)をもとにして前記画像に写っている被写体の 3次 元的な形状を取得し、任意の視点 (仮想視点)から見た前記被写体の画像を生成す る。そしてこのとき、前記被写体の 3次元的な形状は、テクスチャマッピングの手法を 用レ、た多層平面で表現する。

[0348] 前記テクスチャマッピングの手法を用いて前記被写体の 3次元的な形状を表現する ときには、例えば、コンピュータ等の画像生成装置内に設定した仮想的な 3次元空間 上に、図 43に示すように、カメラの視点 C,多層構造の投影面 L J (i=l,2,〜,M),前記 被写体の 3次元的な形状を取得するための基準視点 Rを設定する。またこのとき、 N 枚の合焦距離が異なる画像力前記被写体の形状を取得するとすれば、前記投影

面 Lは、図 44に示すように、前記各画像 Img (ί=1,2, · · · ,Ν)の合焦距離 fと一致するよ うな距離に設定する。

[0349] ここで、図 44に示したように、前記基準視点 Rからある方向を見たときに重なり合う 投影点 T (j=l,2, - - - ,N)について考えると、従来のモデル取得方法では、前記被写体 の表面は、前記投影点 Τのいずれか 1点に存在すると考える。このとき、前記被写体 の表面が前記投影点 Τのうちのどの投影点に存在するかは、例えば、前記各投影点 Τの合焦点度の高さによって決定する。そこで、まず、前記基準視点 Rから見て重な り合う各投影点 Tの色情報 K及び合焦点度 Qを決定する。

[0350] 前記投影点 Tの色情報 K及び合焦点度 Qを決定するときには、図 45に示すように

、前記投影点 Tと対応する前記各画像 Img上の点(対応点) Gの色情報/ c及び前記 対応点 Gで焦点の合っている度合レ、 (合焦点度)に基づいて決定する。このとき、前 記投影点 Tの色情報 Kは、例えば、前記各対応点 Gの色情報/ cの平均値、あるい は空間的に一致する対応点 G の色情報 /c とする。また、前記投影点 Tの合焦点 度は、画像上の点または微小領域での画像のシャープさやボケの程度により決めら れる。前記合焦点度の算出方法には、 D印 th from Focus理論もしくは Depth from Defocus理論に基づき、様々な方法がある。なお、 Depth from Focus理論もしくは Depth from Defocus理論については、例えば以下の文献を参照されたい。

[0351] 文献 8: A.P.Pentland: A New bense for Depth of Field, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol.PAMト 9, No.4, pp.523-531(1987).

文献 9 : Murali Subbarao and gopal Surya:〃 Depth from Defocus: A Spatial Domain Approacn, International Journal of Computer Vision, 13, 3, pp.271-294, Kluwer Academic Publishers.

文献 10:石原満宏,佐々木博美:"合焦法による高速三次元形状計測", 精密工学会誌, Vol.63, No. l, pp.124-128,精密工学会.

文献 11 :大場光太朗,山田茂:"実時間全焦点顕微鏡カメラ",〇 plus E, Vol.22, No.12, pp.1568-1576, 2000,新技術コミュニケーションズ.

前記合焦点度 Qは、例えば、前記各対応点 Gの局所空間周波数の大きさを比較 することで求められる。

[0352] 前記 D印 th from Focus理論もしくは Depth from Defocus理論は、合焦距離の異 なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、 例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画 像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記 投影点 Tの合焦点度 Qは、例えば、下記数式 65で表されるような局所空間周波数の 評価関数を用いて算出する。

[0353] [数 65]


ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、 (-Lc, -Lr)-(Lc, Lr)及び(xi, yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。

[0354] そして、このような処理を、前記基準視点 Rから見て重なり合う全ての投影点 ηに対 して行い、図 46に示すように、前記各投影点 Tの色情報及び合焦点度 Qを決定した ら、前記各投影点 Tの合焦点度 Qの高さに基づいて、前記被写体の表面が存在す る距離を推定する。このとき、前記基準視点 Rから見て重なり合う各投影点 T Jの合焦 点度 Q jが、例えば、図 47 (a)に示すように、ある投影点 T nの合焦点度 Q nのみが非常 に高い値を示している場合は、その投影点 τ n上に前記被写体の表面が存在すると 推定でき、その信頼性も非常に高い。

[0355] ところが、取得した画像の撮影条件や、前記被写体の形状、あるいは前記被写体 の表面の模様 (テクスチャ)によっては、例えば、図 47 (b)に示すように、合焦点度 Q が特徴的な大きな値をとる投影点 Tがない場合もある。図 47 (b)に示した例では、例 えば、投影点 T n, T n *の合焦点度 Qが、他の投影点 Tの合焦点度 Qよりも若干高い値 なので、前記投影点 τ n , T n*のどちらかに前記被写体の表面が存在すると考えられる

。し力ながら、どちらの投影点 T, T *の合焦点度 Qも、特徴的な大きな値ではない

ので、どちらかの投影点を選択した場合、その信頼性は低い。また、場合によっては 、誤った投影点を選択してしまうこともある。そして、前記被写体の表面が存在する投 影点の推定 (選択)を誤れば、生成した画像上に大きなノイズとなって現れる。

[0356] このような場合、前記被写体の表面の距離、すなわちどの投影面上に存在するか を推定したときの信頼性を上げるには、例えば、合焦距離の間隔を細かくして、より多 くの画像を用いたり、ピーク位置だけでなくその前後の合焦点度の値を、例えば、正 規分布関数等の既知の関数に当てはめたりして前記被写体表面の距離を推定する 工夫が必要となる。

[0357] し力ながら、より多くの画像を用いれば、処理時間が長くなる、撮影手段における 合焦距離の調節が難しくなるといった問題がある。また、ある合焦距離にピントを合わ せた場合、その前後に被写界深度と呼ばれる範囲があり、前記被写界深度の範囲内 にある点であれば、前記合焦距離上になくても、撮影した画像上でのボケは実質的 に生じない。そのため、前記合焦距離を細力べ区切って効果が得られるのは前記被 写界深度程度の間隔まででそれ以上細力べしても効果は薄い。さらに、前記被写体 表面のテクスチャの空間周波数が低い、すなわち模様の変化が少なく一様である場 合、合焦距離を変えても画像上での変化は生じにくい。このような場合は、原理的に 、信頼性の高い推定を行うことが困難である。

[0358] このようなことから、一般的には、前記合焦点度 Qの分布が、図 47 (b)に示したよう な場合でも、前記合焦点度 Qが最大値の投影点 Tに前記被写体の表面が存在する としている。そのため、前記被写体の表面の距離の推定を誤り、生成した画像に大き なノイズが現れることが多かった。

[0359] そこで、本発明の画像生成方法では、前記被写体表面の距離をある 1点、すなわ ち前記基準視点 Rから見て重なり合う投影点 Tのいずれか 1点に特定せずに、図 48 に示すように、前記各投影点 Tの合焦点度 Qの高さに応じた存在確率 /3を与える。 このとき、前記存在確率 /3は、前記基準視点 Rから見て重なり合うすべての投影点 T の存在確率 Jの集合において、下記数式 66及び数式 67の条件を満たす必要があ る。

[0360] [数 66]

0 < ≤ 1

[0361] [数 67]


そこで、投影面 Lが M枚あり、前記基準視点 Rから見て重なり合う投影点 T Jが M個 あるとすれば、 k番目の投影面 L上の投影点 Tの存在確率 β は、下記数式 68から 求める。

[0362] [数 68]


1

このようにして、前記基準視点 Rから見て重なり合う投影点 Tjについて、前記各投影 点 Tに存在確率を決定するという処理を、あらゆる方向に対して行うことで、前記 被写体の 3次元的な形状を得ることができる。そして、前記仮想視点 Pから見た前記 被写体の画像を生成するときには、例えば、図 49に示すように、前記投影面 Lが設 定された空間上に前記仮想視点 Pを設定して、生成する画像上の各点の色情報を 決定する。このとき、前記生成する画像上の点 Aの色情報 Kは、前記仮想視点 Pか ら見て前記点 Aと重なり合う投影点 T Jの色情報 K及び存在確率 /3から、例えば、下 記数式 69を用いて決定する。

[0363] [数 69]


そして、前記数式 69を用いて、前記生成する画像上の全ての点の色情報を決定す ると、前記仮想視点 Ρから見た前記被写体の画像 (仮想視点画像)が得られる。この とき、生成された前記仮想視点画像上で、例えば、図 47 (a)に示したように、ある投 影点 Tの合焦点度 Qだけが特徴的な大きな値を持つような場合は、その投影点 T の存在確率 だけが大きくなる。そのため、前記数式 69を用いて色情報を混合処 理するときに、前記投影点 Tの色情報 Kの、前記生成画像上の点 Aの色情報 K Aへ の寄与率が高くなり、明瞭に描画される。また、図 47 (b)に示したように、前記被写体 の表面の距離の推定が難しい場合は、各投影点 Tの存在確率 /3が小さな値になる ので、前記生成画像上の点 Aの色情報 Kへの寄与率は低くなり、曖昧に描画される

。その結果、距離の推定を誤ったときに生じるような不連続で大きなノイズを低減する ことができ、観察者の見た目に、より良好な画像を生成することができる。

[0364] また、本発明の画像生成方法は、コンピュータ 'グラフィックスの基本的な手法であ るテクスチャマッピングによりシンプルに実装できる。そのため、普及型のパーソナル 'コンピュータに搭載している 3次元グラフィックス 'ハードウェアで良好に処理できる ほど、計算機負荷が軽くなる。

[0365] ただし、本発明の画像生成方法は、前記基準視点のようにある視点から見て重なり 合う各投影点 Tについて合焦点度 Qを算出し、前記存在確率を決定している。そ のため、被写体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前 記仮想視点 Pから見て重なり合う複数の投影点の中に、存在確率が非常に高い投影 点が 2点以上含まれることがある。そのような場合、前記各投影点の色情報を前記存 在確率に応じた割合で混合すると、生成する画像上の点の色情報が有効な色情報 の範囲を超えてしまうことがある。

[0366] ここで、これまでに説明した実施の形態と同様にして、図 50に示すように、被写体〇 bjがある空間に、 2枚の投影面 L 1 , L 2、基準視点 R,仮想視点 Pを設定した場合につ いて考えてみる。このとき、投影点 τ 1 , τ2 , τ' 1 , T'2における色情報がそれぞれ κ 1 , K 2

, K' 1 , K' 2、被写体の存在確率が β ,

1 , β 2 β ' ,

1 β,

2であるとする。

[0367] また、前記被写体の存在確率 β ,,

1 β ,

2 β ' 1 β '2は、基準視点 Rを通る直線上で決 定したとすると、図 50に示した例では、投影点 T' 1及び Τ 2付近に被写体〇bjの表面が 存在するため、この投影点 T' 1及び T 2での存在確率は、投影点 T 1及び T' 2に比べて 高くなる。このとき、前記各投影点 τ 1 , τ2, τ' 1 , 2の存在確率 1 , β ,

2 β ' ,

1 β '2は、 下記数式 70及び数式 71のようになる。

[0368] [数 70]

Α ο, β2 = ι

[0369] [数 71]

β;

二のとき、前記仮想視点 Ρの画像面上の点 Αにおける色情報 Κは、前記数式 69か ら、前記仮想視点 Pから見て前記画像面上の点 Aと重なる投影点 Τ' , Tの色情報 K'

1 , K2を、前記存在確率 ' 1, β 2に応じた重み付けで加算することで求まり、下記数式

72のようになる c

[0370] [数 72]

ΚΑ = β[Κ[ + β2Κ2

また、前記数式 72は、前記数式 70及び数式 71により、下記数式 73のように近似で きる。

[0371] [数 73]

し力ながら、前記仮想視点 ρから前記物体 Objを見たときには、投影点 τ' 1上の物 体表面は、投影点 T 2上の物体表面より遮蔽されているので、画像面上の点 Aにおけ る本来の色情報は K A =K 2である。つまり、生成された画像上の点 Αの色情報 Κ Aは、 前記数式 73のように、本来の色情報よりも K' 1の分だけ(R, G, Β)の各成分の輝度 が上がってしまう。

[0372] またこのとき、前記投影点 T' 1, Τ 2の色情報 K' 1, Κ 2の各成分が大きな輝度を持つ場 合、点 Αの色情報 Κ Aは有効な色空間の範囲を超えてしまう。そのため、有効な色空 間の範囲内に収まるようにするクリッピング処理が必要となる。

[0373] そこで、本発明の画像生成方法では、前記投影点の存在確率に基づいて、各投影 点に透過から不透過までの複数の階調を持つ透明度を設定する。このとき、前記生 成する画像における各点の色情報を得るための混合処理は、前記生成する画像の 視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投影点までの 混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点ま での混合処理で得られる色情報とを前記透明度に応じた比率で内分して得る。また このとき、前記混合処理により得られる色情報は、ある段階での色情報とその次の色 情報の内分である。

[0374] 前記色情報の混合処理の原理を説明するために、例えば、色空間 Vに、図 51 (a) に示すように、投影面 L '=1,2,· · ·,Μ)、投影点 T、赤 (R) ,緑 (G),青 (B)の成分を持 ち投影点 Tの色情報を表すベクトル Kが設定されている場合を考える。このとき、前 記色空間 Vは、下記数式 74で表されるとする。

[0375] [数 74]


また、前記投影点 Tの透明度 α Jは、下記数式 75の条件を満たすように設定されて いるとする。

[0376] [数 75]

0<α. <1

このとき、変数 j=mまでの混合処理で得られる色情報 Dは、下記数式 76及び数式 7 7のような漸化式で表される。そして、前記仮想視点 Pから見て一番手前の投影面 L

、すなわち変数 j=Mまで混合したときの色情報 D ヽ前記生成する画像の画像面上 の点 Aにおける色情報 K Aとなる。

[0377] [数 76]

Dm=amKm+{l-am)Dm^

[0378] [数 77]

またこのとき、前記数式 75及び数式 76の関係から、前記色情報 Dは、色空間 Vに おいてべクトノレ Κ mと色情報 D m- 1の内分点である。そのため、前記色情報 D mは、図 51

(b)に示すように、 K m ev, D m_l ならば D m となる。

[0379] すると、前記数式 74及び数式 75の条件を満たせば、前記仮想視点 Pにおける色

f報 D について、前述したように、下記数式 78のようになることが保証される c

[0380] [数 78]

DM V

つまり、前記投影点 T Jの色情報 K J及び透明度 α Jを、前記数式 74及び数式 75を満 たすように設定すれば、前記生成する画像の点 Aの色情報 D は、必ず適切な色空 間 Vに納めることができる。

[0381] このように、透明度 αを用いた色情報の混合処理を行うと、同一の被写体において 複数の仮想視点から見た画像を生成するときに、ある 1つの視点 (基準視点)から投 影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式 74及び数式 75の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で 生成すること力できる。

[0382] そこで、例えば、図 50に示した例で、前記各投影点 Τ 1 , Τ2 , Τ' 1 , T'2のそれぞれに

、下記数式 79及び数式 80で与えられるような透明度ひ

1 , a 2 , α ' 1 , ひ '2を設定する。

[0383] [数 79]

"2 = A «1 = 1

[0384] [数 80]

ここで、前記仮想視点 Pにおける各点の色情報を得るために、前記仮想視点から 見て遠い投影点から近い投影点に向かって逐次的に混合処理をし、ある投影点まで の混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点

までの混合処理で得られる色情報とを、前記透明度に応じた比率で内分して得るよう にする。そうすると、仮想視点 Pから見た画像の点 Aの色情報 D Aは、下記数式 81のよ うになる。

[0385] [数 81]

Κ Λ = a2K2 + ( - α2 ) α[Κ

このとき、前記数式 81は、前記数式 70,数式 71 ,数式 79,数式 80から下記数式 8 2のようになり、本来の色情報のよい近似となる。

[0386] [数 82]

ΚΑ 人つ

以上で述べたとおり、前記存在確率をそのまま用いた画像生成では、基準視点 Rと生成する画像の視点 Pが同一である場合には問題ないものの、両者が異なる場 合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率 β を透明度 αに変換する画像生成では、この現象を防止する効果がある。

[0387] また、前記存在確率 βをそのまま用いる画像生成において基準視点 Rと仮想視点 Ρが異なる場合には、複数の投影点の色情報を混合処理したときに、仮想視点から 見た画像上の点の色情報が、有効な色空間の範囲内に収まる保証がない。そのた め、例えば、補正処理が必要となる。それに対し、前記存在確率 [3を透明度ひに変 換する画像生成では、このような補正は不要である。

[0388] また、前記存在確率 [3を透明度ひに変換する画像生成では、半透過の被写体も効 率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を 適用できる効果がある。

[0389] 次に、本発明の画像生成方法を用いて画像を生成するときに、処理の前提となる 数理モデルの一例について説明する。

[0390] 図 52及び図 53は、本発明の画像生成方法の数理モデルを説明するための模式 図であり、図 52は投影点,対応点,生成する画像上の点の関係を示す図、図 53は 空間上の点と画像上の画素の変換方法を説明する図である。

[0391] 本発明の画像生成方法を用いて、前記仮想視点 Pから見た画像を生成するときに は、例えば、透視投影変換により、前記仮想視点から見た画像上のある点の色情報 または輝度情報を求める。ここで、カメラの視点 C、投影面 L (j=l,2,一,M)、仮想視点 Pが、例えば、図 52に示すように設定されている場合を考える。

[0392] 一般的に、 3次元空間上の投影点 T m (X, Υ, Z)を前記仮想視点 Pから見た画像、 すなわち生成する画像上の点(x, y)へ射影する行列は、 3行 4列の行列で与えられ る。このとき、前記射影行列、及び原点を中心とした焦点距離 fの透視投影変換を表 す行列 Φ 0は、第 1の実施の形態等において説明した通りである。

[0393] また、図 53に示すような画像座標 (X, y)と、ディジタル画像座標 (u, v)との関係も、 第 1の実施の形態において説明した通りである。なお、 2次元配列の書き込み及び読 み取りをする際、前記ディジタル画像座標 (u, v)は離散値をとるが、以下の説明では 断りのない限り連続値をとることとし、配列へのアクセスの際に適当な離散化処理を 行うものとする。また、レンズの収差による画像の歪みを補正した変換を行うことも可 能である。

[0394] (実施例 3 - 1)

図 54乃至図 57は、本発明による実施例 3— 1の画像生成方法を説明するための模 式図であり、図 54は画像の生成手順を示すフロー図、図 55は投影点列の設定方法 を説明する図、図 56は図 54のステップ 10305の処理の具体例を示すフロー図、図 5 7はレンダリングの方法を説明する図である。

[0395] 本実施例 3— 1の画像生成方法は、前述のような原理を用いて画像を生成する方法 であり、図 54に示すように、合焦距離が異なる複数枚の画像を取得するステップ 101 と、観察者の視点 (仮想視点)を設定するステップ 102と、前記取得した画像に基づ いて被写体の 3次元的な形状を取得するステップ 103と、前記ステップ 103で取得し た被写体の 3次元的な形状を前記仮想視点から見た画像を生成「レソ^ Π

ステップ 104とを有する。

[0396] また、前記ステップ 103は、多層構造の投影面を設定するステップ 10301と、被写 体の 3次元的な形状を取得するための基準視点を決定するステップ 10302と、投影 点列、対応点等を設定するステップ 10303と、テクスチャ配歹 I」、すなわち前記投影点 の色情報及び存在確率を格納する領域を確保するステップ 10304と、前記投影点 の色情報及び存在確率を決定するステップ 10305とを有する。

[0397] 本実施例 3— 1の画像生成方法では、例えば、図 54に示すように、まず、合焦距離 を変えて被写体を撮影した複数枚の画像を取得する (ステップ 101)。このとき、取得 する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例 3-1では 、画像上の各点(画素)が赤 (R),緑 (G),青 (B)の 3原色を用いた色情報で表現さ れるカラー画像を取得するとして説明する。

[0398] 次に、観察者が前記被写体を見る位置 (仮想視点)を設定する (ステップ 102)。次 に、前記取得した被写体の画像を用いて、前記被写体の 3次元的な形状を取得する (ステップ 103)。そして、前記被写体の 3次元的な形状を取得したら、前記仮想視点 力 前記被写体を見たときの画像を生成する (ステップ 104)。

[0399] このとき、前記ステップ 103では、例えば、図 54に示すように、まず、多層構造の投 影面 L (je J≡{1,2,〜,M})を設定する(ステップ 10301)。このとき、前記投影面 Lは 、例えば、図 43に示したように、平面形状を持つ投影面を平行に設置する。またこの とき、前記投影面の設置間隔は、例えば、図 44に示したように、前記ステップ 101で 取得する各画像の合焦距離と一致させるのが好ましいが、一致していなくても構わな レ、。

[0400] 次に、前記被写体の 3次元的な形状を取得する視点、言い換えると、投影点上に 被写体の表面が存在する確率を求めるときの基準とする点(基準視点) Rを決定する (ステップ 10302)。このとき、前記基準視点 Rは、前記仮想視点 Pと同じ点であっても 良いし、異なる点であっても良い。また、連続的に複数の仮想視点 Pから見た被写体 の画像を生成するときには、その重心位置にとっても良い。

[0401] 次に、前記基準視点 Rを通る直線上の投影点の組でなる投影点列、前記投影点と 対応する画像上の点 (対応点)等を設定する (ステップ 10303)。このとき、前記投影 点列は、例えば、図 13に示すように、前記基準視点 Rを通る直線と前記投影面しの

交点 (投影点) の集まりとして定義する。このとき、投影点列 Sは、 S = {T I jej}と 書け、さらにその集合を σとおけば、 S e σとなる。

[0402] 次に、前記各投影面にテクスチャマッピングする画像を保持する配列(テクスチャ配 歹 IJ)を、例えば、前記画像を生成する装置のメモリ上に確保する (ステップ 10304)。 このとき、確保する配列は、例えば、前記投影点の位置に対応するテクスチャ情報を 、画素毎に色情報 (R, G, Β)及び存在確率の情報を 8ビットずつ持たせる。

[0403] また、前記ステップ 10304では、前記テクスチャ配列の画素の 2次元ディジタル座 標 (U J, j)と投影点丁 Jの3次元座標 J, Υ J, Ζ J)の対応関係も設定する。このとき、例 えば、すべての(U j, V j)の値に対して(X j, Υ j, ζ j)の値をテーブルとして設定してもよ いし、代表的な(U j, V j)に対してのみ(X j, Υ j, ζ j)の値を設定し、その他の座標は、 例えば、線形補完等の補完処理により求めてもよい。

[0404] 次に、前記ステップ 101で取得した被写体の画像をもとに、前記ステップ 10304で 確保した各投影点 T Jに相当する画素の色情報 K J及び存在確率 β Jを決定する (ステツ プ 10305)。このとき、前記色情報及び存在確率は、ある投影点列 S上の投影点 T Jを

T.e sの範囲で順に走査し、それを投影点列 S ( e σ )の範囲で繰り返す 2重のルー プ処理を行う。

[0405] 前記ステップ 10305の処理を行うときには、まず、図 56に示すように、走査する投 影点列 Sを開始位置に初期化する (ステップ 10305a)。そして次に、走査する投影 点 Tを投影点列 S内で開始位置に初期化し、例えば、 j=

[0406] 次に、前記投影点 T Jの座標 (X J*, Y j*, Z J*)の色情報 K Jを決定する(ステップ 10305c

)。前記ステップ 10305cでは、まず、座標 *, Y*, Z の位置にある点を撮影したと き、画像面 (イメージセンサ)どの位置に対応するかを算出する。そして、前記投影点 T jに対応するテクスチャ配列上の画素(U J*, V j*)における色情報は、例えば、(u ij*, V ij

*) (ie i)における色情報とする。

[0407] 次に、前記投影点 T Jの合焦点度 Q Jを決定する。このとき、前記合焦点度 Q Jは、例え ば、対応点の局所空間周波数の大きさに基づいて、前記数式 65を用いて算出する( ステップ 10305d)。

[0408] 前記ステップ 10305dまでの処理が済んだら、次に、前記投影点 Tを更新し、投影

点 T E Sをすベて走査したかを判別する(ステップ 10305e)。ここでもし、すべてを走 查し終えたのなら、次のステップ 10305fに進み、まだ走査し終えていないのであれ ば前記ステップ 10305cに戻る。

[0409] 前記ステップ 10305eで、すべて走査し終えたと判別されたら、次に、前記ステップ 10305dで算出した各投影点 Tの合焦点度 Qに基づいて、前記投影点列 S上のす ベての投影点 T (j e j)について、各投影点上に被写体が存在する確率 (存在確率) βを決定する(ステップ 10305f)。前記存在確率 /3は、例えば、前記数式 68を用い て決定する。なお、前記存在確率 /3は、基本的には、前記数式 66及び数式 67の条 件を満たせばよいので、前記数式 68以外の数式を用いてもよい。

[0410] 次に、投影点列 Sを更新し、投影点列 σをすベて走査した力、を判別する (ステツ プ 10305g)。ここでもし、すべてを走査し終えたのなら前記ステップ 103の処理、す なわち前記被写体の 3次元的な形状の取得が終了する。また、まだ走査していない 投影点列があれば、ステップ 10305bに戻る。

[0411] 前記ステップ 10305gで、すべての投影点列について走査し終えたと判別されたら 、次に、前記投影面 L (】=1 ,2,· · ·,Μ)を用いて表現される被写体を、前記仮想視点 Ρか ら見た画像を、前記存在確率に応じて描画して生成する(ステップ 104)。ここで、 例えば、図 57に示すように、仮想視点 Pにおける画像面の座標が u , Vで表されてい るとする。このとき、画像面上のある画素 p* (u *, V *)の色情報 K *は、仮想視点 Pと画 像面上の画素 P*を結ぶ直線上にある投影点列 {T * I jej }の色情報 {K * I j ej }に対 応する存在確率 { β * I jej }を掛けて加算したものとして決定され、下記数式 83のよ うに表される。

[0412] [数 83]


そして、画像面上にあるすベての画素について、前記数式 83を用いて色情報を決

定すれば、仮想視点 Pにおける画像を得ることができる。

[0413] また、前記数式 83の代わりに、下記数式 84を用いて K *を計算すると、基準視点 R と仮想視点 Pの位置が異なる場合でも、 K *は必ず有効な色空間の範囲内に収める ことが保証される。

[0414] [数 84]


なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに 限らず、例えば、 OpenGLや DirectX等の汎用的なグラフィックスライブラリに投影面 L jの構成、テクスチャ配歹 1J、仮想視点 Pの設定などのデータを受け渡し、描画処理を 任せてもよい。

[0415] 以上で本実施例 3 - 1の前記仮想視点画像の生成処理が終了し、生成された画像 は、 CRT (Cathode Ray Tube) ,液晶ディスプレイ等の画像表示手段に出力される。こ のとき、前記画像表示手段に表示される画像は、例えば、被写体の像のうち、前記ス テツプ 10305dで算出した合焦点度 Qが低い投影点の色情報は、生成した画像上の 点の色情報への寄与が小さい。そのため、距離の推定の信頼性が低い投影点につ いては曖昧に描画される。その結果、例えば、従来の方法で生成した画像のように、 部分的に画像が欠損している、あるいは画質が極端に劣化しているようには見えず、 利用者の目には気にならない程度の劣化となる。

[0416] 図 58乃至図 61は、本実施例 3 - 1の画像生成方法で画像を生成する装置の概略 構成を示す模式図であり、図 58は装置の構成を示すブロック図、図 59乃至図 61は 被写体画像撮影手段の構成例を示す図である。

図 58において、 2は画像生成装置、 201は多焦点画像 (被写体画像)取得手段、 2 02は仮想視点設定手段、 203は投影面等設定手段、 204はテクスチャ配列確保手 段、 205は色情報/存在確率決定手段、 206はレンダリング手段、 207は生成画像 出力手段、 3は多焦点画像 (被写体画像)撮影手段、 4は視点情報入力手段、 5は画 像表示手段である。また、図 59において、 6は偏光型二値光学系、 7, 7A, 7Bはィメ ージセンサ、 8はビームスプリッタ、〇bjA,〇bjBは被写体である。また、図 60におい て、 9は偏向フィルタである。また、図 61において、 10は可変焦点レンズ、 l la, l ib , 11c, l idは固定焦点レンズ、 12はレンズホルダである。

[0417] 本実施の形態の画像生成方法を用いて画像を生成するときに用いる画像生成装 置 2は、例えば、図 58に示すように、合焦距離が異なる複数枚の画像を取得する被 写体画像取得手段 201と、生成する画像の視点 (仮想視点)を設定する仮想視点設 定手段 202と、仮想的な 3次元空間上に多層構造の投影面を設定する投影面設定 手段 203と、前記投影面に貼り付ける画像 (テクスチャ画像)の配列をメモリ上に割り 当てるテクスチャ配列確保手段 204と、前記テクスチャ配列確保手段 204で確保した テクスチャ配列を用いて、前記各投影面上の点(以下、投影点という)の色情報及び 存在確率を決定する色情報/存在確率決定手段 205と、前記各投影点の色情報を 前記存在確率に応じた割合で混合し、生成する画像上の各画素の色情報を決定す るレンダリング手段 206と、前記レンダリング手段 206で生成された画像を出力する 生成画像出力手段 207とを備える。

[0418] このとき、前記被写体画像取得手段 201では、例えば、偏光型二値光学系(例えば 、文献 12 :特開 2000-258738号公報を参照。)のように偏光成分に応じて合焦距 離が変わるレンズを備える被写体画像撮影手段 3で撮影した被写体の画像を取得す る。また、前記偏光型二値光学系に限らず、可変焦点レンズ (例えば、文献 13 :特許 第 3303275号公報を参照。)を備える撮影手段で撮影した画像を取得してもよい。 また、その他にも、例えば、複数個の焦点距離が異なるレンズを一体的に支持してお き、個々のレンズを高速で切り替えながら撮影した画像を取得してもよい。またこのと き、前記被写体画像取得手段 201は、刻々と変化する被写体の位置'姿勢を一定の 間隔、例えば、 30Hzの間隔で逐次的に取得することも、任意の時刻における被写体

の静止画像を取得することも可能である。また、前記被写体の画像は、前記被写体 画像撮影手段 3で撮影した後、磁気的または電気的、あるいは光学的な記録媒体( 記録装置)に記録された画像を取得してもよい。なお、前記被写体の画像は、同一時 亥 1Jに撮影した画像であることが望ましいが、被写体の位置や姿勢の変化が十分に遅 ぐ静止物と見なせる場合にはこの限りではない。

[0419] また、前記仮想視点設定手段 202は、前記生成する画像の視点 (仮想視点)のパ ラメータとして、例えば、位置,方向,画角を設定する。このとき、前記仮想視点は、 前記仮想視点設定手段 202において自動的に決定してもよいし、利用者がマウスや キーボード等の視点情報入力手段 4を用いて入力した情報に基づいて決定してもよ レ、。またこのとき、視点情報入力手段 4は、前記利用者が装着する位置'姿勢検出セ ンサでもよレ、。また、他のプログラムにより与えられるものでも、ネットワークを介して与 えられるものでも可能である。

[0420] また、前記投影面等設定手段 203は、例えば、図 54に示したステップ 10301,ステ ップ 10302,ステップ 10303の処理を行う。

[0421] また、前記テクスチャ配列確保手段 204では、図 54に示したステップ 10304の処 理を行い、例えば、各画素について色情報と存在確率に関する情報を保持し、例え ば、赤 (R) ,緑 (G) ,青(B)の 3原色及び前記存在確率に対して各 8ビットで表現する テクスチャ配列を確保する。ただし、本発明はこのような特定のデータ表現形式に依 存するものではない。

[0422] また、前記色情報/存在確率決定手段 205は、図 54に示したステップ 10305の処 理を行い、例えば、図 56に示したようなステップ 10305aからステップ 10305gまでの 処理を行う。また、前記レンダリング手段 206は、前記色情報/存在確率決定手段 2 05の結果をもとにして、図 54に示したステップ 104の処理を行レ、、前記仮想視点 P からみた前記被写体の画像を生成する。

[0423] また、前記レンダリング手段 206で生成した仮想視点画像は、前記生成画像出力 手段 207力、ら出力され、 CRT, LCD (Liquid Crystal Display) , PDP (Plasma Display Panel)等の画像表示手段 5で表示される。このとき、前記画像表示手段 5は、例えば 、 2次元平面状の表示装置でもよいし、利用者を取り囲むような曲面状の表示装置で

あってもよい。また、前記画像表示手段 5として、立体表示が可能な表示装置を用い れば、前記仮想視点設定手段 202で、前記利用者の左右眼に相当する 2つの視点 を決定し、前記 2つの視点からの立体画像を生成したのち、利用者の左右眼に独立 した画像を提示することも可能である。また、 3つ以上の仮想視点からの画像を生成 し、 3つ以上の視差がついた画像を表示することのできる 3次元ディスプレイを用いれ ば、 1人以上の利用者に対して立体映像を提示することも可能である。

[0424] また、前記生成画像出力手段 207は、前記生成した画像を前記画像表示手段 5に 出力するだけでなぐ例えば、電気的,磁気的,光学的な記録媒体に出力するような 手段であってもよい。

[0425] またこのとき、図示は省略するが、前記画像生成装置 2に、前記生成した画像を蓄 積する蓄積手段を設けて前記生成した画像を蓄積しておき、利用者からの指示に応 じて、蓄積された画像を出力し前記画像表示手段 5で表示するようにしてもよい。

[0426] また、前記撮影手段 3として、例えば、偏光型二値光学系が組み込まれているカメ ラを用いれば、 2通りの合焦距離で前記被写体 Objを撮影することができる。前記偏 光型二値光学系は、光学的な異方性 (複屈折性)を示す材質を用いた光学系であり 、例えば、図 59 (a)に示すように、前記偏光型二値光学系 6を通る光の偏光成分が p 成分の場合と、 s成分の場合で合焦距離 f 1, f 2が異なる。このとき、一般的な撮影手段 のように、 1枚のイメージセンサ 7上に画像を結像すれば、前記イメージセンサ 7から 得られる画像では、前記 p成分によるイメージと s成分によるイメージ、すなわち合焦 距離 f 1で撮影した画像と合焦距離 f 2で撮影した画像が重なった画像になってしまう。 そのため、例えば、図 59 (b)に示すように、前記偏光型二値光学系 6を通った光をビ 一ムスプリッタ 8で分離し、 p成分の光を第 1イメージセンサ 7Aに結像させ、 s成分の 光を第 2イメージセンサ 7Bに結像させれば、合焦距離が f 1の画像と、合焦距離が f 2の 画像に分離して取得することができる。

[0427] ここで、例えば、図 59 (b)に示したように、前記合焦距離 f 1の近傍に被写体 ObjAが あり、合焦距離 f 2の近傍に別の被写体〇bjBがあるとすれば、前記第 1イメージセンサ

7Aの画像、すなわち p成分の光で結像させた画像は、図 59 (c)に示したように、被 写体 ObjAがシャープで、被写体〇bjBがぼやけた画像になる。一方、前記第 2ィメー ジセンサ 7Bの画像は、逆に、被写体 ObjAがぼやけ、被写体 ObjBがシャープな画 像になる。

[0428] また、前記偏光型二値光学系 6を用いて撮影した画像を分離するときには、前記ビ 一ムスプリッタ 8の代わりに、例えば、図 60 (a)に示すように、前記偏光型二値光学系 6とイメージセンサ 7の間に偏光フィルタ 9を設置してもよい。このとき、設置する偏光 フイノレタ 9は、例えば、図 60 (b)に示すように、 p成分に対するフィルタ 9Aと s成分に 対するフィルタ 9B力巿松格子状に配置されたフィルタを用いる。このとき、各フィル タ 9A, 9Bが前記イメージセンサ 7の画素と同じサイズ、あるいは n X n画素のサイズで あれば、前記イメージセンサ 7で得られた画像から、 p成分または s成分に相当する画 素を間引くことで、図 59 (c)に示したような 2枚の画像が得られる。

[0429] また、前記合焦距離が異なる複数枚の画像を撮影するときには、前記偏光型二値 光学系 6を用いる代わりに、例えば、図 61 (a)に示すように、可変焦点レンズ 10を用 レ、てもよい。前記可変焦点レンズ 10を用いれば、例えば、図 61 (a)に示したように、 1 つのレンズで 4つの焦点位置 f 1 , f2 , f 3 , f 4の画像を得ることができる。

[0430] またさらに、前記偏光型二値光学系 6や可変焦点レンズ 10のように、レンズの媒質 の屈折率を変化させることで焦点位置を変化させる代わりに、図 61 (b)に示すように 、合焦距離が固定しており、かつ、互いに異なる固定焦点レンズ 11a, l ib, 11c, 1 Idをレンズホルダ 12で一体的に支持し、例えば、レンズホルダ 12を回転させて個々 のレンズを高速で切り替えながら画像を撮影してもよい。

[0431] 以上説明したように、本実施例 3 - 1の画像生成方法によれば、従来の手段のように あらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのでは なぐ被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値 が得られないことを前提として、推定の信頼性が低い箇所については曖昧に描画し て画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、推定の信頼 性が高い箇所については明瞭に描画して画像生成への寄与を高くする。そのため、 推定の信頼性が低い箇所の画像の劣化を目立たなくすることができ、利用者の見た 目には劣化の少なレ、仮想視点画像とすることができる。

[0432] また、本実施例 3— 1の画像生成方法では、テクスチャマッピングの手法を利用して 物体の 3次元的な形状を取得し、前記仮想視点 Pから見た画像を生成するので、図 5 8に示したような画像生成装置 2で前記仮想視点画像を生成するときの負荷を小さく することができ、高速に仮想視点画像を生成することができる。

[0433] また、前記画像生成装置 2は、専用の装置 (計算機)である必要はなぐ例えば、コ ンピュータとプログラムによっても実現することができる。その場合、図 54及び図 56に 示したような各ステップをコンピュータに実行させることが可能なプログラムを作成し、 前記コンピュータに実行させれば、一般に普及しているパーソナル 'コンピュータでも 、画像の劣化が少ない仮想視点画像を容易に、かつ高速に生成することができる。 またこのとき、前記プログラムは、磁気的、電気的、あるいは光学的な記録媒体に記 録して提供することもできるし、ネットワークを通して提供することも可能である。

[0434] なお、本実施例 3— 1で説明した画像生成装置の構成、及び画像の生成方法ゃ処 理手順は一例であり、本発明の本旨とするのは、多層力構成される投影面にテクス チヤマッピングする画像に対して存在確率を与え、推定した距離の信頼性が低いとこ ろは複数の投影面にテクスチャマッピングして曖昧に描画する点である。そのため、 この主旨を大きく逸脱しない範囲において特定の処理方法や実装に依存するもので はない。

[0435] また、本実施例 3 - 1の画像生成方法では、画像上の点(画素)が赤 (R) ,緑 (G) , 青(B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記仮想視点画 像を生成する場合を例に挙げて説明したが、本実施例 3-1の画像生成方法は、前 記カラー画像に限らず、画像上の各点(画素)が輝度 (Y),色差 (U, V)を用いた表 現の白黒画像を取得し、前記仮想視点画像を生成することもできる。取得する画像 が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報 (Y)を 用いて、本実施例 3— 1で説明したような手順で仮想視点画像を生成すればよい。

[0436] 図 62及び図 63は、本実施例 3— 1の画像生成装置を用いた画像生成システムの概 略構成を示す模式図であり、図 62は画像生成システムの一構成例を示す図、図 63 は画像生成システムの他の構成例を示す図である。

[0437] 本実施例 3— 1の画像生成装置 1は、例えば、図 62に示すような画像生成システム に適用することができる。このとき、利用者 Userがマウス等の前記視点情報入力手段 4を用いて、所望の視点位置,方向,画角を指定すると、前記画像生成装置 2は、前 記撮影手段 3で撮影している被写体 Objの画像を取得する。そして、前記被写体 Obj の画像を取得した前記画像生成装置 1では、本実施例 3 - 1で説明したような手順で 、前記利用者 Userが指定した視点位置,方向,画角から前記被写体〇bjを見たとき の画像を生成する。そして、生成した画像を画像表示手段 5に表示し、利用者 User に提示する。

[0438] このとき、前記撮影手段 3は、前記利用者 Userがいる場所と地理的に近い場所に 設置されていてもよいし、インターネット等のネットワークを介して、地理的に遠隔な場 所に設置されていてもよい。

[0439] また、本実施例 3— 1の画像生成装置 1は、例えば、図 62に示したように、利用者 Us erと被写体 Objの関係が固定されている一方向の画像生成システムだけでなぐテレ ビ電話やテレビ会議のような双方向の通信システムに適用することも可能である。

[0440] 本実施例 3— 1の画像生成装置 2を双方向の通信システムに適用するときには、例 えば、図 63に示すように、利用者 UserAを撮影する撮影手段 3A及び利用者 UserB を撮影する撮影手段 3Bがあればいい。こうすれば、前記利用者 UserAは、前記撮 影手段 3Bで撮影された利用者 UserBの画像を用いて、所望の視点から前記利用者 UserBを見たときの画像を生成し、画像表示手段 4Aに表示させることができる。同 様に、前記利用者 UserBは、前記撮影手段 2Aで撮影された利用者 UserAの画像 を用いて、所望の視点から前記利用者 UserBを見たときの画像を生成し、画像表示 手段 4Aに表示させることができる。このとき、前記画像生成装置 2は、図 63に示した ように、前記各利用者 UserA, UserBの手元に設置されていてもよいし、どちらか一 方の利用者 UserA, UserBの手元にのみ設置されていてもよレ、。また、インターネッ トゃ社内 LAN等のネットワーク 13上に前記画像生成装置 2Cを設置すれば、前記各 利用者 UserA, UserBの手元に前記画像生成装置 2が無くても、前記仮想視点から 見た画像を生成し、表示することができる。

[0441] また、図 63では、利用者が二人の例を示している力さらに多数の利用者間でも、 同様の画像生成を行うことができる。そのため、利用者が実際に存在する実空間とは 別にコミュニケーションに用いる仮想空間を想定し、その位置関係に応じた他の利用

者の画像をお互いに提示し合えば、あた力もネットワーク上の仮想空間(サイバース ペース)を共有するかのような感覚を利用者に提示することができる。

[0442] なお、図 62及び図 63に示したシステムの構成は、本発明における画像生成装置 の一適用例を示すものであり、必ずしもこのような構成に限定されるものではない。す なわち、個々の装置及び手段の配置,形態,実装等は、本発明の趣旨を逸脱しない 範囲において任意に設定することができる。

(実施例 3— 2)

図 64は、実施例 3—2の特徴となる処理を示すフロー図である。本実施例 3— 2では 、前記実施例 3— 1で説明したような仮想視点画像の生成処理において、前記ステツ プ 10305fで決定した投影点の存在確率の代わりに、前記存在確率を透明度に変 換して画像生成を行う例を示す。

[0443] このとき、前記画像生成装置 1の構成や、全体的な処理手順については、前記実 施例 3— 1で説明した例と同様な形態をとることができるため、以下、差異のある部分 のみを説明する。

[0444] 前記実施例 3 - 1では、前記ステップ 10305fで決定した前記存在確率 βを用いて 、例えば、前記数式 69を用いて、前記仮想視点 Ρから見た画像上の各点の色情報を 決定し、前記仮想視点画像を生成したが、その場合、図 50を用いて説明したように、 前記被写体の形状や前記基準視点と仮想視点の位置関係によっては、本来の被写 体表面の色情報とは大きく異なる場合がある。そこで、本実施例 3— 2では、そのよう な問題を解決する方法として、前記存在確率を透明度に変換し、前記各投影点の色 情報を前記透明度に応じた割合で混合する方法について説明する。このとき、前記 存在確率を透明度に変換するステップは、前記ステップ 103による処理におけるステ ップ 10305fの後、または前記ステップ 104、あるいは前記ステップ 103とステップ 10 4の間で行えばよい。そこで、本実施例 3— 2では、図 64に示すように、前記前記存在 確率を決定するステップ 10305fの直後に、前記存在確率を変換して透明度を決定 するステップ 105を付加する。

[0445] この場合、前記実施例 3—1のテクスチャ配列を確保するステップ 10304では、色情 報及び前記存在確率を保持するテクスチャ配列を確保したのに対し、本実施例 3— 2 のステップ 10304では、色情報及び前記透明度を保持するテクスチャ配列を確保す る。

[0446] 前記透明度 αは、前記存在確率 βに基づいて計算され、前記実施例 3 - 1のステ ップ 10305fと同様、本実施例 3-2でも、前記ステップ 10305fで前記存在確率をい つたん計算し、次のステップ 105で透明度ひを計算する。

[0447] また、本実施例 3—2のレンダリング処理を行うステップ 104では、前記実施例 3— 1 で説明した前記数式 83や数式 84の代わりに、前記数式 11から前記数式 13までに 従って D Jを逐次的に計算する。そのため、画像面上のある画素 p* (u *, V *)の色情報

K*は、下記数式 85のように計算することになる。

[0448] [数 85]

KP* = DM

= aMKM + ( 1 - " Μ μΜ_χΚΜ_χ + · · ·


以上が本実施例 3— 2における画像生成方法であるが、前記存在確率 /3をもとに透 明度ひを計算する方法は、第 1の実施の形態において図 19 (b)を参照して説明した 方法と同じである。

[0449] 本実施例 3-2の画像生成方法によれば、前記実施例 3-1と同様に、部分的な画 像の劣化が目立たない仮想視点画像を容易に、かつ高速に生成することができる。

[0450] また、前記実施例 3— 1で説明したように、存在確率をそのまま用いた画像生成では 、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じ ることがあるのに対し、本実施例 3-2のように、存在確率を透明度に変換する画像生 成では、この現象を防止する効果がある。そのため、画像の劣化が少なぐより実際 の被写体に近い仮想視点画像を得ることができる。

[0451] また、前記実施例 3— 1で説明したように、存在確率をそのまま用いる画像生成では 、基準視点と仮想視点が異なる場合には、色情報を混合したときに有効な色情報の

範囲内に収まる保証がなぐ例えば、補正処理が必要であるのに対し、本実施例 3- 2のように、前記存在確率情報を透明度に変換する画像生成では、このような補正は 不要である。そのため、画像生成処理が簡略化できる。

[0452] また、本実施例 3— 2の仮想視点画像生成方法のように、存在確率を透明度に変換 する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあ るより多くの被写体に対して広く本発明を適用できる効果がある。

[0453] なお、本実施例 3— 2で説明した画像生成方法は一例であり、本実施例 3—の本旨と するところは、前記存在確率を透明度に変換して仮想視点画像を生成することである 。そのため、この主旨を大きく逸脱しない範囲において特定の計算方法や処理手順 に依存するものではない。

[0454] また、本実施例 3— 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Y)を用いて、本実施例 3-2で説明したような混合処理を行えばよい。

[0455] 図 65は、本発明の画像生成方法における、他の生成方法を説明するための模式 図である。

[0456] 前記実施例 3 - 1及び実施例 3 - 2の画像生成方法では、合焦距離が異なる複数枚 の画像の取得に一般的なレンズを用レ、、色情報の投影あるいは射影をするときに、ピ ンホール光学系で近似することを前提として説明した。し力ながら、本発明の画像 生成方法のように、合焦距離が異なる画像を用いる場合、例えば、テレセントリック · レンズを用いて前記複数枚の画像を取得すれば、色情報の投影あるいは射影をする ときに、図 65に示すように、平行投影系を設定することもできる。この場合、生成する 画像上の点 Aを通り、画像面に垂直な直線と前記投影面 Lの交点を対応点 Tとし、 前記実施例で説明したような手順で各投影点 T上に被写体が存在する確率 βを求 めればよレ、。このとき、図 65に示したように、投影点 Τ 1にテクスチャマッピングする対 応点 Gの座標の X成分及び y成分は、イメージセンサ上の点 Gの X

1 成分及び y成分に なる。そして、取得した画像 Img i上において、前記対応点 G 1に写っている部分と同じ 部分は、前記イメージセンサ上の点 Gを通り前記イメージセンサと垂直な直線上にな るので、これらの点を対応点 G iとして前記投影点 T 1の色情報 K1及び合焦点度 Q 1を 決定する。そして、この処理を同一直線上の各投影点 Tに対して行った後、前記各 投影点の合焦点度から存在確率 βを求めればよい。

[0457] (第 3の実施の形態の効果)

上記のように、第 3の実施の形態の画像生成方法は、前記被写体の 3次元的な形 状を得るための基準視点から見て重なり合う複数の投影点に色情報または輝度情報 と前記被写体の表面が存在する確率 (存在確率)を与える。すなわち、従来の 3次元 的な形状を得る方法のように、前記被写体の表面を、前記基準視点から見て重なり 合う複数の投影点の中の 1つの投影点上に存在すると考えるのではなぐ前記被写 体の表面は、前記各投影点上に前記存在確率で存在すると考える。このようにすると 、距離の推定の信頼性が低い場合でも、実際に物体の表面が存在する投影点上に 、ある確率で物体の表面が存在する。このとき、前記仮想視点から見た前記被写体 の画像を生成すると、生成した画像上の点(画素)で、前記存在確率が低い投影点 の色情報を混合した色情報または輝度情報を持つ画素、すなわち距離の推定の信 頼性が低い被写体上の点は曖昧に描画される。その結果、距離の推定を誤ったとき に生じるような不連続なノイズを目立ちにくくすることができる。

[0458] 前記被写体の 3次元的な形状を得るために、合焦点度が異なる複数枚の画像を用 いる。このとき、前記基準視点から見て重なり合う各投影点の存在確率は、前記各投 影点と対応する前記各画像上の点(対応点)の合焦点度に基づいて決定する。その ため、物体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前記仮 想視点から見て重なり合う複数の投影点の中に、存在確率が非常に高い投影点が 2 点以上含まれることがある。そのような場合、例えば、前記各投影点の色情報または 輝度情報を前記存在確率に応じた割合で混合すると、生成する画像上の点の色情 報が有効な色空間の範囲を超えてしまうことがある。そのため、前記存在確率に基づ いて前記投影点に透明度を設定し、前記透明度に応じた割合で色情報を混合処理 してもよレ、。このようにすると、前記仮想視点から見て重なり合う投影点の中に、存在 確率が高い投影点が 2点以上ある場合、前記仮想視点から見て遠くある投影点、例 えば、前記仮想視点からは見えない投影点の色情報の、生成画像上の点の色情報 への寄与を小さくすることができる。

[0459] 従来の生成方法のようにあらゆる形状の被写体、そして前記被写体上のあらゆる点 で幾何学的なモデルを正確に求めるような処理は行わない。そのため、前記画像を 生成する装置 (計算機)に力かる負荷を低減することができる。前記画像を生成する 装置に力かる負荷を低減できれば、一般に普及しているパーソナル 'コンピュータの ように、処理性能が低い装置でも、高速で画像を生成することが可能になる。

[0460] また、前記被写体の 3次元的な形状を取得するときに、 1つの視点から合焦距離を 変えて撮影した画像を用いる場合、前記画像の撮影に用いる撮影装置は、従来のよ うな多視点から撮影する装置に比べて小型化でき、装置構成も簡素化することができ る。このとき、例えば、光学的な異方性を示し、偏光面に応じて合焦距離が異なる材 質を備える偏光型二値光学系を用いて前記被写体を撮影すれば、 1つの視点から 合焦距離が異なる 2枚の画像を撮影することができる。また、例えば、合焦距離が異 なるレンズを複数個用意して、前記各レンズを高速で切り替えながら撮影すれば、 1 つの視点から合焦距離の異なる 3枚以上の画像を撮影することができる。

[0461] [第 4の実施の形態]

次に本発明の第 4の実施の形態について説明する。第 4の実施の形態は、主に請 求項 30—請求項 43に対応する実施の形態である。第 4の実施の形態は、評価基準 値 Vに対する統計処理 (パラメータフィッティング)に基づき存在確率を求める点に特 に特徴がある。なお、第 4の実施の形態を説明するための図において、同一機能を 有するものは、同一符号を付ける。

[0462] 第 4の実施の形態の 3次元画像表示方法では、互いに異なる撮影条件で被写体を 撮影した複数枚の画像から前記被写体の 3次元形状を取得し、取得した前記被写体 の 3次元形状に基づいて、 DFDのように複数の表示面を備えるディスプレイに前記被 写体の 3次元像を表示する。前記被写体の 3次元形状を取得するときには、仮想的 な 3次元空間上に多層構造の投影面を設定し、観察者の視点から見て重なり合う複 数の投影面上の点 (投影点)について、前記各投影点の色情報または輝度情報、及 び前記投影点上に被写体の表面が存在する確率 (存在確率)を決定する。そして、 取得した前記被写体の 3次元形状に基づいて、前記複数の表示面に表示する 2次 元画像を生成するときに、前記投影点の色情報または輝度情報を割り当てる 2次元 画像上の点に、前記色情報または輝度情報、及び存在確率を割り当て、前記画像 表示面に表示するときに、 2次元画像上の各点を前記存在確率の高さに応じた輝度 で表示する。こうすることで、前記被写体の表面の距離に関する推定の信頼性が低 い部分を曖昧に表示し、観察者の見た目に自然な 3次元像を提示する。

[0463] (実施例 4一 1)

図 66乃至図 77は、実施例 4一 1の画像生成方法を説明するための模式図であり、 図 66は全体的な処理手順の一例を示すフロー図、図 67及び図 68は投影面の設定 方法の一例を示す図、図 69は投影点列の設定方法を説明する図、図 70は投影点 の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図、図 7 1乃至図 74は存在確率の決定方法を説明する図、図 75乃至図 77は各画像表示面 で表示する 2次元画像の生成方法を説明する図である。

[0464] 本実施例 4一 1の画像生成方法は、例えば、 DFDのような観察者から見て奥行き方 向に重なった複数の画像表示面を有する画像表示手段に表示する画像を生成する 方法であり、図 66に示すように、異なる視点から物体を撮影した複数枚の画像を取 得するステップ 101と、表示する物体の 3次元像を観察する観察者の視点 (基準視点 )を設定するステップ 102と、前記複数枚の画像から前記物体の 3次元形状を取得す るステップ 103と、前記ステップ 103で取得した前記物体の 3次元形状に基づいて、 各画像表示面に表示する 2次元画像を生成するステップ 104と、前記ステップ 104で 生成した各 2次元画像を前記各画像表示面に表示して前記物体の 3次元像を提示 するステップ 105とを有する。

[0465] 本実施例 4 - 1の画像生成方法を用いて、例えば、前記 DFDで物体の 3次元像を表 示するための画像を生成するときには、まず、異なる視点から前記物体を撮影した画 像を取得する (ステップ 101)。このとき、前記取得する画像を撮影する視点は、例え ば、直線状に一列に並んでいても良いし、円弧状または任意の曲線上、あるいは平 面または曲面上に 2次元的に並んでいても良レ、。またこのとき、取得する画像は、力 ラー画像であっても、白黒画像であってもよいが、本実施例 4-1では、画像上の各点 (画素)が赤 (R),緑 (G) ,青(B)の 3原色を用いた色情報で表現されるカラー画像を 取得するとして説明する。

[0466] 前記ステップ 1で画像を取得したら、次に、前記 DFDに表示される物体を観察する 観察者の視点を設定する(ステップ 102)。このとき、前記観察者の視点は、例えば、 前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察者 の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。

[0467] 前記ステップ 2で観察者の視点を設定したら、次に、前記ステップ 1で取得した複数 枚の画像から、前記画像に写っている物体の 3次元形状を取得する(ステップ 103)。 前記ステップ 3では、まず、多層構造の投影面 L J (」·=1,2,· · ·,Μ)を設定する(ステップ 1

0301)。そして次に、前記物体の 3次元形状を取得するための基準視点 Rを設定す る(ステップ 10302)。このとき、前記投影面 L Jは、例えば、図 67に示すように、仮想 的な 3次元空間上の XY平面と平行な面を複数枚設定する。またこのとき、前記各投 影面 L Jは、例えば、図 67及び図 68に示すように、前記 3次元空間上の Z = 0から負 の方向の距離 1

jに設定する。また、前記基準視点 Rは、前記物体の 3次元形状を取得 するための視点であり、 3次元空間上の任意の点に設定することができる。そこで、前 記基準視点 Rは、前記ステップ 2で設定した観察者の視点とし、例えば、前記 Z = 0か ら最も遠い投影面 L 1を、前記 DFDの観察者から見て最も奥にある画像表示面として、 図 68に示すように、前記投影面 L 1からの距離が、前記観察者の視点から前記 DFD の最も奥にある画像表示面までの距離 Idとなるように設定する。

[0468] 前記ステップ 10301及びステップ 10302で前記投影面 L及び基準視点 Rを設定し たら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画 像上の点(対応点)等を設定する(ステップ 10303)。このとき、前記投影点は、例え ば、図 69に示すように、前記基準視点 Rから複数の方向に直線を引き、前記各直線 と前記各投影面 Lの交点に設定する。また、前記被写体の表面の距離を推定すると きには、前記同一直線上にある複数の投影点 Tに対して、どの投影点上に存在する か推定するので、図 69に示したように、同一直線上にある投影点 T Jを投影点列 Sとし てひとまとめに扱う。

[0469] また、前記対応点は、図 67及び図 68に示したように、前記投影点 Tから前記各カメ ラの視点 Cを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点 G である。このとき、図 67に示したように、前記各画像面上に 2次元の座標系(xy座標

系)を設定すると、前記投影点 T (X J, Υ J, Z J)と対応する対応点 Gijの 2次元座標 (X, y )は、前記投影点 Tを各画像面上の 2次元の点に射影することで求められる。この 射影は、一般的な、 3次元空間上の点 (Χ, Υ, Z)を 2次元平面上の点 (x, y)に射影 する 3行 4列の射影行列を用いて行えばょレ、。前記仮想的な 3次元空間内での前記 対応点 Gの座標 (X, y )と、前記ディジタル画像座標 (u, V)との関係は、これまでに 説明した通りである。

[0470] 前記ステップ 10303では、前記対応点 Gのディジタル画像座標 (u , v )と前記投 影点 T Jの 3次元空間座標 (X J, Υ J, Z J)の対応関係を設定する。この対応関係は、全て の(u , v )に対して (X, Υ, Ζ )の値をテーブルとして設定してもよレ、し、代表的な(u

, v )に対してのみ (X, Y , Z J)の値を設定し、その他の点は、例えば、線形補完等の 補完処理で求めてもよい。

[0471] また、前記ディジタル画像座標系では (u, V)は離散値をとるが、以下の説明では断 りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離散 化処理を行うものとする。

[0472] 前記ステップ 10303で前記投影点列、対応点等を決定したら、次に、前記投影面 Lの情報、すなわち前記投影面 Lにテクスチャマッピングする画像を格納する配列( テクスチャ配歹 IJ)を確保する。(ステップ 10304)。このとき、確保する配列は、前記投 影点 Tの位置に対応するテクスチャ情報として、画素毎に色情報及び存在確率の情 報を、例えば、 8ビットずつ持たせる。

[0473] 前記ステップ 10304で前記投影面の情報を格納する配列を確保したら、次に、各 投影点 Tの色情報及び存在確率を決定する(ステップ 10305)。前記ステップ 1030 5では、例えば、図 70に示すように、ある投影点列上の各投影点 Tの色情報及び存 在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという 2 重ループの処理を行う。そこでまず、前記投影点列を初期化する(ステップ 10305a) 。そして次に、前記投影点列上の投影点 T Jを初期化し、例えば、 j=lとする。(ステップ

10305b)。

[0474] 次に、前記投影点 Tの色情報を決定する(ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報 Kの平均値を

前記投影点の色情報に決定する。

[0475] 次に、前記投影点 Tと対応する各対応点 G (ie i)に写っている物体上の点の相関 度 Qを求める(ステップ 10305d)。このとき、前記相関度 Qは、例えば、前記投影点 T Jの色情報を表すベクトルを K j、各対応点 G ijの色情報を表すベクトルを K ijとおくと、 下記数式 86により求められる c

[0476] [数 86]

=Σ 1€/ ( -^

前記数式 86を用いて相関度 Qを求めた場合、前記相関度 Q Jは、常に正の値をとり

、かつ、相関が高いほど値が小さくなる。

[0477] なお、前記数式 86は前記相関度 Qの求め方の一例であり、前記数式 86以外の数 式を用いて前記相関度 Qを求めてもよい。また、前記相関度 Qを求めるときには、前 記投影点 Tと前記対応点 Gの 1点だけでなぐ前記投影点 T及び前記対応点 Gの 近傍にある複数の点を含めた小領域を考えて求めてもよい。

[0478] 前記ステップ 10305dにより、前記相関度 Qを求めたら、前記投影点 Tを更新し、 処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 10305dの処理を行ったか確認する(ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 10305dの処理を行っていない投影点があれば、前記ステ ップ 10305cに戻って前記色情報 K J及び相関度 Qを求める。

[0479] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関 度 Qを求めると、図 71に示すように、投影点列上の各投影点 Tに対して色情報 K J及 び相関度 Qが与えられる。このとき、前記各投影点 T Jの相関度 Q Jを比較すると、一般 的には、図 72 (a)に示すように、ある投影点 T mの相関度 Q mだけが特徴的な小さな値 をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点 τ m 上にあると推定でき、その信頼性も高い。

[0480] し力ながら、物体の形状や表面の模様 (テクスチャ)、あるいは撮影条件等によつ

ては、投影点列上の各投影点 Tの相関度 Qを比較したときに、図 72 (b)に示すよう に、相関度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前 記物体の表面がある 1つの投影点上にあると推定しても、その信頼性は低ぐ推定を 誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上 に大きなノイズとなって現れてレヽた。

[0481] そこで、前記各投影点 Tの相関度 Qの高さに基づいて前記投影点列上の各投影 点 T Jに物体の表面が存在する確率(存在確率) β Jを決定する。このとき、前記存在確 率 β Jは、前記相関度 Q Jから直接求めることも可能であるが、取得した画像上にノイズ があり、前記相関度 Q Jの信頼性が低いと、前記存在確率 /3 Jもその影響を受けて信頼 性が低下する。そこで、本実施例 4 - 1の画像生成方法では、まず、前記存在確率 /3 J の基準値として用いる評価基準値 V

jを求める(ステップ 10305f)。このとき、前記評 価基準値 V

Jは、下記数式 87及び数式 88を満たす必要がある。

[0482] [数 87]

[0483] [数 88]


さらに、前記投影点 Τに物体の表面が存在する確率が高いほど前記評価基準 V が 1に近い値をとるようにすると、前記投影点列上の各投影点 Τに対して求めた相関 度 Qに対し、例えば、下記数式 89及び数式 90で表される変換処理を行って前記評 価基準値 v (je J)を算出すればょレ'

[0484] [数 89]

= Q J

[0485] [数 90]

Λ M ~〜

f=l

なお、前記評価基準値は、基本的には前記数式 87及び数式 88の条件を満たし ていればよい。そのため、前記変換処理は、前記数式 89及び数式 90以外の数式を 用いて算出してもよい。

[0486] 前記数式 89及び数式 90を用いて算出した各投影点 Tの評価基準値 vは、前述 のように、前記物体の表面が存在する確率 (存在確率)として用いることも可能である 力 取得した画像上のノイズの影響により、そのままでは存在確率としての信頼性が 不十分である場合が出てくる。そのため、次に、生成する物体の確率分布モデルを 仮定して、前記評価基準値 Vに対する統計処理 (パラメータフィッティング)を行い、 例えば、図 73 (a)に示すようなフィッティング関数 p (1)を求める(ステップ 10305g)。

[0487] ここで、前記物体が存在する確率の確率密度分布が、距離 1に対して正規分布(ガ ウス分布)に従うと仮定すれば、前記評価基準値 V

Jのフィッティング関数 p (l)は、下 記数式 91のように表すことができる。

[0488] [数 91]

P ex ( - 2

πσ 2σ

ここで、 / は存在確率分布の平均値、 σは存在確率分布の分散であり、それぞれ 下記数式 92,数式 93で与えられる。

[0489] [数 92]


[0490] [数 93]


前記フィッティング関数 ρ (1)を求めたら、その関数 ρ (1)から、各投影面 LP 1の距離 lp j

、すなわち前記各対応点 T Jに物体が存在する確率 j3 Jを決定する(ステップ 10305h)

。このとき、前記存在確率 /3

Jは、例えば、下記数式 94を用いて決定する。

[0491] [数 94]

Yj =!:; Pil)dl

:で、 Γ J , 1 JΊまそれぞれ、図 73 (b)に示すように、投影面 L Jに寄与する距離の下 限及び上限であり、例えば、下記数式 95及び数式 96で与えられる。

[0492] [数 95]

/ J: = 2 / J: =- 00

[0493] [数 96]


前記ステップ 10305c力、らステップ 10305hの処理を行うと、図 74に示すように、投 影点列上の前記各投影点 T Jの色情報 K J及び存在確率 /3 Jが決定される。その値を前 記ステップ 10304で確保した領域に格納する。

[0494] このように、ある投影点列上で表示する物体表面が存在する確率の確率密度分布 を仮定できる場合、前記評価基準値 V

Jのフィッティング関数 p (l)に基づいて前記存 在確率 /3 Jを求めると、撮影した画像のノイズの影響を低減することができる。

[0495] なお、前記数式 91はフィッティング関数の一例であり、物体の形状分布に応じた種 々の関数、例えば、ラプラス分布関数を用いてパラメータフィッティングを行ってもよ レ、。

[0496] 前記各投影点 Tの色情報 K及び存在確率 βを格納したら、前記投影点列を更新 し、前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからス テツプ 10305hまでの処理を行ったか確認する(ステップ 10305i)。ここで、前記ステ ップ 10305cからステップ 10305hまでの処理を行っていない投影点列があれば、前 記ステップ 10305bに戻って前記ステップ 10305cからステップ 10305hまでの処理 を繰り返す。

[0497] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305hまでの処理を行うと、前記ステップ 10305 (ステップ 103 )の処理が終了し、前記物体の 3次元的な形状が得られる。

[0498] 前記ステップ 103の処理を行うと、例えば、図 74に示すように、ある投影点列上の 各投影点 T (j=l,2,' M)のテクスチャ配列には色情報 K及び存在確率 βが保持さ れている。つまり、本発明の 3次元画像表示方法で取得する物体の 3次元形状は、従 来の方法のように前記投影点列上のある 1つの投影点に物体の表面が存在するの ではなぐ前記各投影点に存在する。

[0499] 本実施例 4 - 1の画像生成方法では、前記ステップ 103で取得した前記被写体の 3 次元形状に基づいて、前記観察者から見た前記被写体の画像を生成する。本実施 例 4一 1では、生成する画像は DFDのような複数の画像表示面を有するディスプレイ の前記各画像表示面に表示する 2次元画像の生成方法について説明する。この場 合、前記ステップ 103の処理が終了したら、図 66に示したように、前記投影点の色情 報及び存在確率を、 2次元画像生成面上の点の色情報及び輝度分配係数に変換 する(ステップ 104)。

[0500] 前記ステップ 104で、前記各画像表示面に表示する 2次元画像を生成するときには 、まず、前記仮想的な 3次元空間上に観察者の視点、複数枚の 2次元画像生成面、 前記ステップ 103で取得した前記物体の 3次元形状を設定する。このとき、前記 2次 元画像生成面 LD (η=1,2 · ·,Ν)は、例えば、図 75に示すように、前記観察者の視点

Ρから見て奥行き方向に重なるように設定する。また、前記観察者の視点 Ρから前記 各 2次元画像生成面 LDnまでの距離 Idは、前記ステップ 102で設定された距離にな るように設定する。またこのとき、前記物体の 3次元形状を表現している投影面 Lの数 及び設定間隔が、前記 2次元画像生成面 LDの数及び設定間隔と一致しているとす れば、前記物体の 3次元形状は、例えば、図 75に示すように、前記投影面 Lと前記 2 次元画像生成面 LDがー致するように設定する。このとき、前記 2次元画像生成面 L

Dが、輝度変調型 DFDの各画像表示面に表示する画像を生成する面であるとすれ ば、観察者の視点 Pから見て重なり合う前記 2次元画像生成面 LD上の各点(表示点

)Aに対して、色情報 KD及び輝度分配係数 γ を決定する必要がある。ここで、図 7

5に示すように、前記物体の 3次元形状を表現している投影面 Lと 2次元画像生成面 LDがー致しているのであれば、前記各表示点 Aの色情報 KDは、前記各表示点 A がある 2次元画像生成面 LDと重なっている投影面 Lの投影点 Tの色情報 Kとする

。また、前記各表示点 Aの輝度分配率 γ は、前記各表示点 Αがある 2次元画像生 成面 LDと重なっている投影面 Lの投影点 Tの存在確率 /3を割り当てる。このように して、前記 2次元画像生成面 LD上の各表示点 Aに対して色情報 KD及び輝度分配 係数 γを決定したら、その 2次元画像生成面 LDに生成された画像を出力し、実際 の DFDの画像表示面で表示する(ステップ 105)。

[0501] ただし、前記物体の 3次元形状を表現する投影面 Lの数及び設定間隔は、前記 2 次元画像生成面 LDの数及び設定間隔と一致させる必要はない。そこで次に、投影 面しの数及び設定間隔と前記 2次元画像生成面 LDの数及び設定間隔が一致して レ、なレ、場合の前記 2次元画像の生成方法にっレ、て説明する。

[0502] このとき、前記観察者の視点 Pから見て一番手前の投影面から一番奥の投影面ま での距離と、一番手前の 2次元画像生成面から一番奥の 2次元画像生成面までの距 離がほぼ等しいのであれば、前記物体の 3次元形状を表現する投影面 Lは、例えば

、図 76に示すように、前記観察者の視点 Pから見て一番奥の投影面 Lと 2次元画像 生成面 LDが重なるように設定する。こうすると、前記観察者の視点 Pから見て一番 奥の 2次元画像生成面 LDの各表示点 Aの色情報 KD及び輝度分配係数 γは、前 記観察者の視点 Ρから見て一番奥の投影面 L上の各投影点 Τの色情報 Κ及び存在 確率 βである。

[0503] また、重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、以下のような方法で決定する。

[0504] 前記重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、例えば、前記観察者の視点 Ρから見て、前記各 表示点 Αと重なる前記各投影面 L上の投影点 Τの色情報 Κ及び存在確率を、前記 投影面 Lから見て最も近い 2次元画像生成面 LD上の表示点 Aに割り当てる。このと き、前記表示点 Aの色情報 KDは、割り当てられた各投影点 Tの色情報 Kの平均値、 もしくは前記表示点 Aがある 2次元画像生成面 LDから見て最も近い投影面 Lの投影 点 Tの色情報 Kとする。また、輝度分配係数 γに関しては、前記割り当てられた各投 影点 Tの存在確率 ;3の和とする。このとき、ある 2次元画像生成面 LDが最も近い生 成面となる投影面 Lの集合を {L | ]≡ Γ }とおくと、前記 2次元画像生成面 LD n上の 表示点 A nの輝度分配率 γ nは、前記各投影面 L jの投影点 Τの存在確率 i3 jを用いて

、下記数式 97で与えられる。

[0505] [数 97]

M

Yh 二∑ A

ここで、前記投影面 Lと 2次元画像生成面 LD n 図 77 (a)に示すような位置関係 にある場合を考える。ここで、観察者の視点 Pから見て表示点 A , Aと重なり合う各投 影点 T (j=l,2,3,4,5)の色情報 K及び存在確率を、前記各投影面から見て最も近 レ、 2次元画像生成面上の表示点 Aに割り当てるとすれば、投影点 Τ , Τ , Tの色情 報及び存在確率は、前記表示点 Aに割り当てられる。このとき、前記表示点 Aの色 情報 KDは、例えば、前記各投影点 T, Τ , Tの色情報 Κ , Κ , Kの平均値でも良 いし、前記表示点 A1からみて最も近い投影点 Tの色情報 Kとしても良レ、。また、前 記表示点 Aの輝度分配係数 γ は、前記数式 91を用い、前記各投影点 Τ, Τ , Τ の存在確率 ,,の和とする。

[0506] 同様に、前記投影点 Τ , Τの色情報及び存在確率は、 2次元画像生成面 LDに割 り当てられ、表示点 Αの色情報 KDは前記投影点 Τ , Tの色情報 Κ , Kの平均値 もしくは投影点 Tの色情報 Kとする。そして、輝度分配係数 γ に関しては、前記数 式 91を用いて前記各投影点 Τ , Τの存在確率 /3 , β の和とする。

[0507] また、前記 2次元画像生成面 LD nの設置間隔と前記投影面 L Jの設定間隔が異なり

、 2枚の連続した 2次元画像生成面 LD η , LD Π の間にある投影面 Lの投影点の色情 報及び存在確率は、前記投影面 L jと各 2次元画像生成面 LD n , LD n の距離の比に 応じて分配してもよい。このとき、前記 2次元画像生成面 LD n , LD n の間にある投影 面 Lの集合を {L I ]≡ Γ n }とおくと、前記 2次元画像生成面 LD上の表示点 Aの輝 度分配率 γ nは、前記各投影点 Τ jの存在確率 jを用いて、下記数式 98で与えること ができる c

[0508] [数 98]

1 1

=ゾ "

前記数式 98において、 w J'nは、投影面 L jの 2次元画像生成面 LD nに対する寄与の 度合いを表す係数である。

[0509] ここで、例えば、図 77 (b)に示すように、 2枚の 2次元画像生成面 LD 1 , LD 2の間に

、投影面 L ,

1 L 2が設定されている場合を考える。このとき、投影面 L 1と前記各表示面

LD 1 , LD 2の距離がそれぞれ B ,

1 B 2とすると、前記投影面 L 1の前記各 2次元画像生 成面 LD 1 , LD 2に対する寄与の度合いを w 1,1 , w 1,2は、例えば、下記数式 99で与えら れる。

[0510] [数 99]

Bつ

Βλ + Β2 Βλ + Β2

同様に、投影面 L 2と前記各 2次元画像生成面 LD 1 , LD 2の距離がそれぞれ B 3 , B 4 であれば、前記投影面 L 2の前記各 2次元画像生成面 LD 1 , LD 2に対する寄与の度合 い w 2,1 , w 2,2は、下記数式 100で与えられる。

[0511] [数 100]

凡 3

2,1 ¾2

二の結果、前記 2次元画像生成面 LD 1の表示点 A 1の輝度分配率 γ 1及び前記表示

面 LDの表示点 Aの輝度分配率 γ はそれぞれ、下記数式 101のようになる。

[0512] [数 101]

Υχ二 Wu βχ + W2>1 y¾, 72 = Wu A + W2j2 β2

このように、前記物体の 3次元形状を取得するときに、前記投影点列上の各投影点 Τの相関度 Qから前記各投影点 Τに物体の表面が存在する確率 (存在確率) βを 与えた形状を取得し、前記 2次元画像生成面 LD上の表示点 Aの輝度分配係数を前 記存在確率 /3で与えると、前記投影点列上の各投影点 Tに特徴的な値の相関度 Q を持つ投影点がなぐ物体表面の距離の推定に対する信頼性が低い場合、その投 影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記 各投影点 Tの存在確率 Pから前記 2次元画像生成面 LD上の点の輝度分配係数 γ を決定すると、前記 2次元画像生成面に生成された 2次元画像を実際の画像表示面 に表示し、物体の 3次元像を提示したときに、距離の推定に対する信頼性が低ぐ複 数の投影点に前記存在確率 i3が分散している投影点列上では、前記物体の表面が 曖昧に表示される。そのため、前記 DFDに表示した 3次元像上のノイズが目立ちにく くなり、観察者の見た目に自然な像を表示することができる。

[0513] 以上説明したように、本実施例 4 - 1の画像生成方法によれば、表示する物体の正 確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することが できる。

[0514] また、前記存在確率 /3を求めるときに、投影点列上で物体の表面が存在する確率 の確率密度分布を仮定して、前記相関度 Qから算出した評価基準値 vの統計処理 を行って求めることにより、取得した画像上のノイズによる前記存在確率 /3の信頼性 の低下を低減することができる。

[0515] また、本実施例 4 - 1の画像生成方法では、画像上の点(画素)が赤 (R),緑 (G), 青(B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 4一 1の画像表示方法で

は、前記カラー画像に限らず、画像上の各点(画素)が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 4-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。

(実施例 4一 2)

図 78乃至図 81は、実施例 4一 2の画像生成方法を説明するための模式図であり、 図 78は投影点と対応点の関係を示す図、図 79は投影点の色情報及び存在確率を 決定するステップの一例を示すフロー図、図 80及び図 81は存在確率の求め方を説 明する図である。

[0516] 本実施例 4 - 2の画像生成方法は、基本的な手順の流れは、前記実施例 4 - 1の画 像生成方法と同様であり、前記 DFDで表示する複数枚の 2次元画像を生成するとき には、図 66に示したような、前記ステップ 101からステップ 105の処理を行う。本実施 例 4 - 2の画像生成方法において、前記実施例 4 - 1の画像生成方法と異なる点は、 前記ステップ 101で、視点が異なる複数枚の画像の代わりに、合焦距離が異なる複 数枚の画像を取得し、前記ステップ 103において、前記合焦距離が異なる画像を用 いて、前記物体の 3次元形状を取得する点である。

[0517] 本実施例 4一 2の画像生成方法を用いて、例えば、前記 DFDで物体の 3次元像を表 示するための複数枚の 2次元画像を生成するときには、まず、ある視点から合焦距離 を変えて撮影した複数枚の画像を取得する。このとき、前記複数枚の画像は、例えば 、偏光型二値光学系や可変焦点レンズ等を用いて撮影する。また、取得する画像は 、前記実施例 4-1と同様でカラー画像であっても良いし、白黒画像であっても良い。 次に、前記実施例 4-1で説明したように、観察者の視点を設定 (ステップ 102)した後 、前記物体の 3次元形状を取得するステップ 103の処理を行う。

[0518] 前記ステップ 103の処理では、前記実施例 4_1で説明したように、まず、前記投影 面し j(j=l,2,' ,M)及び基準視点 Rを設定する(ステップ 10301,ステップ 10302)。そ して続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列( 領域)を確保する(ステップ 10303,ステップ 10304)。

本実施例 4 - 2の 3次元画像表示方法のように、合焦距離が異なる複数枚の画像を 用いて物体の 3次元像を表示させる場合、前記ステップ 10301で投影面を設定す るときには、例えば、図 78に示すように、前記カメラの視点 Cからの距離が前記カメラ で撮影した画像の合焦距離 f (ί=1,2,· · ·,Ν)と一致するように設定する。そして、前記ス テツプ 10303では、前記投影点 Τに対応する対応点 Gは、前記カメラの視点じから 前記投影点 Τを見たときに前記投影点 Τと重なる画像 Img上の点とする。なお、投影 点列の設定方法、前記投影点 Tの座標と対応点 Gのディジタル画像座標の対応付 けに関しては、前記実施例 4一 1で説明したのと同様の方法で対応付ければよいので 、詳細な説明は省略する。

[0519] また、前記ステップ 10304の投影面の情報を格納する領域を確保する処理も、前 記実施例 4一 1で説明した処理と同様の処理を行えばよいので、詳細な説明は省略 する。

[0520] 次に、前記取得した複数枚の画像を用いて、前記各投影点 Tの色情報及び存在 確率の情報を決定する(ステップ 10305)。本実施例 4 - 2の 3次元画像表示方法でも 、前記ステップ 10305では、例えば、図 79に示すように、ある投影点列上の各投影 点 Tの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対 して繰り返すという 2重ループの処理を行う。そこでまず、前記投影点列を初期化す る(ステップ 10305a)。そして次に、前記投影点列上の投影点 Tを初期化し、例えば 、j=lとする(ステップ 10305b)。

[0521] 次に、前記投影点 Tの色情報を決定する(ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報の平均値を前 記投影点 Tの色情報 Kに決定する。

[0522] 次に、前記投影点 Tと対応する各対応点 Gに写っている物体上の点の焦点の合つ てレ、る度合レヽ (合焦点度)から、前記投影点 Tの合焦点度 Qを求める (ステップ 1030 )。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度 により決められる。前記合焦点度の算出方法には、前述した通り、 D印 th from Focus 理論もしくは D印 th from Defocus理論に基づき、様々な方法がある。このとき、前記 合焦点度 Qは、例えば、前記各対応点 Gの局所空間周波数の大きさを比較すること

で求められる。

[0523] 前記 D印 th from Focus理論もしくは Depth from Defocus理論は、合焦距離の異 なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、 例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画 像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記 投影点 Tの合焦点度 Qは、例えば、下記数式 102で表されるような局所空間周波数 の評価関数を用いて算出する。

[0524] [数 102]


ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、 (-Lc, -Lr)-(Lc, Lr)及び(xi, yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。

[0525] なお、前記数式 102は前記合焦点度 Q Jの求め方の一例であり、前記数式 102以外 の数式を用いて前記合焦点度 Q Jを求めてもよい。

[0526] 前記ステップ 10305jにより、前記合焦点度 Q Jを求めたら、前記投影点 T jを更新し、 処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 1030¾の処理を行ったか確認する(ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 1030¾の処理を行っていない投影点があれば、前記ステツ プ 10305cに戻って前記色情報 K及び合焦点度 Qを求める。

[0527] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び合焦 点度 Qを求めると、図 80に示すように、投影点列上の各投影点 Tに対して色情報 K 及び合焦点度 Qが与えられる。このとき、前記各投影点 Tの合焦点度 Qは前記実施 例 4一 1で存在確率を決定するときに用いた相関度に相当する度合いであり、物体 の形状や表面の模様 (テクスチャ)、あるいは撮影条件等によっては、投影点列上の

各投影点の合焦点度 Qjを比較したときに、合焦点度が特徴的な小さな値を持つ投 影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上にあ ると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定を誤 つている場合、その影響が生成した画像上に大きなノイズとなって現れていた。

[0528] そこで、本発明の 3次元画像表示方法では、次に、図 81に示すように、前記投影点 列上の各投影点 Tに物体の表面が存在する確率(存在確率) /3を決定する。このと き、前記存在確率 Jは、前記実施例 4一 1で説明したように、取得した画像上のノイズ による信頼性の低下を防ぐために、評価基準値 Vに対する統計処理を行ってから決 定する(ステップ 10305f)。前記ステップ 10305fで評価基準値 Vを算出するときに は、前記評価基準値 V

J 、前記数式 87及び数式 88を満たす必要がある。そこで、 本実施例 4 - 2では、例えば、下記数式 103を用いて、投影点 T kの評価基準値 V ]を 決定する。

[0529] [数 103]


なお、前記評価基準値 v Jは、基本的には前記数式 87及び数式 88の条件を満たし ていればよい。そのため、前記評価基準値 V

jは、前記数式 97以外の数式を用いて 決定してもよい。

[0530] 前記ステップ 10305fで評価基準値 V

jを算出したら、次に、前述のような手順でパ ラメータフィッティングを行レ、、図 81に示したように、前記各投影点 Tjの存在確率 j を決定する(ステップ 10305g, 10305h)。

[0531] 前記ステップ 10305hにより、前記各投影点 Tの存在確率を決定したら、前記各 投影点 Tの色情報 K及び存在確率を、前記ステップ 10304で確保した領域に格 納する c

[0532] 記各投影点の色情報 Kj及び存在確率 β jを格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305hまでの処理を行ったか確認する(ステップ 10305i)。ここで、前記ステップ 10305cからステップ 10305hまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305hまでの処理を繰 り返す。

[0533] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305hまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。そして、前記ステップ 103の処理により前 記物体の 3次元的な形状を取得したら、前記実施例 4 - 1と同様の手順で、前記取得 した物体の 3次元形状に基づいて、前記 2次元画像生成面 LD上の表示点 Aの色情 報及び輝度分配係数 T /を決定し、 DFDのような複数の重なり合った画像表示面に表 示する 2次元画像を生成し (ステップ 104)、生成した画像を実際の画像表示面に表 示 (ステップ 105)すれば、前記物体の 3次元像を提示することができる。

[0534] 本実施例 4 - 2の 3次元画像表示方法も、前記実施例 4 - 1の 3次元画像表示方法と 同様に、取得した前記物体の 3次元形状において、前記投影点列上の各投影点 T に特徴的な値の合焦点度 Qを持つ投影点がなぐ物体表面の距離の推定に対する 信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧 に表現される。そして、前記各投影点 Tの存在確率 βから前記 2次元画像生成面 L D上の点の輝度分配係数 γを決定すると、前記 2次元画像生成面に生成された 2次 元画像を実際の画像表示面に表示し、物体の 3次元像を提示したときに、距離の推 定に対する信頼性が低ぐ複数の投影点に前記存在確率 3が分散している投影点 列上では、前記物体の表面が曖昧に表示される。そのため、前記 DFDに表示した 3 次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することが できる。

[0535] 以上説明したように、本実施例 4 - 2の 3次元画像表示方法によれば、前記実施例 4 _1と同様に、物体の正確な 3次元形状を求めなくても、見た目に自然な 3次元形状 を表示すること力 Sできる。

[0536] また、本実施例 4一 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Y)を用いて、本実施例 4-2で説明したような処理を行えばよい。

(実施例 4一 3)

図 82乃至 84は、本発明による実施例 4一 3の任意視点画像生成方法を説明するた めの模式図であり、図 82は全体的な処理手順の一例を示すフロー図、図 83はレン ダリングの原理を説明する図である。図 84 (a)及び図 84 (b)は存在確率を透明度に 変換する処理手順の一例を示すフロー図である。

[0537] 前記実施例 4一 1及び実施例 4一 2では、前記ステップ 103で取得した前記被写体の

3次元形状を用いて、前記 DFDのように複数の画像表示面を有する装置の前記各 画像表示面で表示する 2次元画像を生成する方法を例に挙げたが、前記被写体の 3 次元形状モデルは、これに限らず、任意の視点から見た前記被写体の 2次元画像を 生成するときにも用いることができる。このとき、前記実施例 4一 1及び前記実施例 4一 2と異なるのは、図 82に示したように、前記ステップ 103の後、レンダリング、すなわち 前記被写体の 3次元形状を前記観察者の視点から見た 2次元画像にするステップ 1 06を行う点である。このとき、前記ステップ 101からステップ 103で前記被写体の 3次 元形状を取得する処理は前記実施例 4一 1及び実施例 4一 2で説明しているとおりな ので、詳細な説明は省略する。

[0538] また、本実施例 4一 3の任意視点画像生成方法において、レンダリングをするステツ プ 106は、例えば、図 83に示すように、前記表示する任意視点画像上の各点(画素) の色情報は、前記観察者の視点 Pから見て、前記任意視点画像上の点 Aと重なる投 影点 T (j=l,2,' M)の色情報 Kを混合処理して決定する。透明度ひを用いた色情 報の混合処理については、第 2の実施の形態における実施例 2— 2等で説明した通り である。

[0539] 本実施例 4一 3の任意視点画像の生成方法でも、例えば、図 84 (a)に示すように、 前記存在確率 /3 Jを決定するステップ 10305hの後、前記存在確率 V

Jを透明度ひに 変換する処理を行う(ステップ 107)。

[0540] 前記存在確率 Vを透明度ひに変換する処理は、例えば、図 84 (b)に示すように、 まず、投影点 T jを初期化して j=Mとする(ステップ 107a)。次に、前記投影点 T の透 明度 α を α = β Mとする(ステップ 107b)。

[0541] 次に、変数 jの値を j=j_lに更新する (ステップ 107c)。そして、透明度 α

j+i力^か否か を判別する(ステップ 107d)。ここで、透明度ひ j+lがひ≠ 1

j+l であれば、例えば、下記 数式 104から前記透明度ひを求める(ステップ 107e)。

[0542] [数 104]


また、前記透明度ひ j+i力^である場合は、例えば、ひ = 1

J とする(ステップ 107f)。な お、前記ステップ 107eで前記透明度ひ jを求めるときには、前記数式 104に限らず、 他の数式を用いて求めてもよい。また、詳細な説明は省略する力前記ステップ 107 eにおいても、実際には、ひ jを任意の値にすることができるので、 1以外の値にしても よい。

[0543] 次に、前記ステップ 107dからステップ 107fの処理を変数 j= 1まで行ったか判別す る(ステップ 107g)。ここで、処理がまだ済んでいなければ、前記ステップ 107cに戻 つて、処理を繰り返す。

[0544] 前記ステップ 107dからステップ 107fの処理を変数 j=lまで行ったら、前記観察者視 点 Pから見て画像面上の点 Aと重なる投影点 T

jの前記存在確率 V

Jを透明度 α

Jに変 換する処理が終了する。その後、前記レンダリングのステップ 104において、前記数 式 62及び数式 63を用いた混合処理を行い、任意視点画像上の点 Aの色情報 D を 求める。そして、この処理を、前記任意視点画像上の全ての点(画素)について行え ば、前記観察者の視点 Pから任意視点画像が得られる。

[0545] また、本実施例 4一 3の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度

情報 (γ)を用いて、前記実施例 4 1で説明したような処理を行って物体の 3次元形 状を取得した後、本実施例 4 3で説明したような手順で仮想視点画像を生成すれば よい。

[0546] (実施例 4一 4)

図 85乃至図 89は、本発明による実施例 4一 4の画像生成装置の概略構成を示す 模式図であり、図 85及び図 86は装置の構成を示すブロック図、図 87乃至図 88は画 像生成装置を用いた画像表示システムの構成例を示す図である。

図 85及び図 86において、 2は 3次元画像生成装置、 201は被写体画像取得手段、 202は観察者視点設定手段、 203は投影面等設定手段、 204はテクスチャ配列確 保手段、 205は色情報 Ζ存在確率決定手段、 206は投影面情報 -表示面情報変換 手段、 207は画像出力手段、 208はレンダリング手段、 3は画像表示手段、 4は被写 体画像撮影手段、 5は視点情報入力手段である。

[0547] 本実施例 4 - 4の画像生成装置 2は、前記実施例 4 - 1及び実施例 4 - 2で説明した ような手順で物体の 3次元的な形状を取得し、 DFDのような複数の重なった画像表示 面を持つ画像表示手段 3の各画像表示面に表示する 2次元画像や、任意の視点か ら見た前記物体の画像を生成する装置である。このとき、前記 DFDで表示する画像 を生成する装置の場合、例えば、図 85に示すように、撮影条件が異なる複数枚の被 写体画像を取得する被写体画像取得手段 201と、生成する画像を見る観察者の視 点を設定する観察者視点設定手段 202と、存在確率を決定するための投影面,投 影点,対応点を設定する投影面等設定手段 203と、投影面上の点 (投影点)の色情 報及び存在確率を格納するテクスチャ配列を確保するテクスチャ配列確保手段 204 と、前記投影点の色情報及び前記投影点に物体の表面が存在する確率 (存在確率) を決定する色情報/存在確率決定手段 205と、前記投影点の色情報及び存在確率 の情報を前記画像表示面に表示する 2次元画像上の点の色情報及び存在確率に 変換する投影面情報 -表示面情報変換手段 206と、画像出力手段 207とを備える。 このとき、前記画像出力手段 207から出力された画像は、例えば、 DFDのように、複 数の重なり合う画像表示面を備える画像表示手段 3で表示される。

[0548] また、実施例 4一 3で説明したように、前記任意の視点から見た前記物体の画像を 生成する装置の場合、図 86に示すように、前記投影面情報 -表示面情報変換手段 2 06の代わりに、レンダリング手段 208を備える。また、図示は省略するが、前記投影 面情報一表示面情報変換手段 206及び前記レンダリング手段 208の両方を備え、観 察者からの命令に応じて、どちらかの手段で指定された画像を生成するような構成に なっていても良い。

[0549] また、前記被写体画像取得手段 201は、被写体画像撮影手段 4で撮影された被写 体 (物体)の画像を取得する。このとき、前記被写体画像撮影手段 4は、例えば、複数 の視点にカメラが設置された撮影手段であってもよいし、 1つの視点から焦点位置の 異なる画像を撮影できる撮影手段であってもよい。またこのとき、前記被写体画像撮 影手段 4で、 1つの視点から焦点位置の異なる画像を撮影する場合は、例えば、偏 光型二値光学系(例えば、文献 12を参照)や、可変焦点レンズ (例えば、文献 13を 参照)を用いればよい。また、その他にも、焦点位置が異なる複数枚のレンズを高速 で切り替えて撮影してもよい。

[0550] また、前記観察者視点設定手段 202は、例えば、観察者が、マウスやキーボード等 の視点情報入力手段 5を用いて入力した情報に基づいて、前記観察者の視点から 前記画像表示手段 3の画像表示面までの距離等を設定する。また、前記視点情報 入力手段 5は、前記観察者の姿勢や視線を検知して、その姿勢や視線に応じた情報 を入力する手段であってもよレ、。

[0551] また、前記投影面等設定手段 203は、前記実施例 4 - 1及び実施例 4 - 2で説明し たように、例えば、互いに平行な投影面 L ,投影点列,対応点等を設定する。

[0552] また、前記テクスチャ配列確保手段 204は、前記実施例 4 - 1及び実施例 4 - 2で説 明したように、投影面上の投影点 Tの色情報及び存在確率を格納する領域を、例 えば、装置内に設けられたメモリ上に確保する。

[0553] また、前記色情報/存在確率決定手段 205は、前記実施例 4 - 1及び実施例 4 - 2 で説明したように、前記投影点 Tと対応する画像上の対応点 Gから色情報を決定す るとともに、前記投影点 T Jに物体の表面が存在する確率 /3 Jを決定する。

[0554] また、前記投影面情報 -表示面情報変換手段 207では、前記実施例 4 - 1で説明し たように、前記投影面の色情報及び存在確率を、前記画像表示手段の各画像表示

面に表示する 2次元画像上の点(表示点)の色情報及び輝度分配率に変換する。ま た、前記投影面情報 -表示面情報変換手段 206の代わりに、前記レンダリング手段 2 08を備える場合、前記実施例 4 3で説明したように、前記数式 59、または数式 62及 び数式 63の関係に基づいて生成する画像上の各点の色情報を決定する。

[0555] 本実施例 4 - 4の画像生成装置 2は、例えば、前記実施例 4 - 1及び実施例 4 - 2で 説明したような手順で前記 DFDに表示する画像を生成する。すなわち、前記 3次元 画像生成装置 2では、従来のような物体の正確な 3次元形状を求める処理を行わなく てよレ、。そのため、高い処理能力がない装置でも、前記 DFDに表示する画像を高速 に、かつ、容易に生成することができる。

[0556] また、本実施例 4一 4の画像生成装置 2は、例えば、コンピュータと前記コンピュータ に実行させるプログラムによっても実現することができる。その場合、前記実施例 4一 1 で説明した処理手順、もしくは前記実施例 4一 2で説明した処理手順に相当する命令 が記述されたプログラムを前記コンピュータに実行させればよい。またこのとき、前記 プログラムは、例えば、磁気的,電気的,光学的な記録媒体に記録して提供してもよ レ、し、インターネット等のネットワークを利用して提供してもよレ、。

[0557] また、本実施例 4 4の画像生成装置 2を用いた画像表示システムは、例えば、図 8 7に示すような構成が考えられる。このとき、前記被写体画像撮影手段 4は、観察者 Userが前記画像表示手段(DFD) 3を観察してレ、る空間に近レ、場所に設置されてレ、 てもよいし、地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手 段 4が地理的に遠隔な場所に設置されている場合、撮影した画像は、インターネット 等のネットワークを利用して、前記 3次元画像生成装置 2に転送すればよい。

[0558] また、本実施例 4一 4の画像生成装置 2を用いた画像表示システムは、図 87に示し たように、ある観察者 Userが、ある被写体 Objを観察する場合だけでなぐテレビ電話 やテレビ会議といった双方向の通信システムに適用することもできる。その場合、例 えば、図 88に示すように、各観察者 UserA, UserBがいる空間のそれぞれに、 3次元 画像生成装置 2A, 2B、画像表示手段(DFD) 3A, 3B、被写体画像撮影手段 4A, 4 B、基準視点設定手段 5A, 5Bを設置すればよい。そして、例えば、前記各観察者 UserA, UserBがいる空間に設置された画像生成装置 2A, 2Bを、インターネット等の ネットワーク 6で接続しておけば、観察者 UserAは、被写体画像撮影手段 4Bで撮影 された画像から生成した観察者 UserBの 3次元像を前記画像表示手段 3Aで観察す ること力 Sできる。同様に、観察者 UserBは、被写体画像撮影手段 4Aで撮影された画 像から生成した観察者 UserAの 3次元像を前記画像表示手段 3Bで観察することが できる。

[0559] また、このような双方向の通信システムに適用する場合、前記各画像生成手段 2A , 2B力図 88に示したような構成になっている必要はなぐ前記画像生成装置 2A, 2Bのどちらかは、図 86に示したような構成手段を備えていない一般的な通信端末で あってもよレ、。また、図 86に示したような各構成手段が、前記画像生成装置 2A, 2B に割り振られていてもよい。

[0560] また、図 88に示したように、ネットワーク 6上に他の画像生成装置 2Cが設けられて いれば、前記観察者 UserA, UserBがいる空間に、前記画像生成装置 2A, 2Bが設 置されていなくても、前記ネットワーク 6上の画像生成装置 2Cを利用して、前記画像 表示手段(DFD) 3A, 3Bで表示する物体の 3次元像を取得することができる。

[0561] また、図 87及び図 88では、前記被写体画像撮影手段 4は、カメラが複数個設けら れているシステムを示している力前記実施例 4一 2で説明したように、合焦距離が異 なる画像から物体の 3次元的な形状を取得するときは、例えば、図 89に示すように、 表示画像を生成するときには、カメラが 1つであってもよい。

[0562] 以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施 例に限定されるものではなぐその要旨を逸脱しない範囲において、種々変更可能 であることはもちろんである。

[0563] 例えば、前記実施例 4一 1では、視点が異なる画像から物体の 3次元像を表示する 方法について説明し、前記実施例 4一 2では、合焦距離が異なる画像から物体の 3次 元像を表示する方法について説明したが、これらの方法を組み合わせて物体の 3次 元像を表示させてもよい。その場合、ある投影点 T jについて、視点が異なる画像の対 応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間 周波数を求め、それらを組み合わせて存在確率 j3

Jを求める。こうすると、前記存在確 率 βの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる [0564] (第 4の実施の形態の効果)

第 4の実施の形態の画像生成方法では、前記被写体の 3次元形状を取得するとき に、前述のように、複数の投影面を設定し、前記基準視点から見て重なり合う前記各 投影面上の点 (投影点)に対して、前記各投影点上に前記被写体の表面が存在する 確率(存在確率)を与える。すなわち、従来の 3次元形状を取得する方法のように、前 記基準視点から見て重なり合う投影点のうちの 1つの投影点上に物体の表面が存在 すると考えず、前記各投影点上に、ある確率で前記被写体の表面が存在すると考え る。また、前記存在確率を決定するときに、前記各投影点の相関度あるいは合焦点 度から算出した評価基準値を統計処理した後、前記統計処理をした評価基準値から 前記各投影点の存在確率を生成する。このとき、前記統計処理は前記被写体の確 率分布モデルを仮定して、前記各投影点の評価基準値のフィッティング関数を求め 、そこから、前記各投影点の存在確率を決定する。

[0565] このようにすると、前記基準視点からある方向を見たときに、被写体の表面がどの距 離 (投影点)にあるか推定するときの信頼性が低い場合でも、実際に前記被写体の 表面が存在する距離に相当する投影点上に、ある確率で前記被写体の表面が存在 する。そのため、前記手順で取得した被写体の 3次元形状に基づいて、前記観察者 の視点から見た前記被写体の画像を生成することにより、従来の方法で距離の推定 を誤ったときに生じるような不連続なノイズが目立ちに《なる。また、前記評価基準 値の統計処理をして存在確率を決定することで、前記取得した画像のノイズの影響 による前記存在確率の信頼性の低下を低減することができる。

[0566] また、本実施の形態によれば、一般に普及しているパーソナル 'コンピュータのよう に、処理性能が低い装置でも、高速で前記各 2次元画像を生成することが可能にな る。

[0567] [第 5の実施の形態]

次に本発明の第 5の実施の形態について説明する。第 5の実施の形態は、主に請 求項 44一請求項 53に対応する実施の形態である。第 5の実施の形態では、互いに 異なる撮影条件で被写体を撮影した複数枚の画像から前記被写体の 3次元形状を

取得し、取得した前記被写体の 3次元形状に基づいて、 DFDのように複数の表示面 を備えるディスプレイに前記被写体の 3次元像を表示する。なお、第 5の実施の形態 では、第 4の実施の形態で説明したパラメータフィッティングの処理は行っていない。 なお、第 5の実施の形態を説明するための図において、同一機能を有するものは、 同一符号を付ける。

[0568] 前記被写体の 3次元形状を取得するときには、仮想的な 3次元空間上に多層構造 の投影面を設定し、観察者の視点から見て重なり合う複数の投影面上の点 (投影点) について、前記各投影点の色情報または輝度情報、及び前記投影点上に被写体の 表面が存在する確率(存在確率)を決定する。そして、取得した前記被写体の 3次元 形状に基づいて、前記複数の表示面に表示する 2次元画像を生成するときに、前記 投影点の色情報または輝度情報を割り当てる 2次元画像上の点に、前記色情報また は輝度情報、及び存在確率を割り当て、前記画像表示面に表示するときに、 2次元 画像上の各点を前記存在確率の高さに応じた輝度で表示する。こうすることで、前記 被写体の表面の距離に関する推定の信頼性が低い部分を曖昧に表示し、観察者の 見た目に自然な 3次元像を提示する。

[0569] (実施例 5 - 1)

図 90乃至図 100は、本発明による実施例 5 - 1の 3次元画像表示方法を説明するた めの模式図であり、図 90は全体的な処理手順の一例を示すフロー図、図 91及び図 92は投影面の設定方法の一例を示す図、図 93は投影点列の設定方法を説明する 図、図 94は投影点の色情報及び存在確率を決定するステップの処理手順の一例を 示すフロー図、図 95乃至図 97は存在確率の決定方法を説明する図、図 98乃至図 1 00は各画像表示面で表示する 2次元画像の生成方法を説明する図である。

[0570] 本実施例 5— 1の 3次元画像表示方法は、例えば、図 90に示すように、異なる視点 力 物体を撮影した複数枚の画像を取得するステップ 101と、表示する物体の 3次元 像を観察する観察者の視点 (基準視点)を設定するステップ 102と、前記複数枚の画 像から前記物体の 3次元形状を取得するステップ 103と、前記ステップ 103で取得し た前記物体の 3次元形状に基づいて、各画像表示面に表示する 2次元画像を生成 するステップ 104と、前記ステップ 104で生成した各 2次元画像を前記各画像表示面 に表示して前記物体の 3次元像を提示するステップ 105とを有する。

[0571] 本実施例 5 - 1の 3次元画像表示方法を用いて、前記 DFDに物体の 3次元像を表示 するときには、まず、異なる視点から前記物体を撮影した画像を取得する (ステップ 1 01)。このとき、前記取得する画像を撮影する視点は、例えば、直線状に一列に並ん でいても良いし、円弧状または任意の曲線上、あるいは平面または曲面上に 2次元 的に並んでいても良い。またこのとき、取得する画像は、カラー画像であっても、白黒 画像であってもよいが、本実施例 5— 1では、画像上の各点(画素)が赤 (R),緑 (G), 青(B)の 3原色を用いた色情報で表現されるカラー画像を取得するとして説明する。

[0572] 前記ステップ 101で画像を取得したら、次に、前記 DFDに表示される物体を観察す る観察者の視点を設定する(ステップ 102)。このとき、前記観察者の視点は、例えば 、前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察 者の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。

[0573] 前記ステップ 102で観察者の視点を設定したら、次に、前記ステップ 101で取得し た複数枚の画像から、前記画像に写っている物体の 3次元形状を取得する(ステップ 103)。前記ステップ 103では、まず、多層構造の投影面 L (】=1,2,· · ·,Μ)を設定する( ステップ 10301)。そして次に、前記物体の 3次元形状を取得するための基準視点 R を設定する(ステップ 10302)。このとき、前記投影面 Lは、例えば、図 91に示すよう に、仮想的な 3次元空間上の ΧΥ平面と平行な面を複数枚設定する。またこのとき、 前記各投影面 Lは、例えば、図 92に示すように、前記 3次元空間上の Ζ = 0から負の 方向の距離 1に設定する。また、前記基準視点 Rは、前記物体の 3次元形状を取得 するための視点であり、 3次元空間上の任意の点に設定することができる。そこで、前 記基準視点 Rは、前記ステップ 102で設定した観察者の視点とし、例えば、前記 Ζ = 0から最も遠い投影面 L 1を、前記 DFDの観察者から見て最も奥にある画像表示面とし て、図 92に示すように、前記投影面 L 1力の距離が、前記観察者の視点から前記

DFDの最も奥にある画像表示面までの距離 Idとなるように設定する。

[0574] 前記ステップ 10301及びステップ 10302で前記投影面 L j及び基準視点 Rを設定し たら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画 像上の点(対応点)等を設定する (ステップ 10303)。このとき、前記投影点は、例え

ば、図 93に示すように、前記基準視点 Rから複数の方向に直線を引き、前記各直線 と前記各投影面 Lの交点に設定する。また、前記被写体の表面の距離を推定すると きには、前記同一直線上にある複数の投影点 Tに対して、どの投影点上に存在する か推定するので、図 93に示したように、同一直線上にある投影点 Tを投影点列 Sとし てひとまとめに扱う。

[0575] また、前記対応点は、図 91及び図 92に示したように、前記投影点 Tから前記各カメ ラの視点 Cを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点 G である。このとき、図 91に示したように、前記各画像面上に 2次元の座標系(xy座標 系)を設定すると、前記投影点 T (X J, Υ J, Z J)と対応する対応点 Gijの 2次元座標 (X, y )は、前記投影点 Tを各画像面上の 2次元の点に射影することで求められる。この 射影は、一般的な、 3次元空間上の点 (Χ, Υ, Z)を 2次元平面上の点 (x, y)に射影 する 3行 4列の射影行列を用いて行えばよい。また、仮想的な 3次元空間内での前記 対応点 Gの座標 (X , y )と、前記ディジタル画像座標 (u, V)との関係は他の実施の 形態で説明したものと同様である。

[0576] 前記ステップ 10303では、前記対応点 Gのディジタル画像座標 (u , V )と前記投 影点 Tの 3次元空間座標 (X , Y , Z.)の対応関係を設定する。この対応関係は、全て の(u ij , V

ij )に対して(X j , Υ j , Z j )の値をテーブルとして設定してもよレ、し、代表的な(u ij

, v )に対してのみ (X , Y , Z J)の値を設定し、その他の点は、例えば、線形補完等の 補完処理で求めてもよい。

[0577] また、前記ディジタル画像座標系では (u, v)は離散値をとるが、以下の説明では断 りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離散 化処理を行うものとする。

[0578] 前記ステップ 10303で前記投影点列、対応点等を決定したら、次に、前記投影面 L jの情報、すなわち前記投影面 L Jにテクスチャマッピングする画像を格納する配列を 確保する。(ステップ 10304)。このとき、確保する配列は、前記投影点 Tの位置に対 応するテクスチャ情報として、画素毎に色情報 (R, G, B)及び存在確率の情報を、 例えば、 8ビットずつ持たせる。

[0579] 前記ステップ 10304で前記投影面の情報を格納する配列を確保したら、次に、各

投影点 Tの色情報及び存在確率を決定する(ステップ 10305)。前記ステップ 1030 5では、例えば、図 94に示すように、ある投影点列上の各投影点 Τの色情報及び存 在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという 2 重ループの処理を行う。そこでまず、前記投影点列を初期化する(ステップ 10305a) 。そして次に、前記投影点列上の投影点 Tを初期化し、例えば、 j=lとする。(ステップ 10305b)。

[0580] 次に、前記投影点 Tの色情報を決定する(ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報 Kの平均値を 前記投影点 τの色情報 κに決定する。

[0581] 次に、前記投影点 Tと対応する各対応点 G (ie i)に写っている物体上の点の相関 度 Qを求める(ステップ 10305d)。このとき、前記相関度 Qは、例えば、前記投影点

Tの色情報を表すベクトルを K、各対応点 Gの色情報を表すベクトルを Kとおくと、 第 4の実施の形態と同様に、下記数式 105により求める。

[0582] [数 105]


前記数式 105を用いて相関度 Qを求めた場合、前記相関度 Qは、常に正の値をと り、かつ、相関が高いほど値が小さくなる。

[0583] なお、前記数式 105は前記相関度 Qの求め方の一例であり、前記数式 105以外の 数式を用いて前記相関度 Qを求めてもよい。また、前記相関度 Qを求めるときには、 前記投影点 Tと前記対応点 Gの 1点だけでなぐ前記投影点 T及び前記対応点 G の近傍にある複数の点を含めた小領域を考えて求めてもよい。

[0584] 前記ステップ 10305dにより、前記相関度 Qを求めたら、前記投影点 Tを更新し、 処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 10305dの処理を行ったか確認する(ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 10305dの処理を行っていない投影点があれば、前記ステ

ップ 10305cに戻って前記色情報 Kj及び相関度 Qjを求める。

[0585] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関 度 Qを求めると、図 95に示すように、投影点列上の各投影点 Tに対して色情報 K及 び相関度 Qが与えられる。このとき、前記各投影点 Tの相関度 Qを比較すると、一般 的には、図 96 (a)に示すように、ある投影点 Tの相関度 Qだけが特徴的な小さな値 をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点 T 上にあると推定でき、その信頼性も高い。

[0586] し力、しながら、これまでの実施の形態においても説明した通り、物体の形状や表面 の模様 (テクスチャ)、あるいは撮影条件等によっては、投影点列上の各投影点丁の j 相関度 Qを比較したときに、図 96 (b)に示すように、相関度が特徴的な小さな値を持 つ投影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上 にあると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定 を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。

[0587] そこで、本発明の 3次元画像表示方法では、次に、前記投影点列上の各投影点 T に物体の表面が存在する確率(存在確率) βを決定する(ステップ 10305f)。このと き、前記存在確率は、下記数式 106及び数式 107を満たす必要がある

[0588] [数 106]

[0589] [数 107]

M

さらに、前記投影点 Tに物体の表面が存在する確率が高いほど前記存在確率 β が 1に近い値をとるようにすると、前記投影点列上の各投影点 Tに対して求めた相関 度 Qjに対し、例えば、下記数式 108及び数式 109で表される変換処理を行って前記 存在確率 β (j≡j)を決定すればょレ

[0590] [数 108] ゾ

一- β , =

Q j

[0591] [数 109]

なお、前記存在確率は、基本的には前記数式 106及び数式 107の条件を満た していればよい。そのため、前記変換処理は、前記数式 108及び数式 109以外の数 式を用いて決定してもよい。

[0592] 前記ステップ 10305fにより、前記各投影点 Tの存在確率 βを決定したら、前記各 投影点 Τの色情報 Κ及び存在確率を、前記ステップ 10304で確保した領域に格 内する。

[0593] 記各投影点 Tの色情報 K及び存在確率 j3を格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305fまでの処理を行ったか確認する(ステップ 10305g)。ここで、前記ステップ 10305cからステップ 10305fまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305fまでの処理を繰り 返す。

[0594] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305fまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。

[0595] 前記ステップ 103の処理を行うと、例えば、図 97に示すように、ある投影点列上の 各投影点 T 0=1,2,· · ·, M)のテクスチャ配列には色情報 K及び存在確率 βが保持さ れている。つまり、本発明の 3次元画像表示方法で取得する物体の 3次元形状は、従 来の方法のように前記投影点列上のある 1つの投影点に物体の表面が存在するの ではなぐ前記各投影点に存在する。本発明の 3次元画像表示方法では、このような 物体の 3次元形状を用いて、前記複数の画像表示面のそれぞれに表示する 2次元 画像を生成する(ステップ 104)。

[0596] 前記ステップ 104で、前記各画像表示面に表示する 2次元画像を生成するときには 、まず、前記仮想的な 3次元空間上に観察者の視点、複数枚の 2次元画像生成面、 前記ステップ 103で取得した前記物体の 3次元形状を設定する。このとき、前記 2次 元画像生成面 LD (n=l,2,〜,N)は、例えば、図 98に示すように、前記観察者の視点

Pから見て奥行き方向に重なるように設定する。また、前記観察者の視点 Pから前記 各 2次元画像生成面 LDnまでの距離 Idは、前記ステップ 102で設定された距離にな るように設定する。またこのとき、前記物体の 3次元形状を表現している投影面 Lの数 及び設定間隔が、前記 2次元画像生成面 LDの数及び設定間隔と一致しているとす れば、前記物体の 3次元形状は、例えば、図 98に示すように、前記投影面 Lと前記 2 次元画像生成面 LDがー致するように設定する。このとき、前記 2次元画像生成面 L

D 、輝度変調型 DFDの各画像表示面に表示する画像を生成する面であるとすれ ば、観察者の視点 Pから見て重なり合う前記 2次元画像生成面 LD上の各点(表示点

)Aに対して、色情報 KD及び存在確率 (輝度分配係数) y を決定する必要がある

。ここで、図 98に示すように、前記物体の 3次元形状を表現している投影面 Lと 2次 元画像生成面 LDがー致しているのであれば、前記各表示点 Aの色情報 KDは、 前記各表示点 Aがある 2次元画像生成面 LDと重なっている投影面 Lの投影点丁の 色情報 K 」とする。また、前記各表示点 Αの輝度分配率 γ は、前記各表示点 Αがあ る 2次元画像生成面 LDと重なっている投影面 L Jの投影点 Tの存在確率 j3 Jを割り当 てる。このようにして、前記 2次元画像生成面 LD上の各表示点 Aに対して色情報 K

D及び輝度分配係数 γを決定したら、その 2次元画像生成面 LDに生成された画像

を出力し、実際の DFDの画像表示面で表示する (ステップ 105)。

[0597] ただし、前記物体の 3次元形状を表現する投影面 Lの数及び設定間隔は、前記 2 次元画像生成面 LDの数及び設定間隔と一致させる必要はない。そこで次に、投影 面しの数及び設定間隔と前記 2次元画像生成面 LDの数及び設定間隔が一致して レ、なレ、場合の前記 2次元画像の生成方法にっレ、て説明する。

[0598] このとき、前記観察者の視点 Pから見て一番手前の投影面から一番奥の投影面ま での距離と、一番手前の 2次元画像生成面から一番奥の 2次元画像生成面までの距 離がほぼ等しいのであれば、前記物体の 3次元形状を表現する投影面 Lは、例えば

、図 99に示すように、前記観察者の視点 Pから見て一番奥の投影面 Lと 2次元画像 生成面 LDが重なるように設定する。こうすると、前記観察者の視点 Pから見て一番 奥の 2次元画像生成面 LDの各表示点 Aの色情報 KD及び輝度分配係数 γは、前 記観察者の視点 Ρから見て一番奥の投影面 L上の各投影点 Τの色情報 Κ及び存在 確率 βである。

[0599] また、重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、以下のような方法で決定する。

[0600] 前記重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、例えば、前記観察者の視点 Ρから見て、前記各 表示点 Αと重なる前記各投影面 L上の投影点 Τの色情報 Κ及び存在確率 βを、前記 投影面 Lから見て最も近い 2次元画像生成面 LD上の表示点 Αに割り当てる。このと き、前記表示点 Aの色情報 KDは、割り当てられた各投影点 Tの色情報 Kの平均値、 もしくは前記表示点 Aがある 2次元画像生成面 LDから見て最も近い投影面 Lの投影 点 Tの色情報 Kとする。また、輝度分配係数 γに関しては、前記割り当てられた各投 影点 Τの存在確率 /3の和とする。このとき、ある 2次元画像生成面 LDが最も近い生 成面となる投影面 Lの集合を {L I j≡ Γ }とおくと、前記 2次元画像生成面 LD上の 表示点 Aの輝度分配率 γ は、前記各投影面 Lの投影点 Τの存在確率 /3を用いて

、下記数式 110で与えられる。

[0601] [数 110]

ここで、前記投影面 L Jと 2次元画像生成面 LD n 、図 100 (a)に示すような位置関係 にある場合を考える。ここで、観察者の視点 Pから見て表示点 A 1 , A 2と重なり合う各投 影点 T J (j'=l,2,3,4,5)の色情報 K J及び存在確率 Jを、前記各投影面から見て最も近 レ、 2次元画像生成面上の表示点 Aに割り当てるとすれば、投影点 T 1, Τ 2 , T 3の色情 報及び存在確率は、前記表示点 A 1に割り当てられる。このとき、前記表示点 A 1の色 情報 KD 1は、例えば、前記各投影点 Τ 1 , Τ 2 , T 3の色情報 Κ 1 , Κ 2 , K 3の平均値でも良 いし、前記表示点 A 1からみて最も近い投影点 T 2の色情報 K 2としても良い。また、前 記表示点 A 1の輝度分配係数 γ 1は、前記数式 110を用い、前記各投影点 Τ 1, Τ 2 , Τ 3 の存在確率3 1 , β 2, β 3の和とする。

[0602] 同様に、前記投影点 Τ 4 , Τ 5の色情報及び存在確率は、 2次元画像生成面 LD 2に割 り当てられ、表示点 Α 2の色情報 KD 2は前記投影点 Τ 4 , T 5の色情報 Κ 4 , K 5の平均値 もしくは投影点 T 5の色情報 K 5とする。そして、輝度分配係数 γ 2に関しては、前記数 式 110を用いて前記各投影点 Τ 4, Τ 5の存在確率 4, β 5の和とする。

[0603] また、前記 2次元画像生成面 LD nの設置間隔と前記投影面 L jの設定間隔が異なり

、 2枚の連続した 2次元画像生成面 LD n, LD n+1の間にある投影面 L jの投影点の色情 報及び存在確率は、前記投影面 L jと各 2次元画像生成面 LD n, LD n+1の距離の比に 応じて分配してもよい。このとき、前記 2次元画像生成面 LD n, LD n+1の間にある投影 面 L jの集合を {L j I ]≡ Γ n }とおくと、前記 2次元画像生成面 LD n上の表示点 A nの輝 度分配率 γ nは、前記各投影点 Τ jの存在確率 Jを用いて、下記数式 11で与えること ができる

[0604] [数 111]


前記数式 111において、 w J,nは、投影面 L jの 2次元画像生成面 LD nに対する寄与の 度合いを表す係数である。

[0605] ここで、例えば、図 100 (b)に示すように、 2枚の 2次元画像生成面 LD 1 , LD 2の間 に、投影面 L 1 , L 2が設定されている場合を考える。このとき、投影面 L 1と前記各表示 面 LD 1 , LD 2の距離がそれぞれ B 1 , B 2とすると、前記投影面 L 1の前記各 2次元画像 生成面 LD 1 , LD 2に対する寄与の度合い w 1,1 , w 1,2は、例えば、下記数式 112で与え られる。

[0606] [数 112]

¼Ί 1 二


同様に、投影面 L 2と前記各 2次元画像生成面 LD 1 , LD 2の距離がそれぞれ B 3 , B 4と すれば、前記投影面 L 2の前記各 2次元画像生成面 LD 1 , LD 2に対する寄与の度合 い w 2,1 , w 2,2は、下記数式 113で与えられる。

[0607] [数 113]

B

W2,l = Ι Τ凡Γ^ 二 B3 + B4

の結果、前記 2次元画像生成面 LD 1の表示点 A 1の輝度分配率 γ 1及び前記表示

面 LDの表示点 Aの輝度分配率 γ はそれぞれ、下記数式 114のようになる。

[0608] [数 114]

Υχ = W l A + W2A A, Ϊ2
2 A

このように、前記物体の 3次元形状を取得するときに、前記投影点列上の各投影点 T Jの相関度 Q Jから前記各投影点 Tに物体の表面が存在する確率 (存在確率) βを 与えた形状を取得し、前記 2次元画像生成面 LD上の表示点 Aの輝度分配係数を前 記存在確率 i3 Jで与えると、前記投影点列上の各投影点 T Jに特徴的な値の相関度 Q J を持つ投影点がなぐ物体表面の距離の推定に対する信頼性が低い場合、その投 影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記 各投影点 Tの存在確率 βから前記 2次元画像生成面 LD上の点の輝度分配係数 γ を決定すると、前記 2次元画像生成面に生成された 2次元画像を実際の画像表示面 に表示し、物体の 3次元像を提示したときに、距離の推定に対する信頼性が低ぐ複 数の投影点に前記存在確率 i3が分散している投影点列上では、前記物体の表面が 曖昧に表示される。そのため、前記 DFDに表示した 3次元像上のノイズが目立ちにく くなり、観察者の見た目に自然な像を表示することができる。

[0609] 以上説明したように、本実施例 5— 1の 3次元画像表示方法によれば、表示する物 体の正確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示す ること力 Sできる。

[0610] また、本実施例 5— 1の画像表示方法では、画像上の点(画素)が赤 (R),緑 (G), 青(B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 5— 1の画像表示方法で は、前記カラー画像に限らず、画像上の各点 (画素)が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 5-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。

[0611] (実施例 5— 2)

図 101乃至図 104は、本発明による実施例 5— 2の 3次元画像表示方法を説明する ための模式図であり、図 101は投影点と対応点の関係を示す図、図 102は投影点の 色情報及び存在確率を決定するステップの一例を示すフロー図、図 103及び図 104 は存在確率の求め方を説明する図である。

[0612] 本実施例 5 - 2の 3次元画像表示方法は、基本的な手順の流れは、前記実施例 5 - 1の 3次元画像表示方法と同様であり、図 90に示したような、前記ステップ 101からス テツプ 105の処理を行う。本実施例 5 - 2の 3次元画像表示方法において、前記実施 例 5 - 1の 3次元画像表示方法と異なる点は、前記ステップ 101で、視点が異なる複 数枚の画像の代わりに、合焦距離が異なる複数枚の画像を取得し、前記ステップ 10 3において、前記合焦距離が異なる画像を用いて、前記物体の 3次元形状を取得す る点である。

[0613] 本実施例 5 - 2の 3次元画像表示方法を用いて、前記 DFDに物体の 3次元像を表示 するときには、まず、ある視点から合焦距離を変えて撮影した複数枚の画像を取得す る。このとき、前記複数枚の画像は、例えば、偏光型二値光学系や可変焦点レンズ 等を用いて撮影される。また、取得する画像は、前記実施例 5— 1と同様でカラー画像 であっても良いし、白黒画像であっても良い。次に、前記実施例 5— 1で説明したよう に、観察者の視点を設定 (ステップ 102)した後、前記物体の 3次元形状を取得する ステップ 103の処理を行う。

[0614] 前記ステップ 103の処理では、前記実施例 5-1で説明したように、まず、前記投影 面し(j=l,2,' ,M)及び基準視点 Rを設定する(ステップ 10301,ステップ 10302)。そ して続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列( 領域)を確保する(ステップ 10303,ステップ 10304)。

[0615] 本実施例 5 - 2の 3次元画像表示方法のように、合焦距離が異なる複数枚の画像を 用いて物体の 3次元像を表示させる場合、前記ステップ 10301で投影面 L Jを設定す るときには、例えば、図 101に示すように、前記カメラの視点 Cからの距離が前記カメ ラで撮影した画像の合焦距離 f (ί=1,2,· · ·,Ν)と一致するように設定する。そして、前記 ステップ 10303では、前記投影点 ηに対応する対応点 ^は、前記カメラの視点 Cか ら前記投影点 Tを見たときに前記投影点 Tと重なる画像 Img上の点とする。なお、投 影点列の設定方法、前記投影点 Tの座標と対応点 Gのディジタル画像座標の対応 付けに関しては、前記実施例 5— 1で説明したのと同様の方法で対応付ければよいの で、詳細な説明は省略する。

[0616] また、前記ステップ 10304の投影面の情報を格納する領域を確保する処理も、前 記実施例 5_1で説明した処理と同様の処理を行えばょレ、ので、詳細な説明は省略 する。

[0617] 次に、前記取得した複数枚の画像を用いて、前記各投影点 Tの色情報及び存在 確率の情報を決定する(ステップ 10305)。本実施例 5 - 2の 3次元画像表示方法でも 、前記ステップ 10305では、例えば、図 102に示すように、ある投影点列上の各投影 点 Tの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対 して繰り返すという 2重ループの処理を行う。そこでまず、前記投影点列を初期化す る(ステップ 10305a)。そして次に、前記投影点列上の投影点 Tを初期化し、例えば

、j=lとする。(ステップ 10305b)。

[0618] 次に、前記投影点 Tの色情報を決定する(ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報の平均値を前 記投影点 Tの色情報 Kに決定する。

[0619] 次に、前記投影点 Tと対応する各対応点 Gに写っている物体上の点の焦点の合つ ている度合レ、(合焦点度)から、前記投影点 Tの合焦点度 Qを求める(ステップ 1030 5h)。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度 により決められる。前記合焦点度の算出方法には、 Depth from Focus理論もしくは Depth from Defocus理論に基づき、様々な方法がある。このとき、前記合焦点度 Qは 、例えば、前記各対応点 Gの局所空間周波数の大きさを比較することで求められる。

[0620] 冃 ij G Depth

from Focus理論もしくは Depth from Defocus理論は、合焦距離の異なる複数枚の 画像を解析し、前記物体の表面形状を計測する方法である。このとき、例えば、前記 合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画像の合焦距

離に相当する距離に前記物体の表面があると推定できる。そこで、前記投影点 ηの 合焦点度 Qは、例えば、下記数式 115で表されるような局所空間周波数の評価関数 を用いて算出する c

[0621] [数 115]


ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、(- Lc, -Lr)-(Lc, Lr)及び(xi, yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。

[0622] なお、前記数式 115は前記合焦点度 Q jの求め方の一例であり、前記数式 115以外 の数式を用いて前記合焦点度 Q Jを求めてもよい。

[0623] 前記ステップ 10305hにより、前記合焦点度 Q Jを求めたら、前記投影点 T Jを更新し

、処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及 びステップ 10305hの処理を行ったか確認する(ステップ 10305e)。ここで、前記ス テツプ 10305c及びステップ 10305hの処理を行っていない投影点があれば、前記 ステップ 10305cに戻って前記色情報 K J及び合焦点度 Q Jを求める。

[0624] 処理の対象としてレ、る投影点列上の全ての投影点に対して、前記色情報及び合焦 点度 Q jを求めると、図 103に示すように、投影点列上の各投影点 T Jに対して色情報

K J及び合焦点度 Q Jが与えられる。このとき、前記各投影点 T Jの合焦点度 Q Jは前記実 施例 5— 1で存在確率を決定するときに用いた相関度に相当する度合いであり、物 体の形状や表面の模様 (テクスチャ)、あるいは撮影条件等によっては、投影点列上 の各投影点 Tの合焦点度 Qを比較したときに、合焦点度が特徴的な小さな値を持つ 投影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上に あると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定を 誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。

[0625] そこで、本発明の 3次元画像表示方法では、次に、前記投影点列上の各投影点 T に物体の表面が存在する確率(存在確率)を決定する(ステップ 10305f)。このと き、前記存在確率は、前記数式 106及び数式 107を満たす必要がある。そこで、 本実施例 5 - 2では、例えば、下記数式 1 16を用いて、投影点 Tの存在確率 j3 を決 定する。

[0626] [数 116]

_

M

i=l

なお、前記存在確率 j3は、基本的には前記数式 106及び数式 107の条件を満た していればよい。そのため、前記存在確率は、前記数式 1 16以外の数式を用いて決 定してもよい。

[0627] 前記ステップ 10305fにより、図 104に示すように、前記各投影点 Tの存在確率 j3 を決定したら、前記各投影点 Tの色情報 K及び存在確率 /3を、前記ステップ 10304 で確保した領域に格納する。

[0628] 記各投影点 Tの色情報 K及び存在確率 βを格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305fまでの処理を行ったか確認する(ステップ 10305g)。ここで、前記ステップ 10305cからステップ 10305fまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305fまでの処理を繰り 返す。

[0629] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305fまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。そして、前記ステップ 103の処理により前 記物体の 3次元的な形状を取得したら、前記実施例 5 - 1と同様の手順で、前記取得 した物体の 3次元形状に基づいて、前記 2次元画像生成面 LD上の表示点 Aの色情 報及び輝度分配係数 γを決定し、 DFDのような複数の重なり合った画像表示面に表 示する 2次元画像を生成し (ステップ 104)、生成した画像を実際の画像表示面に表 示 (ステップ 105)すれば、前記物体の 3次元像を提示することができる。

[0630] 本実施例 5 - 2の 3次元画像表示方法も、前記実施例 5 - 1の 3次元画像表示方法と 同様に、取得した前記物体の 3次元形状において、前記投影点列上の各投影点 Τ に特徴的な値の合焦点度 Qを持つ投影点がなぐ物体表面の距離の推定に対する 信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧 に表現される。そして、前記各投影点 Tの存在確率から前記 2次元画像生成面 L

D上の点の輝度分配係数 γを決定すると、前記 2次元画像生成面に生成された 2次 元画像を実際の画像表示面に表示し、物体の 3次元像を提示したときに、距離の推 定に対する信頼性が低ぐ複数の投影点に前記存在確率 ^が分散している投影点 列上では、前記物体の表面が曖昧に表示される。そのため、前記 DFDに表示した 3 次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することが できる。

[0631] 以上説明したように、本実施例 5 - 2の 3次元画像表示方法によれば、前記実施例 5 一 1と同様に、物体の正確な 3次元形状を求めなくても、見た目に自然な 3次元形状 を表示すること力 Sできる。

[0632] また、本実施例 5— 2の画像表示方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Υ)を用いて、本実施例 5-2で説明したような処理を行えばよい。

[0633] (実施例 5— 3)

本実施の形態においても、第 4の実施の形態における図 85に示した構成と同様の 3次元画像生成装置を構成できる。また、第 4の実施の形態における図 87 89に示 した構成と同様の画像表示システムを構成できる。但し、装置が実行する処理は、実 施例 5— 1、 5_2に対応するものである。

[0634] 以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施 例に限定されるものではなぐその要旨を逸脱しない範囲において、種々変更可能

であることはもちろんである。

[0635] 例えば、前記実施例 5— 1では、視点が異なる画像から物体の 3次元像を表示する 方法について説明し、前記実施例 5— 2では、焦点位置が異なる画像から物体の 3次 元像を表示する方法について説明したが、これらの方法を組み合わせて物体の 3次 元像を表示させてもよい。その場合、ある投影点 Tについて、視点が異なる画像の対 応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間 周波数を求め、それらを組み合わせて存在確率 j3を求める。こうすると、前記存在確 率 β Jの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる

[0636] (第 5の実施の形態の効果)

第 5の実施の形態に係る 3次元画像表示方法においても、基準視点からある方向 を見たときに、被写体の表面がどの距離 (投影点)にあるか推定するときの信頼性が 低い場合でも、実際に前記被写体の表面が存在する距離に相当する投影点上に、 ある確率で前記被写体の表面が存在する。そのため、前記画像表示面上の各点を、 前記存在確率の高さに応じた輝度で表示することにより、従来の方法で距離の推定 を誤ったときに生じるような不連続なノイズが目立ちに《なる。また、一般に普及して レ、るパーソナル 'コンピュータのように、処理性能が低い装置でも、高速で前記各 2次 元画像を生成することが可能になる。

[0637] 本発明は、上記の各実施の形態に限定されることなぐ特許請求の範囲内で種々 変更 ·応用が可能である。