Некоторое содержание этого приложения в настоящий момент недоступно.
Если эта ситуация сохраняется, свяжитесь с нами по адресуОтзывы и контакты
1. (WO2004114224) VIRTUAL VISUAL POINT IMAGE GENERATING METHOD AND 3-D IMAGE DISPLAY METHOD AND DEVICE
Примечание: Текст, основанный на автоматизированных процессах оптического распознавания знаков. Для юридических целей просьба использовать вариант в формате PDF

請求の範囲

[1] 複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写 体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をも とに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップ とを有する仮想視点画像生成方法において、

前記仮想視点画像を生成するステップは、

多層構造をもつ投影面を設定するステップ 1と、

前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求める

複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝 度情報を決定するステップ 3と、

空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点 の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点も しくはその近傍領域の相関の度合いに基づいて計算するステップ 4と、

前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体 が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における 各画素の色情報または輝度情報を決定するステップ 5と、

前記仮想視点画像の画素に相当するすべての点について、前記ステップ 1からス テツプ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点画像生成 方法。

[2] 前記ステップ 3は、

前記複数の対応点の色情報または輝度情報を混合する、もしくは前記複数の対応 点の色情報または輝度情報の中から 1つの対応点の色情報または輝度情報を選択 することを特徴とする請求項 1に記載の仮想視点画像生成方法。

[3] 前記ステップ 4または前記ステップ 5は、前記被写体が存在する可能性の度合いを 変換して、前記投影面上の各基準点に透過から不透過までの複数の階調を持つ透 明度を設定するステップを有し、

前記ステップ 5は、前記被写体が存在する可能性の度合いの代わりに、前記透明 度に応じた混合処理をすることを特徴とする請求項 1または請求項 2に記載の仮想視 点画像生成方法。

[4] 前記ステップ 5の混合処理は、

前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理し、 ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点にお ける色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報 または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求 項 3に記載の仮想視点画像生成方法。

[5] 前記ステップ 1は、前記各被写体の画像を撮影したカメラ毎に固有の投影面を設定 し、

前記ステップ 3の前記投影点の色情報または輝度情報は、前記複数のカメラにより 撮影された被写体の画像の対応点の色情報または輝度情報のみを用レ、て決定し、 前記ステップ 4の前記被写体が存在する可能性の度合いは、前記投影点が属する 投影面に固有のカメラの視点を基準視点として計算し、

前記ステップ 5の前記仮想視点の色情報または輝度情報の混合処理は、前記仮想 視点と前記各基準視点との位置関係により補正することを特徴とする請求項 1乃至請 求項 4のいずれか 1項に記載の仮想視点画像生成方法。

[6] 複数のカメラで撮影された複数枚の被写体の画像を取得する被写体画像取得手 段と、前記被写体を見る位置である仮想視点を決定する仮想視点決定手段と、前記 取得した被写体の画像をもとに前記視点から被写体を見たときの画像である仮想視 点画像を生成する画像生成手段とを備える仮想視点画像生成装置において、 前記画像生成手段は、

多層構造をもつ投影面を決定する投影面決定手段と、

基準視点の位置を決定する基準視点決定手段と、

前記投影面に貼り付けるテクスチャ画像の配列を確保するテクスチャ配列確保手 段と、

前記複数枚の被写体の画像間で、前記被写体の同一の領域が撮影されている箇 所の対応付けを行う対応点マッチング処理手段と、

前記複数枚の被写体の画像を混合処理して、前記テクスチャ画像の配列のうちの 色情報または輝度情報を決定する色情報決定手段と、

前記対応点マッチング処理手段の処理結果に基づレ、て、前記テクスチャ画像の配 歹 IJのうちの、前記各投影点の位置に相当する距離に前記被写体が存在する可能性 の度合いである存在確率情報を決定する存在確率情報決定手段と、

前記色情報決定手段で決定した色情報または輝度情報及び前記存在確率情報 決定手段で決定した存在確率情報に基づレ、て、前記仮想視点から見た前記投影面 をレンダリングするレンダリング手段とを備えることを特徴とする仮想視点画像生成装 置。

[7] 前記存在確率情報決定手段は、

前記存在確率情報を変換して、前記投影面上の各基準点に透過から不透過まで の複数の階調を持つ透明度を設定する手段を備え、

前記レンダリング手段は、前記被写体が存在する可能性の度合いの代わりに、前 記透明度を用いてレンダリングすることを特徴とする請求項 6に記載の仮想視点画像

[8] レンダリング手段は、

前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理する手段を 備え、

ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点にお ける色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報 または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求 項 7に記載の仮想視点画像生成装置。

[9] 前記投影面決定手段は、前記各被写体の画像を撮影したカメラ毎に固有の投影 面を決定し、

前記色情報決定手段は、前記複数のカメラにより撮影された被写体の画像の対応 点の色情報または輝度情報のみを用いて決定し、

前記存在確率情報決定手段は、前記投影点が属する投影面に固有のカメラの視 点を基準視点として計算し、

前記レンダリング手段は、前記仮想視点と前記各基準視点との位置関係により補 正する手段を備えることを特徴とする請求項 6乃至請求項 8のいずれか 1項に記載の 仮想視点画像生成装置。

[10] コンピュータに、

複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写 体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をも とに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップ とを実行させる仮想視点画像生成プログラムにおいて、

前記仮想視点画像を生成するステップは、

多層構造をもつ投影面を設定するステップ 1と、

前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求める

複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝 度情報を決定するステップ 3と、

空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点 の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点も しくはその近傍領域の相関の度合いに基づいて計算するステップ 4と、

前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体 が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における 各画素の色情報または輝度情報を決定するステップ 5と、

前記仮想視点画像の画素に相当するすべての点について、前記ステップ 1からス テツプ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点画像生成

[11] 請求項 10に記載の仮想視点画像生成プログラムを記録したコンピュータ読み取り 可能な記録媒体。

[12] 複数の異なる視点力被写体を撮影した画像を取得するステップと、前記複数枚の 画像から前記被写体の 3次元形状を取得するステップと、取得した前記被写体の 3次 元形状に基づレ、て、観察者の視点から見た前記被写体の画像を生成-

を有する画像生成方法であって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定する ステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基 準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づ いて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステツ プとを有し、

前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視 点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセット に含まれる画像上の対応点から相関度を求めるステップとを有し、

前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の 相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存 在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有するこ とを特徴とする画像生成方法。

[13] 前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出す るステップは、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値 を算出するステップと、前記カメラセット毎に算出した前記各投影点の評価基準値の 統計処理を行って存在確率の分布関数を算出するステップと、前記存在確率の分布 関数に基づいて前記各投影点の存在確率を決定するステップとを有することを特徴 とする請求項 12に記載の画像表示方法。

[14] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さ に応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1枚の 2次元画像を生成することを特徴とする請求項 12または請求項 13に記載の画 像生成方法。

[15] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定す;

、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の 点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前 記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換するステツ プとを有することを特徴とする請求項 12または請求項 13に記載の画像生成方法。

[16] 複数の異なる視点から被写体を撮影した画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する 3次元形状取得手段と、 取得した前記被写体の 3次元形状に基づいて、観察者の視点から見た前記被写体 の画像を生成する被写体画像生成手段とを備える画像生成装置であって、

前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記投影点と対応する対応点間の相関度を算出する手段と、前記基準視点から見て 重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投 影点に物体の表面が存在する確率である存在確率を決定する手段とを備え、 前記相関度を算出する手段は、前記複数の視点の中から選んだいくつかの視点の 組み合わせであるカメラセットを複数組用意する手段と、前記各カメラセットに含まれ る画像上の対応点から相関度を求める手段とを備え、

前記存在確率を決定する手段は、前記カメラセット毎に求めた前記各投影点の相 関度に基づいた存在確率を算出する手段と、前記カメラセット毎に決定した存在確 率の統合処理をして前記各投影点の存在確率を決定する手段とを備えることを特徴 とする画像生成装置。

[17] 前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出す る手段は、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値を 算出する手段と、前記カメラセット毎に算出した前記各投影点の評価基準値の統計 処理を行って存在確率の分布関数を算出する手段と、前記存在確率の分布関数に 基づいて前記各投影点の存在確率を決定する手段とを有することを特徴とする請求 項 16に記載の画像生成装置。

[18] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに 応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1 枚の 2次元画像を生成する手段であることを特徴とする請求項 16または請求項 17に 記載の画像生成装置。

[19] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定する手段と、前記 観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位 置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画 像生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備え ることを特徴とする請求項 16または請求項 17に記載の画像生成装置。

[20] コンピュータに、

複数の異なる視点から被写体を撮影した画像を取得するステップと、前記複数枚の 画像から前記被写体の 3次元形状を取得するステップと、取得した前記被写体の 3次 元形状に基づレ、て、観察者の視点から見た前記被写体の画像を生成するステップと を実行させる画像生成プログラムであって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定する ステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基 準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づ いて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステツ プとを有し、

前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視 点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセット に含まれる画像上の対応点から相関度を求めるステップとを有し、

前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の 相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存 在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有するこ とを特徴とする画像生成プログラム。

[21] 前記請求項 20に記載の画像生成プログラムを記録したコンピュータ読み取り可能 な記録媒体。

[22] 合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複 数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、 前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取得し た被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生 成するステップとを有する画像生成方法であって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝 度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投 影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投 影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当 する距離に前記被写体の表面が存在する確率である存在確率を決定するステップと を有し、

前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混 合して、生成する画像上の各点の色情報または輝度情報を決定することを特徴とす る画像生成方法。

[23] 前記被写体の 3次元形状を取得するステップ、または前記仮想視点から見た前記 被写体の画像を生成するステップは、前記基準視点または前記仮想視点から見て重 なり合う複数の投影点の存在確率に基づいて、前記各投影点上に透過から不透過 までの複数の階調を持つ透明度を設定するステップを有し、

前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う複数の投影点の色情報または輝度情報を、前記存在確率に基づい て設定した前記透明度に応じた割合で混合して、生成する画像上の各点の色情報 または輝度情報を決定することを特徴とする請求項 22に記載の画像生成方法。

[24] 前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て遠い投影点から近い投影点に向かって逐次的に色情報または輝度情報を混 合し、

ある投影点までの色情報または輝度情報は、その投影点における色情報または輝 度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、 前記透明度に応じた比率で内分して得ることを特徴とする請求項 23に記載の画像 生成方法。

[25] 合焦距離を変えて被写体を撮影した複数枚の画像を取得する被写体画像取得手 段と、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定する 仮想視点設定手段と、前記複数枚の画像から前記被写体の 3次元形状を取得する 3 次元形状取得手段と、前記取得した被写体の 3次元形状に基づいて、前記仮想視 点から見た前記被写体の画像を生成するレンダリング手段とを備える画像生成装置 であって、

前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色 情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、 前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定する手 段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合 焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が 存在する確率である存在確率を決定する手段とを備え、

前記レンダリング手段は、前記仮想視点から見て重なり合う投影点の色情報または 輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情 報または輝度情報を決定する手段を備えることを特徴とする画像生成装置。

[26] 前記 3次元形状取得手段、または前記レンダリング手段は、前記基準視点または前 記仮想視点から見て重なり合う複数の投影点の存在確率に基づいて、前記各投影 点上に透過から不透過までの複数の階調を持つ透明度を設定する手段を備え、 前記レンダリング手段は、前記仮想視点から見て重なり合う複数の投影点の色情報 または輝度情報を、前記存在確率に基づいて設定した前記透明度に応じた割合で 混合して、生成する画像上の各点の色情報または輝度情報を決定する手段を備える ことを特徴とする請求項 25に記載の画像生成装置。

[27] 前記レンダリング手段は、前記仮想視点から見て遠い投影点から近い投影点に向 力、つて逐次的に色情報または輝度情報を混合し、ある投影点までの色情報または輝 度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの 混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分し て得る手段を備えることを特徴とする請求項 26に記載の画像生成装置。

[28] コンピュータに、

合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複 数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、 前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取得し た被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生 成するステップとを実行させる画像生成プログラムであって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝 度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投 影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投 影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当 する距離に前記被写体の表面が存在する確率である存在確率を決定するステップと を有し、

前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混 合して、生成する画像上の各点の色情報または輝度情報を決定するステップを有す ることを特徴とする画像生成プログラム。

[29] 請求項 28に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記 録媒体。

[30] 異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、前記取得した被写体の 3 次元形状に基づレ、て、前記観察者の視点から見た前記被写体の画像を生成するス テツプとを有する画像生成方法であって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、

前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の 評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うス テツプと、前記統計処理を行った評価基準値に基づレ、て前記各投影点の存在確率 を算出するステップとを有することを特徴とする画像生成方法。

[31] 前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮 影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を 求めるステップと、前記各投影点の相関度に基づいた評価基準値を算出するステツ プと、前記評価基準値の統計処理を行うステップと、前記統計処理を行った評価基 準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴 とする請求項 30に記載の画像生成方法。

[32] 前記複数枚の画像を取得するステップは、 1つの視点から合焦距離を変えて前記 被写体を撮影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度か ら前記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づ いた評価基準値を算出するステップと、前記評価基準値の統計処理を行うステップと 、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出す るステップとを有することを特徴とする請求項 30に記載の画像生成方法。

[33] 前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した 画像、及び前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写 体を撮影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と前記視点の異なる複数枚の画 像上の対応点間の相関度を求めるステップと、前記各投影点の相関度に基づいた 第 1評価基準値を算出するステップと、前記第 1評価基準値の統計処理を行うステツ プと、

ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前 記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づいた 第 2評価基準値を算出するステップと、前記第 2評価基準値の統計処理を行うステツ プと、前記統計処理を行った第 1評価基準値及び第 2評価基準値に基づいて前記 各投影点の存在確率を算出するステップとを有することを特徴とする請求項 30に記 載の画像生成方法

[34] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さ に応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1枚の 2次元画像を生成することを特徴とする請求項 30乃至請求項 33のいずれか 1 項に記載の画像生成方法。

[35] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定するステップと 、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の 点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前 記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換- プとを有することを特徴とする請求項 30乃至請求項 33のいずれ力 1項に記載の画像 生成方法。

[36] 異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する被写体形状取得手段と 、前記取得した被写体の 3次元形状に基づいて、前記観察者の視点から見た前記被 写体の画像を生成する被写体画像生成手段とを備える画像生成装置であって、 前記被写体形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の 表面が存在する確率である存在確率を決定する手段とを備え、

前記存在確率を決定する手段は、前記対応点の画像情報から前記各投影点の評 価基準値を算出する手段と、前記各投影点の評価基準値の統計処理を行う手段と、 前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出す る手段とを備えることを特徴とする画像生成装置。

[37] 前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像 を取得し、

前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求 める手段と、前記各投影点の相関度に基づいた評価基準値を算出する手段と、前記 評価基準値の統計処理を行う手段と、前記統計処理を行った評価基準値に基づい て前記各投影点の存在確率を算出する手段とを備えることを特徴とする請求項 36に 記載の画像生成装置。

[38] 前記被写体画像取得手段は、 1つの視点から合焦距離を変えて前記被写体を撮 影した画像を取得し、

前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から 前記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づいた評 価基準値を算出する手段と、前記評価基準値の統計処理を行う手段と、前記統計処 理を行った評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備 えることを特徴とする請求項 36に記載の画像生成装置。

[39] 前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び 前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写体を撮影し た画像を取得し、

前記存在確率を決定する手段は、前記投影点と前記視点の異なる複数枚の画像 上の対応点間の相関度を求める手段と、前記各投影点の相関度に基づレ、た第 1評 価基準値を算出する手段と、前記第 1評価基準値の統計処理を行う手段と、 ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前 記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づレ、た第 2 評価基準値を算出する手段と、前記第 2評価基準値の統計処理を行う手段と、前記 統計処理を行った第 1評価基準値及び第 2評価基準値に基づいて前記各投影点の 存在確率を算出する手段とを備えることを特徴とする請求項 36に記載の画像生成装

[40] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに 応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1 枚の 2次元画像を生成する手段であることを特徴とする請求項 36乃至請求項 39の いずれか 1項に記載の画像生成装置。

[41] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て奥行きが異なる位置に複数枚の画像生成面を設定する手段と、前記観 察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置 関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像 生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備える ことを特徴とする請求項 36乃至請求項 39のいずれか 1項に記載の画像生成装置。

[42] コンピュータに、

異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、前記取得した被写体の 3 次元形状に基づレ、て、前記観察者の視点から見た前記被写体の画像を生成するス テツプとを実行させる画像生成プログラムであって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、

前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の 評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うス テツプと、前記統計処理を行った評価基準値に基づレ、て前記各投影点の存在確率 を算出するステップとを有することを特徴とする画像生成プログラム。

[43] 前記請求項 42に記載の画像生成プログラムを記録したコンピュータ読み取り可能 な記録媒体。

[44] 異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、観察者から見て異なった 奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステ ップと、前記取得した被写体の 3次元形状に基づいて前記各画像表示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各表示面に表示 することで前記被写体の 3次元像を提示するステップとを有する 3次元画像表示方法 であって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、

前記 2次元画像を生成するステップは、前記投影点の色情報または輝度情報、及 び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点で ある表示点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を 生成し、

前記被写体の 3次元像を提示するステップは、前記各表示点の色情報または輝度 情報を、前記存在確率に応じた輝度で表示することを特徴とする 3次元画像表示方 法。

[45] 前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮 影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を 求めるステップと、前記基準視点から見て重なり合う複数の投影点について、前記各 投影点の相関度の高さに基づいて前記各投影点の存在確率を決定するステップと を有することを特徴とする請求項 44に記載の 3次元画像表示方法。

[46] 前記複数枚の画像を取得するステップは、 1つの視点から合焦距離を変えて前記 被写体を撮影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度か ら前記投影点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複 数の投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の 存在確率を決定するステップとを有することを特徴とする請求項 44に記載の 3次元 画像表示方法。

[47] 前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した 画像、及び前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写 体を撮影した画像を取得し、

前記存在確率を決定するステップは、前記投影点と前記視点の異なる画像上の対 応点間の相関度を求めるステップと、前記各視点の合焦距離が異なる画像上の対応 点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影 点について、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づい て前記各投影点の存在確率を決定することを特徴とする請求項 44に記載の 3次元 画像表示方法。

[48] 異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する 3次元形状取得手段と、 観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る 視点位置を設定する観察者視点設定手段と、前記取得した被写体の 3次元形状に 基づいて、前記各画像表示面に表示する 2次元画像を生成する 2次元画像生成手 段とを備え、前記生成した 2次元画像を前記各表示面に表示させることで前記被写 体の 3次元像を提示させる 3次元画像表示装置であって、

前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の 表面が存在する確率である存在確率を決定する手段とを備え、

前記 2次元画像生成手段は、前記投影点の色情報または輝度情報、及び存在確 率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示 点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を生成する 手段を備え、

前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示さ せることを特徴とする 3次元画像表示装置。

[49] 前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像 を取得する手段であり、

前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求 める手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影 点の相関度の高さに基づいて前記各投影点の存在確率を決定する手段とを備える ことを特徴とする請求項 48に記載の 3次元画像生成装置。

[50] 前記被写体画像取得手段は、 1つの視点から合焦距離を変えて前記被写体を撮 影した画像を取得する手段であり、

前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から 前記投影点の合焦点度を算出する手段と、前記基準視点から見て重なり合う複数の 投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の存在 確率を決定する手段とを備えることを特徴とする請求項 48に記載の 3次元画像生成

[51] 前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び 前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写体を撮影し た画像を取得する手段であり、

前記存在確率を決定する手段は、前記投影点と前記視点の異なる画像上の対応 点間の相関度を求める手段と、前記各視点の合焦距離が異なる画像上の対応点の 合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影点に ついて、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づいて前 記各投影点の存在確率を決定する手段を備えることを特徴とする請求項 48に記載 の 3次元画像生成装置。

[52] コンピュータに、

異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、観察者から見て異なった 奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステ ップと、前記取得した被写体の 3次元形状に基づいて前記各画像表示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各表示面に表示 することで前記被写体の 3次元像を提示するステップとを実行させる 3次元画像表示 プログラムであって、

前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、

前記 2次元画像を生成するステップは、前記投影点の色情報または輝度情報、及 び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点で ある表示点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を 生成するステップを有し、

前記被写体の 3次元像を提示するステップは、前記各表示点の色情報または輝度 情報を、前記存在確率に応じた輝度で表示するステップを有することを特徴とする 3 次元画像生成プログラム。

[53] 前記請求項 52に記載の 3次元画像生成プログラムを記録したコンピュータ読み取り 可能な記録媒体。