此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2019026189) IMAGE CAPTURE DEVICE AND CONTROL METHOD
Document

明 細 書

発明の名称 撮像装置および制御方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

非特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010   0011   0012   0013  

発明の効果

0014  

図面の簡単な説明

0015  

発明を実施するための形態

0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074  

符号の説明

0075  

請求の範囲

1   2   3   4   5   6  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 撮像装置および制御方法

技術分野

[0001]
 本発明は、撮像装置および制御方法に関する。

背景技術

[0002]
 従来、被写体の分光特性を推定する方法として、被写体の分光特性の統計データを使用して推定する方法が知られている。例えば、非特許文献1には、統計データを使用して分光特性を推定する方法として、主成分分析を用いる方法や、分光反射率の自己相関行列を用いてWiener推定を行う方法が記載されている。これらの方法では、適切な統計データを使用することによって被写体の分光特性を高精度に推定することができるものの、誤った統計データを使用すると誤差が大きくなってしまうという問題がある。
[0003]
 これに対し、カメラの信号値に応じて分光特性の推定に使用する統計データを選択する技術が知られている(例えば、特許文献1を参照)。この技術では、カメラの信号値を入力とし、統計データを出力とするルックアップテーブルを用いて信号値ごとに統計データを選択し、その統計データを用いて被写体の分光特性を推定する。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2001-8220号公報

非特許文献

[0005]
非特許文献1 : 三宅洋一著、「ディジタルカラー画像の解析・評価」、東京大学出版会、2000年2月、p.147-155

発明の概要

発明が解決しようとする課題

[0006]
 ところで、上述した特許文献1に記載の技術では、ノイズ等の影響により、異なる分光特性を有する被写体であってもカメラの信号値が同一になる場合がありうる。このような場合には、被写体の分光特性の推定に使用した統計データが適切であるか否かを判定することができず、適切な統計データを用いた高精度の分光推定を実現することができなかった。
[0007]
 本発明は、上記に鑑みてなされたものであって、適切な統計データを用いた高精度の分光推定を実現することができる撮像装置および制御方法を提供することを目的とする。

課題を解決するための手段

[0008]
 上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する照明部と、前記照明部が生成する照明光の照明特性を制御する照明制御部と、被写体からの光を撮像することによって画像信号を生成する撮像部と、前記撮像部が生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定部と、前記統計データ設定部が設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定部と、前記推定部が推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定部と、前記照明特性決定部が決定した照明特性を有する照明光のもとで前記撮像部が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定部が設定した統計データが適切な統計データであるか否かを判定する判定部と、を備えたことを特徴とする。
[0009]
 本発明に係る撮像装置は、上記発明において、前記照明特性決定部は、前記分光特性を波長によらず均一化するように前記照明特性を決定することを特徴とする。
[0010]
 本発明に係る撮像装置は、上記発明において、前記統計データ設定部は、設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が前記基準を満たしていないとき、前記画像信号に基づいて別の統計データを設定することを特徴とする。
[0011]
 本発明に係る撮像装置は、上記発明において、前記判定部は、前記統計データ設定部が選択可能な全ての統計データに対して判定を行い、前記無彩色の基準に最も適合する統計データを最適統計データと判定することを特徴とする。
[0012]
 本発明に係る撮像装置は、上記発明において、前記照明部は、光の透過中心波長が予め設定された方向に沿って連続的に変化する平板状のフィルタと、前記フィルタから光が出射する側に位置し、前記フィルタを透過した光の一部の波長帯域を選択的に透過する液晶部と、前記液晶部から光が出射する側に位置し、前記液晶部を透過した光を拡散して均一化する拡散光学系と、を有し、前記液晶部は、透過する光の波長帯域を変更可能であることを特徴とする。
[0013]
 本発明に係る制御方法は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成するとともに、被写体からの光を撮像することによって画像信号を生成する撮像装置が実行する制御方法であって、前記画像信号を生成する画像信号生成ステップと、前記画像信号生成ステップで生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定ステップと、前記統計データ設定ステップで設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定ステップと、前記推定ステップで推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定ステップと、前記照明特性決定ステップで決定した照明特性を有する照明光のもとで画像信号を生成する第2画像信号生成ステップと、前記第2画像信号生成ステップで生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定ステップで設定した統計データが適切な統計データであるか否かを判定する判定ステップと、を有することを特徴とする。

発明の効果

[0014]
 本発明によれば、適切な統計データを用いた高精度の分光推定を実現することができる。

図面の簡単な説明

[0015]
[図1] 図1は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。
[図2] 図2は、波長選択フィルタの特性を模式的に示す図である。
[図3] 図3は、波長選択フィルタの代表的な位置における光の透過率を模式的に示す図である。
[図4] 図4は、液晶部が光を透過する領域の設定例を示す図である。
[図5] 図5は、本発明の実施の形態1に係る撮像装置が行う処理の概要を説明する図である。
[図6] 図6は、本発明の実施の形態1に係る撮像装置が行う処理の概要を示すフローチャートである。
[図7] 図7は、本発明の実施の形態2に係る撮像装置が行う処理の概要を示すフローチャートである。

発明を実施するための形態

[0016]
 以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
[0017]
(実施の形態1)
 図1は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置1は、撮像部2、照明部3、入力部4、出力部5、制御部6および記憶部7を備える。
[0018]
 撮像部2は、被写体からの光を集光して結像する撮像光学系21と、撮像光学系21が集光して結像した被写体からの光を光電変換して画像信号を生成する撮像素子22とを有する。撮像光学系21は、1または複数のレンズを用いて構成される。撮像素子22は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等のモノクロのイメージセンサを用いて構成される。なお、撮像素子22は、R、G、Bのカラーフィルタを有するイメージセンサでもよいし、4バンド以上の多バンドのイメージセンサでもよい。
[0019]
 照明部3は、複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する。照明部3は、白色光を出力する光源部31と、白色光を入射位置に応じて異なる透過波長で透過する平板状の波長選択フィルタ(リニアバリアブルフィルタ:以下、「LVF」という)32と、LVF32から光が出射する側に位置し、LVF32を透過した光のうち所定の波長帯域を選択的に透過する液晶部33と、液晶部33から光が出射する側に位置し、液晶部33を透過した光を拡散して均一化した光を照明光として照射する拡散光学系34とを有する。
[0020]
 光源部31は、例えばLED(Light Emitting Diode)またはレーザ光源を用いて白色光を出力する。光源部31は、白色LEDまたは白色レーザを用いた構成としてもよいし、赤(R)、緑(G)、青(B)を含む3つ以上のLEDまたはレーザを組み合わせて白色光を出力する構成としてもよい。なお、光源部31をキセノンランプまたはハロゲンランプ等を用いて構成してもよい。
[0021]
 LVF32は平板状をなしており、主面の予め設定された方向に沿って光の透過中心波長が連続的に変化する。図2は、LVF32の特性を模式的に示す図であり、フィルタ内の位置とその位置で最も透過率が高い透過中心波長との関係を示す図である。図2の左右方向であってLVF32の対向する2辺と平行な方向をx軸方向として、LVF32の左端の位置をx=0、右端の位置をx=x maxとする。LVF32は、x軸方向の位置がx=0からx=x maxに変化するにつれて、各位置における透過中心波長λが連続的にかつ線形に増加する(図2の直線Lを参照)。波長帯域λ min≦λ≦λ maxは可視領域である。例えば、左端x=0における透過中心波長λ minは380nmであり、右端x=x maxにおける透過中心波長λ maxは780nmである。図2では、x=x n(n=1~4;0<x n<x max)における透過中心波長をλ nとしている。図2においてLVF32に記載された4本の縦線は、透過する波長帯域が同じである位置を結んだ仮想的な線である。これらの線は、透過中心波長が変化する方向すなわち図2のx軸方向とそれぞれ直交している。
[0022]
 図3は、LVF32の代表的な位置における光の透過率を模式的に示す図である。図3では、x=0、x n(n=1~4)、x maxをそれぞれ透過する光の透過率を模式的に示している。例えば、x=0を透過する光のスペクトルS minは、透過中心波長λ minを有する。同様に、x=x nを透過する光のスペクトルS nは、透過中心波長λ nを有し、x=x maxを透過する光のスペクトルS maxは、透過中心波長λ maxを有する。図3からも明らかなように、LVF32の各位置における透過光のスペクトルは、透過中心波長における透過率がほぼ均一であるとともに、帯域幅もほぼ均一である。
[0023]
 なお、LVF以外のフィルタを用いて照明部3を構成してもよい。例えば、互いに異なる波長帯域の光を出力する4色以上の複数のLEDを2次元的に並べて配置した多色LED光源を用いてもよい。
[0024]
 液晶部33は、LVF32の出射面側に位置しており、LVF32を透過した透過光から予め設定された波長帯域の光を選択的に出力可能な液晶パネルを用いて構成される。液晶部33は、制御部6の制御のもと、各領域の液晶分子の状態を変化させることにより、入射する光の透過/非透過を領域ごとに選択的に切り換え可能である。LVF32の透過波長帯域と液晶部33の入射位置は、互いに対応付けられて、後述する記憶部7の位置情報記憶部72に記憶されている。
[0025]
 図4は、液晶部33が光を透過する領域の設定例を示す図である。図4においては、斜線で示した領域が光を透過する領域であることを模式的に示している。図の左右方向は、LVF32の波長変化方向に対応している。図の左右方向の透過領域の幅は、透過光の波長帯域の広さに対応している。これに対して、図の上下方向の高さは、透過光の光量に対応している。例えば、図4の右から2番目の透過領域は上下方向に貫通しているため、この透過領域に含まれる波長成分の光量は最大である。なお、透過光の領域は矩形以外の形状をなしていてもよい。
[0026]
 拡散光学系34は、例えば光束を拡散する拡散板や、拡散板によって拡散した光束を均一化する光学素子を用いて構成され、液晶部33を透過した光の照度分布を均一化した光束を照明光として被写体へ向けて照射する。
[0027]
 照明部3は、互いに異なる複数の波長帯域の成分からなり、各成分が設定に応じた特性を有する照明光を生成する。照明部3は、照明光の各成分を同時に照射する。照明光に含まれる波長帯域の成分の数(バンド数)および各波長帯域の半値幅は、ユーザが入力部4を介して入力することにより設定することが可能である。なお、照明部3は、照明光の各成分を時分割で順次照射してもよい。
[0028]
 入力部4は、撮像装置1を操作する指示信号を含む各種信号の入力を受け付ける。入力部4は、キーボード、各種ボタン、各種スイッチ等の入力デバイス、マウス、タッチパネル等のポインティングデバイスを含み、これらのデバイスに対する外部からの操作に応じた信号の入力を受け付けて制御部6に出力する。入力部4は、音声入力用のマイクロフォンを有していてもよい。
[0029]
 出力部5は、撮像部2が生成した画像信号に対応する画像を含む各種情報を出力する。出力部5は、液晶または有機EL(Electro Luminescence)等を用いて構成され、画像や文字を含む各種情報を出力するモニタと、音声を出力するスピーカとを有する。
[0030]
 制御部6は、統計データ設定部61、推定部62、照明特性決定部63、判定部64、撮影制御部65、および照明制御部66を有する。
[0031]
 統計データ設定部61は、記憶部7の統計データ記憶部73が記憶している複数の統計データから1つを選択して設定する。なお、本実施の形態1では撮像装置1が内部に複数の統計データを記憶しているが、外部のデータベースに複数の統計データを記憶させておき、統計データ設定部61がネットワークを介して外部のデータベースを参照して統計データを設定するようにしてもよい。
[0032]
 推定部62は、統計データ設定部61が設定した統計データを用いることにより、撮像部2が生成した画像信号に含まれる被写体の分光特性を推定する。推定部62は、例えば主成分分析を用いた方法や分光反射率の自己相関行列を用いてWiener推定を行う方法によって被写体の分光特性を推定する(非特許文献1を参照)。推定部62は、画像信号全体を用いて分光特性を推定してもよいし、画像信号の中で予め設定された関心領域(ROI:Region of Interest)に対応する部分を用いて分光特性を推定してもよい。
[0033]
 照明特性決定部63は、推定部62が推定した被写体の分光特性に応じて照明部3が照射する照明光の照明特性を決定する。上述した構成を有する照明部3の場合には、照明特性として、例えば液晶部33における透過部分を設定するパラメータが決定される。具体的には、照明特性決定部63は、分光特性と比して波長ごとの相対的な大小関係が逆となるように照明特性を決定する。照明特性決定部63が決定した照明特性は、被写体の分光特性の推定結果とともに、記憶部7の分光情報記憶部75に記憶される。
[0034]
 判定部64は、照明特性決定部63が決定した照明特性を有する照明光のもとで撮像部2が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、統計データ設定部61が設定した統計データが適切な統計データであるか否かを判定する。判定部64は、無彩色の基準を満たしている場合、撮影に用いた統計データが適切な統計データであると判定する一方、無彩色の基準を満たしていない場合、撮影に用いた統計データが不適切な統計データであると判定する。ここでいう無彩色の基準は、例えばすべての波長において彩度がゼロ近傍の所定の範囲の値を有することと定められる。所定の範囲は任意に設定可能である。推定した分光特性が実際の分光特性と完全に一致すれば、反射光は無彩色となる。判定部64が不適切な統計データであると判定した場合、統計データ設定部61は別の統計データを設定する。
[0035]
 撮影制御部65は、例えば撮像部2におけるフレームレートや露出等を制御することによって撮像部2の撮影動作を制御する。
[0036]
 照明制御部66は、照明特性決定部63によって決定された照明特性に基づいて、撮影制御部65と同期を取りながら照明部3の動作を制御する。具体的には、照明制御部66は、所定のタイミングで液晶部33の状態を制御することによって液晶部33における各波長成分の透過パターンを制御することにより、決定された照明特性を有する照明光を生成して照射する。
[0037]
 制御部6は、例えばCPU(Central Processing Unit)等の汎用プロセッサまたはASIC(Application Specific Integrated Circuit)もしくはFPGA(Field Programmable Gate Array)等の特定の機能を実行する専用の集積回路等を用いて構成され、記憶部7が記憶する各種プログラムを読み込むことによって撮像装置1の各種演算処理を実行する。この演算処理には、撮像部2が生成した画像信号に対する所定の画像処理も含まれる。所定の画像処理は、例えばA/D変換処理、ホワイトバランス調整処理、γ補正処理、圧縮・伸張処理等を含む。
[0038]
 記憶部7は、LVF32の各透過位置における透過光の波長帯域を含む透過特性を記憶するフィルタ情報記憶部71と、LVF32の透過位置と液晶部33における入射位置とを対応付けて記憶する位置情報記憶部72と、統計データ設定部61が設定するための統計データを複数記憶する統計データ記憶部73と、撮像部2が撮影した画像信号を記憶する画像情報記憶部74と、推定部62が推定する分光特性および照明特性決定部63が分光特性に応じて決定する照明特性を記憶する分光情報記憶部75と、を有する。画像情報記憶部74が記憶する画像情報と分光情報記憶部75が記憶する分光情報とは、互いに関連付けられている。
[0039]
 記憶部7は、制御部6が実行する複数のプログラムおよび各種設定情報も記憶する。なお、プログラムは、コンピュータ読み取り可能な記録媒体に書き込んで記憶させてもよい。プログラムの記憶部7または記録媒体への書き込みは、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
[0040]
 記憶部7は、RAM(Random Access Memory)等の揮発性メモリおよびROM(Read Only Memory)等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部7を構成してもよい。
[0041]
 図5は、撮像装置1が行う処理の概要を説明する図である。まず、撮像部2が初期撮影することにより生成した被写体の画像信号に対して、統計データ設定部61が統計データを設定し、推定部62が分光特性の推定を行う。図5に示す曲線C1は横軸を波長、縦軸が分光特性としたときの分光特性の波長スペクトルを示している。
[0042]
 その後、照明特性決定部63は、推定した分光特性を均一化するような照明特性を決定する。図5に示す曲線C2は、横軸を波長、縦軸を照明特性としたときの照明特性の波長スペクトルを示している。曲線C2は、曲線C1を均一化するための波長ごとの照明特性を与える曲線である。曲線C2の形状は、波長ごとの相対的な大小関係が曲線C1と逆であるような形状をなしている。曲線C1と曲線C2は縦軸が異なる量であるが、曲線C2は見かけ上、曲線C1を所定の横軸に対して上下に反転させた形状をなしている。
[0043]
 この後、照明部3は、決定された照明特性を有する照明光を被写体に照射する。この状態で撮像装置1は撮影を行う。被写体の分光特性が推定した分光特性と同じであれば、分光特性と照射した照明光の照明特性とのかけ合わせにより、全波長帯にわたって彩度がゼロである無彩色の画像信号が得られることとなる。
[0044]
 判定部64は、画像信号が所定の無彩色の基準を満たす場合、撮影に用いた統計データが適切であると判定する。この場合、制御部6は、適切と判定された統計データと、該統計データを用いて決定された照明光の照明特性と、該照明特性を有する照明光のもとでの撮影によって生成された画像信号を出力し、記憶部7に関連付けて記憶させる。
[0045]
 これに対して、画像信号が無彩色の基準を満たさない場合、判定部64は、撮影に用いた統計データが不適切であると判定する。判定部64が統計データを不適切と判定した場合、統計データ設定部61は別の統計データを設定し、推定部62は分光特性を再度推定する。続いて、照明特性決定部63は照明特性を再び決定し、撮像部2は決定された照明特性を有する照明光のもとで撮影を行う。これらの処理は、判定部64が適切と判定するまで繰り返される。
[0046]
 以上説明した処理について、図6に示すフローチャートを参照してより詳細に説明する。まず、照明特性決定部63は、初期の照明特性を決定する(ステップS1)。初期の照明特性は、予め定められたものでもよいし、その都度ユーザが入力部4を介して決定するようにしてもよい。
[0047]
 続いて、撮像装置1は初期撮影を行う(ステップS2)。この際、照明制御部66は、設定された照明特性にしたがう照明光を照明部3に生成させる。また、撮影制御部65は、設定された照明特性にしたがう照明光が照射されているタイミングで撮像部2に撮影を行わせる。
[0048]
 この後、統計データ設定部61は、統計データ記憶部73が記憶する複数の統計データの中から1つの統計データを選択して設定する(ステップS3)。続いて、推定部62は、撮像部2が取得した画像信号と統計データ設定部61が設定した統計データを用いて被写体の分光特性を推定する(ステップS4)。これにより、図5に示す曲線C1が得られる。
[0049]
 続いて、照明特性決定部63は、推定された分光特性から照明部3が照射する照明光の照明特性を決定する(ステップS5)。照明特性決定部63は、被写体からの反射光が波長によらず略一定となり、無彩色の基準を満たすように照明光の照明特性を決定する。この時の照明特性は、例えば図5に示す曲線C2によって与えられる。
[0050]
 この後、照明制御部66は、照明部3に決定された照明特性を有する照明光を照射させ、撮影制御部65はその照明光のもとで撮像部2に撮影を行わせる(ステップS6)。
[0051]
 続いて、判定部64は、撮像部2が生成した画像信号が無彩色の基準を満たすか否かを判定する(ステップS7)。判定部64が無彩色の基準を満たすと判定した場合(ステップS7:Yes)、判定部64は、統計データ設定部61が設定した最新の統計データが適切な統計データであると判定する(ステップS8)。
[0052]
 その後、制御部6は、適切な統計データ、ならびに該統計データにそれぞれ対応する照明特性および画像信号を互いに関連付けて、統計データ記憶部73、分光情報記憶部75および画像情報記憶部74にそれぞれ書き込んで記憶させる(ステップS9)。ここで、統計データに対応する照明特性および画像信号とは、その統計データを用いて決定された照明特性、および該照明特性を有する照明光のもとの撮影によって生成された画像信号を意味する。なお、関連付けの方法としては、例えば適切な統計データ、照明特性および画像信号に共通のフラグを立てればよい。
[0053]
 ステップS7において判定部64が無彩色の基準を満たさないと判定した場合(ステップS7:No)、判定部64は、統計データ設定部61が設定した最新の統計データが不適切な統計データであると判定する(ステップS10)。続いて、統計データ設定部61は、統計データ記憶部73を参照して別の統計データを選択して設定する(ステップS11)。その後、撮像装置1はステップS4に戻る。
[0054]
 なお、ステップS2およびS6において撮像部2が生成する画像信号は、無彩色の基準の判定用に特化してもよい。この場合には、生成された画像信号に対して、制御部6が通常撮影時に行う各種画像処理を行わないでよいため、判定部64の判定処理を高速化することができる。このようにステップS2およびS6の撮影を予備的な撮影(プレ撮影)とする場合、撮像装置1は一連の処理を終了した後、適切な統計データを用いて通常撮影を行うようにすればよい。
[0055]
 また、ステップS4における分光特性の推定を、画像信号のうち関心領域に対応する信号を用いて行う場合には、上述した一連の処理を終了した後、適切な統計データを用いて画像信号の分光特性を推定するようにしてもよい。
[0056]
 また、ステップS9では、適切な統計データに対応する画像信号および照明特性に代えて、初期撮影で生成した画像信号および該初期撮影時の照明光の照明特性を、適切な統計データと互いに関連付けて、画像情報記憶部74および分光情報記憶部75にそれぞれ記憶させてもよい。
[0057]
 また、1つの画像に複数の関心領域が設定されている場合、撮像装置1は上述した一連の処理を関心領域ごとに行う。
[0058]
 また、ステップS7で無彩色の基準を満たすと判定した場合、照明光を白色光に戻して撮像部2が再撮影し、選択された統計データとともに出力してもよい。この場合は、撮影画像を目視したときに識別しやすいという利点がある。
[0059]
 以上説明した本発明の実施の形態1によれば、統計データを用いて推定した被写体の分光特性に応じて照明光の照明特性を決定し、その照明特性を有する照明光のもとで生成した画像信号が無彩色の基準を満たしているか否かに応じて、統計データが適合しているか否かを判定するため、適切な統計データを用いた高精度の分光推定を実現することができる。
[0060]
 また、本実施の形態1によれば、設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が無彩色の基準を満たしていないとき、設定済みの統計データを用いて撮影された画像に基づいて別の統計データを設定するため、統計データの設定を繰り返すことによって適切な統計データに近づけることができる。
[0061]
 また、本実施の形態1によれば、無彩色の基準を満たす画像をそのときの照明特性および統計データとともに出力するため、波長ごとの信号レベルの差が少なく、波長ごとのS/N比が同等である画像を取得することができる。
[0062]
(変形例)
 実施の形態1の変形例は、判定部64が無彩色の基準との誤差情報を生成する。この場合、統計データ設定部61が2回目以降の統計データを設定する際に、前回の判定結果に含まれる誤差情報を用いて統計データの選択を行う。
[0063]
 例えば、1回目に設定した統計データを用いて推定部62が推定した分光特性から決定した照明特性に基づく照明光を照射して撮影によって取得した画像に青色成分が含まれている場合、すなわち実際の分光特性は推定結果よりも青の反射率が高いと考えられる場合には、この青色成分に相当する誤差情報に基づいて、統計データ設定部61が2回目の統計データ設定処理を行う。この場合、統計データ設定部61は、2回目に選択する統計データは、1回目よりも青色成分の反射率が高くなる統計データを選択する。
[0064]
 本変形例によれば、判定部64の判定時における無彩色との誤差情報を用いて統計データの再設定を行うため、所定の順序で統計データを選択していく場合と比較して、より早く適切な統計データを見つけることができる。
[0065]
(実施の形態2)
 本発明の実施の形態2は、設定可能なすべての統計データを設定して撮影を行い、その中で最も無彩色の基準に適合すると判定される統計データを最適統計データと判定する。本実施の形態2に係る撮像装置の構成は、実施の形態1で説明した撮像装置1の構成(図1を参照)と同様である。
[0066]
 図7は、本発明の実施の形態2に係る撮像装置が行う処理の概要を示すフローチャートである。図7において、ステップS21~S26の処理は、実施の形態1で説明したステップS1~S6の処理にそれぞれ対応している。
[0067]
 ステップS27において、判定部64は、統計データ設定部61がすべての統計データを設定したか否かを判定する。統計データ設定部61がすべての統計データ設定した、と判定部64が判定した場合(ステップS27:Yes)、判定部64は、各統計データに対応する画像信号が無彩色の基準を満たすか否かを判定し、最も無彩色の基準に適合する画像信号に対応する統計データを最適統計データと判定する(ステップS28)。ここでいう「最も無彩色の基準に適合する画像信号」とは、分光特性が波長によらず最も均一化された、最も無彩色に近い画像信号のことである。
[0068]
 その後、撮像装置1は、最適統計データ、ならびに該最適統計データにそれぞれ対応する照明特性および画像信号を互いに関連付けて、統計データ記憶部73、分光情報記憶部75および画像情報記憶部74にそれぞれ書き込んで記憶させる(ステップS29)。
[0069]
 ステップS27において、統計データ設定部61がすべての統計データを設定していない、と判定部64が判定した場合(ステップS27:No)、統計データ設定部61は統計データ記憶部73を参照して別の統計データを選択して設定する(ステップS30)。その後、撮像装置1はステップS24に戻る。
[0070]
 以上説明した本発明の実施の形態2によれば、実施の形態1と同様、適切な統計データを用いた高精度の分光推定を実現することができる。
[0071]
 また、本実施の形態2によれば、全ての設定可能な統計データに対して判定を行い、最も無彩色の基準に適合する統計データを最適統計データと判定するため、統計データを最適化することができる。
[0072]
(その他の実施の形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1、2によってのみ限定されるべきものではない。例えば、分光推定を行う方法として、上述した主成分分析やWiener推定以外の統計的手法を適用することも可能である。具体的な例として、重回帰モデルを挙げることができる。重回帰モデルを適用する場合には、近似曲線を与える多項式の係数を統計データとして設定する。また、別の例として、最尤推定またはベイズ推定を適用してもよい。最尤推定またはベイズ推定を適用する場合には、確率密度関数を統計データとして設定する。
[0073]
 また、機械学習を用いて統計データを設定してもよい。例えば、互いに異なる学習用の複数の統計データをそれぞれ学習する複数の学習器を備え、それらの学習器における学習結果に基づいて、統計データ設定部が最適な統計データを選択して設定するようにしてもよい。機械学習としては、多層構造のニューラルネットワークを用いて行う深層学習などを挙げることができる。
[0074]
 このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

符号の説明

[0075]
 1 撮像装置
 2 撮像部
 3 照明部
 4 入力部
 5 出力部
 6 制御部
 7 記憶部
 21 撮像光学系
 22 撮像素子
 31 光源部
 32 LVF
 33 液晶部
 34 拡散光学系
 61 統計データ設定部
 62 推定部
 63 照明特性決定部
 64 判定部
 65 撮影制御部
 66 照明制御部
 71 フィルタ情報記憶部
 72 位置情報記憶部
 73 統計データ記憶部
 74 画像情報記憶部
 75 分光情報記憶部

請求の範囲

[請求項1]
 複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成する照明部と、
 前記照明部が生成する照明光の照明特性を制御する照明制御部と、
 被写体からの光を撮像することによって画像信号を生成する撮像部と、
 前記撮像部が生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定部と、
 前記統計データ設定部が設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定部と、
 前記推定部が推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定部と、
 前記照明特性決定部が決定した照明特性を有する照明光のもとで前記撮像部が生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定部が設定した統計データが適切な統計データであるか否かを判定する判定部と、
 を備えたことを特徴とする撮像装置。
[請求項2]
 前記照明特性決定部は、
 前記分光特性を波長によらず均一化するように前記照明特性を決定することを特徴とする請求項1に記載の撮像装置。
[請求項3]
 前記統計データ設定部は、
 設定済みの統計データがある場合において、該設定済みの統計データを用いて撮影された画像信号が前記基準を満たしていないとき、前記画像信号に基づいて別の統計データを設定することを特徴とする請求項1または2に記載の撮像装置。
[請求項4]
 前記判定部は、
 前記統計データ設定部が選択可能な全ての統計データに対して判定を行い、前記無彩色の基準に最も適合する統計データを最適統計データと判定することを特徴とする請求項1または2に記載の撮像装置。
[請求項5]
 前記照明部は、
 光の透過中心波長が予め設定された方向に沿って連続的に変化する平板状のフィルタと、
 前記フィルタから光が出射する側に位置し、前記フィルタを透過した光の一部の波長帯域を選択的に透過する液晶部と、
 前記液晶部から光が出射する側に位置し、前記液晶部を透過した光を拡散して均一化する拡散光学系と、
 を有し、
 前記液晶部は、透過する光の波長帯域を変更可能であることを特徴とする請求項1~4のいずれか一項に記載の撮像装置。
[請求項6]
 複数の波長帯域の成分からなり、設定に応じた照明特性を有する照明光を生成するとともに、被写体からの光を撮像することによって画像信号を生成する撮像装置が実行する制御方法であって、
 前記画像信号を生成する画像信号生成ステップと、
 前記画像信号生成ステップで生成した画像信号に含まれる被写体の分光特性の推定に用いる統計データを設定する統計データ設定ステップと、
 前記統計データ設定ステップで設定した統計データを用いることによって前記画像信号に含まれる被写体の分光特性を推定する推定ステップと、
 前記推定ステップで推定した被写体の分光特性に応じて前記照明光の照明特性を決定する照明特性決定ステップと、
 前記照明特性決定ステップで決定した照明特性を有する照明光のもとで画像信号を生成する第2画像信号生成ステップと、
 前記第2画像信号生成ステップで生成した画像信号が無彩色の基準を満たしているか否かに基づいて、前記統計データ設定ステップで設定した統計データが適切な統計データであるか否かを判定する判定ステップと、
 を有することを特徴とする制御方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]