処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020121705 - 撮像装置

Document

明 細 書

発明の名称 撮像装置

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008  

発明の効果

0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164  

産業上の利用可能性

0165  

符号の説明

0166  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

図面

1   2A   2B   2C   3   4A   4B   5   6   7   8   9   10   11   12   13A   13B   13C   14   15   16A   16B   17   18   19   20   21   22A   22B   22C   23   24   25   26  

明 細 書

発明の名称 : 撮像装置

技術分野

[0001]
 本開示は、光源から光を照射し、反射光を電気信号に変換して出力する撮像装置に関する。

背景技術

[0002]
 障害物などの物体を検知する用途において、光源と対象物の間で光が往復する飛行時間を利用して測距を行うTOF(Time Of Flight)方式が用いられている。例えば、特許文献1では、対象物にパルス光を照射し、異なる2つの期間において反射光を測定し、それら反射光の比率から対象物までの距離を算出している。また、生体計測及び材料分析の分野では、対象物に光を照射し、対象物内部で拡散反射した光の情報から、対象物の内部情報を非接触で取得する方式が用いられている。例えば、特許文献2では、対象物にパルス光を照射し、反射光が増加する期間と減少する期間のそれぞれにおいて反射光を測定することで、対象物の浅部と深部の内部情報を取得している。
[0003]
 一般に前記2つの方式における反射光の測定は、イメージセンサを用いて測定の対象となる期間Δtだけ露光を行うことで実現している。即ち、反射光は行列状に配置された光電変換部(PD)で信号電荷に変換され、電荷蓄積部に蓄積される。なお、電荷蓄積部は、CCD型のイメージセンサの場合は垂直転送部(VCCD)、MOS型イメージセンサの場合は浮遊拡散容量(FD)により構成される。ここで期間Δtは、測定にかかる光の移動距離z=c×Δt(cは光速を表す)を決定し、前記2つの方式における測距精度、及び浅部と深部の内部情報の分離精度を左右するため、数psから十数ns程度の短時間であることが要求される。よって、測定に十分な信号電荷を得るためには、パルス光の照射と露光の組合せを1フレーム期間に複数回繰り返し、信号電荷の蓄積を行う必要がある。また、複数の異なる期間において反射光を測定するためには、各測定にかかる信号電荷を独立して蓄積させるだけの電荷蓄積部が必要となる。

先行技術文献

特許文献

[0004]
特許文献1 : 特表2002-500367号公報
特許文献2 : 特許第6008148号公報
特許文献3 : 特開2018-96988号公報

発明の概要

発明が解決しようとする課題

[0005]
 前記2つの方式において、反射光を測定する期間や、その他の条件を変えて追加の測定を行いたい場合がある。例えば、パルス光の照射にかかわらず入射する光(背景光)の影響を打ち消すために、パルス光を照射せずに測定を行い、これをパルス光照射時の測定結果から減算することがある。また、測定する期間を細分化することで、より精度の高い情報を取得することや、パルス光の強度や波長を変えることで測定対象の性質に応じた測定を行うことが考えられる。しかしながら、既に述べたように測定を行う期間または条件の追加は、各測定にかかる信号電荷を独立して蓄積するための機構の増加、即ち開口率の低下をもたらし、光電変換部から出力される信号電荷が減少する。加えて、1フレーム期間を複数の期間または条件で分割して露光するため、総じて各測定における信号電荷は大幅に減少する。したがって、これら信号電荷から算出される情報の精度も大幅に低下するという課題を有する。
[0006]
 これらの課題に対し特許文献3では、垂直方向、または水平方向に隣接する2つの光電変換部から出力される信号電荷を加算して垂直転送部に蓄積することで、光電変換部4の1つ当りに必要な垂直転送部の相数を節約するとともに、分割露光において蓄積される信号電荷の増量を図っている。また、信号電荷を加算する光電変換部の組合せを偶数列と奇数列、または偶数行と奇数行で変えることで、信号電荷の加算による空間解像度の低下を緩和している。しかしながら、測定を行う期間または条件が4種類以上になると、信号電荷量が不十分になる。
[0007]
 本開示の目的は、測定を行う期間または条件が4種類以上であっても十分な量の信号電荷を蓄積し、対象物の距離あるいは内部情報を高精度に算出するための撮像装置を提供することにある。

課題を解決するための手段

[0008]
 上記目的を達成するために、本開示の一態様に係る撮像装置は、対象物に対して光を照射する光源と、前記対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子と、前記光源からの照射と前記固体撮像素子の露光を制御する制御部と、を備え、前記固体撮像素子は、前記対象物からの反射光を前記信号電荷に変換する複数の光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を備え、前記撮像装置は、前記照射および露光を制御するためのm種類(mは4以上の整数)の露光シーケンスを1フレーム期間内に行い、前記m種類の露光シーケンスに排他的に電荷蓄積部を割り当て、前記m種類の露光シーケンスのうち少なくとも1種類の露光シーケンスにおいて、n個(nは3以上の整数)の前記光電変換部から得られる前記信号電荷を、前記電荷蓄積部に蓄積する。

発明の効果

[0009]
 本開示によれば、対象物の距離あるいは内部情報を高精度に算出する撮像装置を実現できる。

図面の簡単な説明

[0010]
[図1] 図1は、第1から第3の実施形態に係るTOF(Time Of Flight)型の撮像装置の概略構成を示す図である。
[図2A] 図2Aは、第1から第2の実施形態に係る撮像装置における動作タイミング例及び動作原理を説明する図である。
[図2B] 図2Bは、第1から第2の実施形態に係る撮像装置における他の動作タイミング例及び動作原理を説明する図である。
[図2C] 図2Cは、第1から第2の実施形態に係る撮像装置におけるさらに他の動作タイミング例及び動作原理を説明する図である。
[図3] 図3は、第1から第2の実施形態に係る撮像装置における動作タイミングを説明する図である。
[図4A] 図4Aは、第1から第4の実施形態に係る固体撮像素子の構成例を示す図である。
[図4B] 図4Bは、第1から第4の実施形態に係る固体撮像素子の他の構成例を示す図である。
[図5] 図5は、第1から第2の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
[図6] 図6は、第3の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
[図7] 図7の(a)、(b)及び(c)は、第1から第2の実施形態に係る長露光シーケンスL1、及び第3の実施形態に係る強露光シーケンスK1、及び第4の実施形態に係る750nmシーケンスP1における信号電荷の加算と転送を説明する図である。
[図8] 図8の(a)、(b)及び(c)は、第1から第2の実施形態に係る短露光シーケンスS1、及び第3の実施形態に係る弱露光シーケンスJ1、及び第4の実施形態に係る850nmシーケンスQ1における信号電荷の加算と転送を説明する図である。
[図9] 図9の(a)、(b)及び(c)は、第1から第2の実施形態に係る長露光シーケンス2、及び第3の実施形態に係る強露光シーケンスK2、及び第4の実施形態に係る750nmシーケンスP2における信号電荷の加算と転送を説明する図である。
[図10] 図10の(a)、(b)及び(c)は、第1から第2の実施形態に係る短露光シーケンスS2、及び第3の実施形態に係る弱露光シーケンスJ2、及び第4の実施形態に係る850nmシーケンスQ2における信号電荷の加算と転送を説明する図である。
[図11] 図11の(a)、(b)及び(c)は、第1から第2の実施形態に係る長露光シーケンス3、及び第3の実施形態に係る背景露光シーケンスB0、及び第4の実施形態に係る750nmシーケンスP3における信号電荷の加算と転送を説明する図である。
[図12] 図12の(a)、(b)及び(c)は、第1から第2の実施形態に係る短露光シーケンスS3、及び第4の実施形態に係る850nmシーケンスQ3における信号電荷の加算と転送を説明する図である。
[図13A] 図13Aは、第2の実施形態に係る距離範囲設定部の動作例を説明する図である。
[図13B] 図13Bは、第2の実施形態に係る距離範囲設定部の他の動作例を説明する図である。
[図13C] 図13Cは、第2の実施形態に係る距離範囲設定部の他の動作例の一部を説明する図である。
[図14] 図14は、第2の実施形態に係る距離補正部の動作を説明する図である。
[図15] 図15は、遠方対象物からの反射光の観測範囲を説明する図である。
[図16A] 図16Aは、第3の実施形態に係る撮像装置における動作タイミング例及び動作原理を説明する図である。
[図16B] 図16Bは、第3の実施形態に係る撮像装置における他の動作タイミング例及び動作原理を説明する図である。
[図17] 図17は、第3の実施形態に係る撮像装置における動作タイミングを説明する図である。
[図18] 図18は、第3の実施形態に係る距離信号の選択フローを説明する図である。
[図19] 図19は、第4の実施形態に係る脳血流測定装置の概略構成を説明する図である。
[図20] 図20は、対象物の表面反射と内部拡散を示す図である。
[図21] 図21は、第4の実施形態に係る脳血流測定装置の光学フィルタの透過特性のグラフである。
[図22A] 図22Aは、第4の実施形態に係る脳血流測定装置における動作タイミング例及び動作原理を説明する図である。
[図22B] 図22Bは、第4の実施形態に係る脳血流測定装置における他の動作タイミング例及び動作原理を説明する図である。
[図22C] 図22Cは、第4の実施形態に係る脳血流測定装置におけるさらに他の動作タイミング例及び動作原理を説明する図である。
[図23] 図23は、第4の実施形態に係る脳血流測定装置における動作タイミングを説明する図である。
[図24] 図24は、第4の実施形態に係る光電変換部及び垂直転送部の駆動タイミングを説明する図である。
[図25] 図25は、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの近赤外領域における分子吸光スペクトルのグラフである。
[図26] 図26は、第1から第4の実施形態の各露光シーケンスを組み合わせた動作例を説明する図である。

発明を実施するための形態

[0011]
 以下、本開示の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これは例示を目的としており、本開示がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
[0012]
 (第1の実施形態)
 第1の実施形態では、測定を行う期間または条件が4種類以上であっても十分な量の信号電荷を蓄積し、対象物の距離を高精度に算出するための撮像装置について説明する。具体的には、撮像装置は、長い露光期間と短い露光期間光とを利用することにより測距可能な距離範囲を拡大し、近くから遠くまで広い距離範囲で精度を向上させる構成例について説明する。
[0013]
 図1は、第1から第3の実施形態に係るTOF(Time Of Flight)型の測距装置及び周辺物の構成を模式的に示す図である。図1に示すように、撮影対象空間100にて対象物101に背景光照明102のもと、赤外光源103から波長850nmあるいは940nmのパルス状の照射光110が照射される。その反射光111を光学レンズ104と、850nmあるいは940nm近傍の近赤外波長領域を透過する光学フィルタ105とを介して、例えばCCD型イメージセンサである固体撮像素子106で受け、結像された画像を信号電荷に変換し(以下、この動作を露光と呼ぶ)、信号電荷量114を制御演算装置107に出力する。制御演算装置107は、赤外光源103の照射タイミングの制御112及び、固体撮像素子106の露光タイミングの制御113を行うことで、固体撮像素子106より6種類の信号電荷量114を得て、対象物101までの距離を2種類算出し、距離信号115として出力する。赤外光源103と、光学レンズ104と、光学フィルタ105と、固体撮像素子106と、制御演算装置107が、測距装置を構成する。なお、制御演算装置107は、例えば、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、AFE(Analog Front End)などを組み合わせることで実現される。
[0014]
 同図において、赤外光源103は、対象物に対して光を照射する。固体撮像素子106は、対象物からの反射光を露光し信号電荷として蓄積する。制御演算装置107は、赤外光源103から照射と固体撮像素子106の露光を制御する。
[0015]
 以下、固体撮像素子106及び制御演算装置107について、さらに説明する。
[0016]
 図4Aは、本実施形態に係る固体撮像素子106の構成図である。ここでは、図面の簡略化のために、垂直方向に4画素分、水平方向に4画素分のみ示している。固体撮像素子106は、半導体基板に行列状に配置され、対象物101からの反射光111を信号電荷に変換する複数の光電変換部(フォトダイオード)4と、光電変換部4から読み出された信号電荷を蓄積し、列方向(垂直方向)に転送する垂直転送部5と、垂直転送部5によって転送された信号電荷を行方向(水平方向)に転送する水平転送部10と、水平転送部10によって転送された信号電荷を出力する電荷検出部11とを備える。
[0017]
 固体撮像素子106は、対象物からの反射光を信号電荷に変換する複数の光電変換部4と、信号電荷を蓄積する複数の電荷蓄積部とを備える。複数の電荷蓄積部は、図4Aの構成例では、垂直転送部5に電位の井戸として形成される信号パケットである。
[0018]
 制御演算装置107は、照射および露光を制御するためのm種類(mは4以上の整数)の露光シーケンスを1フレーム期間内に行う。その際、m種類の露光シーケンスに排他的に電荷蓄積部を割り当てる。m種類の露光シーケンスのうち少なくとも1種類の露光シーケンスにおいて、n個(nは3以上の整数)の光電変換部から得られる信号電荷を、電荷蓄積部に蓄積する。
[0019]
 ここで、固体撮像素子106はインターライントランスファー方式のCCDであり、例えば、垂直転送部5は、垂直方向に隣接する2つの光電変換部4あたりに垂直転送電極8が10ゲートある10相駆動であり、水平転送部10は2相駆動である。垂直転送電極8のうちφV1及びφV3は奇数列の垂直転送部5に接続された4つの光電変換部4に対する読出し電極を兼ねており、φV2及びφV4は偶数列の垂直転送部5に接続された4つの光電変換部4に対する読出し電極を兼ねた構成になっている。これにより、4つの光電変換部4に溜まった信号電荷は、φV1及びφV3に高電圧が印可されている場合は、奇数列の垂直転送部5の、例えば信号パケット9aで表される位置に加算して読出され、φV2及びφV4に高電圧が印可されている場合は、偶数列の垂直転送部5の、例えば信号パケット9bで表される位置に加算して読出される。その後、垂直転送部5上の信号電荷は、垂直転送電極8への電圧印可により列方向に転送される。
[0020]
 また、光電変換部4には、信号電荷を掃き捨てるためのVOD(縦型オーバーフロードレイン)12が備えられている。ただし、本開示の理解を容易とするため、VOD12は画素の面横方向に記載しているが、実際には画素のバルク方向(半導体基板の深さ方向)に構成されている。VOD12の基板に接続されている電極φSubに高電圧が印加されると全ての光電変換部4の信号電荷は一括して基板に排出される構成となっている。
[0021]
 以上の構成により、固体撮像素子106は、4つの光電変換部4に蓄積された信号電荷を加算し、奇数列及び偶数列のいずれかの垂直転送部5に振り分けて蓄積することで、特許文献3に記載の固体撮像素子に対して、感度を維持したまま蓄積できる信号電荷の種類が2倍となる。ここで、垂直転送部5が10相駆動であるため、最小2相で信号電荷を蓄積するとして、奇数列及び偶数列の垂直転送部5それぞれにおいて3種類、計6種類の信号電荷を蓄積することが可能である。
[0022]
 なお、図4Bに示すように、奇数列の垂直転送部5に信号電荷を読み出す光電変換部4と、偶数列の垂直転送部5に信号電荷を読み出す光電変換部4とが列方向にずれるように垂直転送部5を配置してもよい。この場合、奇数列の垂直転送部5に蓄積された信号電荷と、偶数列の垂直転送部5に蓄積された信号電荷を用いて補間処理を行うことにより、図4Aに示す構成に比べて垂直方向の空間解像度の向上が期待できる。
[0023]
 また、信号電荷を加算して読み出す光電変換部4の数を、例えば6などに増やし、さらに感度を向上させてもよい。ただし、感度の向上とトレードオフで空間解像度が低下する。
[0024]
 図2Aから図2Cは、本実施形態に係る測距装置の動作タイミング及び動作原理を説明する図である。図2A及び図2Bに示すように、測距装置の動作は、長露光シーケンスL1からL3及び、短露光シーケンスS1からS3の、計6種類の露光シーケンスを有する。これら露光シーケンスは、制御演算装置107が赤外光源103の照射タイミングの制御112及び、固体撮像素子106の露光タイミングの制御113を行うことで実現され、各露光シーケンスそれぞれにおいて1種類の信号電荷を得る。ここで、照射光110のパルス幅(照射時間)をTp及びTp’<Tp、照射光110と反射光111との間の遅延をΔt、露光期間幅をTe及びTe’<Teとする。
[0025]
 まず、図2Aに示すように、長露光シーケンスL1において、制御演算装置107は、露光期間が照射光110の立ち上がりから反射光111の立下りまでを含むように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S0+BGを得る。次に、長露光シーケンスL2において、制御演算装置107は、露光期間が照射光110の立ち下がりから開始するように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S1+BGを得る。また、長露光シーケンスL3において、制御演算装置107は、照射光110を照射せずに露光だけを行うよう照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷BGを得る。その後、制御演算装置107は、S0+BG及びS1+BGからBGを減算することにより、背景光に依存しない信号電荷S0及びS1を取り出す。
[0026]
 同様に、図2Bに示すように、短露光シーケンスS1において、制御演算装置107は、露光期間が照射光110の立ち上がりのΔTe’後から反射光111の立下りまでを含むように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S0’+BG’を得る。次に、短露光シーケンスS2において、制御演算装置107は、露光期間が照射光110の立ち下がりのΔTe’後から開始するように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷はS1’+BG’を得る。また、短露光シーケンスS3において、制御演算装置107は、照射光110を照射せずに露光だけを行うよう照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷BG’を得る。その後、制御演算装置107は、S0’+BG’及びS1’+BG’からBG’を減算することにより、背景光に依存しない信号電荷S0’及びS1’を取り出す。
[0027]
 なお、図2A及び図2Bでは、長露光シーケンスL3及び短露光シーケンスS3において、照射光110の照射を行っていないが、図2Cに示すように照射は行ったうえで、反射光111に含まれる照射光成分が無視できるレベルまで減衰する時間ΔTbg及びΔTbg’だけ露光期間の開始時間を遅延させることで、背景光成分のみを露光するようにしてもよい。
[0028]
 また、図2A及び図2Bでは説明の都合上、各露光シーケンスをそれぞれ1回のみ示しているが、実施上はS/Nの観点から十分な量の信号電荷を得るため、図3に示すように長露光シーケンスL1からL3を1フレーム期間にα Long×β回、短露光シーケンスS1からS3をα Short×β回繰り返し行う。ここで、短露光シーケンスS1からS3は長露光シーケンスL1からL3に対して照射時間及び露光期間が短いため、例えば、α Short=α Long×Tp/Tp’とすることで、S0とS0’及びS1とS1’の感度差を軽減する。
[0029]
 なお、測距対象物が動体の場合に、距離の時間変化が各露光シーケンスに均等に影響を及ぼすように、各露光シーケンスにおいてα Long回及びα Short回ずつ繰り返したものを1セットとしてβ回繰り返しているが、対象物101が静止体である場合はこの限りではない。
[0030]
 次に、図5及び図7から図12を用いて、各露光シーケンスにおける固体撮像素子106の動作タイミングについて説明する。図5は、1フレーム期間を構成する6種類の露光シーケンスにおける、光電変換部4及び垂直転送部5の駆動タイミングの一例を示しており、図7から図12は、信号電荷の加算及び転送のイメージを示している。なお、図5では、説明を簡単にするため、β=1回分の動作を抜き出しており、各露光シーケンスの繰り返しを2回ずつ(α Long=α Short=2)としている。また、図7から図12では、信号電荷の読出し及び転送の方向を矢印で示している。
[0031]
 まず、図5の長露光シーケンスL1では、φV1及びφV3の電圧をHighレベル、φV2及びφV4の電圧をLowレベルにすることで、奇数列の垂直転送部5のV1及びV3に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間TeだけφSubの電圧をLowレベルにすることで、図7(a)に示すように、4つの光電変換部4からの信号電荷31が奇数列の垂直転送部5に蓄積される。なお、信号電荷31には照射光成分31a、背景光成分31bが含まれる。また、信号電荷31は垂直転送部5のV1及びV3に分かれて蓄積されており、図5の時刻T1においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図7(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図7(c)に示すように、信号電荷31は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0032]
 次に、図5の短露光シーケンスS1では、φV2及びφV4の電圧をHighレベル、φV1及びφV3の電圧をLowレベルにすることで、偶数列の垂直転送部5のV2及びV4に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間Te’だけφSubの電圧をLowレベルにすることで、図8(a)に示すように、4つの光電変換部4からの信号電荷32が偶数列の垂直転送部5に蓄積される。なお、信号電荷32には照射光成分32a、背景光成分32bが含まれる。また、信号電荷31及び信号電荷32は、垂直転送部5のV2及びV4に分かれて蓄積されており、図5の時刻T2においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図8(b)に示すように、それぞれが1パケットとなる。その後、図8(c)に示すように、信号電荷31及び信号電荷32は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0033]
 次に、図5の長露光シーケンスL2では、露光期間の開始時刻をずらして長露光シーケンスL1と同様の駆動を行うことで、図9(a)に示すように、4つの光電変換部4からの信号電荷33が奇数列の垂直転送部5に蓄積される。このとき、信号電荷31は、先の順方向転送によりV5及びV6に移動しているため、信号電荷33と混合されることはない。なお、信号電荷33には照射光成分33a、背景光成分33bが含まれる。また、信号電荷33は垂直転送部5のV1及びV3に分かれて蓄積されており、図5の時刻T3においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図9(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図9(c)に示すように、信号電荷33は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0034]
 次に、図5の短露光シーケンスS2では、露光期間の開始時刻をずらして長露光シーケンスL2と同様の駆動を行うことで、図10(a)に示すように、4つの光電変換部4からの信号電荷34が偶数列の垂直転送部5に蓄積される。このとき、信号電荷32は、先の順方向転送によりV5及びV6に蓄積されているため、信号電荷34と混合されることはない。なお、信号電荷34には照射光成分34a、背景光成分34bが含まれる。また、信号電荷33及び信号電荷34は、垂直転送部5のV2及びV4に分かれて蓄積されており、図5の時刻T4においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図10(b)に示すように、それぞれが1パケットとなる。その後、図10(c)に示すように、信号電荷33及び信号電荷34は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0035]
 次に、図5の長露光シーケンスL3では、赤外光源からの照射を行わずに長露光シーケンスL1と同様の駆動を行うことで、図11(a)に示すように、4つの光電変換部4からの信号電荷35が奇数列の垂直転送部5に蓄積される。このとき、信号電荷33は、先の順方向転送によりV5及びV6に移動しているため、信号電荷35と混合されることはない。また、信号電荷35は垂直転送部5のV1及びV3に分かれて蓄積されており、図5の時刻T5においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図11(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図11(c)に示すように、信号電荷35は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0036]
 最後に、図5の短露光シーケンスS3では、赤外光源からの照射を行わずに短露光シーケンスS1と同様の駆動を行うことで、図12(a)に示すように、4つの光電変換部4からの信号電荷36が偶数列の垂直転送部5に蓄積される。このとき、信号電荷34は、先の順方向転送によりV5及びV6に蓄積されているため、信号電荷36と混合されることはない。また、信号電荷35及び信号電荷36は、垂直転送部5のV2及びV4に分かれて蓄積されており、図5の時刻T6においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図10(b)に示すように、それぞれが1パケットとなる。その後、図12(c)に示すように、信号電荷31から信号電荷36は逆方向(図面上方向)に垂直転送され、信号電荷31及び信号電荷32がV1からV3に蓄積された状態、即ち再び長露光シーケンスL1が実行可能な状態となる。
[0037]
 以上の動作をβ回の繰りし行うことで、1フレーム期間分の反射光111に対する6種類の信号電荷を、高感度かつ独立に垂直転送部5に蓄積することが可能である。
[0038]
 なお、信号電荷31、信号電荷33、及び信号電荷35の蓄積を偶数列の垂直転送部5で行い、信号電荷32、信号電荷34、及び信号電荷36の蓄積を奇数列の垂直転送部5で行ってもよい。この場合、奇数列の光電変換部4に対する読出し電極はφV6およびφV8となる。さらに、奇数列の垂直転送部5で蓄積する信号電荷と、偶数列の垂直転送部5で蓄積する信号電荷を1フレーム毎に入れ替えてもよい。この場合、フレーム間で信号電荷が列方向にインタレースされるため、距離信号115における水平方向の空間解像度の改善が期待できる。
[0039]
 また、固体撮像素子106はCCD型イメージセンサの例で説明したが、CMOS型イメージセンサであってもよい。
[0040]
 式1及び式2は、本実施例に係る制御演算装置107における2種類の距離z及びz’の算出部を示す式である。光速をcとすると、式1より、距離zは長露光シーケンスL1からL3より得られる背景光の影響を除去した信号電荷S0及びS1を用いて算出される。同様に、式2より、距離z’は短露光シーケンスS1からS3より得られる背景光の影響を除去した信号電荷S0’及びS1’を用いて算出される。また、ΔTe’は距離z’の下限となり、距離z及びz’の距離範囲の重なり具合を決定するパラメータとなっている。
[0041]
 z=c×Δt/2
  =(c×Tp/2)×(Δt/Tp)
  =(c×Tp/2)×(S1/S0) ・・・式1
 z’=c×Δt/2
  =(c×Tp’/2)×(Δt/Tp’)
  =(c×Tp’/2)×(S1’/S0’+ΔTe’/Tp’)
  =(c×Tp’/2)×(S1’/S0’)+(c×ΔTe’/2) ・・・式2
[0042]
 ここで、ΔTe’=0の場合を考えると、距離z及びz’は理想的には同値であるが、実際には有限の分解能で量子化された信号電荷量を用いて計算を行うため、精度に差が生じる。例えば、S1/S0及びS1’/S0’がNbit整数精度で量子化されているとすると、距離zの単位距離=(c×Tp/2)/2N、距離z’の単位距離=(c×Tp’/2)/2Nとなり、距離精度は距離z’の方が高い。一方、距離zの最大値=(c×Tp/2)×(2N-1)/2N、距離z’の最大値=(c×Tp’/2)×(2N-1)/2Nとなるため、距離範囲は距離zの方が広い。したがって、2種類の距離z及びz’を算出することで、広い距離範囲の測距と、高い距離精度の測距との両立が可能となる。
[0043]
 なお、長露光シーケンスL1からL3と短露光シーケンスS1からS3の照射時間及び露光期間の幅を揃え(即ち、Tp=Tp’、Te=Te’)、かつ、ΔTe’=Tpとして信号電荷の蓄積および、距離算出を行ってもよい。この場合、距離zとz’が同一距離精度で、距離zとz’の組合せによる距離範囲が距離zの距離範囲の2倍となる。
[0044]
 以上の動作により、1フレーム期間に6種類の信号電荷を垂直転送部に独立に蓄積することができる。また、4つの光電変換部の信号電荷を加算しているため、従来の2つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に2倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、6種類の信号電荷から、距離範囲と距離精度が異なる2種類の距離を高精度に算出することができ、広い距離範囲の測距と、高い距離精度の測距との両立が可能となる。
[0045]
 以上説明してきたように第1の実施形態に係る撮像装置は、対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子106と、赤外光源103からの照射と固体撮像素子106の露光を制御する制御演算装置107とを備え、固体撮像素子106は、対象物からの反射光を信号電荷に変換する複数の光電変換部4と、信号電荷を蓄積する複数の電荷蓄積部と、を備え、撮像装置は、照射および露光を制御するためのm種類(mは4以上の整数)の露光シーケンスを1フレーム期間内に行い、m種類の露光シーケンスに排他的に電荷蓄積部を割り当て、m種類の露光シーケンスのうち少なくとも1種類の露光シーケンスにおいて、n個(nは3以上の整数)の光電変換部から得られる信号電荷を、電荷蓄積部に蓄積する。
[0046]
 ここで、制御演算装置107は、少なくとも1種類の露光シーケンスを1フレーム期間内に繰り返し行ってもよい。
[0047]
 ここで、制御演算装置107は、n個の光電変換部の組合せと1個の電荷蓄積部とを対応させ、n個の光電変換部から得られる信号電荷を、対応する電荷蓄積部に蓄積してもよい。
[0048]
 ここで、制御演算装置107は、少なくとも1種類の露光シーケンスにおいて、n個の光電変換部から得られる信号電荷を加算して対応する電荷蓄積部に蓄積してもよい。
[0049]
 また、m種類の露光シーケンスは、互いに、光源からの照射強度、照射時間、照射波長、および撮像素子の露光期間のうち少なくとも1つが異なっていてもよい。
[0050]
 制御演算装置107は、k種類(kは1以上の整数)の露光シーケンス毎に、n個の光電変換部の組合せを変更してもよい。
[0051]
 ここで、前記撮像装置は、前記m種類の露光シーケンスの繰り返し回数を、前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間に基づいて設定してもよい。
[0052]
 ここで、前記撮像装置は、フレーム毎に前記信号電荷の加算を行う前記n個の光電変換部の組合せを変更してもよい。
[0053]
 ここで、前記mは5または6であり、前記複数の光電変換部は行列上に配置され、前記撮像装置は、5または6種類からなる前記露光シーケンスを1フレーム期間にそれぞれ複数回繰り返し、前記n個の光電変換部は、2行2列に配置された4個の前記光電変換部の組合せであってもよい。
[0054]
 ここで、前記撮像装置はTOF(Time Of Flight)型の測距装置であり、前記撮像装置は、前記m種類の露光シーケンスのうち、少なくとも2種類の露光シーケンスにおいて前記電荷蓄積部に蓄積された前記信号電荷を用いて対象物までの距離を算出する距離算出部を備えてもよい。
[0055]
 ここで、前記m種類の露光シーケンスは、長露光シーケンスと短露光シーケンスとを含み、前記長露光シーケンスは、前記短露光シーケンスよりも、前記光源からの照射時間と前記固体撮像素子の露光期間がそれぞれ長く設定され、前記距離算出部は、前記m種類の露光シーケンスに基づいて対象物までの距離を少なくとも2種類算出してもよい。
[0056]
 ここで、前記撮像装置はTOF型の測距装置であり、前記光電変換部は行列上に配置され、前記m種類の露光シーケンスは、第1から第3の長露光シーケンス、および、第1から第3の短露光シーケンスを含み、前記第1から第3の長露光シーケンスにおける前記光源からの照射時間および前記固体撮像素子の露光期間はそれぞれ、前記第1から第3の短露光シーケンスよりも長く、前記第2の長露光シーケンスにおける露光期間は、前記第1の長露光シーケンスにおける露光期間と異なり、前記第2の短露光シーケンスにおける露光期間は、前記第1の短露光シーケンスにおける露光期間と異なり、前記第3の長露光シーケンスおよび前記第3の短露光シーケンスは、前記光源からの照射による反射光成分を含まない背景光を露光し、前記第1から第3の長露光シーケンス、および、第1から第3の短露光シーケンスを1フレーム期間内にそれぞれ複数回繰り返し、前記n個の光電変換部は、2行2列からなる4個の前記光電変換部であり、前記第1から第3の長露光シーケンスにおいて蓄積した前記信号電荷、および、前記第1から第3の短露光シーケンスにおいて加算蓄積した前記信号電荷のそれぞれを用いて対象物までの距離を2種類算出する距離算出部を備えてもよい。
[0057]
 ここで、前記第3の長距離シーケンスおよび前記第3の短距離シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間としてもよい。
[0058]
 (第2の実施形態)
 以下、第2の実施形態に係る撮像装置について、第1の実施形態と異なる点を中心に説明する。第2の実施形態では、直接波としての反射波と間接波としての反射波とが混在するいわゆるマルチパスが生じやすい環境において、マルチパスによる誤測定を抑制または警告する構成例について説明する。そのため、本実施形態に係る撮像装置は、第1の実施形態に係る撮像装置と同様に、図1に示す撮像装置の概略構成をとり、図4A、図4Bに示す固体撮像素子を用い、図2Aから図2Cに示す動作タイミング及び、図5に示す駆動タイミングで動作し、第1の実施形態に係る撮像装置に加え、制御演算装置107が、距離z’の範囲を決定する距離範囲決定部と、距離z’を用いて距離zの補正を行う距離補正部と、をさらに備える。ここで距離zは、長露光シーケンスL1からL3により測定された距離または測定可能な距離範囲をいう。距離z’は、短露光シーケンスS1からS3により測定された距離または測定可能な距離範囲をいう。
[0059]
 距離範囲決定部は、1フレーム毎に距離z’の距離範囲を一定量ずつシフトする全走査モードと、過去のフレームにおける距離zの分布に基づいて距離z’の距離範囲を走査する選択走査モードと、を備える。
[0060]
 全走査モードでは、図13Aに示すように、距離z’の距離範囲120が、距離zの距離範囲の一部と重なるようにΔTe’を決定し(式2より、ΔTe’+Tp’≦Tp)、1フレーム毎に走査を行う。例えば、Tp=4Tp’の場合、フレーム0ではΔTe’=0とすることで、距離z’の距離範囲120を距離範囲Aに設定し、フレーム1ではΔTe’=Tp’とすることで、距離z’の距離範囲120を距離範囲Bに設定し、フレーム2ではΔTe’=2Tp’とすることで、距離z’の距離範囲120を距離範囲Cに設定し、フレーム3ではΔTe’=3Tp’とすることで、距離z’の距離範囲120を距離範囲Dに設定し、フレーム4では再びΔTe’=0とすることで、距離z’の距離範囲120を距離範囲Aに設定し、以下同様の動作を繰り返す。
[0061]
 以上の動作により、全走査モードでは、一定の周期で距離z’の距離範囲120が走査されるため、広い距離範囲に渡り高精度な測距を行うことが可能となる。
[0062]
 一方、選択走査モードでは、図13Bおよび図13Cに示すように、一定の周期で距離zのヒストグラム121を算出し、その度数が閾値以上である距離範囲と重なるように距離z’の距離範囲120を決定し、1フレーム毎に走査を行う。例えば、図13Cの例のように、4フレーム毎に距離zのヒストグラム121を算出する場合、フレーム0における距離zのヒストグラム121では、距離範囲B,Dにおいて度数が閾値を超えるため、フレーム1から4における距離z’の距離範囲は距離範囲B,Dのみを走査する。一方、フレーム4では、距離範囲A,Cにおいて度数が閾値を超えるため、フレーム5から8における距離z’の距離範囲は距離範囲A,Cのみを走査する。
[0063]
 以上の動作により、選択走査モードでは、対象物の距離zに基づいて距離z’の距離範囲を選択的に走査するため、全走査モードと比較して短い周期で高精度な測距を行うことが可能となり、移動する対象物に対する測距の追従性が高い。
[0064]
 なお、注目すべき対象物が撮像される領域が既知である場合、距離zのヒストグラム121を全撮像領域にわたって算出するのではなく、注目すべき対象物が撮像される領域に限定して算出してもよい。この場合、度数が注目すべき対象物の距離付近に集中するため、より効率的に距離z’の距離範囲120を走査することができる。また、注目すべき対象物が複数存在する場合も、それぞれが撮像される領域に対する距離zのヒストグラム121を合算することで同様の動作が可能となる。
[0065]
 距離補正部は、距離z’を用いて距離zの一部を高精度化する高精度モードと、距離z’を用いて距離zにおけるマルチパスの影響を軽減するマルチパス補正モードと、を備える。距離補正部により補正された距離は距離信号115として出力される。
[0066]
 高精度モードでは、高精度化された距離zhを複数フレームに渡って保持し、1フレーム毎に一部の領域を高精度の距離z’で更新し、その他の領域については、距離の変化がある(或いは大きい)場合は低精度の距離zで更新し、距離の変化がない(或いは小さい)場合は元の距離を保持する。例えば、図14に示すように、フレーム0では、距離zhの全領域を距離zで初期化(矢印130)した後、距離z’の距離範囲内となる領域Aについて距離zhを距離z’で更新する(矢印131)。次にフレーム1では、距離z’の距離範囲内となる領域Bについて距離zhを距離z’で更新し(矢印131)、領域A及びCについては距離zhと距離zに差がないため更新しない。同様にフレーム2では、z’の距離範囲内となる領域Cについて距離zhを距離z’で更新し(矢印131)、領域A及びBについては距離zhと距離zに差がないため更新しない。またフレーム3では、距離z’の距離範囲内となる領域Aについて距離zhを距離z’で更新し(矢印131)、領域Bについては距離zhと距離zに差があるため距離zで更新し(矢印132)、領域Cについては距離zhと距離zに差がないため更新しない。
[0067]
 以上の動作により、高精度モードでは、移動する対象物に追従して測距を行いつつ、静止した対象物に対する高い距離精度の測距を行うことができる。
[0068]
 一方、マルチパス補正モードでは、マルチパスの影響が軽減された距離zcを算出する。ここで、マルチパスとは照射光の多重反射のことで、ある対象物がさらに後方にある対象物からの反射光を受け反射することで、測定距離が実距離より後方にずれるという性質を有する。例えば、図15に示すように、対象物A及び対象物Bがそれぞれ距離cΔta/2及び距離cΔtb1/2~cΔtb2/2に存在しているとして、対象物Bからの反射光が対象物Aを経由して観測される場合を考える。まず、長露光シーケンスL1及びL2における対象物Bからの反射光の観測範囲140は距離=0~c(Tp+Te)/2となる。一方、短露光シーケンスS1及びS2における対象物Bからの反射光の観測範囲141は距離=cΔTe’/2~c(ΔTe’+Tp’+Te’)/2となる。ここで、Te’<Te、かつΔTe’+Tp’≦Tpより、(ΔTe’+Tp’+Te’)≦(Tp+Te)となり、境界条件を除き、観測範囲140と比べて観測範囲141の方が対象物Bからの反射光を含まないため、距離z’は距離zよりもマルチパスの影響によるずれが少なくなる。したがって、マルチパス補正モードでは、距離z’の距離範囲内にある領域について、距離zと距離z’の差が、あらかじめ定めた値よりも大きければマルチパスの影響下にあると判断して、距離zc=z’とし、反対にマルチパスの影響下にないと判断した場合は、距離zc=zとする。
[0069]
 以上の動作により、マルチパス補正モードでは、マルチパスの影響下にある領域の検出を行い、マルチパスの影響がより少ない距離z’を選択的に出力することで、マルチパスの影響を軽減することができる。
[0070]
 なお、マルチパスの影響下にある領域について、単純に距離z’を選択し出力するのではなく、マルチパスの影響度に応じて距離z’と距離zの加重平均を取り出力するようにしてもよい。また、マルチパスの影響下にあると判断した場合に、距離信号115とは別に異常を通知する信号を出力する異常通知部を備えてもよい。
[0071]
 以上の距離範囲決定部、及び距離補正部により、2種類の距離z及びz’を組み合わせることで、広い距離範囲の測距と高精度な測距の両立が可能となる。また、マルチパスの影響を軽減することで、より正確な測距が行える。
[0072]
 以上説明してきたように、第2の実施形態に係る撮像装置は、前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出した距離を、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出した距離を用いて補正する距離補正部を備える。
[0073]
 ここで、前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出した距離の一部と、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出した距離との差分が規定の範囲を超えた場合に異常を通知する異常通知部を備えてもよい。
[0074]
 ここで、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスにおける露光期間を短露光期間とすると、前記短露光期間は、フレーム毎に変更され、前記短露光期間のフレーム毎の変更によって、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出される距離範囲は、前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出される距離範囲の一部と重なるよう制限されたうえで走査されてもよい。
[0075]
 ここで、前記短露光シーケンス、または第1から第3の短露光シーケンスにおける露光期間は、過去フレームの前記第1から第3の長露光シーケンスより算出した距離に基づいて設定されてもよい。
[0076]
 (第3の実施形態)
 以下、第3の実施形態に係る撮像装置について、第1の実施形態と異なる点を中心に説明する。第3の実施形態では、強い照射光と弱い照射光とを利用することにより測距のダイナミックレンジを拡大する構成例について説明する。ダイナミックレンジの拡大は、例えば、近くの反射率の高い物体から遠く反射率の低い物体まで測距可能な範囲を広げることをいう。そのため、本実施形態に係る撮像装置は、第1の実施形態に係る撮像装置と同様に、図1に示す撮像装置の概略構成をとり、図4に示す固体撮像素子を用いるが、第1の実施形態に係る撮像装置と異なり、赤外光源103の照射強度が異なる複数の露光シーケンスを用いて測距を行う。
[0077]
 図16は、本実施形態に係る撮像装置における動作タイミング及び動作原理を説明する図である。図16A及び図16Bに示すように、撮像装置の動作は、強露光シーケンスK1からK2、弱露光シーケンスJ1からJ2、及び背景露光シーケンスB0の計5種類の露光シーケンスからなる。これら露光シーケンスは、制御演算装置107が赤外光源103の照射タイミングの制御112及び、固体撮像素子106の露光タイミングの制御113を行うことで実現され、各露光シーケンスそれぞれにおいて1種類の信号電荷を得る。ここで、照射光110のパルス幅(照射時間)をTp、照射光110と反射光111との間の遅延をΔt、露光期間幅をTeとする。
[0078]
 まず、図16Aに示すように、強露光シーケンスK1において、制御演算装置107は、照射光110の照射強度がAHighとなり、露光期間が照射光110の立ち上がりから反射光111の立下りまでを含むように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S0+BGを得る。次に、強露光シーケンスK2において、制御演算装置107は、照射光110の照射強度がAHighとなり、露光期間が照射光110の立ち下がりから開始するように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S1+BGを得る。また、背景露光シーケンスB0において、制御演算装置107は、照射光110を照射せずに露光だけを行うよう照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷BGを得る。その後、制御演算装置107は、S0+BG及びS1+BGからBGを減算することにより、背景光に依存しない信号電荷S0及びS1を取り出す。
[0079]
 同様に、図16Bに示すように、弱露光シーケンスJ1において、制御演算装置107は、照射光110の照射強度がALow<AHighとなり、露光期間が照射光110の立ち上がりから反射光111の立下りまでを含むように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷S0’+BGを得る。次に、弱露光シーケンスJ2において、制御演算装置107は、照射光110の照射強度がALowとなり、露光期間が照射光110の立ち下がりから開始するように照射タイミングの制御112及び露光タイミングの制御113を行い、反射光111に基づく信号電荷はS1’+BGを得る。また、背景露光シーケンスB0の動作は図16Aと同様である。その後、制御演算装置107は、S0’+BG及びS1’+BGからBGを減算することにより、背景光に依存しない信号電荷S0’及びS1’を取り出す。
[0080]
 また、図16A及び図16Bでは説明の都合上、各露光シーケンスをそれぞれ1回のみ示しているが、実施上はS/Nの観点から十分な量の信号電荷を得るため、図17に示すように各露光シーケンスを1フレーム期間にα×β回繰り返し行う。
[0081]
 なお、赤外光源103の特性上、AHigh、及びALowを所望の強度に調整することが困難な場合は、強露光シーケンスK1からK2の繰り返しをα High×β回、弱露光シーケンスJ1からJ2の繰り返しをα Low×β回とすることで、1フレーム期間における総光量を個別に調整してもよい。この場合、強露光シーケンスK1からK2と、弱露光シーケンスJ1からJ2とで、信号電荷に含まれる背景光成分の電荷量が異なるため、減算するBGに対してα High:α Lowの比率で補正を行う。
[0082]
 次に、図6及び図7から図12を用いて、各露光シーケンスにおける固体撮像素子106の動作タイミングについて説明する。図5は、1フレーム期間を構成する6種類の露光シーケンスにおける、光電変換部4及び垂直転送部5の駆動タイミングの一例を示しており、図7から図12は、信号電荷の加算及び転送のイメージを示している。なお、図5では、説明を簡単にするため、β=1回分の動作を抜き出しており、各露光シーケンスの繰り返しを2回ずつ(α High=α Low=2)としている。また、図7から図12では、信号電荷の読出し及び転送の方向を矢印で示している。
[0083]
 まず、図6の強露光シーケンスK1では、φV1及びφV3の電圧をHighレベル、φV2及びφV4の電圧をLowレベルにすることで、奇数列の垂直転送部5のV1及びV3に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間TeだけφSubの電圧をLowレベルにすることで、図7(a)に示すように、4つの光電変換部4からの信号電荷31が奇数列の垂直転送部5に蓄積される。なお、信号電荷31には照射光成分31a、背景光成分31bが含まれる。また、信号電荷31は垂直転送部5のV1及びV3に分かれて蓄積されており、図6の時刻T1においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図7(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図7(c)に示すように、信号電荷31は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0084]
 次に、図6の弱露光シーケンスJ1では、φV2及びφV4の電圧をHighレベル、φV1及びφV3の電圧をLowレベルにすることで、偶数列の垂直転送部5のV2及びV4に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間TeだけφSubの電圧をLowレベルにすることで、図8(a)に示すように、4つの光電変換部4からの信号電荷32が偶数列の垂直転送部5に蓄積される。なお、信号電荷32には照射光成分32a、背景光成分32bが含まれる。また、信号電荷31及び信号電荷32は、垂直転送部5のV2及びV4に分かれて蓄積されており、図6の時刻T2においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図8(b)に示すように、それぞれが1パケットとなる。その後、図8(c)に示すように、信号電荷31及び信号電荷32は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0085]
 次に、図6の強露光シーケンスK2では、露光期間の開始時刻をずらして強露光シーケンスK1と同様の駆動を行うことで、図9(a)に示すように、4つの光電変換部4からの信号電荷33が奇数列の垂直転送部5に蓄積される。このとき、信号電荷31は、先の順方向転送によりV5及びV6に移動しているため、信号電荷33と混合されることはない。なお、信号電荷33には照射光成分33a、背景光成分33bが含まれる。また、信号電荷33は垂直転送部5のV1及びV3に分かれて蓄積されており、図6の時刻T3においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図9(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図9(c)に示すように、信号電荷33は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0086]
 次に、図6の弱露光シーケンスJ2では、露光期間の開始時刻をずらして弱露光シーケンスJ1と同様の駆動を行うことで、図10(a)に示すように、4つの光電変換部4からの信号電荷34が偶数列の垂直転送部5に蓄積される。このとき、信号電荷32は、先の順方向転送によりV5及びV6に蓄積されているため、信号電荷34と混合されることはない。なお、信号電荷34には照射光成分34a、背景光成分34bが含まれる。また、信号電荷33及び信号電荷34は、垂直転送部5のV2及びV4に分かれて蓄積されており、図6の時刻T4においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図10(b)に示すように、それぞれが1パケットとなる。その後、図10(c)に示すように、信号電荷33及び信号電荷34は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0087]
 最後に、図6の背景露光シーケンスB0では、赤外光源からの照射を行わずに強露光シーケンスK1と同様の駆動を行うことで、図11(a)に示すように、4つの光電変換部4からの信号電荷35が奇数列の垂直転送部5に蓄積される。このとき、信号電荷33は、先の順方向転送によりV5及びV6に移動しているため、信号電荷35と混合されることはない。また、信号電荷35は垂直転送部5のV1及びV3に分かれて蓄積されており、図6の時刻T5においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図11(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図12(c)に示すように、信号電荷31から信号電荷35は逆方向(図面上方向)に垂直転送され、信号電荷31及び信号電荷32がV1からV3に蓄積された状態、即ち再び強露光シーケンスK1が実行可能な状態となる。なお、信号電荷36の位置は空パケットとなり、使用されない。
[0088]
 以上の動作をβ回の繰りし行うことで、1フレーム期間分の反射光111に対する5種類の信号電荷を、高感度かつ独立に垂直転送部5に蓄積することが可能である。
[0089]
 なお、強露光シーケンスK1からK2、及び弱露光シーケンスJ1からJ2における照射光110の照射強度の違いから、信号電荷量S0+BG及びS1+BGと、S0’+BG及びS1’+BGは、対象物の反射率及び距離に対して感度差を持つ。
[0090]
 式1及び式3は、本実施形態に係る制御演算装置107における2種類の距離z及びz’の算出部を示す式である。光速をcとすると、式1より、距離zは強露光シーケンスK1から2及び背景露光シーケンスB0より得られる背景光の影響を除去した信号電荷S0及びS1を用いて算出される。同様に、式3より、距離z’は弱露光シーケンスJ1からJ2及び背景露光シーケンスB0より得られる背景光の影響を除去した信号電荷S0’及びS1’を用いて算出される。なお、S0=零レベルの場合は除算が正しく行えないため、距離zは算出不可である。また、S0+BG及びS1+BG=飽和レベルの場合は、S0及びBGが正しく取り出せないため、距離zは算出不可である。同様に、S1=零レベル、S0’+BG及びS1’+BG=飽和レベルの場合、距離z’は算出不可である。
[0091]
 z=(c×Tp/2)×(S1/S0) ・・・式1(再掲)
 z’=(c×Tp/2)×(S1’/S0’) ・・・式3
[0092]
 よって、制御演算装置107は、5種類の信号電荷の量に応じて、2種類の距離z及びz’のいずれを算出すべきかを選択する。例えば図18に示すように、まず条件1において、S0+BGまたはS1+BGが飽和レベルの場合は条件2へ、そうでなければ条件3へ進む。次に条件2において、S0’+BGが飽和レベル、またはS0’が零レベルの場合は測距不可とし、そうでなければz’を採用する。また条件3において、S0が零レベルの場合はzを採用し、そうでなければ測距不可とする。
[0093]
 以上の距離算出部の選択により、対象物の反射率や距離の影響で信号電荷が飽和レベル及び零レベルになり、測距不可となる領域を最小限に抑えることができる。
[0094]
 以上の動作により、1フレーム期間に5種類の信号電荷を垂直転送部に独立に蓄積することができる。また、4つの光電変換部の信号電荷を加算しているため、従来の2つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に2倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、5種類の信号電荷から、対象物の反射率や距離に応じた距離算出部を選択することができ、撮影対象空間を選ばない測距装置を実現できる。
[0095]
 (第4の実施形態)
 第4の実施形態の撮像装置は、対象物として、生体等の光散乱体を対象としている。より具体的には、本実施形態の撮像装置は、異なるピーク波長を有する2種類の赤外光を利用することにより、例えば、観測すべき被検者の表皮と脳内の血流変化量の分布と、その時間変化とを検出する。これにより、当該分布を示す、静止画像または動画像の2次元画像を生成することができる。当該画像の情報を利用することにより、例えば、被検者の脳活動(例えば、集中度または感情等)を推定することができる。
[0096]
 本実施形態の撮像装置は、上記のような生体情報を非接触でしかも同一フィールド内で検出することができるため、検出に伴う煩わしさを解消することができ、従来技術と比較して脳血流情報の検出精度を大きく向上させることができる。
[0097]
 以下、このような高精度の検出を可能とする本実施形態の撮像装置について説明する。
[0098]
 図19は、本実施形態における撮像装置の構成を模式的に示す図である。図19には、撮像装置だけでなく、検出対象である対象物1901(人体頭部)や撮影空間1900も示されている。
[0099]
 本実施形態は、それぞれ互いに異なる波長のパルス光を出射する2つの光源を用いる点が実施形態1~3と異なっている。実施形態4における撮像装置を用いて、血流のヘモグロビン情報を求める例について説明する。
[0100]
 本実施形態の撮像装置は第1の光源1903と、第2の光源1904と、光学系1905と、光学フィルタ1906と固体撮像素子1907と、制御演算装置1908とを備える。
[0101]
 第1の光源1903、第2の光源1904は、対象物1901が位置する方向に向けてパルス光を出射する。本実施形態では、第1の光源1903は、中心波長が750nmの狭帯域のパルス光を出射するレーザ光源であり、第2の光源は、中心波長が850nmの狭帯域のパルス光を出射するレーザ光源である。対象物1901からは表面反射及び内部で拡散されたのち反射される反射光成分1912が光学系1905に入射される。光学フィルタ1906は、光学系1905と固体撮像素子1907との間に配置され、第1の光源1903、第2の光源1904からの光の波長に相当する波長の光のみを主に透過させる。制御演算装置1908は、第1の光源1903、第2の光源1904、および固体撮像素子1907に接続され、これらの動作を制御する。より具体的には、制御演算装置1908は、第1の光源1903、第2の光源1904の発光タイミング1913と、固体撮像素子1907の各画素の信号蓄積および信号排出のタイミング1914とを同期して制御する。
[0102]
 制御演算装置1908は、固体撮像素子1907に接続され、固体撮像素子1907から出力された電気信号1915に基づいて、画像データ1916(例えば2次元の動画像のデータ)を生成して出力する。生成された画像データは、例えば不図示のディスプレイに送られ、脳血流の状態を示す画像がディスプレイに表示され得る。
[0103]
 これにより、生体内部の頭皮および脳血流の情報を高い精度で検出することができ、特に、血流に含まれる酸素化ヘモグロビンと脱酸素化ヘモグロビンの変化量を検出することができる。
[0104]
 以下、各構成要素とその動作をより詳細に説明する。
[0105]
 本実施形態における第1の光源1903は、中心波長が750nmの狭帯域のパルス光を出射、第2の光源1904は、中心波長が750nmの狭帯域のパルス光を出射するレーザーパルス光源である。第1の光源1903及び第2の光源1904は、後述するように、制御演算装置1908によって決定された所定のパターンでパルス光を繰り返し出射する。第1の光源1903及び第2の光源1904が出射するパルス光は、例えば、立ち上り時間である立ち上りを開始してから完全に立ち上がるまでの時間と、立ち下り時間である立ち下りを開始してから完全に立ち下るまでの時間がゼロに近い矩形波状の光であり得る。
[0106]
 第1の光源1903及び第2の光源1904は、パルス光の立ち上り部分と立ち下り部分が時間軸に対して垂直に近い(即ち、時間応答特性が急進な)レーザーダイオード(LD)などの光源であり得る。第1の光源1903及び第2の光源1904は、例えば半導体レーザ、固体レーザ、ファイバレーザなどの、パルス光を発する任意の種類の光源が用いられ得る。
[0107]
 本実施形態の撮像装置では、対象物1901が人体であるため、網膜への影響が考慮された第1の光源1903及び第2の光源1904が用いられ得る。例えば、レーザ光源を使用する場合、各国で策定されているレーザ安全基準のクラス1を満足する光源が用いられ得る。クラス1が満足されている場合、被爆放出限界(AEL)が1mWを下回るほどの低照度の光が対象物1901に照射される。第1の光源1903及び第2の光源1904自体がクラス1を満たしていなくても、他の光学素子との組合せによってクラス1が満たされていてもよい。例えば、拡散板またはNDフィルタなどの素子が第1の光源1903及び第2の光源1904と対象物102との間に配置され、光が拡散または減衰されることによってレーザ安全基準のクラス1が満たされてもよい。
[0108]
 第1の光源1903及び第2の光源1904が発する光の波長は、750nm及び850nmに限定されない。例えば650nm以上950nm以下の波長範囲に含まれる任意の波長の光(赤色光または近赤外光)が用いられ得る。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、対象物1901の皮膚及び脳の血流変化を検出する場合、使用される光は主に酸素化ヘモグロビンおよび脱酸素化ヘモグロビンに吸収されると考えられ、それぞれ波長に対する光の吸収度合いは異なる。血流に変化が生じた場合、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの濃度が変化すると考えられるため、光の吸収度合いも変化する。したがって、血流が変化する前後では検出される光量も変化する。
[0109]
 なお、本開示において、対象物1901は生体に限定されない。例えば、ガス、薬品、食品などの他の種類の光散乱体を対象物1901にすることも可能である。第1の光源1903及び第2の光源1904が発する光の波長域は、近赤外線の波長域(約700nm以上約2500nm以下)に限定されず、例えば可視光の波長域(約400nm以上約700nm以下)、紫外線の波長域(約10nm以上約400nm以下)であってもよい。用途によっては、中赤外線、遠赤外線、またはテラヘルツ波もしくはミリ波等の電波域の電磁波を使用することもできる。
[0110]
 図20で示す通り、第1の光源1903及び第2の光源1904から対象物1901に到達した光は、対象物1901の表面で反射する表面反射成分I1と、対象物1901の内部で1回反射もしくは散乱、または多重散乱する内部散乱成分I2とに分かれる。表面反射成分I1は、直接反射成分、拡散反射成分の2つを含む。直接反射成分は、入射角と等しい反射角で反射される成分である。拡散反射成分は、表面の凹凸形状に起因して拡散して反射される成分である。
[0111]
 本開示では、対象物1901の表面で反射する表面反射成分I1は、これら2つの成分を含むものとする。また、内部散乱成分I2は、表面近傍の内部組織によって散乱して反射する成分を含む。表面反射成分I1および内部散乱成分I2は、反射または散乱によって進行方向が変化する。
[0112]
 この時、対象物1901である頭部に照射された750nm及び850nmの波長の光の大部分のエネルギーは、対象物1901の表面で反射される。しかし、ごく一部の成分は対象物1901の深部まで散乱しながら到達し、さらに散乱を継続して、極少量のエネルギー成分が内部散乱成分をより多く含んで、再び頭部の額表面に到達する。その光の一部は、光学系1905および光学フィルタ1906を透過して、固体撮像素子1907に到達する。
[0113]
 ここで対象物1901の深部まで散乱しながら到達するのに時間を有するため、反射光の立ち上がり近傍を露光した信号には対象物1901の表面情報が多く含まれ、反射光の立ち下がり近傍を露光した信号には対象物1901の深部情報が多く含まれることが極めて重要である。
[0114]
 本実施形態における光学系1905は、固体撮像素子1907に光を効率よく結像するためのものであり、複数枚数を組み合わせたものであってもよく、一枚のレンズであってもよい。また、テレセントリックな光学系であってもよい。対象物の画角を調節するために魚眼レンズや広角レンズを用いたり、ズームレンズを用いたりしても良い。また、明るさを調節するために、レンズの前後又は途中に瞳を設けても良い。
[0115]
 図21は、光学フィルタ1906の分光透過率の例を示すグラフである。図示されるように、光学フィルタ1906は、第1の光源1903から出射される750nmを中心波長とする狭帯域の光と、第2の光源1904から出射される850nmを中心波長とする狭帯域の光とを透過させ、それ以外の波長の光を遮光する。このような光学フィルタ1906を配置することにより、外乱光(例えば背景光1917)が固体撮像素子1907に入射することを抑制できる。
[0116]
 固体撮像素子1907は、第1の光源1903及び第2の光源1904から出射され対象物1901で反射された光を受光する。固体撮像素子1907は、撮像面上に2次元に配列された複数の画素を有し、対象物1901の内部の2次元情報を取得する。固体撮像素子1907は、例えば、CCDイメージセンサまたはCMOSイメージセンサであり得る。
[0117]
 固体撮像素子1907は、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する1回の信号蓄積の期間である露光期間の長さに相当するシャッタ幅と、1回の露光期間が終了してから次の露光期間が開始するまでの時間とを制御する回路である。本実施例において、電子シャッタが露光している状態を「OPEN」と表現し、電子シャッタが露光を停止している状態を「CLOSE」と表現する。固体撮像素子1907は、電子シャッタによって1回の露光期間が終了してから次の露光期間が開始するまでの時間をサブナノ秒(例えば、30psから1ns)の時間スケールで調整できる。
[0118]
 対象物1901が例えば人の額であり、脳血流などの情報を検出する用途では、対象物1901の内部での光の減衰率は非常に大きく、例えば、100万分の1程度に減衰し得る。このため、内部散乱成分I2を検出するには、1パルスの照射だけでは光量が不足する場合がある。この場合、第1の光源1903及び第2の光源1904がパルス光を複数回発光し、それに応じて固体撮像素子1907も電子シャッタによって複数回露光するようにしてもよい。そのような動作によれば、検出信号が積算されることにより、感度を向上させることができる。
[0119]
 図4Aは本実施例の固体撮像素子の構成図である。第1の実施例と同様の構成であるが動作が異なる。ここでは、図面の簡略化のために、垂直方向に4画素分、水平方向に4画素分のみ示している。
[0120]
 この固体撮像素子は、半導体基板に行列状に配置され、入射光を信号電荷に変換する複数の光電変換部(フォトダイオード)4と、光電変換部4から読み出された信号電荷を蓄積し、列方向(垂直方向)に転送する垂直転送部5と、垂直転送部5によって転送された信号電荷を行方向(水平方向)に転送する水平転送部10と、水平転送部10によって転送された信号電荷を出力する電荷検出部11とを備える。
[0121]
 ここで、固体撮像素子はインターライントランスファー方式のCCDであり、例えば、垂直転送部5は、垂直方向に隣接する2つの光電変換部4あたりに垂直転送電極8が10ゲートある10相駆動であり、水平転送部10は2相駆動である。垂直転送電極8のうちφV1及びφV3は奇数列の垂直転送部5に接続された4つの光電変換部4に対する読出し電極を兼ねており、φV2及びφV4は偶数列の垂直転送部5に接続された4つの光電変換部4に対する読出し電極を兼ねた構成になっている。これにより、4つの光電変換部4に溜まった信号電荷は、φV1及びφV3に高電圧が印可されている場合は、奇数列の垂直転送部5の、例えば信号パケット9aで表される位置に加算して読出され、φV2及びφV4に高電圧が印可されている場合は、偶数列の垂直転送部5の、例えば信号パケット9bで表される位置に加算して読出される。その後、垂直転送部5上の信号電荷は、垂直転送電極8への電圧印可により列方向に転送される。
[0122]
 また、光電変換部4には、信号電荷を掃き捨てるためのVOD(縦型オーバーフロードレイン)12が備えられている。ただし、本開示の理解を容易とするため、VOD12は画素の面横方向に記載しているが、実際には画素のバルク方向(半導体基板の深さ方向)に構成されている。VOD12の基板に接続されている電極φSubに高電圧が印加されると全ての光電変換部4の信号電荷は一括して基板に排出される構成となっている。
[0123]
 図22A及び図22Bは、第4の実施形態に係る脳血流測定装置における動作タイミング及び動作原理を説明する図である。動作は750nmシーケンスP1からP3及び、850nmシーケンスQ1からQ3の、計6種類の露光シーケンスからなり、各露光シーケンスにおいて得られる信号電荷量に基づき、2種類の信号を算出する。ここで、750nmの照射光1910及び850nmの照射光1911のパルス幅(照射時間)を各々Tp及びTp’とする。750nmシーケンスP1からP3の露光期間幅をTe、850nmシーケンスQ1からQ3の露光期間をTe’、750nmシーケンスP1からP3の第1光源の反射光に含まれる背景光成分をBG、850nmシーケンスQ1からQ3の第2光源の反射光に含まれる背景光成分をBG’とする。
[0124]
 まず、図22Aに示すように、750nmシーケンスP1において、露光期間Teは、第1の光源1903から照射される照射光1910の反射光1912の立ち上がり近傍を含んでおり、反射光1912に基づく信号電荷の量はS0+BGである。一方、750nmシーケンスP2において露光期間Teは、第1の光源1903から照射される照射光1910の反射光1912の立ち下がり近傍を含んでおり、反射光1912に基づく信号電荷の量はS1+BGである。また、750nmシーケンスP3においては照射光1910がないため、反射光1912に基づく信号電荷の量はBGである。したがって、S0+BG及びS1+BGからBGを減算することにより、背景光に依存しない信号電荷S0及びS1を取り出すことができる。
[0125]
 同様に、図22Bに示すように、850nmシーケンスQ1において露光期間Te’は、第2の光源1904から照射される照射光1911の反射光1912の立ち上がり近傍を含んでおり、反射光1912に基づく信号電荷の量はS0’+BG’である。一方、850nmシーケンスQ2において露光期間Te’は、第2の光源1904から照射される照射光1911の反射光1912の立ち下がり近傍を含んでおり、反射光1912に基づく信号電荷の量はS1’+BG’である。また、850nmシーケンスQ3においては照射光1911がないため、反射光1912に基づく信号電荷の量はBG’である。したがって、S0’+BG’及びS1’+BG’からBG’を減算することにより、背景光に依存しない信号電荷S0’及びS1’を取り出すことができる。
[0126]
 また、図22A及び図22Bでは、750nmシーケンスP3及び850nmシーケンスQ3において、第1の光源1903及び第2の光源1904からの照射を行っていないが、図22Cに示すように照射を行ったうえで、反射光1912に含まれる照射光成分が無視できるレベルまで減衰する時間ΔTbg及びΔTbg’だけ露光期間の開始時間を遅延させることで、背景光成分のみを露光するようにしてもよい。
[0127]
 また、図22A及び図22Bでは説明の都合上、各露光シーケンスをそれぞれ1回のみ示しているが、実施上はS/Nの観点から十分な量の信号電荷を得るため、図23に示すように750nmシーケンスP1からP3を1フレーム期間にα 750nm×β回、850nmシーケンスQ1からQ3をα 850nm×β回繰り返し行う。ここで、750nmシーケンスP1からP3と850nmシーケンスQ1からQ3に対して光源パワーや固体撮像素子の感度等によるレベル差をα 750nmとα 850nmを各々独立に設定することで補正することも可能である。
[0128]
 次に、図24及び図7から図12を用いて、図4Aの固体撮像素子の動作タイミングについて説明する。図6は、1フレーム期間を構成する6種類の露光シーケンスにおける、光電変換部4及び垂直転送部5の駆動タイミングの一例を示しており、図7から図12は、信号電荷の加算及び転送のイメージを示している。なお、図24では、説明を簡単にするため、β=1回分の動作を抜き出しており、各露光シーケンスの繰り返しを2回ずつ(α 750nm=α 850nm=2)としている。また、図7から図12では、信号電荷の読出し及び転送の方向を矢印で示している。
[0129]
 まず、図24の750nmシーケンスP1では、φV1及びφV3の電圧をHighレベル、φV2及びφV4の電圧をLowレベルにすることで、奇数列の垂直転送部5のV1及びV3に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間TeだけφSubの電圧をLowレベルにすることで、図7(a)に示すように、4つの光電変換部4からの信号電荷31が奇数列の垂直転送部5に蓄積される。なお、信号電荷31には照射光成分31a、背景光成分31bが含まれる。また、信号電荷31は垂直転送部5のV1及びV3に分かれて蓄積されており、図23の時刻T1においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図7(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図7(c)に示すように、信号電荷31は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0130]
 次に、図24の850nmシーケンスQ1では、φV2及びφV4の電圧をHighレベル、φV1及びφV3の電圧をLowレベルにすることで、偶数列の垂直転送部5のV2及びV4に接続された4つの光電変換部4から信号電荷を読み出せる状態になる。ここで、照射光に同期して露光期間Te’だけφSubの電圧をLowレベルにすることで、図8(a)に示すように、4つの光電変換部4からの信号電荷32が偶数列の垂直転送部5に蓄積される。なお、信号電荷32には照射光成分32a、背景光成分32bが含まれる。また、信号電荷31及び信号電荷32は、垂直転送部5のV2及びV4に分かれて蓄積されており、図6の時刻T2においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図8(b)に示すように、それぞれが1パケットとなる。その後、図8(c)に示すように、信号電荷31及び信号電荷32は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0131]
 次に、図24の750nmシーケンスP2では、露光期間の開始時刻をずらして750nmシーケンスP1と同様の駆動を行うことで、図9(a)に示すように、4つの光電変換部4からの信号電荷33が奇数列の垂直転送部5に蓄積される。このとき、信号電荷31は、先の順方向転送によりV5及びV6に移動しているため、信号電荷33と混合されることはない。なお、信号電荷33には照射光成分33a、背景光成分33bが含まれる。また、信号電荷33は垂直転送部5のV1及びV3に分かれて蓄積されており、図24の時刻T3においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図9(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図9(c)に示すように、信号電荷33は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0132]
 次に、図24の850nmシーケンスQ2では、露光期間の開始時刻をずらして850nmシーケンスQ1と同様の駆動を行うことで、図10(a)に示すように、4つの光電変換部4からの信号電荷34が偶数列の垂直転送部5に蓄積される。このとき、信号電荷32は、先の順方向転送によりV5及びV6に蓄積されているため、信号電荷34と混合されることはない。なお、信号電荷34には照射光成分34a、背景光成分34bが含まれる。また、信号電荷33及び信号電荷34は、垂直転送部5のV2及びV4に分かれて蓄積されており、図24の時刻T4においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図10(b)に示すように、それぞれが1パケットとなる。その後、図10(c)に示すように、信号電荷33及び信号電荷34は順方向(図面下方向)に垂直転送され、V5及びV6に蓄積された状態になる。
[0133]
 次に、図24の750nmシーケンスP3では、赤外光源からの照射を行わずに750nmシーケンスP1と同様の駆動を行うことで、図11(a)に示すように、4つの光電変換部4からの信号電荷35が奇数列の垂直転送部5に蓄積される。このとき、信号電荷33は、先の順方向転送によりV5及びV6に移動しているため、信号電荷35と混合されることはない。また、信号電荷35は垂直転送部5のV1及びV3に分かれて蓄積されており、図6の時刻T5においてφV1、φV2、及びφV3の電圧をMiddleレベルにすることで、図11(b)に示すように1パケットとなり、4つの光電変換部4からの信号電荷を加算したことになる。その後、図11(c)に示すように、信号電荷35は順方向(図面下方向)に垂直転送され、V2からV4に蓄積された状態になる。
[0134]
 最後に、図24の850nmシーケンスQ3では、赤外光源からの照射を行わずに850nmシーケンスQ1と同様の駆動を行うことで、図12(a)に示すように、4つの光電変換部4からの信号電荷36が偶数列の垂直転送部5に蓄積される。このとき、信号電荷34は、先の順方向転送によりV5及びV6に蓄積されているため、信号電荷36と混合されることはない。また、信号電荷35及び信号電荷36は、垂直転送部5のV2及びV4に分かれて蓄積されており、図24の時刻T6においてφV2、φV3、及びφV4の電圧をMiddleレベルにすることで、図10(b)に示すように、それぞれが1パケットとなる。その後、図12(c)に示すように、信号電荷31から信号電荷36は逆方向(図面上方向)に垂直転送され、信号電荷31及び信号電荷32がV1からV3に蓄積された状態になる。これにより、再び750nmシーケンスP1が実行可能となり、β回の繰りし動作を行う。
[0135]
 このようにして、対象物1901の表面情報を多く含む精度の高いS0及びS0’、対象物1901の深部情報をより多く含む精度の高いS1及びS1’が固体撮像素子から出力されることになる。
[0136]
 なお、本実施形態では、CCD型のイメージセンサの例で説明したが、固体撮像素子1907はCMOS型であっても、単一光子計数型素子であっても、増幅型イメージセンサであるEMCCD、ICCDであっても構わない。
[0137]
 制御演算装置1908は、例えば、マイクロプロセッサおよびメモリ、ハードロジック回路の組合せ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。
[0138]
 また前期ハードロジック回路は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブルロジックデバイス(PLD)等であり得る。
[0139]
 制御演算装置1908は第1の光源1903及び第2の光源1904への点滅指示、固体撮像素子1907への撮像指示、及び固体撮像素子からの信号の演算処理も司る。
[0140]
 制御演算装置1908の信号処理部は、固体撮像素子1907から出力された画像信号を処理する回路であり、本実施形態では固体撮像素子1907から出力された信号に基づき、皮膚及び脳血流の時間変化を示す動画像データを生成する。そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることで脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。
[0141]
 脳血流量または血流内成分(例えばヘモグロビン)の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分(例えば、快、不快)、感情(例えば、安心、不安、悲しみ、憤りなど)、健康状態(例えば、元気、倦怠)、温度感覚(例えば、暑い、寒い、蒸し暑い)などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。制御演算装置1908の信号処理部は、脳血流量などの変化に基づいて、被検者の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。
[0142]
 固体撮像素子1907から制御演算装置1908に送られた、フレーム単位に蓄積された反射光の立ち上り近傍を露光した信号S0及びS0’には主に皮膚の血流変化の情報が含まれ、反射光の立ち下がり近傍を露光した信号S1及びS1’には主に皮膚と脳の血流変化の情報が含まれる。そのため、脳の血流変化の情報のみを抽出するには、これらの信号を用いて、皮膚の血流変化の情報と脳の血流変化の情報とを分離すればよい。
[0143]
 図25に示すように、750nmと850nmの2波長の光源を使用することで、酸素化ヘモグロビン(HbO の実線)と脱酸素化ヘモグロビン(Hbの点線)の赤外線における分子吸収計数が805nmを境に反転しており、805nmの前後の2波長を照射して、その反射光を分析することにより、酸素化ヘモグロビンと脱酸素化ヘモグロビンの変化量を求めることが可能となる。なお、図25は、文部科学省のウェブ・ページ中の「第3章 健康なくらしに寄与する光 3 光を用いた非侵襲生体診断」から引用している。
[0144]
 本発明者らは、皮膚血流変化と脳血流変化はどちらも血管又は毛細血管の膨張・収縮活動に伴うものであり、皮膚及び脳それぞれの血管分布は異なることに着目し、皮膚の血流変化の分布と脳の血流変化の分布とは無相関の関係にあると考えた。この考えに基づき、反射光の立ち上がり成分の信号から作られる画像及び立ち下がり成分の信号から作られる画像にそれぞれ映し出される信号を用いた演算によって、皮膚の血流変化の画像と脳の血流変化の画像とを分離した。以下に、その詳細について説明する。
[0145]
 立ち上がり成分の信号と立ち下がり成分の信号には、それぞれ皮膚血流変化の情報と脳血流変化の情報とが異なる比率で含まれ、以下の理論式(1)として表される。
[0146]
[数1]


[0147]
[数2]


[0148]
 ここで、a、b、c、d、e、f、g、hは係数を示し、Ss750nmとSb750nmは750nmの波長で照射した際の皮膚血流変化の成分と脳血流変化の成分を示し、Ss850nmとSb850nmは850nmの波長で照射した際の皮膚血流変化の成分と脳血流変化の成分を示す。すなわち、上記式の左辺は固体撮像素子で検出した既知の画素信号値であり、右辺は未知数である。
[0149]
 例えば、立ち上がり成分は皮膚血流変化の成分で成り立つと仮定すると、a=1、b=0、e=1、f=0、Ss750nm=S0、Ss850nm=S0’が代入され、cとd、gとh及びSb750nm、Sb850nmは未知数となる。このとき、左辺と右辺が等しくなるような未知数の組合せは多数存在する。ここで、皮膚血流変化の分布と脳血流変化の分布とは無相関であることを活かし、皮膚の血流変化Ss750nm、Ss850nmと脳の血流変化Sb750nm、Sb850nmの全画素成分において相関係数が0に最も近くなるような係数cとd、gとh及びSb750nm、Sb850nmの値を抽出する。
[0150]
 これにより求まったSs750nmとSb750nmの信号は、それぞれ750nmの波長の光を照射した際の皮膚の血流変化及び脳の血流変化を、Ss850nmとSb850nmの信号は、それぞれ850nmの波長の光を照射した際の皮膚の血流変化及び脳の血流変化を示す。
[0151]
 今回、立ち上がり成分は皮膚血流変化の成分に等しい前提で説明したが、若干の脳血流成分も含むことも考えられるため、aとb及びeとfを変数として扱ってもよい。
[0152]
 式(1)及び式(2)では係数を求めるために皮膚血流変化と脳血流変化の分布の相関性を利用したが、独立成分分析等の多変量解析を用いても良い。また、ヒトと同じような光学特性を持つファントムを使って皮膚血流変化と脳血流変化を分離できる最適なa、b、c、d及びe、f、g、hを予め求めても良い。
[0153]
 また、皮膚血流の変化と脳血流の変化は、それぞれ時間的に連続に変化すると考えられる。そのため、フレーム間の相関性が高いと考えられるためフレーム間の相関性及び画素ごとの動きベクトルも求めることで、式(1)、式(2)を満たすSs750nmとSb750nm及びSs750nmとSb750nmを精度よく求めても良い。
[0154]
 このような画像演算を行うことにより、立ち上がり成分と立ち下がり成分にそれぞれ異なる比率で含まれる皮膚血流変化の成分と脳血流変化の成分から、画像として皮膚血流中の酸素化ヘモグロビン変化及び脱酸素化ヘモグロビン変化と脳血流中の酸素化ヘモグロビン変化と脱酸素化ヘモグロビン変化を切り分けて出力することができる。
[0155]
 本実施形態では2種類の波長の光を用いたが、3種類又はそれ以上の波長の光を用いても良い。
[0156]
 以上の動作により、1フレーム期間に6種類の信号電荷を垂直転送部に独立に蓄積することができる。また、4つの光電変換部の信号電荷を加算しているため、従来の2つの光電変換部の信号電荷を加算する方法に比べて感度が実質的に2倍になり、蓄積する信号電荷の種類が増加したことによる各電荷量の減少を相殺できる。したがって、1フレーム内で皮膚血流変化と脳血流変化を分離して出力することが可能となり、連続して動作させれば動画像として表示することが可能となる。
[0157]
 本撮像装置は頭部内部の散乱した光の変化を捉えることから、画像の2次元解像度を高める必要性は薄いが、頭部内部の散乱光が再び表面に帰って、固体撮像素子に到達するという極めて微弱な光検出が必要なため、2次元解像度を犠牲にすることで感度を高める手法は極めて合理的な方式であると言える。
[0158]
 以上説明してきたように、第4の実施形態に係る撮像装置において、前記対象物からの反射光の強度が増加を開始してから増加が終了するまでの期間を立ち上がり期間とし、前記対象物からの反射光の強度が減少を開始してから減少が終了するまでの期間を立ち下がり期間としたとき、前記m種類の露光シーケンスにおいて、前記固体撮像素子の露光期間は、前記立ち下がり期間を含まず前記立ち上がり期間の少なくとも一部を含む第1期間と、前記立ち上がり期間を含まず前記立ち下がり期間の一部を含む第2期間とのいずれかと期間が一致するように設定される。
[0159]
 ここで、前記m種類の露光シーケンスは、互いに異なる照射波長の光を照射する露光シーケンスを含んでもよい。
[0160]
 ここで、前記撮像装置は時間分解イメージングを応用した光散乱体内部の観測装置であり、前記光電変換部は行列上に配置され、前記m種類の露光シーケンスは、第1から第3の長波長シーケンス、および、第1から第3の短波長シーケンスを含み、前記第1から第3の長波長シーケンスにおける照射波長は、前記第1から第3の短波長シーケンスよりも長く、前記第1の長波長シーケンスおよび前記第1の短波長シーケンスはそれぞれ、前記第1期間を露光期間とし、前記第2の長波長シーケンスおよび前記第2の短波長シーケンスはそれぞれ、前記第2期間を露光期間とし、前記第3の長波長シーケンスおよび前記第3の短波長シーケンスはそれぞれ、前記光源からの照射による反射光成分を含まない背景光を露光し、前記第1から第3の長波長シーケンス、および、前記第1から第3の短波長シーケンスを1フレーム期間内にそれぞれ複数回繰り返し、前記n個の光電変換部は、2行2列からなる4個の前記光電変換部であり、前記第1から第3長波長シーケンスにおいて蓄積した前記信号電荷、および前記第1から第3短波長シーケンスにおいて蓄積した前記信号電荷のそれぞれを用いて、光散乱体内部の構造及び状態を演算により求める演算部を備えてもよい。
[0161]
 ここで、前記第3の長波長シーケンスおよび前記第3の短波長シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間としてもよい。
[0162]
 ここで、前記演算部は、前記第1から第3の長波長シーケンスより撮像した結果と、前記第1から第3の短波長シーケンスより撮像した結果とを用いて、光散乱体深部の構造および状態と光散乱体表層部の構造及び状態とを求めてもよい。
[0163]
 なお、第1の実施形態から第4の実施形態における種々の露光シーケンスを組み合わせてもよい。例えば、長露光シーケンスL1からL3、短露光シーケンスS1からS3、強露光シーケンスK1およびK2、弱露光シーケンスJ1およびJ2、背景露光シーケンスB0、750nmシーケンスP1からP3、850nmシーケンスQ1からQ3の全部または一部を組み合わせてもよい。
[0164]
 図26は、第1から第4の実施形態の各露光シーケンスを組み合わせた動作例を説明する図である。同図では、長露光シーケンスL1からL3、短露光シーケンスS1からS3、強露光シーケンスK1およびK2、弱露光シーケンスJ1およびJ2、背景露光シーケンスB0、750nmシーケンスP1からP3、850nmシーケンスQ1からQ3の全部を組み合わせた動作例を示している。

産業上の利用可能性

[0165]
 本開示は、高精度の距離画像を効率良く得ることができるので、特に測距カメラ等の撮像装置に利用することができる。また、非接触で対象物の内部情報を効率よく得ることができるので、生体計測及び材料分析等に利用することができる。

符号の説明

[0166]
4 光電変換部(PD)
31~36 信号電荷
31a~34a 照射光成分
31b~34b 背景光成分
101 対象物(被写体)
103 赤外光源
106 固体撮像素子
107 制御演算装置

請求の範囲

[請求項1]
 撮像装置であって、
 対象物に対して光を照射する光源と、
 前記対象物からの反射光を露光し信号電荷として蓄積する固体撮像素子と、
 前記光源からの照射と前記固体撮像素子の露光を制御する制御部と、を備え、
 前記固体撮像素子は、
 前記対象物からの反射光を前記信号電荷に変換する複数の光電変換部と、
 前記信号電荷を蓄積する複数の電荷蓄積部と、を備え、
 前記撮像装置は、前記照射および露光を制御するためのm種類(mは4以上の整数)の露光シーケンスを1フレーム期間内に行い、
 前記m種類の露光シーケンスに排他的に電荷蓄積部を割り当て、
 前記m種類の露光シーケンスのうち少なくとも1種類の露光シーケンスにおいて、n個(nは3以上の整数)の前記光電変換部から得られる前記信号電荷を、前記電荷蓄積部に蓄積する
撮像装置。
[請求項2]
 前記撮像装置は、前記少なくとも1種類の露光シーケンスを1フレーム期間内に繰り返し行う
請求項1に記載の撮像装置。
[請求項3]
 前記撮像装置は、前記n個の前記光電変換部の組合せと1個の前記電荷蓄積部とを対応させ、前記n個の前記光電変換部から得られる前記信号電荷を、対応する前記電荷蓄積部に蓄積する
請求項1または2に記載の撮像装置。
[請求項4]
 前記撮像装置は、前記少なくとも1種類の露光シーケンスにおいて、前記n個の前記光電変換部から得られる前記信号電荷を加算して対応する前記電荷蓄積部に蓄積する
請求項1から3のいずれか1項に記載の撮像装置。
[請求項5]
 前記m種類の露光シーケンスは、互いに
 前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間のうち少なくとも1つが異なる
請求項1から4のいずれか1項に記載の撮像装置。
[請求項6]
 前記撮像装置は、k種類(kは1以上の整数)の前記露光シーケンス毎に、前記n個の光電変換部の組合せを変更する
請求項1から4のいずれか1項に記載の撮像装置。
[請求項7]
 前記撮像装置は、前記m種類の露光シーケンスの繰り返し回数を、前記光源からの照射強度、照射時間、照射波長、および前記固体撮像素子の露光期間に基づいて設定する
請求項2に記載の撮像装置。
[請求項8]
 前記撮像装置は、フレーム毎に前記信号電荷の加算を行う前記n個の光電変換部の組合せを変更する
請求項1から6のいずれか1項に記載の撮像装置。
[請求項9]
 前記mは5または6であり、
 前記複数の光電変換部は行列上に配置され、
 前記撮像装置は、5または6種類からなる前記露光シーケンスを1フレーム期間にそれぞれ複数回繰り返し、
 前記n個の光電変換部は、2行2列に配置された4個の前記光電変換部の組合せである、
請求項1から8のいずれか1項に記載の撮像装置。
[請求項10]
 前記撮像装置はTOF(Time Of Flight)型の測距装置であり、
 前記撮像装置は、前記m種類の露光シーケンスのうち、少なくとも2種類の露光シーケンスにおいて前記電荷蓄積部に蓄積された前記信号電荷を用いて対象物までの距離を算出する距離算出部を備える
請求項5に記載の撮像装置。
[請求項11]
 前記m種類の露光シーケンスは、長露光シーケンスと短露光シーケンスとを含み、
 前記長露光シーケンスは、前記短露光シーケンスよりも、前記光源からの照射時間と前記固体撮像素子の露光期間がそれぞれ長く設定され、
 前記距離算出部は、前記m種類の露光シーケンスに基づいて対象物までの距離を少なくとも2種類算出する
請求項10に記載の撮像装置。
[請求項12]
 前記撮像装置はTOF型の測距装置であり、
 前記光電変換部は行列上に配置され、
 前記m種類の露光シーケンスは、第1から第3の長露光シーケンス、および、第1から第3の短露光シーケンスを含み、
 前記第1から第3の長露光シーケンスにおける前記光源からの照射時間および前記固体撮像素子の露光期間はそれぞれ、前記第1から第3の短露光シーケンスよりも長く、
 前記第2の長露光シーケンスにおける露光期間は、前記第1の長露光シーケンスにおける露光期間と異なり、
 前記第2の短露光シーケンスにおける露光期間は、前記第1の短露光シーケンスにおける露光期間と異なり、
 前記第3の長露光シーケンスおよび前記第3の短露光シーケンスは、前記光源からの照射による反射光成分を含まない背景光を露光し、
 前記第1から第3の長露光シーケンス、および、第1から第3の短露光シーケンスを1フレーム期間内にそれぞれ複数回繰り返し、
 前記n個の光電変換部は、2行2列からなる4個の前記光電変換部であり、
 前記第1から第3の長露光シーケンスにおいて蓄積した前記信号電荷、および、前記第1から第3の短露光シーケンスにおいて加算蓄積した前記信号電荷のそれぞれを用いて対象物までの距離を2種類算出する距離算出部を備える
請求項1から9のいずれか1項に記載の撮像装置。
[請求項13]
 前記第3の長距離シーケンスおよび前記第3の短距離シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項12に記載の撮像装置。
[請求項14]
 前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出した距離を、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出した距離を用いて補正する距離補正部を備える
請求項11または12に記載の撮像装置。
[請求項15]
 前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出した距離の一部と、
前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出した距離との差分が規定の範囲を超えた場合に異常を通知する異常通知部を備える
請求項11または12に記載の撮像装置。
[請求項16]
 前記短露光シーケンス、または、前記第1から第3の短露光シーケンスにおける露光期間を短露光期間とすると、
 前記短露光期間は、フレーム毎に変更され、
 前記短露光期間のフレーム毎の変更によって、前記短露光シーケンス、または、前記第1から第3の短露光シーケンスより算出される距離範囲は、前記長露光シーケンス、または、前記第1から第3の長露光シーケンスより算出される距離範囲の一部と重なるよう制限されたうえで走査される
請求項11または12に記載の撮像装置。
[請求項17]
 前記短露光シーケンス、または第1から第3の短露光シーケンスにおける露光期間は、過去フレームの前記第1から第3の長露光シーケンスより算出した距離に基づいて設定される
請求項11または12に記載の撮像装置。
[請求項18]
 前記撮像装置はTOF型の測距装置であり、
 前記光電変換部は行列上に配置され、
 前記m種類の露光シーケンスは、第1の強露光シーケンス、第2の強露光シーケンス、第1の弱露光シーケンス、第2の弱露光シーケンスおよび背景露光シーケンスを含み、
 前記第1の強露光シーケンスおよび第2の強露光シーケンスにおける光源の照射強度は、前記第1の弱露光シーケンスおよび第2の強露光シーケンスよりも強く、
 前記第2の強露光シーケンスにおける露光期間は、前記第1の強露光シーケンスにおける露光期間と異なり、
 前記第2の弱露光シーケンスにおける露光期間は、前記第1の弱露光シーケンスにおける露光期間と異なり、
 前記背景露光シーケンスは、前記反射光を含まない背景光を露光し、
 第1の強露光シーケンス、第2の強露光シーケンス、第1の弱露光シーケンス、第2の弱露光シーケンスおよび背景露光シーケンスを1フレーム期間内にそれぞれ複数回繰り返し、
 前記n個の光電変換部は、2行2列からなる4個の前記光電変換部であり、
 前記n個の光電変換部毎に前記第1の強露光シーケンスおよび第2の強露光シーケンスにおける信号電荷と、前記第1の弱露光シーケンスおよび第2の弱露光シーケンスにおける信号電荷の、いずれか一方、および、前記背景露光シーケンスにおける信号電荷を用いて距離を算出する距離算出部を備える
請求項1から9のいずれか1項に記載の撮像装置。
[請求項19]
 前記対象物からの反射光の強度が増加を開始してから増加が終了するまでの期間を立ち上がり期間とし、前記対象物からの反射光の強度が減少を開始してから減少が終了するまでの期間を立ち下がり期間としたとき、
 前記m種類の露光シーケンスにおいて、前記固体撮像素子の露光期間は、
 前記立ち下がり期間を含まず前記立ち上がり期間の少なくとも一部を含む第1期間と、
 前記立ち上がり期間を含まず前記立ち下がり期間の一部を含む第2期間とのいずれかと期間が一致するように設定される
請求項1から9のいずれか1項に記載の撮像装置。
[請求項20]
 前記m種類の露光シーケンスは、互いに異なる照射波長の光を照射する露光シーケンスを含む
請求項19に記載の撮像装置。
[請求項21]
 前記撮像装置は時間分解イメージングを応用した光散乱体内部の観測装置であり、
 前記光電変換部は行列上に配置され、
 前記m種類の露光シーケンスは、第1から第3の長波長シーケンス、および、第1から第3の短波長シーケンスを含み、
 前記第1から第3の長波長シーケンスにおける照射波長は、前記第1から第3の短波長シーケンスよりも長く、
 前記第1の長波長シーケンスおよび前記第1の短波長シーケンスはそれぞれ、前記第1期間を露光期間とし、
 前記第2の長波長シーケンスおよび前記第2の短波長シーケンスはそれぞれ、前記第2期間を露光期間とし、
 前記第3の長波長シーケンスおよび前記第3の短波長シーケンスはそれぞれ、前記光源からの照射による反射光成分を含まない背景光を露光し、
 前記第1から第3の長波長シーケンス、および、前記第1から第3の短波長シーケンスを1フレーム期間内にそれぞれ複数回繰り返し、
 前記n個の光電変換部は、2行2列からなる4個の前記光電変換部であり、
 前記第1から第3長波長シーケンスにおいて蓄積した前記信号電荷、および前記第1から第3短波長シーケンスにおいて蓄積した前記信号電荷のそれぞれを用いて、光散乱体内部の構造及び状態を演算により求める演算部を備える
請求項19または20に記載の撮像装置。
[請求項22]
 前記第3の長波長シーケンスおよび前記第3の短波長シーケンスにおいて、前記光源からの照射を行い、反射光が消滅した後の期間を前記露光期間とする
請求項21に記載の撮像装置。
[請求項23]
 前記演算部は、前記第1から第3の長波長シーケンスより撮像した結果と、前記第1から第3の短波長シーケンスより撮像した結果とを用いて、光散乱体深部の構造および状態と光散乱体表層部の構造及び状態とを求める
ことを特徴とする請求項21または22に記載の撮像装置。

図面

[ 図 1]

[ 図 2A]

[ 図 2B]

[ 図 2C]

[ 図 3]

[ 図 4A]

[ 図 4B]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13A]

[ 図 13B]

[ 図 13C]

[ 図 14]

[ 図 15]

[ 図 16A]

[ 図 16B]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22A]

[ 図 22B]

[ 図 22C]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]