処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020116185 - 固体撮像装置、信号処理チップ、および、電子機器

Document

明 細 書

発明の名称 固体撮像装置、信号処理チップ、および、電子機器

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309  

符号の説明

0310  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31  

明 細 書

発明の名称 : 固体撮像装置、信号処理チップ、および、電子機器

技術分野

[0001]
 本技術は、固体撮像装置、信号処理チップ、および、電子機器に関し、特に、イベントの発生を検出した結果を、撮像に活用することができるようにした固体撮像装置、信号処理チップ、および、電子機器に関する。

背景技術

[0002]
 画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている(例えば、特許文献1を参照)。
[0003]
 ここで、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータが発生した画素の随時読み出しを行うため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。

先行技術文献

特許文献

[0004]
特許文献1 : 特表2017-535999号公報

発明の概要

発明が解決しようとする課題

[0005]
 非同期型のイメージセンサによりイベントの発生を検出した結果を、撮像に活用する方法が望まれている。
[0006]
 本技術は、このような状況に鑑みてなされたものであり、イベントの発生を検出した結果を、撮像に活用することができるようにするものである。

課題を解決するための手段

[0007]
 本技術の第1の側面の固体撮像装置は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える。
[0008]
 本技術の第2の側面の信号処理チップは、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、前記注目領域の画素信号を取得し、画像を生成する画像処理部とを備える。
[0009]
 本技術の第3の側面の電子機器は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える固体撮像装置を備える。
[0010]
 本技術の第1および第3の側面においては、画素アレイ部の各画素で発生する電気信号の変化がイベントとして検出され、前記イベントの検出結果から、前記画素アレイ部の注目領域が検出され、前記注目領域に対応する領域の画像を構成する画素信号が生成される。
[0011]
 本技術の第2の側面においては、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域が検出されるとともに、前記注目領域を特定するROI情報が出力され、前記注目領域の画素信号が取得され、画像が生成される。
[0012]
 固体撮像装置、信号処理チップ、及び、電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。

図面の簡単な説明

[0013]
[図1] 本技術を適用した固体撮像装置の第1実施の形態の構成例を示す図である。
[図2] 図1のDVSチップの構成例を示すブロック図である。
[図3] 図2の画素アレイ部の構成例を示すブロック図である。
[図4] 図3の画素ブロックの構成例を示す回路図である。
[図5] イベント検出部の構成例を示すブロック図である。
[図6] 電流電圧変換部の構成例を示す回路図である。
[図7] 減算部及び量子化部の構成例を示す回路図である。
[図8] 量子化部の他の構成例を示すブロック図である。
[図9] 画像処理部の構成例を示すブロック図である。
[図10] イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
[図11] 図1のCISチップの構成例を示すブロック図である。
[図12] 図11の画素アレイ部の構成例を示すブロック図である。
[図13] 図12の画素ブロックの構成例を示す回路図である。
[図14] 固体撮像装置の動作を説明するフローチャートである。
[図15] 本技術を適用した固体撮像装置の第2実施の形態の構成例を示す図である。
[図16] DVSチップ、CISチップ、および、DSPチップの構成例を示すブロック図である。
[図17] 本技術を適用した固体撮像装置の第3実施の形態の構成例を示すブロック図である。
[図18] 第3実施の形態に係る固体撮像装置の処理を説明するフローチャートである。
[図19] 本技術を適用した固体撮像装置の第4実施の形態の構成例を示す図である。
[図20] 本技術を適用した固体撮像装置の第4実施の形態のその他の構成例を示す図である。
[図21] 図19のセンサ部の構成例を示すブロック図である。
[図22] 図21の画素アレイ部の構成例を示すブロック図である。
[図23] 図22の画素ブロックの構成例を示す回路図である。
[図24] 図21のセンサ部の動作の例を説明するタイミングチャートである。
[図25] 画素アレイ部の全画素で撮像を行う場合の駆動を示すタイミングチャートである。
[図26] 画素アレイ部において注目領域の撮像を行う場合の駆動を示すタイミングチャートである。
[図27] 図21の画素アレイ部のその他の構成例を示すブロック図である。
[図28] 本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
[図29] イメージセンサの使用例を示す図である。
[図30] 車両制御システムの概略的な構成の一例を示すブロック図である。
[図31] 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

発明を実施するための形態

[0014]
 以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態(2チップ構成の固体撮像装置)
2.第2実施の形態(3チップ構成の固体撮像装置)
3.第3実施の形態(3チップ構成の固体撮像装置)
4.第4実施の形態(1チップ構成の固体撮像装置)
5.電子機器への適用例
6.移動体への応用例
[0015]
<1.第1実施の形態>
 図1は、本技術を適用した固体撮像装置の第1実施の形態の構成例を示す図である。
[0016]
 図1の固体撮像装置10は、第1のチップ11および第2のチップ12と、それらが搭載された中継基板(インターポーザ基板)13とで構成されている。
[0017]
 第1のチップ11は、画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサチップである。第1のチップ11は、入射光の光電変換を行って電気信号を生成する撮像を行うが、垂直同期信号に同期して撮像を行い、フレーム形式の画像データ(フレームデータ)を生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
[0018]
 これに対して、第2のチップ12は、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。
[0019]
 第1のチップ11は、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)とも呼ばれる。以下では、区別を容易にするために、第1のチップ11を、DVSチップ11と称し、第2のチップ12を、CISチップ12と称することとする。
[0020]
 中継基板13は、DVSチップ11とCISチップ12との間の信号を中継する信号配線と、固体撮像装置10の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ11およびCISチップ12の搭載面と反対側に形成されるはんだボール等で構成される。
[0021]
 DVSチップ11は、所定の検出対象範囲内で発生するイベント、すなわち、画素の輝度変化を検出し、検出されたイベントに基づいて、検出対象範囲内の特に注目する領域である注目領域を決定し、CISチップ12に出力する。
[0022]
 CISチップ12は、所定の撮像対象範囲のうち、DVSチップ11で決定された注目領域に対する撮像を行い、その結果得られる撮像画像を外部に出力する。
[0023]
 ここで、DVSチップ11の検出対象範囲と、CISチップ12の撮像対象範囲とは、予めキャリブレーションを行うことにより、一致されている。換言すれば、DVSチップ11の検出対象範囲は、全てCISチップ12で撮像が可能である。また、本実施の形態では、簡単のため、DVSチップ11の画素と、CISチップ12の画素とが1対1に対応していることとするが、必ずしも1対1である必要はない。例えば、一方の1画素に対して、他方のN画素(N>1)が対応しているような関係であってもよい。
[0024]
<DVSチップ11の構成例>
 図2は、図1のDVSチップ11の構成例を示すブロック図である。
[0025]
 DVSチップ11は、画素アレイ部31、アービタ33、メモリ34、画像処理部35、出力部36、及び、クロック信号生成部37を備える。
[0026]
 画素アレイ部31は、複数の画素51(図3)が2次元格子状に配列されて構成される。また、画素アレイ部31は、それぞれが所定数の画素51からなる複数の画素ブロック41(図3)に分割される。画素アレイ部31は、画素51の光電変換によって生成される電気信号としての光電流(に対応する電圧)に所定の閾値を超える変化(閾値以上の変化を必要に応じて含む)が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部31は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ33に出力する。そして、画素アレイ部31は、アービタ33からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ34に出力する。
[0027]
 ここで、画素51で生成される光電流の変化は、画素51に入射する光の光量変化とも捉えることができるので、イベントは、画素51の光量変化(閾値を超える光量変化)であるとも言うことができる。
[0028]
 アービタ33は、画素アレイ部31を構成する画素ブロック41からのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を画素アレイ部31に返す。また、アービタ33は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部31に出力する。
[0029]
 メモリ34は、画素アレイ部31からのイベントデータを、所定のフレーム単位(後述するフレームボリューム)で蓄積する。メモリ34が画素アレイ部31からのイベントデータを蓄積するフレーム単位は、画像処理部35によって制御される。メモリ34は、クロック信号生成部37から供給されるクロック信号に基づいて、イベントが発生した(相対的な)時刻を表す時刻情報としてのカウント値をイベントデータに付加して蓄積する。すなわち、メモリ34は、イベントが発生した画素ブロック41または画素51の位置を表す位置座標(座標等)と、イベントが発生した時刻を表す時刻情報とを少なくとも含むイベントデータを記憶する。その他、イベントデータには、光量変化の極性(正負)を含ませることができる。
[0030]
 画像処理部35は、メモリ34に蓄積したフレーム単位のイベントデータ(フレームデータ)に応じてデータ処理(画像処理)を行い、そのデータ処理の結果であるデータ処理結果を出力する。例えば、画像処理部35は、フレーム単位のイベントデータから、物体の輪郭情報を抽出し、検出対象である物体を特定する。画像処理部35は、特定した物体を含む注目領域を決定し、出力部36に出力する。
[0031]
 出力部36は、画像処理部35からの注目領域を特定する情報を、ROI情報(Region Of Interest)として、中継基板13を介して、CISチップ12に出力する。
[0032]
 クロック信号生成部37は、マスタクロックとなるクロック信号を生成し、メモリ34、画像処理部35などに供給する。
[0033]
<画素アレイ部31の構成例>
 図3は、図2の画素アレイ部31の構成例を示すブロック図である。
[0034]
 画素アレイ部31は、複数の画素ブロック41を有する。画素ブロック41は、I行×J列(I及びJは整数)に配列された1以上としてのI×J個の画素51、及び、イベント検出部52を備える。画素ブロック41内の1以上の画素51は、イベント検出部52を共有している。
[0035]
 画素51は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素51は、生成した光電流を、イベント検出部52に供給する。
[0036]
 イベント検出部52は、アービタ33からのリセット信号によるリセット後に、画素51のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部52は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ33(図2)に供給する。そして、イベント検出部52は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ33から受け取ると、イベントデータを、メモリ34に出力する。
[0037]
 ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。
[0038]
<画素ブロック41の構成例>
 図4は、図3の画素ブロック41の構成例を示す回路図である。
[0039]
 画素ブロック41は、図3で説明したように、1以上の画素51と、イベント検出部52とを備える。
[0040]
 画素51は、光電変換素子61を備える。光電変換素子61は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
[0041]
 画素ブロック41を構成するI×J個の画素51は、ノード60を介して、その画素ブロック41を構成するイベント検出部52に接続されている。したがって、画素51(の光電変換素子61)で生成された光電流は、ノード60を介して、イベント検出部52に供給される。その結果、イベント検出部52には、画素ブロック41内のすべての画素51の光電流の和が供給される。したがって、イベント検出部52では、画素ブロック41を構成するI×J個の画素51から供給される光電流の和の変化がイベントとして検出される。
[0042]
 図3の画素アレイ部31では、画素ブロック41が1以上の画素51で構成され、その1以上の画素51で、イベント検出部52が共有される。したがって、画素ブロック41が、複数の画素51で構成される場合には、1個の画素51に対して、1個のイベント検出部52を設ける場合に比較して、イベント検出部52の数を少なくすることができ、画素アレイ部31の規模を抑制することができる。
[0043]
 なお、画素ブロック41が、複数の画素51で構成される場合、画素51ごとに、イベント検出部52を設けることができる。画素ブロック41の複数の画素51で、イベント検出部52を共有する場合には、画素ブロック41の単位でイベントが検出されるが、画素51ごとに、イベント検出部52を設ける場合には、画素51の単位で、イベントを検出することができる。
[0044]
<イベント検出部52の構成例>
 図5は、図3のイベント検出部52の構成例を示すブロック図である。
[0045]
 イベント検出部52は、電流電圧変換部81、バッファ82、減算部83、量子化部84、及び、転送部85を備える。
[0046]
 電流電圧変換部81は、画素51からの光電流(の和)を、その光電流の対数に対応する電圧(以下、光電圧ともいう)に変換し、バッファ82に供給する。
[0047]
 バッファ82は、電流電圧変換部81からの光電圧をバッファリングし、減算部83に供給する。
[0048]
 減算部83は、アービタ33からのリセット信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部84に供給する。
[0049]
 量子化部84は、減算部83からの差信号をディジタル信号に量子化し、差信号の量子化値を、イベントデータとして、転送部85に供給する。
[0050]
 転送部85は、量子化部84からのイベントデータに応じて、そのイベントデータを、メモリ34に転送(出力)する。すなわち、転送部85は、イベントデータの出力を要求するリクエストを、アービタ33に供給する。そして、転送部85は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ33から受け取ると、イベントデータを、メモリ34に出力する。
[0051]
<電流電圧変換部81の構成例>
 図6は、図5の電流電圧変換部81の構成例を示す回路図である。
[0052]
 電流電圧変換部81は、トランジスタ91ないし93で構成される。トランジスタ91及び93としては、例えば、N型のMOS FETを採用することができ、トランジスタ92としては、例えば、P型のMOS FETを採用することができる。
[0053]
 トランジスタ91のソースは、トランジスタ93のゲートと接続され、トランジスタ91のソースとトランジスタ93のゲートとの接続点には、画素51からの光電流が供給される。トランジスタ91のドレインは、電源VDDに接続され、そのゲートは、トランジスタ93のドレインに接続される。
[0054]
 トランジスタ92のソースは、電源VDDに接続され、そのドレインは、トランジスタ91のゲートとトランジスタ93のドレインとの接続点に接続される。トランジスタ92のゲートには、所定のバイアス電圧Vbiasが印加される。バイアス電圧Vbiasによって、トランジスタ92はオン/オフし、このトランジスタ92のオン/オフにより、電流電圧変換部81の動作もオン/オフする。
[0055]
 トランジスタ93のソースは接地される。
[0056]
 電流電圧変換部81において、トランジスタ91のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ91のソースには、画素51(図4)が接続され、これにより、トランジスタ91(のドレインからソース)には、画素51の光電変換素子61で生成された電荷による光電流が流れる。トランジスタ91は、サブスレッショルド領域で動作し、トランジスタ91のゲートには、そのトランジスタ91に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部81では、トランジスタ91により、画素51からの光電流が、その光電流の対数に対応する光電圧に変換される。
[0057]
 電流電圧変換部81において、トランジスタ91のゲートは、トランジスタ92のドレインとトランジスタ93のドレインとの接続点に接続されており、その接続点から、光電圧が出力される。
[0058]
<減算部83及び量子化部84の構成例>
 図7は、図5の減算部83及び量子化部84の構成例を示す回路図である。
[0059]
 減算部83は、コンデンサ101、オペアンプ102、コンデンサ103、及び、スイッチ104を備える。量子化部84は、コンパレータ111を備える。
[0060]
 コンデンサ101の一端は、バッファ82(図5)の出力端子に接続され、他端は、オペアンプ102の入力端子(反転入力端子)に接続される。したがって、オペアンプ102の入力端子には、コンデンサ101を介して光電圧が入力される。
[0061]
 オペアンプ102の出力端子は、コンパレータ111の非反転入力端子(+)に接続される。
[0062]
 コンデンサ103の一端は、オペアンプ102の入力端子に接続され、他端は、オペアンプ102の出力端子に接続される。
[0063]
 スイッチ104は、コンデンサ103の両端の接続をオン/オフするように、コンデンサ103に接続される。スイッチ104は、リセット信号に従ってオン/オフすることにより、コンデンサ103の両端の接続をオン/オフする。
[0064]
 スイッチ104をオンにした際のコンデンサ101のバッファ82(図5)側の光電圧をVinitと表すとともに、コンデンサ101の容量(静電容量)をC1と表すこととする。オペアンプ102の入力端子は、仮想接地になっており、スイッチ104がオンである場合にコンデンサ101に蓄積される電荷Qinitは、式(1)により表される。
[0065]
 Qinit = C1 ×Vinit
                        ・・・(1)
[0066]
 また、スイッチ104がオンである場合には、コンデンサ103の両端の接続はオフにされる(短絡される)ため、コンデンサ103に蓄積される電荷はゼロとなる。
[0067]
 その後、スイッチ104がオフになった場合の、コンデンサ101のバッファ82(図5)側の光電圧を、Vafterと表すこととすると、スイッチ104がオフになった場合にコンデンサ101に蓄積される電荷Qafterは、式(2)により表される。
[0068]
 Qafter = C1×Vafter
                        ・・・(2)
[0069]
 コンデンサ103の容量をC2と表すとともに、オペアンプ102の出力電圧をVoutと表すこととすると、コンデンサ103に蓄積される電荷Q2は、式(3)により表される。
[0070]
 Q2 = -C2×Vout
                        ・・・(3)
[0071]
 スイッチ104がオフする前後で、コンデンサ101の電荷とコンデンサ103の電荷とを合わせた総電荷量は変化しないため、式(4)が成立する。
[0072]
 Qinit = Qafter + Q2
                        ・・・(4)
[0073]
 式(4)に式(1)ないし式(3)を代入すると、式(5)が得られる。
[0074]
 Vout = -(C1/C2)×(Vafter - Vinit)
                        ・・・(5)
[0075]
 式(5)によれば、減算部83では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式(5)によれば、減算部83の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック41ごとに減算部83を含むイベント検出部52が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
[0076]
 コンパレータ111は、減算部83からの差信号と、反転入力端子(-)に印加された所定の閾値(電圧)Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部85に出力する。
[0077]
 例えば、コンパレータ111は、差信号が閾値Vthを超えている場合、1を表すH(High)レベルを、イベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すL(Low)レベルを、イベントが発生していないことを表すイベントデータとして出力する。
[0078]
 転送部85は、量子化部84からのイベントデータに応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大である場合に、リクエストをアービタ33に供給し、イベントデータの出力の許可を表す応答を受け取った後に、イベントの発生を表すイベントデータ(例えば、Hレベル)を、メモリ34に出力する。
[0079]
 メモリ34は、転送部85からのイベントデータに、そのイベントデータが表すイベントが発生した画素51(を有する画素ブロック41)の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて記憶する。
[0080]
 イベントが発生した画素51の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
[0081]
 なお、イベント検出部52全体のゲインAは、電流電圧変換部81のゲインをCG logとし、バッファ82のゲインを1とし、量子化部84のゲインをGとすると、次の式により表される。
[0082]
 A = CG log・C1/C2・G(Σi photo_n)
                        ・・・(6)
[0083]
 i photo_nは、画素ブロック41を構成するI×J個の画素51のうちのn番目の画素51の光電流を表す。式(6)のΣは、nを、1からI×Jまでの整数に変えてとるサメーションを表す。
[0084]
 なお、画素51では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素51において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素51において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素51において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素51において、入射光として、可視光を受光することとする。
[0085]
<量子化部84の他の構成例>
 図8は、図5の量子化部84の他の構成例を示すブロック図である。
[0086]
 なお、図中、図7の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
[0087]
 図8において、量子化部84は、コンパレータ111及び112、並びに、出力部113を有する。
[0088]
 したがって、図8の量子化部84は、コンパレータ111を有する点で、図7の場合と共通する。但し、図8の量子化部84は、コンパレータ112及び出力部113を新たに有する点で、図7の場合と相違する。
[0089]
 図8の量子化部84を有するイベント検出部52(図5)では、イベントの他、イベントとしての光量変化の極性も検出される。
[0090]
 図8の量子化部84では、コンパレータ111は、差信号が閾値Vthを超えている場合、1を表すHレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
[0091]
 また、図8の量子化部84では、コンパレータ112の非反転入力端子(+)には、閾値Vth'(<Vth)が供給され、コンパレータ112の反転入力端子(-)には、減算部83からの差信号が供給される。いま、説明を簡単にするため、閾値Vth'が、例えば、-Vthに等しいこととする。
[0092]
 コンパレータ112は、減算部83からの差信号と、反転入力端子(-)に印加された閾値Vth'とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして出力する。
[0093]
 例えば、コンパレータ112は、差信号が閾値Vth'より小さい場合(負の値の差信号の絶対値が閾値Vthを超えている場合)、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、コンパレータ112は、差信号が閾値Vth'より小さくない場合(負の値の差信号の絶対値が閾値Vthを超えていない場合)、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
[0094]
 出力部113は、コンパレータ111及び112が出力するイベントデータに応じて、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部85に出力する。
[0095]
 例えば、出力部113は、コンパレータ111からのイベントデータが1を表すHレベルである場合、+1を表すHパルスを、正極性のイベントの発生を表すイベントデータとして、転送部85に出力する。また、出力部113は、コンパレータ112からのイベントデータが1を表すHレベルである場合、-1を表すLパルスを、負極性のイベントの発生を表すイベントデータとして、転送部85に出力する。さらに、出力部113は、コンパレータ111及び112からのイベントデータがいずれも0を表すLレベルである場合、0を表す0ボルト(GNDレベル)を、イベントが発生していないことを表すイベントデータとして、転送部85に出力する。
[0096]
 転送部85は、量子化部84の出力部113からのイベントデータに応じて、正極性又は負極性のイベントとしての光量変化が発生したと認められる場合、リクエストをアービタ33に供給し、イベントデータの出力の許可を表す応答を受け取った後に、正極性又は負極性のイベントの発生を表すイベントデータ(1を表すHパルス、又は、-1を表すLパルス)を、メモリ34に出力する。
[0097]
 量子化部84を図7の構成とした場合には、イベントの発生が正極性のみの1ビット(0または1)で出力され、図8の構成とした場合には、イベントの発生が1.5ビット(1、0、または、-1)で出力される。以下では、量子化部84は、図7及び図8のうちの、例えば、図8に示したように構成されることとする。
[0098]
<画像処理部35の構成例>
 図9は、図2の画像処理部35の構成例を示すブロック図である。
[0099]
 図9において、画像処理部35は、フレーム間隔設定部131、フレーム幅設定部132、及び、検出部(注目領域検出部)133を有する。
[0100]
 フレーム間隔設定部131は、例えば、ユーザの操作等に応じて、フレーム間隔を設定し、メモリ34に供給する。フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表し、フレーム間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム間隔設定部131で設定されたフレーム間隔を、設定フレーム間隔ともいう。
[0101]
 フレーム幅設定部132は、例えば、ユーザの操作等に応じて、フレーム幅を設定し、メモリ34に供給する。フレーム幅とは、1フレームのフレームデータの生成に用いるイベントデータの時間幅を表し、フレーム幅は、フレーム間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム幅設定部132で設定されたフレーム幅を、設定フレーム幅ともいう。
[0102]
 メモリ34は、画素アレイ部31からのイベントデータを、フレーム間隔設定部131およびフレーム幅設定部132で設定された設定フレーム間隔および設定フレーム幅で、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレーム単位のフレームデータに変換して記憶する。
[0103]
 検出部133は、メモリ34に記憶されているフレームデータを用いた画像処理、例えば、パターンマッチングやニューラルネットワークを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。画像処理部35は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、出力部36に出力する。すなわち、検出部133は、メモリ34に記憶されているフレームデータを用いて、注目領域を検出する。
[0104]
 なお、フレーム幅としては、あらかじめ決められた値を採用することができる。この場合、画像処理部35は、フレーム幅設定部132を設けずに構成することができる。
[0105]
<イベントデータに応じたフレームデータの生成>
 図10は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
[0106]
 いま、イベントデータが、イベントが発生した時刻を表す時刻情報(以下、イベントの時刻ともいう)t i、及び、イベントが発生した画素51(を有する画素ブロック41)の位置情報(以下、イベントの位置ともいう)としての座標(x, y)を含むこととする。
[0107]
 図10では、x軸、y軸、及び、時間軸tで構成される3次元(時)空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置(としての座標)(x, y)にプロットされている。
[0108]
 すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される3次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図10では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
[0109]
 メモリ34は、例えば、外部からフレームデータの生成が指示された時刻や、DVSチップ11の電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
[0110]
 いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の直方体をフレームボリュームまたはフレーム単位ということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック41又は画素51のx軸方向及びy軸方向の個数に等しい。
[0111]
 メモリ34は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて、1フレームのフレームデータを生成して記憶する。
[0112]
 フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。
[0113]
 フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素(の画素値)に白色を、フレームの他の位置の画素(の画素値)にグレー等の所定の色をセットすることで行うことができる。
[0114]
 その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素に白色をセットし、極性が負である場合には、画素に黒色をセットすることができる。
[0115]
 なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
[0116]
 ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。本実施の形態では、説明を簡単にするため、フレーム幅をフレーム間隔と同一とし、所定の設定フレーム間隔で、イベントデータがメモリ34に蓄積されることとする。設定フレーム間隔でメモリ34に蓄積されるフレームデータが更新され、物体の検出が順次行われるので、フレームデータの更新周期は物体の検出を行う周期(物体検出周期)に等しい。
[0117]
 なお、本実施の形態では、所定の設定フレーム間隔および設定フレーム幅でメモリ34に蓄積されたイベントデータを用いた画像認識により、検出対象としての物体を特定するようにしたが、例えば、時間経過に応じて取得されるイベントデータの位置変位を捉えることにより、物体を特定するような場合には、メモリ34は省略することができる。
[0118]
<CISチップ12の構成例>
 図11は、図1のCISチップ12の構成例を示すブロック図である。
[0119]
 CISチップ12は、画素アレイ部211、駆動部212、AD(Analog to Digital)変換部213、入力部214、制御部215、信号処理部216、及び、出力部217を備える。
[0120]
 画素アレイ部211は、複数の画素251(図12)が2次元格子状に配列されて構成される。画素アレイ部211は、それぞれが所定数の画素251からなる複数の画素ブロック241(図12)に分割される。画素アレイ部211は、画素251の光電変換によって生成される画素信号を、AD変換部213に出力する。
[0121]
 駆動部212は、画素アレイ部211に制御信号を供給することにより、画素アレイ部211を駆動する。例えば、駆動部212は、DVSチップ11から供給されたROI情報に基づく注目領域の画素251を駆動し、その画素251の画素信号を、AD変換部213に供給(出力)させる。なお、勿論、駆動部212は、画素アレイ部211の一部の領域だけでなく、画素アレイ部211の全領域を駆動し、全領域の画素251の画素信号をAD変換部213に供給(出力)させることも可能である。
[0122]
 AD変換部213は、例えば、後述する画素ブロック241(図12)の列ごとに、例えば、シングルスロープ型のADC(AD Converter)(図示せず)を有する。AD変換部213は、各列のADCにおいて、その列の画素ブロック241の画素251の画素信号をAD変換し、信号処理部216に供給する。なお、AD変換部213では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
[0123]
 入力部214は、中継基板13を介してDVSチップ11から供給されたROI情報を取得し、制御部215に供給する。また、入力部214は、動作モードなどを指令するデータなども、外部から取得することができる。
[0124]
 制御部215は、ROI情報や、動作モードなどを指令するデータなどを入力部214から受け取る。制御部215は、駆動部212、AD変換部213などの動作の基準となるクロック信号や制御信号を生成する。そして、制御部215は、生成したクロック信号や制御信号を、駆動部212、AD変換部213等に出力する。例えば、制御部215は、入力部214から取得したROI情報に基づいて、画素アレイ部211の駆動領域を特定する制御信号を駆動部212に供給する。
[0125]
 信号処理部216は、AD変換部213から順次供給される画素信号に対して、所定の信号処理を行う。例えば、信号処理部216は、黒レベル調整処理、列ばらつき補正処理、ゲイン調整処理などの各種のデジタル信号処理を行う。信号処理部216は、デジタル信号処理後の画素信号を出力部217に供給する。
[0126]
 出力部217は、信号処理部216からの画素信号を外部に出力する。
[0127]
<画素アレイ部211の構成例>
 図12は、図11の画素アレイ部211の構成例を示すブロック図である。
[0128]
 画素アレイ部211は、複数の画素ブロック241を有する。画素ブロック241は、I行×J列(I及びJは整数)に配列された1以上としてのI×J個の画素251、及び、画素信号生成部252を備える。上述したように、各画素ブロック241の画素251は、DVSチップ11の画素アレイ部31の各画素ブロック41の画素51と、画素位置が対応している。
[0129]
 画素ブロック241内の1以上の画素251は、画素信号生成部252を共有している。また、画素ブロック241の列ごとには、画素ブロック241とAD変換部213のADCとを接続するVSL(Vertical Signal Line)が配線される。
[0130]
 画素251は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素信号生成部252は、画素251の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部213に供給する。
[0131]
<画素ブロック41の構成例>
 図13は、図12の画素ブロック241の構成例を示す回路図である。
[0132]
 画素ブロック241は、図12で説明したように、1以上の画素251、及び、画素信号生成部252を備える。
[0133]
 画素251は、光電変換素子261、及び、転送トランジスタ262を備える。
[0134]
 光電変換素子261は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
[0135]
 転送トランジスタ262は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック241を構成するI×J個の画素251のうちのn番目の画素251を構成する転送トランジスタ262は、駆動部212から供給される制御信号TRGnに従ってオン/オフする。転送トランジスタ262がオンすることにより、光電変換素子261で生成された電荷は、画素信号生成部252のFD274に転送される。
[0136]
 画素信号生成部252は、リセットトランジスタ271、増幅トランジスタ272、選択トランジスタ273、及び、FD(Floating Diffusion)274を備える。
[0137]
 リセットトランジスタ271、増幅トランジスタ272、及び、選択トランジスタ273は、例えば、N型のMOS FETで構成される。
[0138]
 リセットトランジスタ271は、駆動部212(図11)から供給される制御信号RSTに従ってオン/オフする。リセットトランジスタ271がオンすることにより、FD274が電源VDDに接続され、FD274に蓄積された電荷が電源VDDに排出される。これにより、FD274は、リセットされる。
[0139]
 増幅トランジスタ272のゲートは、FD274に、ドレインは、電源VDDに、ソースは、選択トランジスタ273を介してVSLに、それぞれ接続される。増幅トランジスタ272は、ソースフォロアになっており、ゲートに供給されるFD274の電圧に対応する電圧(電気信号)を、選択トランジスタ273を介してVSLに出力する。
[0140]
 選択トランジスタ273は、駆動部212から供給される制御信号SELに従ってオン/オフする。リセットトランジスタ271がオンすることにより、増幅トランジスタ272からのFD274の電圧に対応する電圧が、VSLに出力される。
[0141]
 FD274は、画素251の光電変換素子261から転送トランジスタ263を介して転送されてくる電荷を蓄積し、電圧に変換する。
[0142]
 以上のように構成される画素251及び画素信号生成部252については、駆動部212は、制御信号TRGnにより、画素ブロック241内の画素251の転送トランジスタ262を順にオンにして、光電変換素子261で生成された電荷をFD274に転送させる。FD274では、画素251(の光電変換素子261)から転送される電荷が蓄積される。FD274に蓄積された電荷に対応する電圧は、画素251の画素信号として、増幅トランジスタ272及び選択トランジスタ273を介して、VSLに出力される。
[0143]
 以上のように、CISチップ12(図11)では、駆動部212の制御にしたがって、注目領域に対応する画素ブロック241の画素251の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部213に供給され、AD変換される。
[0144]
 ここで、画素ブロック241内の各画素251については、転送トランジスタ263を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック241内のすべての画素251の画素信号の和を出力することができる。
[0145]
 図12の画素アレイ部211では、画素ブロック241が1以上の画素251で構成され、その1以上の画素251で、画素信号生成部252が共有される。したがって、画素ブロック241が、複数の画素251で構成される場合には、1個の画素251に対して、1個の画素信号生成部252を設ける場合に比較して、画素信号生成部252の数を少なくすることができ、画素アレイ部211の規模を抑制することができる。
[0146]
 なお、画素ブロック241が、複数の画素251で構成される場合においても、画素251ごとに画素信号生成部252を設けることができる。画素251ごとに画素信号生成部252を設ける場合には、画素ブロック241を構成する複数の画素251の転送トランジスタ263を順にオンする必要がなく、同時にオンし、画素251の単位で、画素信号を検出することができる。
[0147]
 但し、以下では、説明を簡単にするため、特に断らない限り、DVSチップ11の画素アレイ部31、および、CISチップ12の画素アレイ部211のいずれにおいても、画素ブロックが1個の画素を有する場合を前提に説明を行う。すなわち、DVSチップ11の画素アレイ部31の画素ブロック41は、1個の画素51とイベント検出部52とを有し、CISチップ12の画素アレイ部211の画素ブロック241は、1個の画素251と画素信号生成部252とを有する場合を前提に説明を行う。
[0148]
<固体撮像装置10の処理>
 図14のフローチャートを参照して、固体撮像装置10の動作を説明する。例えば、図14の処理は、固体撮像装置10の電源がオンされたときに開始される。
[0149]
 なお、図14の処理では、フレーム間隔設定部131およびフレーム幅設定部132が設定する設定フレーム間隔および設定フレーム幅は、調整された上で、予め所定値に設定されている。
[0150]
 初めに、ステップS1において、DVSチップ11の画素アレイ部31は、画素アレイ部31を構成する複数の画素51のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、メモリ34に供給する。より詳しくは、画素アレイ部31は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ33に出力する。そして、画素アレイ部31は、アービタ33からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ34に出力する。
[0151]
 ステップS2において、メモリ34は、画素アレイ部31からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
[0152]
 ステップS3において、画像処理部35は、メモリ34に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるデータ処理結果を、出力部36に出力する。より詳しくは、検出部133が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部133は、特定した物体を含む注目領域を決定し、出力部36に出力する。
[0153]
 ステップS4において、出力部36は、画像処理部35から供給された注目領域を特定する情報をROI情報(Region Of Interest)として、中継基板13を介して、CISチップ12に出力する。
[0154]
 ステップS5において、入力部214は、中継基板13を介してDVSチップ11から供給されたROI情報を取得し、制御部215に供給する。制御部215は、入力部214から取得したROI情報に基づいて、画素アレイ部211の駆動領域を特定する制御信号を駆動部212に供給する。
[0155]
 ステップS6において、画素アレイ部211は、駆動部212の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部212は、制御部215から供給された、画素アレイ部211の駆動領域を特定する制御信号に基づいて、注目領域の画素251を駆動する。画素アレイ部211は、駆動部212の制御にしたがい、注目領域の画素信号を、AD変換部213に供給する。
[0156]
 ステップS7において、AD変換部213は、画素アレイ部211の行単位に順次入力されるアナログの画素信号をデジタル信号に変換(AD変換)するとともにCDSを行い、その結果を、信号処理部216に供給する。
[0157]
 ステップS8において、信号処理部216は、AD変換部213から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部217に供給する。出力部217は、信号処理部216からのデジタルの画素信号を外部に出力する。
[0158]
 ステップS1乃至S4の処理は、固体撮像装置10のDVSチップ11によって実行され、ステップS5乃至S8の処理は、固体撮像装置10のCISチップ12によって実行される。
[0159]
 DVSチップ11では、イベントの発生が検出された場合に、検出対象としての物体を特定して注目領域が決定され、その注目領域を特定する情報が、ROI情報として、CISチップ12に供給される。CISチップ12では、DVSチップ11で決定された注目領域(に対応する領域)の撮像が行われ、注目領域の各画素の画素信号が出力される。
[0160]
 例えば、固体撮像装置を、一般的なCMOSイメージセンサと同様にCISチップ12のみで構成した場合であっても、CISチップ12で画素アレイ部211の全領域で撮像を行い、その撮像画像からパターンマッチング等の画像認識により検出対象となる物体を特定して注目領域を決定した後、注目領域の各画素の画素信号を取得することが可能である。
[0161]
 しかしながら、注目領域を決定するために、画素アレイ部211の全領域で撮像を行うと、画像認識の処理負荷も大きくなり、消費電力も大きくなる。消費電力や画像認識の処理負荷を減らすために、画素アレイ部211の撮像画素を間引くなどして低解像度で実行する方法も考えられるが、低解像度で検出対象を検出できない場合には、さらに解像度を上げて、撮像および画像認識を再度実行する必要がある。
[0162]
 これに対して、図1の固体撮像装置10によれば、DVSチップ11の検出対象範囲が、間引かれることなく、CISチップ12の画素アレイ部211の撮像範囲と同じであり、イベントの発生を1ビットまたは1.5ビット(3値)の低ビットで出力するので、CISチップ12の画素アレイ部211と同じ撮像範囲のイベントの発生を、空間情報の欠落なく、低消費電力で検出することができる。そして、CISチップ12では、DVSチップ11で決定された注目領域についての撮像を行うことで、注目領域の撮像を高速に行うことができる。画素アレイ部211の一部分の領域のみの駆動とすることで、CISチップ12の消費電力も低減することができる。
[0163]
<2.第2実施の形態>
 図15は、本技術を適用した固体撮像装置の第2実施の形態の構成例を示す図である。
[0164]
 図1の第1実施の形態では、イベントの発生を検出して、注目領域を特定するROI情報を出力するDVSチップ11と、注目領域の画像を撮像するCISチップ12との2個のチップで構成されていたが、第2実施の形態では、3個のチップで構成されている。
[0165]
 第2実施の形態に係る固体撮像装置10は、第1のチップ311、第2のチップ312、および、第3のチップ313と、それらが搭載された中継基板(インターポーザ基板)314とで構成されている。
[0166]
 第2実施の形態に係る固体撮像装置10は、第1実施の形態のDVSチップ11およびCISチップ12のそれぞれのデジタル信号処理の少なくとも一部を、別のDSP(digital signal processor)チップで実行するようにした構成である。
[0167]
 具体的には、第1のチップ311は、第1実施の形態のDVSチップ11のデジタル信号処理回路の一部を除いた回路で構成され、第2のチップ312は、第1実施の形態のCISチップ12のデジタル信号処理回路の一部を除いた回路で構成される。第3のチップ313には、第1のチップ311と第2のチップ312とで除かれた回路が形成される。以下では、区別を容易にするために、第1のチップ311を、DVSチップ311と称し、第2のチップ312を、CISチップ312と称し、第3のチップ313を、DSPチップ313と称することとする。
[0168]
 中継基板314は、DVSチップ311、CISチップ312、および、DSPチップ313間の信号を中継する信号配線と、固体撮像装置10の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ311やCISチップ312の搭載面と反対側に形成されるはんだボール等で構成される。
[0169]
<各チップの構成例>
 図16は、DVSチップ311、CISチップ312、および、DSPチップ313の構成例を示すブロック図である。
[0170]
 図16において、図2、図9、および、図11で示した第1実施の形態の各構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
[0171]
 第1実施の形態の図2のDVSチップ11と、第2実施の形態のDVSチップ311とを比較すると、第1実施の形態のDVSチップ11に含まれていた、メモリ34、画像処理部35、および、クロック信号生成部37が、第2実施の形態では、DSPチップ313に移動されている。これにより、画素アレイ部31から出力されたイベントデータは、出力部36に供給され、出力部36が、イベントデータをDSPチップ313のメモリ34に出力する。
[0172]
 第2実施の形態のCISチップ312は、第1実施の形態の図11のCISチップ12と同様に構成されている。
[0173]
 DSPチップ313は、メモリ34、画像処理部35、および、クロック信号生成部37の他、画像処理部321を有する。
[0174]
 DSPチップ313の画像処理部321は、CISチップ312の出力部217から入力されるデジタルの画素信号を取得する。画像処理部321は、CISチップ312から入力された注目領域の画素信号に対する所定の画像処理、例えば、デモザイク処理などを行い、その結果得られる画像(の信号)を外部に出力する。また、画像処理部321は、第1実施の形態ではCISチップ312の信号処理部216で行っていた信号処理の一部を実行するようにしてもよい。画像処理部321は、必要に応じて、画素信号を一時的に保持するメモリ(フレームメモリ)を有する。
[0175]
 第2実施の形態に係る固体撮像装置10の処理は、第1実施の形態で説明した図14の処理と同様に実行することができるので、その説明は省略する。また、第2実施の形態に係る固体撮像装置10の処理では、図14で説明した処理の最後に、DSPチップ313の画像処理部321による画像処理を追加して行うことができる。
[0176]
 したがって、3チップ構成とした第2実施の形態に係る固体撮像装置10においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
[0177]
<3.第3実施の形態>
 図17は、本技術を適用した固体撮像装置の第3実施の形態の構成例を示すブロック図である。
[0178]
 第3実施の形態に係る固体撮像装置10は、第2実施の形態と同様に、DVSチップ311、CISチップ312、および、DSPチップ313の3チップで構成される。第3実施の形態に係る固体撮像装置10の概略斜視図は、図15と同様であるので、図示は省略する。
[0179]
 図17のブロック図において、第2実施の形態の図16と対応する部分については、同一の符号を付してあり、その部分の説明は適宜省略する。
[0180]
 図17のDSPチップ313の検出部341、信頼度判定部342、および、撮像同期信号生成部343が第2実施の形態と相違し、その他の部分が第2実施の形態と共通する。
[0181]
 第2実施の形態の画像処理部35の検出部133が、第3実施の形態では、検出部341に置き換えられている。
[0182]
 第1および第2実施の形態では、フレームデータを生成する際の設定フレーム間隔および設定フレーム幅が予め決定された固定値とされていたが、第3の実施の形態では、検出部341の検出結果に応じて、設定フレーム間隔および設定フレーム幅が変更される。
[0183]
 具体的には、検出部341は、第2実施の形態の検出部133と同様に、メモリ34に記憶されているフレームデータを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。そして、画像処理部35は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、CISチップ312の入力部214に出力する。
[0184]
 また、検出部341は、画像認識の認識結果、換言すれば、物体の検出結果を、信頼度判定部342に供給する。例えば、検出部341は、フレーム単位で物体検出の有無を1および0に割り当て、最新フレームから過去に遡った所定数フレームまでの1の割合を検出率として算出し、信頼度判定部342に出力する。
[0185]
 信頼度判定部342は、検出部341から供給される検出率により物体検出の信頼度を判定し、メモリ34がイベントデータを蓄積するフレーム単位(フレームボリューム)を制御する。ここで、第3の実施の形態においても、フレーム幅とフレーム間隔とが同一とし、フレーム間隔の設定のみによってフレーム単位が設定されるとすると、信頼度判定部342は、検出率に応じて、メモリ34がイベントデータを蓄積するフレーム間隔を制御する。具体的には、信頼度判定部342は、検出部341から供給される検出率が、内部に記憶された閾値よりも小さい場合、すなわち、物体を十分に検出できていない場合、フレーム間隔を大きくするフレーム制御信号を、画像処理部35に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部342は、フレーム間隔を小さくするフレーム制御信号を、画像処理部35に供給する。なお、検出率が第1の閾値より小さい場合、フレーム間隔を大きく変更し、検出率が第1の閾値以上第2の閾値未満(第1の閾値<第2の閾値)である場合、現在のフレーム間隔を維持し、検出率が第2の閾値以上である場合、フレーム間隔を小さく変更するようにしてもよい。
[0186]
 また、信頼度判定部342は、メモリ34がイベントデータを蓄積するフレーム単位に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。すなわち、フレーム間隔が短く、物体を検出する周期(物体検出周期)ほど、CISチップ312を高速に駆動することができない場合、信頼度判定部342は、撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。一方、物体検出周期が低速であり、CISチップ312の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部342は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。CISチップ312が駆動可能な撮像周期は、注目領域の領域サイズによっても変わり得る。したがって、注目領域の領域サイズが小さいことにより、CISチップ312の撮像を、物体検出周期に合わせて高速に駆動できる場合にも、物体検出周期に合わせる撮像周期制御信号が、撮像同期信号生成部343に供給される。
[0187]
 撮像同期信号生成部343は、信頼度判定部342からの撮像周期制御信号に応じて、撮像同期信号を生成し、CISチップ312の入力部214に出力する。
[0188]
 より詳しくは、撮像同期信号生成部343には、クロック信号生成部37から、クロック信号(マスタクロック)が供給される。クロック信号生成部37は、生成したクロック信号を、DVSチップ311の出力部36の他、撮像同期信号生成部343にも供給する。
[0189]
 撮像同期信号生成部343は、例えば、分周回路で構成され、クロック信号生成部37からのクロック信号を分周することで、撮像同期信号を生成する。生成された撮像同期信号は、CISチップ312の入力部214に出力される。撮像同期信号生成部343は、撮像周期を大きく設定する撮像周期制御信号が信頼度判定部342から供給された場合、クロック信号を所定の分周比で分周した撮像同期信号を生成する。撮像周期を物体検出周期に合わせる撮像周期制御信号が信頼度判定部342から供給された場合、撮像同期信号生成部343は、クロック信号を分周せずに、そのまま、撮像同期信号として、CISチップ312の入力部214に出力する。
[0190]
 なお、撮像同期信号生成部343は、クロック信号生成部37からのクロック信号の周期を、単に1/n(n>1)に分周した撮像同期信号を生成するのではなく、クロック信号の周期を1/nに分周し、かつ、30fps、60fps、または120fpsのビデオレートとなるような撮像同期信号を生成するようにしてもよい。30fps、60fps、または120fpsのいずれに設定するかは、例えば、ユーザ設定等で決めることができる。
[0191]
<固体撮像装置10の処理>
 図18は、第3実施の形態に係る固体撮像装置10の処理を説明するフローチャートである。例えば、図18の処理は、固体撮像装置10の電源がオンされたときに開始される。
[0192]
 なお、図18の処理では、初期値としての設定フレーム間隔および設定フレーム幅は、予め所定値に設定されている。
[0193]
 初めに、ステップS21において、DVSチップ11の画素アレイ部31は、画素アレイ部31を構成する複数の画素51のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、出力部36に供給する。より詳しくは、画素アレイ部31は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ33に出力する。そして、画素アレイ部31は、アービタ33からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、出力部36に出力する。出力部36は、画素アレイ部31からのイベントデータを、DSPチップ313のメモリ34に出力する。
[0194]
 ステップS22において、DSPチップ313のメモリ34は、DVSチップ11の出力部36からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
[0195]
 ステップS23において、画像処理部35の検出部341は、メモリ34に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるROI情報を、中継基板314を介して、CISチップ312の入力部214に出力する。より詳しくは、検出部341が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部341は、特定した物体を含む注目領域を決定し、注目領域を特定するROI情報を、CISチップ312の入力部214に出力する。
[0196]
 ステップS24において、検出部341は、画像認識の認識結果として、物体の検出率を算出し、信頼度判定部342に供給する。物体の検出率は、例えば、フレーム単位に信頼度判定部342に供給される。
[0197]
 ステップS25において、信頼度判定部342は、検出部341から供給された検出率に応じて、メモリ34がイベントデータを蓄積するフレーム間隔を制御する。検出率が閾値よりも小さく、物体を十分に検出できていない場合、信頼度判定部342は、フレーム間隔を大きくするフレーム制御信号を、画像処理部35に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部342は、フレーム間隔を小さくするフレーム制御信号を、画像処理部35に供給する。なお、検出率が、内部に記憶された閾値以上である場合には、フレーム間隔は変更せずに、維持するようにしてもよい。
[0198]
 ステップS26において、信頼度判定部342は、フレーム間隔に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。具体的には、フレーム間隔が短く、物体検出周期ほどCISチップ312を高速に駆動することができない場合、信頼度判定部342は、現在の設定より撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。一方、物体検出周期が低速であり、CISチップ312の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部342は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部343に供給する。
[0199]
 ステップS27において、撮像同期信号生成部343は、信頼度判定部342からの撮像周期制御信号に応じて撮像同期信号を生成し、CISチップ312の入力部214に出力する。
[0200]
 ステップS28において、CISチップ312の入力部214は、中継基板314を介してDSPチップ313から供給されたROI情報と撮像同期信号を取得し、制御部215に供給する。ROI情報は、DSPチップ313の検出部133から供給され、撮像同期信号は、DSPチップ313の撮像同期信号生成部343から供給される。制御部215は、入力部214から取得したROI情報に基づいて、画素アレイ部211の駆動領域を特定する制御信号を駆動部212に供給する。また、制御部215は、入力部214から取得した撮像同期信号を、駆動部212やAD変換部213などに供給する。
[0201]
 ステップS29において、画素アレイ部211は、駆動部212の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部212は、入力部214から、画素アレイ部211の駆動領域を特定する制御信号に基づいて、注目領域の画素251を駆動する。画素アレイ部211は、駆動部212の制御にしたがい、注目領域の画素信号を、AD変換部213に供給する。
[0202]
 ステップS30において、AD変換部213は、画素アレイ部211の行単位に順次入力されるアナログの画素信号をデジタル信号に変換(AD変換)するとともにCDSを行い、その結果を、信号処理部216に供給する。
[0203]
 ステップS31において、信号処理部216は、AD変換部213から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部217に供給する。出力部217は、信号処理部216からのデジタルの画素信号をDSPチップ313に出力する。
[0204]
 ステップS32において、DSPチップ313の画像処理部321は、CISチップ312からの画素信号に対して所定の画像処理、例えば、画素信号のデモザイク処理などを実行して、外部に出力する。画素信号のデモザイク処理により生成された注目領域の画像が、外部に出力される。
[0205]
 ステップS21の処理は、DVSチップ311によって実行され、ステップS22乃至S27およびステップS32の処理は、DSPチップ313によって実行され、ステップS28乃至S31の処理は、CISチップ312によって実行される。
[0206]
 第3実施の形態によれば、DVSチップ311においてイベントの発生が検出され、DSPチップ313に出力される。DSPチップ313において、イベントデータが所定のフレーム期間で蓄積され、検出対象となる物体が特定されて注目領域が決定される。その注目領域を特定する情報が、ROI情報として、CISチップ312に供給される。CISチップ312では、DVSチップ311で決定された注目領域(に対応する領域)の撮像が行われ、注目領域の各画素の画素信号が出力される。
[0207]
 DSPチップ313では、物体の検出率が算出され、検出率に応じてフレームボリュームが制御される。例えば、検出率が所定の閾値より小さい場合には、フレーム間隔を大きくするように物体検出周期が制御され、検出率が所定の閾値以上である場合には、フレーム間隔を小さくするように物体検出周期が制御される。
[0208]
 さらに、検出率に応じて調整された物体検出周期に応じて、CISチップ312の撮像周期も制御される。すなわち、物体検出周期が高速で、物体検出周期ほどCISチップ312を高速に駆動することができない場合には、物体検出周期よりも大きい撮像周期となるように撮像周期制御信号が生成される。一方、物体検出周期と同じ周期でCISチップ312の撮像を行うことができる場合には、撮像周期を物体検出周期に合わせる撮像周期制御信号が生成される。撮像同期信号生成部343は、撮像周期制御信号にしたがい、撮像同期信号を生成し、CISチップ12に供給する。物体検出周期よりも小さい撮像周期に制御する場合には、クロック信号の周期を、単に1/nに分周した撮像同期信号を生成するのではなく、クロック信号の周期を1/nに分周し、かつ、30fps、60fps、または120fpsのビデオレートとなるような撮像周期信号を生成することもできる。
[0209]
 したがって、第3実施の形態に係る固体撮像装置10においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
[0210]
 また、物体を検出したときの検出率に応じて、フレーム間隔(フレームボリューム)を制御することができ、さらに、フレーム間隔に応じて、撮像周期も制御することができる。
[0211]
<4.第4実施の形態>
 図19は、本技術を適用した固体撮像装置の第4実施の形態の構成例を示す図である。
[0212]
 上述した第1乃至第3実施の形態では、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが、別々のチップ(半導体チップ)に形成された。これに対して、第4実施の形態に係る固体撮像装置10は、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが同一のチップに形成される。
[0213]
 図19の固体撮像装置10は、複数のダイ(基板)としてのセンサダイ(基板)411とロジックダイ412とが積層された1つのチップで構成される。
[0214]
 センサダイ411には、センサ部421(としての回路)が構成され、ロジックダイ412には、ロジック部422が構成されている。
[0215]
 センサ部421は、上述したDVSチップ11の画素アレイ部31(図2)と同様に、イベントデータを生成する。すなわち、センサ部421は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
[0216]
 また、センサ部421は、上述したCISチップ12の画素アレイ部211(図11)と同様に、画素信号を生成する。すなわち、センサ部421は、入射光の光電変換を行って電気信号を生成する画素を有し、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力する。
[0217]
 センサ部421は、イベントデータまたは画素信号を独立して出力することができる他、生成したイベントデータに基づいてロジック部422から入力されるROI情報に基づいて注目領域の画素信号を出力することができる。
[0218]
 ロジック部422は、必要に応じて、センサ部421の制御を行う。また、ロジック部422は、センサ部421からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部421からのフレームデータ、又は、センサ部421からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
[0219]
 ロジック部422は、例えば、図17に示した構成のうち、DSPチップ313に形成された、メモリ34、画像処理部35、クロック信号生成部37、信頼度判定部342、画像処理部321、および、撮像同期信号生成部343などを有する。
[0220]
 なお、センサ部421については、その一部を、ロジックダイ412に構成することができる。また、ロジック部422については、その一部を、センサダイ411に構成することができる。
[0221]
 また例えば、メモリ34や、画像処理部321に含まれるメモリとして、大容量のメモリを備える場合などでは、図20に示されるように、固体撮像装置10は、センサダイ411とロジックダイ412とに加えて、もう1つのロジックダイ413を積層した3層で構成することができる。勿論、4層以上のダイ(基板)の積層で構成してもよい。
[0222]
<センサ部421の構成例>
 図21は、図19のセンサ部421の構成例を示すブロック図である。
[0223]
 センサ部421は、画素アレイ部431、駆動部432、アービタ433、AD変換部434、信号処理部435、及び、出力部436を備える。
[0224]
 画素アレイ部431は、複数の画素451(図22)が2次元格子状に配列されて構成される。画素アレイ部431は、画素451の光電変換によって生成される電気信号としての光電流(に対応する電圧)に所定の閾値を超える変化(閾値以上の変化を必要に応じて含む)が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部431は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ433に出力する。そして、画素アレイ部431は、アービタ433からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部432及び出力部436に出力する。さらに、画素アレイ部431は、イベントが検出された画素451の電気信号を、画素信号として、AD変換部434に出力する。
[0225]
 駆動部432は、画素アレイ部431に制御信号を供給することにより、画素アレイ部431を駆動する。例えば、駆動部432は、画素アレイ部431からイベントデータが出力された画素451を駆動し、その画素451の画素信号を、AD変換部434に供給(出力)させる。
[0226]
 アービタ433は、第3実施の形態のアービタ33と同様に構成される。すなわち、アービタ433は、画素アレイ部431からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、画素アレイ部431に返す。また、アービタ433は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部431に出力する。
[0227]
 AD変換部434は、第3実施の形態のAD変換部213と同様に構成される。すなわち、AD変換部434は、各列のADCにおいて、その列の画素ブロック441の画素451の画素信号をAD変換し、信号処理部435に供給する。なお、AD変換部434では、画素信号のAD変換とともに、CDSを行うことができる。
[0228]
 信号処理部435は、第3実施の形態の信号処理部216と同様に構成される。すなわち、AD変換部434から順次供給される画素信号に対して、例えば、黒レベル調整処理、ゲイン調整処理などの所定の信号処理を行って、出力部436に供給する。
[0229]
 出力部436は、第3実施の形態の出力部36および出力部217と同様の処理を行う。すなわち、出力部436は、画素信号やイベントデータに必要な処理を施し、ロジック部422(図19)に供給する。
[0230]
<画素アレイ部431の構成例>
 図22は、図21の画素アレイ部431の構成例を示すブロック図である。
[0231]
 図22および図23において、上述した第1乃至第3実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
[0232]
 画素アレイ部431は、複数の画素ブロック441を有する。画素ブロック441は、I行×J列(I及びJは整数)に配列された1以上としてのI×J個の画素451、イベント検出部52、及び、画素信号生成部252を備える。
[0233]
 すなわち、画素アレイ部431は、第1乃至第3実施の形態と異なる画素451と、第1乃至第3実施の形態と同じ、イベント検出部52、及び、画素信号生成部252を備える。
[0234]
 画素451は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素451は、駆動部432の制御に従って、光電流を、イベント検出部52に供給する。
[0235]
 イベント検出部52は、駆動部432の制御に従って、画素451のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部52は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ433(図21)に供給する。そして、イベント検出部52は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ433から受け取ると、イベントデータを、駆動部432及び出力部436に出力する。
[0236]
 画素信号生成部252は、イベント検出部52においてイベントが検出された場合に、駆動部432の制御に従って、画素451の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部434(図21)に供給する。
[0237]
 ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部252では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
[0238]
<画素ブロック441の構成例>
 図23は、図22の画素ブロック441の構成例を示す回路図である。
[0239]
 画素ブロック441は、図22で説明したように、画素451、イベント検出部52、及び、画素信号生成部252を備える。
[0240]
 画素451は、光電変換素子461、転送トランジスタ462、及び、転送トランジスタ463を備える。
[0241]
 光電変換素子461は、例えば、PDで構成され、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。
[0242]
 転送トランジスタ462は、例えば、N型のMOS FETで構成される。画素ブロック441を構成するI×J個の画素451のうちのn番目の画素451を構成する転送トランジスタ462は、駆動部432(図21)から供給される制御信号OFGnに従ってオン/オフする。転送トランジスタ462がオンすることにより、光電変換素子461で生成された電荷は、光電流として、イベント検出部52に転送(供給)される。
[0243]
 転送トランジスタ463は、例えば、N型のMOS FETで構成される。画素ブロック441を構成するI×J個の画素451のうちのn番目の画素451を構成する転送トランジスタ463は、駆動部432から供給される制御信号TRGnに従ってオン/オフする。転送トランジスタ463がオンすることにより、光電変換素子461で生成された電荷は、画素信号生成部252のFD274に転送される。
[0244]
 画素ブロック441を構成するI×J個の画素451は、ノード464を介して、その画素ブロック441を構成するイベント検出部52に接続されている。したがって、画素451(の光電変換素子461)で生成された光電流は、ノード464を介して、イベント検出部52に供給される。その結果、イベント検出部52には、画素ブロック441内のすべての画素451の光電流の和が供給される。したがって、イベント検出部52では、画素ブロック441を構成するI×J個の画素451から供給される光電流の和の変化がイベントとして検出される。
[0245]
 画素信号生成部252は、図13と同様に、リセットトランジスタ271、増幅トランジスタ272、選択トランジスタ273、及び、FD274を備える。
[0246]
 以上のように構成される画素451及び画素信号生成部252については、駆動部432は、転送トランジスタ462を、制御信号OFGnによりオンにして、画素451の光電変換素子461で生成された電荷による光電流を、イベント検出部52に供給させる。これにより、イベント検出部52には、画素ブロック441内のすべての画素451の光電流の和の電流が供給される。
[0247]
 画素ブロック441において、イベント検出部52が、イベントとしての光電流(の和)の変化を検出すると、駆動部432は、その画素ブロック441のすべての画素451の転送トランジスタ462をオフにして、イベント検出部52への光電流の供給を停止させる。そして、イベント検出後に、センサ部421からのイベントデータに応じてロジック部422からROI情報が供給されると、駆動部432は、注目領域の画素251を駆動する。すなわち、駆動部432は、制御信号SELと制御信号RSTをHレベルにして注目領域の画素行を順次選択して光電変換素子461をリセットした後、露光を開始させる。露光終了後に、駆動部432は、制御信号TRGnにより、注目領域の画素ブロック441内の画素451の転送トランジスタ463を順にオンにして、光電変換素子461で生成された電荷をFD274に転送させる。FD274では、画素451(の光電変換素子461)から転送される電荷が蓄積される。FD274に蓄積された電荷に対応する電圧は、画素451の画素信号として、増幅トランジスタ272及び選択トランジスタ273を介して、VSLに出力される。
[0248]
 以上のように、センサ部421(図19)では、1以上の画素451とイベント検出部52とによって、イベントが検出され、イベントデータが生成される。生成されたイベントデータは、ロジック部422に供給され、注目領域が決定される。そして、注目領域のROI情報が、ロジック部422からセンサ部421に供給され、注目領域に対応する画素ブロック441の画素451の画素信号が生成され、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部434に供給され、AD変換される。第4実施の形態に係る固体撮像装置10の処理は、図18の処理と同様に実行することができる。
[0249]
 ここで、画素ブロック441内の各画素451については、転送トランジスタ463を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック441内のすべての画素451の画素信号の和を出力することができる。
[0250]
 図22の画素アレイ部431では、画素ブロック441が1以上の画素451で構成され、その1以上の画素451で、イベント検出部52及び画素信号生成部252が共有される。より詳しくは、画素ブロック441を構成する各画素451の光電変換素子461、転送トランジスタ462、及び、転送トランジスタ463が、イベント検出部52及び画素信号生成部252が共有される。したがって、画素ブロック441が、複数の画素451で構成される場合には、1個の画素451に対して、1個のイベント検出部52及び1個の画素信号生成部252を設ける場合に比較して、イベント検出部52及び画素信号生成部252の数を少なくすることができ、画素アレイ部431の規模を抑制することができる。
[0251]
 なお、画素ブロック441が、複数の画素451で構成される場合、画素451ごとに、イベント検出部52を設けることができる。画素ブロック441の複数の画素451で、イベント検出部52を共有する場合には、画素ブロック441の単位でイベントが検出されるが、画素451ごとに、イベント検出部52を設ける場合には、画素451の単位で、イベントを検出することができる。
[0252]
 但し、画素ブロック441の複数の画素451で、1個のイベント検出部52を共有する場合でも、複数の画素451それぞれの転送トランジスタ462を時分割で一時的にオンにすることにより、画素451の単位で、イベントを検出することができる。
[0253]
<イベント検出と撮像の動作>
 図24は、図21のセンサ部421の動作の例を説明するタイミングチャートである。
[0254]
 タイミングT0において、駆動部432は、制御信号OFGnを全てLレベルからHレベルにして、画素ブロック441内の全画素451の転送トランジスタ462をオンにする。これにより、画素ブロック441内の全画素451の光電流の和が、イベント検出部52に供給される。このとき、制御信号TRGnはすべてLレベルであり、全画素451の転送トランジスタ463はオフである。
[0255]
 例えば、タイミングT1において、イベント検出部52は、イベントを検出すると、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
[0256]
 駆動部432は、Hレベルのイベントデータに応じて、タイミングT2において制御信号OFGnをすべてLレベルにして、画素451からイベント検出部52への光電流の供給を停止させる。その後、駆動部432は、注目領域の画素451を駆動し、画素信号を生成させる。すなわち、駆動部432は、注目領域の画素451の制御信号SELをHレベルにし、制御信号RSTと制御信号TRGを一定期間だけHレベルにして、光電変換素子461の電荷を電源VDDに排出させることで、露光開始前のリセットを行う。露光終了後に、駆動部432は、タイミングT3において制御信号RSTをHレベルにして、FD274をリセットする。画素信号生成部252は、FD274のリセット時のFD274の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部434は、そのリセットレベルをAD変換する。
[0257]
 リセットレベルのAD変換後のタイミングT4において、駆動部432は、制御信号TRG1を一定期間だけHレベルにして、注目領域の画素ブロック441内の1つ目の画素451(の光電変換素子461)の光電変換により生成された電荷を、FD274に転送させる。画素信号生成部252は、画素451から電荷が転送されたFD274の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部434は、その信号レベルをAD変換する。
[0258]
 AD変換部434は、AD変換後の信号レベルとリセットレベルとの差分を、画像(フレームデータ)の画素値となる画素信号として、信号処理部435に出力する。
[0259]
 注目領域の画素ブロック441内の1つ目の画素451の画素信号のAD変換後、駆動部432は、タイミングT3およびT4と同様に、制御信号RSTと制御信号TRG2を一定期間だけ順にHレベルにすることで、注目領域の画素ブロック441内の2つ目の画素451の画素信号を出力させる。
[0260]
 センサ部421では、以下、同様の動作が行われ、注目領域の画素ブロック441内のそれぞれの画素451の画素信号が順に出力される。
[0261]
 画素ブロック441内のすべて画素451の画素信号が出力されると、駆動部432は、制御信号OFGnをすべてHレベルにして、画素アレイ部431の全画素ブロック441内の全画素451の転送トランジスタ462をオンにする。
[0262]
 以上のように、センサ部421では、1個の画素451において、イベントの検出と、撮像用の露光(受光)とが、時分割で行われる。
[0263]
 図25は、画素アレイ部431の全画素で撮像を行う場合の画素アレイ部431の駆動を示すタイミングチャートである。
[0264]
 画素アレイ部431の全画素で撮像を行う場合には、データ量は、イベント検出と撮像とでは撮像の方が大きくなるため、撮像にかかる時間は、イベント検出にかかる時間よりも長くなる。
[0265]
 例えば、クロック信号生成部37が生成するクロック信号をイベント検出同期信号として、イベント検出およびメモリ34へのバッファリングと、画像処理部35による画像処理(物体検出処理)とが、それぞれV期間で行われることとし、露光および画素読み出しが、それぞれ、イベント検出同期信号を1/2に分周した撮像同期信号にしたがい、2V期間で行われるとする。イベント検出およびメモリ34へのバッファリングは、パイプライン処理により、1つのV期間で実行可能である。
[0266]
 この場合、イベントの検出と、撮像用の露光とは、共有の光電変換素子461を用いるため、撮像用の露光と画素読み出しを行っている期間、具体的には、図25のタイミングT13からタイミングT17までの4V期間は、少なくともイベント検出ができないイベント検出不可期間となる。
[0267]
 図26は、画素アレイ部431において注目領域の撮像を行う場合の画素アレイ部431の駆動を示すタイミングチャートである。
[0268]
 これに対して、ROI情報により注目領域を指定して、注目領域の撮像を行う場合、領域が限定されるため、データ量を削減することができるので、撮像周期を、例えば、イベント検出周期と同じにすることができる。すなわち、図26に示されるように、露光および画素読み出しを、それぞれ、V期間で行うことができるようになる。これにより、イベント検出不可期間は、タイミングT13からタイミングT15までの2V期間となり、イベント検出不可期間を短くすることが可能となる。図26の例は、撮像周期を、例えば、イベント検出周期と同じにした場合の例であるが、イベント検出周期と同じにならない場合であっても、注目領域に限定して撮像を行うことにより、全画素の撮像を行う場合と比較して、イベント検出不可期間を短くすることが可能となる。
[0269]
<画素アレイ部431のその他の構成例>
 図27は、図21の画素アレイ部431のその他の構成例を示すブロック図である。
[0270]
 図27の画素アレイ部431は、1個の画素ブロック441が、画素481Aまたは画素481Bの2種類の画素481をI行×J列(I及びJは整数)に配列している点で、図22の画素アレイ部431と相違し、その他の点で、図22の画素アレイ部431と共通する。
[0271]
 図22の画素アレイ部431では、イベント検出と撮像の両方が(時分割で)可能な画素451がI行×J列(I及びJは整数)に配列されていた。
[0272]
 これに対して、図27の画素アレイ部431では、画素481Aと画素481Bとが行方向および列方向に交互に配列され、混在して構成されている。画素481Aは、図13の画素251と同様に、光電変換素子に画素信号生成部252が接続されて構成され、撮像用の画素信号を生成するための画素である。画素481Bは、図4の画素51と同様に、光電変換素子にイベント検出部52が接続されて構成され、イベント検出を行うための画素である。撮像用の画素信号を生成するための画素481Aと、イベント検出を行うための画素481Bとは、光電変換素子461を個別に有し、共有していないので、撮像とイベント検出を同時に行うことができる。
[0273]
 このように、固体撮像装置10を1つのチップで構成した場合においても、1個の画素ブロック441に、撮像を行う画素481Aと、イベント検出を行う画素481Bとを混在させた構成とすることで、撮像とイベント検出を同時に行うことができる。
[0274]
 なお、図27は、1個の画素ブロック441を構成する複数の画素481を、撮像用の画素信号を生成するための画素481Aと、イベント検出を行うための画素481Bとに分けた構成であるが、画素ブロック441単位で、撮像用の画素信号を生成するための画素ブロック441と、イベント検出を行うための画素ブロック441とに分ける構成も可能である。この場合も、撮像とイベント検出を同時に行うことができる。
[0275]
 以上の固体撮像装置10によれば、イベント検出を行うチップと、注目領域の撮像を行うチップが異なるチップである場合、および、同一チップである場合のいずれにおいても、イベントの発生が検出された場合に、検出対象となる物体を特定して注目領域が決定され、その注目領域の各画素の画素信号が生成され、注目領域の画像が生成される。したがって、非同期型のイメージセンサによりイベントの発生を検出した結果を、同期型のイメージセンサによる撮像に活用することができる。
[0276]
<5.電子機器への適用例>
 本技術は、固体撮像装置への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機など、画像取込部(光電変換部)に固体撮像装置を用いる電子機器全般に対して適用可能である。固体撮像装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
[0277]
 図28は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
[0278]
 図28の撮像装置600は、レンズ群などからなる光学部601、固体撮像装置10の構成が採用される固体撮像装置(撮像デバイス)602、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路603を備える。また、撮像装置600は、フレームメモリ604、表示部605、記録部606、操作部607、および電源部608も備える。DSP回路603、フレームメモリ604、表示部605、記録部606、操作部607および電源部608は、バスライン609を介して相互に接続されている。
[0279]
 光学部601は、被写体からの入射光(像光)を取り込んで固体撮像装置602の撮像面上に結像する。固体撮像装置602は、光学部601によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置602として、上述した固体撮像装置10、即ち、イベントの発生を検出して注目領域を決定し、その注目領域の撮像を行う固体撮像装置を用いることができる。
[0280]
 表示部605は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置602で撮像された動画または静止画を表示する。記録部606は、固体撮像装置602で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
[0281]
 操作部607は、ユーザによる操作の下に、撮像装置600が持つ様々な機能について操作指令を発する。電源部608は、DSP回路603、フレームメモリ604、表示部605、記録部606および操作部607の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
[0282]
 上述したように、固体撮像装置602として、上述した各実施の形態を適用した固体撮像装置10を用いることで、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出することができ、検出したイベントに基づいて決定した注目領域の撮像を高速に行うことができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置600においても、所望の注目領域の撮像を低消費電力かつ高速に行うことができる。
[0283]
<イメージセンサの使用例>
 図29は、上述の固体撮像装置10を用いたイメージセンサの使用例を示す図である。
[0284]
 上述の固体撮像装置10を用いたイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
[0285]
 ・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
 ・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
 ・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
 ・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
 ・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
 ・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
 ・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
 ・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
[0286]
<6.移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
[0287]
 図30は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
[0288]
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図30に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
[0289]
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
[0290]
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
[0291]
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
[0292]
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
[0293]
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
[0294]
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
[0295]
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
[0296]
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
[0297]
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図30の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
[0298]
 図31は、撮像部12031の設置位置の例を示す図である。
[0299]
 図31では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
[0300]
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
[0301]
 なお、図31には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
[0302]
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
[0303]
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
[0304]
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
[0305]
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
[0306]
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、撮像部12031として、上述の固体撮像装置10を適用することができる。撮像部12031に本開示に係る技術を適用することにより、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出して決定した注目領域の撮像を高速に行うことにより、適切な運転支援を行うことができる。
[0307]
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0308]
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
[0309]
 なお、本技術は、以下の構成を取ることができる。
(1)
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
 前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
 前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
 を備える固体撮像装置。
(2)
 前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
 前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
 前記(1)に記載の固体撮像装置。
(3)
 前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
 前記(2)に記載の固体撮像装置。
(4)
 前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
 前記(3)に記載の固体撮像装置。
(5)
 前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
 前記(4)に記載の固体撮像装置。
(6)
 前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
 前記(3)乃至(5)のいずれかに記載の固体撮像装置。
(7)
 前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
 前記(1)乃至(6)のいずれかに記載の固体撮像装置。
(8)
 前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
 前記(1)乃至(7)のいずれかに記載の固体撮像装置。
(9)
 前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
 前記(1)乃至(7)のいずれかに記載の固体撮像装置。
(10)
 前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
 前記(8)に記載の固体撮像装置。
(11)
 前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
 前記(1)乃至(7)のいずれかに記載の固体撮像装置。
(12)
 前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
 前記(11)に記載の固体撮像装置。
(13)
 前記画素アレイ部は、光電変換素子の電気信号を、前記イベント検出部に出力する画素と、前記画素信号生成部に出力する画素とを混在させた構成である
 前記(11)に記載の固体撮像装置。
(14)
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
 前記注目領域の画素信号を取得し、画像を生成する画像処理部と
 を備える信号処理チップ。
(15)
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
 前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
 前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
 を備える固体撮像装置
 を備える電子機器。

符号の説明

[0310]
 10 固体撮像装置, 11 第1のチップ(DVSチップ), 12 第2のチップ(CISチップ), 31 画素アレイ部, 34 メモリ, 35 画像処理部, 37 クロック信号生成部, 41 画素ブロック, 51 画素, 52 イベント検出部, 61 光電変換素子, 131 フレーム間隔設定部, 132 フレーム幅設定部, 133 検出部, 211 画素アレイ部, 216 信号処理部, 241 画素ブロック, 251 画素, 252 画素信号生成部, 261 光電変換素子, 311 第1のチップ(DVSチップ), 312 第2のチップ(CISチップ), 313 第3のチップ(DSPチップ), 321 画像処理部, 341 検出部, 342 信頼度判定部, 343 撮像同期信号生成部, 411 センサダイ, 412,413 ロジックダイ, 431 画素アレイ部, 435 信号処理部, 441 画素ブロック, 451 画素, 461 光電変換素子, 481(481A,481B) 画素, 600 撮像装置, 602 固体撮像装置

請求の範囲

[請求項1]
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
 前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
 前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
 を備える固体撮像装置。
[請求項2]
 前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
 前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
 請求項1に記載の固体撮像装置。
[請求項3]
 前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
 請求項2に記載の固体撮像装置。
[請求項4]
 前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
 請求項3に記載の固体撮像装置。
[請求項5]
 前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
 請求項4に記載の固体撮像装置。
[請求項6]
 前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
 請求項3に記載の固体撮像装置。
[請求項7]
 前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
 請求項1に記載の固体撮像装置。
[請求項8]
 前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
 請求項1に記載の固体撮像装置。
[請求項9]
 前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
 請求項1に記載の固体撮像装置。
[請求項10]
 前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
 請求項8に記載の固体撮像装置。
[請求項11]
 前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
 請求項1に記載の固体撮像装置。
[請求項12]
 前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
 請求項11に記載の固体撮像装置。
[請求項13]
 前記画素アレイ部の各画素が、前記イベントを検出するための画素か、または、前記画素信号を生成するための画素のどちらかで構成される
 請求項11に記載の固体撮像装置。
[請求項14]
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
 前記注目領域の画素信号を取得し、画像を生成する画像処理部と
 を備える信号処理チップ。
[請求項15]
 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
 前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
 前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
 を備える固体撮像装置
 を備える電子機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]