処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2021033388 - 撮像素子、撮像素子の駆動方法、及び、電子機器

Document

明 細 書

発明の名称 撮像素子、撮像素子の駆動方法、及び、電子機器

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006   0007  

課題を解決するための手段

0008   0009   0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136  

符号の説明

0137  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

明 細 書

発明の名称 : 撮像素子、撮像素子の駆動方法、及び、電子機器

技術分野

[0001]
 本開示は、撮像素子、撮像素子の駆動方法、及び、電子機器に関する。

背景技術

[0002]
 半導体の技術発展と呼応した機械学習・AI技術の進歩により、限られた領域(特定の領域)での動画解析技術が実用レベルに発達してきた。撮像素子について、この限られた領域での動画解析技術に対応できるようにするためには、特定の領域の画素に対する読み出し駆動と、特定の領域を抽出する助けや確認となる全体画角の画素に対する読み出し駆動とを実現できることが望まれる。因みに、従来の撮像素子では、1枚の写真、又は、1画面の映像を取得する目的で作られており、画素アレイ部の全画素(全体画角の画素)に対して同じ読み出し駆動が行われていた。
[0003]
 特開2018-186576号公報(特許文献1)には、画素アレイ部を複数のブロックに分割し、ブロック単位で独立した駆動が行われる撮像素子、具体的には、分割された複数のブロックがそれぞれ独立した構造を持ち、ブロック単位に独立のタイミングで駆動が行われる撮像素子が開示されている。この従来技術によれば、各ブロックを独立のタイミングで駆動を行うことにより、ブロック単位で特定の領域に対してのみ高フレームレートの駆動を実現することができる。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2018-186576号公報

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1に記載の撮像素子は、マトリクス状に分割された個々のブロック毎に、1つ以上のアナログ-デジタル変換器、メモリ、及び、データ処理部と、一般の撮像素子と同等の回路構造を持っている。そのため、特許文献1に記載の撮像素子に搭載されるアナログ-デジタル変換器の数が、1行単位でアナログ-デジタル変換を行う通常の撮像素子に比べて非常に多くなる。
[0006]
 アナログ-デジタル変換器は、回路サイズが大きく、消費電力が大きい。そして、アナログ-デジタル変換器は、アナログ回路技術で設計されるため、動作状態に拘わらず、電源投入時間に対して電力消費が発生することになる。また、アナログ-デジタル変換したデータを蓄えるメモリも、回路サイズ及び消費電力が大きく、画素数分必要となるため、これも数量が非常に多い。従って、特許文献1に記載の撮像素子は、回路規模が大きく、消費電力が大きい。
[0007]
 本開示は、回路規模が小さく、低消費電力にて、特定の領域の画素に対する読み出し駆動と、全体画角の画素に対する読み出し駆動とを実現できる撮像素子、撮像素子の駆動方法、及び、当該撮像素子を有する電子機器を提供することを目的とする。

課題を解決するための手段

[0008]
 上記の目的を達成するための本開示の撮像素子は、
 受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える。
[0009]
 上記の目的を達成するための本開示の撮像素子の駆動方法は、
 受光素子を含む画素が配置されて成る画素アレイ部、及び、
 画素アレイ部から読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部を備える撮像素子の駆動に当たって、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出し、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す。
[0010]
 上記の目的を達成するための本開示の電子機器は、
 受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える撮像素子を有する。

図面の簡単な説明

[0011]
[図1] 図1は、本開示の技術の動作イメージを示す図である。
[図2] 図2は、他の手法その1の動作イメージを示す図である。
[図3] 図3は、他の手法その2の動作イメージを示す図である。
[図4] 図4は、本開示の実施形態に係る撮像素子のシステム構成を示す概念図である。
[図5] 図5は、画素の回路構成の一例を示す回路図である。
[図6] 図6は、実施例1に係るアナログ部の回路構成を示す回路図である。
[図7] 図7は、実施例1に係るアナログ部における読み出し制御について説明するタイミング波形図である。
[図8] 図8は、実施例2に係る撮像素子のシステム構成を示す構成図である。
[図9] 図9は、全画面画像の読み出し駆動を実現するためのアナログ部の回路構成を示す回路図である。
[図10] 図10は、ROI画像の読み出し駆動を実現するためのアナログ部の回路構成を示す回路図である。
[図11] 図11は、実施例2に係る撮像素子の全画面画像の読み出し駆動、及び、ROI画像の読み出し駆動について説明するタイミング波形図である。
[図12] 図12は、実施例3に係る関心領域検出部の回路構成の一例を示すブロック図である。
[図13] 図13A、図13B、図13C、及び、図13Dは、動き検出の技術を用いる関心領域の検出についての概念図である。
[図14] 図14は、関心領域の切り出し処理について説明する図である。
[図15] 図15は、実施例4に係るアドレス制御についての説明図である。
[図16] 図16は、実施例5に係るアドレス制御についての説明図である。
[図17] 図17は、実施例6に係るアドレス制御についての説明図である。
[図18] 図18は、実施例7に係るアドレス制御についての説明図である。
[図19] 図19は、実施例8に係るアドレス制御についての説明図である。
[図20] 図20は、実施例9に係るアドレス制御についての説明図である。
[図21] 図21は、実施例10に係るアドレス制御についての説明図である。
[図22] 図22は、本開示の技術の適用例を示す図である。
[図23] 図23は、電子機器の一例である撮像装置の構成の概略を示すブロック図である。

発明を実施するための形態

[0012]
 以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の撮像素子、撮像素子の駆動方法、及び、電子機器、全般に関する説明
2.本開示の技術の動作イメージ
3.全画面画像の読み出し駆動及びROI画像の読み出し駆動の他の手法について
 3-1.他の手法その1
 3-2.他の手法その2
 3-3.他の手法その3(特許文献1に記載の従来技術)
4.実施形態に係る撮像素子
 4-1.CMOSイメージセンサの構成例
 4-2.画素の構成例
 4-3.実施例1(アナログ部の回路構成例)
 4-4.実施例2(全画面画像の取得とROI画像の取得とを時分割駆動で行う例)
 4-5.実施例3(関心領域の検出に動き検出の技術を用いる例)
 4-6.実施例4(実施例1の変形例:関心領域ROIが水平方向に移動する場合のアドレス制御の例)
 4-7.実施例5(実施例1の変形例:関心領域ROIが垂直方向に移動する場合のアドレス制御その1の例)
 4-8.実施例6(実施例1の変形例:関心領域ROIが垂直方向に移動する場合のアドレス制御その2の例)
 4-9.実施例7(実施例2の変形例:ジッタ対策のためのアドレス制御の例)
 4-10.実施例8(関心領域ROIが複数存在する場合のアドレス制御の例)
 4-11.実施例9(実施例8の変形例:複数の関心領域ROIが互いに反する方向に移動する場合のアドレス制御の例)
 4-12.実施例10(画像出力2が画像出力1と時間的に重ならないように制御する例)
5.変形例
6.応用例
7.本開示の電子機器(撮像装置の例)
8.本開示がとることができる構成
[0013]
<本開示の撮像素子、その駆動方法、及び、電子機器、全般に関する説明>
 本開示の撮像素子、その駆動方法、及び、電子機器にあっては、撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する構成とすることができる。そして、関心領域検出部について、撮像画像内の動きがある領域を関心領域として検出する構成とすることができる。また、関心領域検出部について、現在の撮像フレームの画像情報と、少なくとも1撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する構成とすることができる。
[0014]
 上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、関心領域検出部について、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有する構成とすることができる。そして、画像メモリについては、少なくとも1撮像フレーム前の画像情報を保持し、比較部については、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得する構成とすることができる。また、移動量メモリについては、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、関心領域判定部については、移動量メモリに格納されている移動量に基づいて関心領域を判定する構成とすることができる。
[0015]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、関心領域検出部について、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する構成とすることができる。そして、第2画素制御部について、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する構成とすることができる。
[0016]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、アナログ-デジタル変換部によるアナログ-デジタル変換後の画素データをラッチするラッチバッファ部、及び、ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える構成とすることができる。
[0017]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、2系統設けられている構成とすることができる。そして、画素アレイ部の各画素について、2系統の信号線のそれぞれに画素の信号を読み出す2つのスイッチを有する構成とすることができる。また、アナログ-デジタル変換部についても、2系統の信号線のそれぞれに対応して2系統設けられている構成とすることができる。
[0018]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、第1画素制御部及び第2画素制御部について、2系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う構成とすることができる。
[0019]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、1系統設けられている構成とすることができる。そして、第1画素制御部及び第2画素制御部について、1系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う構成とすることができる。
[0020]
 また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、単一チップから成るチップ構造を有する構成とすることができる。
[0021]
<本開示の技術の動作イメージ>
 本開示の技術の動作イメージを図1に示す。撮像装置100は、本開示の撮像素子10及びレンズ鏡筒30等を備えている。撮像素子10は、画素から読み出された信号に対してアナログ-デジタル変換を行うアナログ-デジタル変換器を1行分有する単一チップから成るチップ構造を有する。本開示の撮像素子10は、画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、及び、画素アレイ部内の特定の領域ROI(Region Of Interest:関心領域)の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部を備えている。以下、第2画素制御部の第2のフレームレートについて、高フレームレートと記述する場合がある。
[0022]
 このように、本開示の撮像素子10は、画素制御部を複数(例えば、第1画素制御部と第2画素制御部)備えており、単一の画素アレイ部に対して複数の制御を行い、対応する領域の画素の信号を読み出す構造を持っている。尚、第2画素制御部については、1つ備える構成であってもよいし、複数備える構成であってもよい。本開示の撮像素子10では、複数の画素制御部による制御の下に、アナログ-デジタル変換を含めた読み出し制御を工夫することにより、回路リソースや電力の負担を抑えて、全画面画像出力と高フレームレートのROI画像出力とを実現する。ここで、「ROI画像出力」とは、特定の領域ROIの画像出力のことである。
[0023]
 上述したように、本開示の撮像素子10は、全画面画像出力と高フレームレートのROI画像出力だけにアナログ-デジタル変換を行う構成となっている。従って、本開示の撮像素子10によれば、低消費電力にて、全体画角の画素に対する読み出し駆動(即ち、全画面画像の読み出し駆動)と、特定の領域ROIの画素に対する読み出し駆動(即ち、ROI画像の読み出し駆動)とを実現することができる。本開示の撮像素子10の詳細については後述する。
[0024]
<全画面画像の読み出し駆動及びROI画像の読み出し駆動の他の手法について>
 ここで、全画面画像の読み出し駆動及びROI画像の読み出し駆動の他の手法について説明する。
[0025]
[他の手法その1]
 他の手法その1の動作イメージを図2に示す。他の手法その1は、2つの撮像装置100A,100Bを用いて別々の領域に対して駆動を行う手法である。この手法その1の場合、2つの撮像装置100A,100Bのコスト及び設置スペースを必要とする。また、2つの撮像装置100A,100Bの視差が発生し、ROI画像と全画面画像とで違う映像となってしまうため不正確な情報となる。
[0026]
[他の手法その2]
 他の手法その2の動作イメージを図3に示す。他の手法その2は、予め高フレームレートでデータを取得して、データ処理部分で特定の領域ROI以外の情報を削除する手法である。この手法その2では、高速な撮像素子を用いて画像を多数取得し、データを捨てることにより、低フレームレートの全画面画像、及び、高フレームレートのROI画像を作り出すことになる。
[0027]
 手法その2の場合、最終的な出力データ量を抑えることはできるものの、内部回路が高フレームレートで動作するため、それに費やす開発コストや回路規模、消費電力は、非常に高いものになる。動作原理は、全画面画像出力では低フレームレートになるように出力を捨て、ROI画像出力では特定の領域ROI以外のデータを捨てて、出力ビットレートだけを下げるため、アナログ-デジタル変換した大部分のデータを捨てる。
[0028]
[他の手法その3]
 他の手法その3は、特許文献1に記載の従来技術である。特許文献1に記載の従来技術は、マトリクス状に分割された個々のブロック毎に、1つ以上のアナログ-デジタル変換器、メモリ、データ処理部、及び、出力線と、一般の撮像素子と同等の回路構造を持っている。従って、特許文献1に記載の撮像素子では、アナログ-デジタル変換器の数が、1行単位でアナログ-デジタル変換を行う通常の撮像素子に比べて非常に多くなるため、回路規模が大きく、消費電力が大きい。
[0029]
 他の手法その3では、出力線の引き回しも問題になる。マトリクス状に分割されたブロックの1つ1つに制御線、出力データ信号線があり、出力インタフェースは最終的には1箇所であるため、各ブロックの出力線は集約される。この集約先は、画素アレイ部の外側のシステム外周部分であるため線長が長くなり、また、非常に多くの配線であるため回路サイズとして大きな面積を必要とする。
[0030]
 撮像素子の特徴として、画素間のギャップを小さく保たないと画像品質が低下するために、一般的には高密度な実装になる。この高密度な実装を行うためには単層の設計は困難であり、複数枚のチップの積層と、多くの信号線を通す端子を確保するための金属結合技術等を利用することになる。ただ、アナログ-デジタル変換器やメモリの回路サイズが大きいため、画素アレイ部の裏側は、アナログ-デジタル変換器やメモリで埋まり、画素アレイ部の外側に集線し、画像データ処理用の回路は画素アレイ部の外側に置かれるためチップ面積が大きくなりチップ価格が上昇する。
[0031]
 以上の理由により、特許文献1に記載の撮像素子は、一般の撮像素子に比べて、回路サイズ及び消費電力が共に大きく、価格も高価格となる。消費電力の上昇に伴って、撮像装置(カメラシステム)自体も大規模化するため高価となる。そして、高価格であること、及び、消費電力が大きいことで、製品への応用は著しく限定され、特殊な撮像素子に位置付けられる。
[0032]
<実施形態に係る撮像素子>
 本開示の実施形態に係る撮像素子のシステム構成について説明する。本実施形態では、撮像素子として、X-Yアドレス方式の撮像素子の一種であるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明する。CMOSイメージセンサは、CMOSプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
[0033]
[システム構成]
 図4は、本開示の実施形態に係る撮像素子のシステム構成を示す概念図である。図4に示すように、本実施形態に係る撮像素子10は、画素アレイ部11、及び、当該画素アレイ部11の周辺に配置された周辺回路部を有する構成となっている。周辺回路部としては、例えば、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース(I/F)部17、関心領域検出部18、第1画素制御部19A、及び、第2画素制御部19B等が設けられている。
[0034]
 画素アレイ部11には、光電変換部(受光素子)を含む画素20が行方向及び列方向に、即ち、行列状に2次元配置されている。ここで、行方向とは、画素行の各画素20の配列方向(所謂、水平方向)を言い、列方向とは、画素列の各画素20の配列方向(所謂、垂直方向)を言う。以下では、行方向を水平方向と記述し、列方向を垂直方向と記述する場合がある。画素20は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。画素20の具体的な回路構成については後述する。
[0035]
 画素アレイ部11において、行列状の画素配列に対し、画素行毎に画素駆動線31 1~31 m(以下、総称して「画素駆動線31」と記述する場合がある)が行方向に沿って配線されている。また、画素列毎に垂直信号線32 1~32 n(以下、総称して「垂直信号線32」と記述する場合がある)が列方向に沿って配線されている。画素駆動線31は、画素20から信号を読み出す際の駆動を行うための駆動信号を伝送する。図1では、画素駆動線31について1本の配線として図示しているが、1本に限られるものではない。画素駆動線31の一端は、行選択部12の各行に対応した出力端に接続されている。
[0036]
 以下に、画素アレイ部11の周辺回路部の各回路部、即ち、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース部17、関心領域検出部18、第1画素制御部19A、及び、第2画素制御部19Bについて説明する。
[0037]
 行選択部12は、シフトレジスタやアドレスデコーダなどによって構成され、第1画素制御部19A又は第2画素制御部19Bによる制御の下に、画素アレイ部11の各画素20を行単位等で駆動する。画素アレイ部11の各画素20が、行選択部12によって画素行単位で選択されることにより、選択された画素行の各画素20から信号(即ち、画素信号)が読み出される。
[0038]
 行選択部12によって選択走査された画素行の各画素20には、画素列毎に垂直信号線32 1~32 nの各々に接続されたMOS型電界効果トランジスタから成る電流源I(図5参照)から、垂直信号線32 1~32 nの各々を通してバイアス電流が供給される。画素アレイ部11の各画素20から画素行単位で読み出される画素信号は、垂直信号線32 1~32 nの各々を通してアナログ-デジタル変換部13に供給される。
[0039]
 アナログ-デジタル変換部13は、垂直信号線32 1~32 nの各々に対応して設けられた複数のアナログ-デジタル変換器(ADC)131の集合から成り、画素列毎に画素行単位で出力されるアナログの画素信号をデジタル信号に変換する。すなわち、アナログ-デジタル変換部13は、アナログ-デジタル変換器131が画素列に対応して並列に複数配置されて成る列並列型のアナログ-デジタル変換部である。
[0040]
 アナログ-デジタル変換器131としては、周知のアナログ-デジタル変換器を用いることができる。具体的には、アナログ-デジタル変換器131として、参照信号比較型のアナログ-デジタル変換器の一例であるシングルスロープ型アナログ-デジタル変換器、逐次比較型アナログ-デジタル変換器、又は、デルタ-シグマ変調型(ΔΣ変調型)アナログ-デジタル変換器を例示することができる。但し、アナログ-デジタル変換器は、これらに限定されるものではない。
[0041]
 アナログ-デジタル変換部13において、アナログ-デジタル変換器131は、画素列に対して1対1の関係で、即ち、画素列毎に配置する構成とすることもできるし、複数の画素列に対してアナログ-デジタル変換器を1つ配置する構成とすることもできる。
[0042]
 ラッチバッファ部14は、アナログ-デジタル変換器131の後段に配されている。ラッチバッファ部14は、垂直信号線32 1~32 nの各々に対応して設けられた複数のラッチ回路141の集合から成り、画素アレイ部11の各画素20からの画素信号の読み出し期間、アナログ-デジタル変換後の画素データをラッチする。
[0043]
 ラッチバッファ部14の各ラッチ回路141にラッチされた1行分の画素データは、画像処理部16Aに供給され、当該画像処理部16Aで所定の画像処理が行われた後、出力インタフェース部17を通して全画面画像出力として導出される。ラッチバッファ部14から出力される画素データは、更に、水平関心領域切り出し部15及び関心領域検出部18に直接供給される。
[0044]
 関心領域検出部18は、ラッチバッファ部14から出力される画素データを基に、画像内容から撮像画像内の特定の領域を、関心領域(ROI)又は着目領域として検出する。関心領域検出部18は、例えば、周知の動き検出の技術を用いることによって、撮像画像内の動きがある領域を関心領域(着目領域)として検出することができる。但し、関心領域を検出する技術としては、動き検出の技術に限られるものではない。
[0045]
 動き検出の技術を用いる場合、少なくとも1撮像フレーム前の画像情報を保持しておく必要がある。そのため、関心領域検出部18は、少なくとも1撮像フレーム分の画像情報を記憶する画像メモリを内蔵することになる。関心領域検出部18は、現在の撮像フレームの画像情報と、画像メモリに保持した少なくとも1撮像フレーム前の画像情報との比較結果を基に、撮像画像内の動きがある領域を関心領域として検出し、その関心領域情報を第2画素制御部19Bに与える。動き検出の技術を用いる関心領域検出部18の詳細については後述する。
[0046]
 水平関心領域切り出し部15は、関心領域検出部18の検出結果を基に、図1に示すROI部分のように、1行分の画素データについて、水平方向(行方向)における関心領域の切り出しを行う。このように、水平方向の切り出しを行う構成をとることにより、データ量を削減することができる。水平関心領域切り出し部15において、水平方向の切り出しが行われた画素データは、画像処理部16Aで所定の画像処理が行われた後、出力インタフェース部17を通してROI画像出力として導出される。
[0047]
 尚、水平方向の切り出しについては、ラッチバッファ部14の後段に配された水平関心領域切り出し部15によって実行する他、ラッチバッファ部14からデータを読み出す際にROI部分のデータだけを読み出すようにすることもできる。また、撮像素子10の利用目的によっては、水平方向の切り出しを省略するようにしてもよい。
[0048]
 第1画素制御部19Aは、各種のタイミング信号、クロック信号、及び、制御信号等を基に、画素アレイ部11内の全画素20の信号を第1のフレームレートで読み出す制御を行う。第2画素制御部19Bは、関心領域検出部18の検出結果である関心領域情報に基づいて画素行を選択し、画素アレイ部11内の特定の領域ROIを含む画素行の各画素20の信号を、第1のフレームレートよりも高い第2のフレームレート(即ち、高フレームレート)で読み出す制御を行う。
[0049]
 上記の構成の撮像素子10では、レンズ(図示せず)を通したイメージ画像を得ることができる。そして、行選択部12による駆動の下に、画素アレイ部11内の各画素20の信号を1画素行毎に読み出し、アナログ-デジタル変換部13でアナログ-デジタル変換し、ラッチバッファ部14の各ラッチ回路141でラッチし、順に出力することで、1画面の画像を得ることができる。
[0050]
 画素信号を読み出す画素行にはアドレスが存在し、回路上では、図の下方から上方に向かってインクリメントする行アドレスとする。一般的に、上記のレンズとしてケプラー式のレンズが用いられ、画像は鏡像になる。従って、鏡像となることを前提とすると、回路上の下方は画像上では上方に位置し、画像上では、上方から下方に向かって行アドレスをインクリメントすることになる。
[0051]
 以上説明した本実施形態に係る撮像素子10は、画素制御部として、画素アレイ部11内の全画素20の信号を第1のフレームレートで読み出す制御を行う第1画素制御部19A、及び、画素アレイ部11内の特定の領域ROIの画素20の信号を第2のフレームレートで読み出す制御を行う第2画素制御部19Bの複数搭載することが特徴である。
[0052]
 本実施形態に係る撮像素子10では、第1画素制御部19A及び第2画素制御部19Bの他に、水平関心領域切り出し部15及び関心領域検出部18が、一般的な撮像素子(例えば、CMOSイメージセンサ)からの追加回路になる。これらの追加回路については、ロジック回路として搭載することになるために、プロセスの微細化の恩恵を受け、小さな回路規模の差分に留めることができる。尚、図4は、本実施形態に係る撮像素子10のシステム構成を示す概念図であり、画素アレイ部11、アナログ-デジタル変換部13、及び、ラッチバッファ部14の具体的な実施例については後述する。
[0053]
 上記の構成の撮像素子10において、単一チップから成るチップ構造としては、所謂、平置構造とすることもできるし、所謂、積層構造とすることもできる。
[0054]
 ここで、平置構造とは、画素アレイ部11の周辺回路部を、画素アレイ部11と同じ半導体基板(半導体チップ)に形成したチップ構造である。すなわち、平置構造では、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース部17、関心領域検出部18、第1画素制御部19A、及び、第2画素制御部19Bを、画素アレイ部11と同じ半導体基板に形成することになる。
[0055]
 また、積層構造とは、画素アレイ部11が形成された半導体基板とは異なる少なくとも1枚の半導体基板に、画素アレイ部11の周辺回路部を形成したチップ構造である。この積層構造の撮像素子10によれば、1層目の半導体基板として画素アレイ部11を形成できるだけの大きさ(面積)のもので済むため、1層目の半導体基板のサイズ(面積)、ひいては、チップ全体のサイズを小さくできる。更に、1層目の半導体基板には画素20の作製に適したプロセスを適用でき、他の半導体基板には回路部分の作製に適したプロセスを適用できるため、撮像素子10の製造に当たって、プロセスの最適化を図ることができるメリットもある。
[0056]
[画素の回路構成]
 図5は、画素20の回路構成の一例を示す回路図である。画素20は、光電変換部として、例えば、フォトダイオード21を有しており、フォトダイオード21に加えて、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25を有する回路構成となっている。
[0057]
 尚、ここでは、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25の4つのトランジスタとして、例えばNチャネルのMOS型電界効果トランジスタを用いている。但し、ここで例示した4つのトランジスタ22~25の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
[0058]
 この画素20に対して、先述した画素駆動線31として、複数の画素駆動線が同一画素行の各画素20に対して共通に配線されている。これら複数の画素駆動線は、行選択部12の各画素行に対応した出力端に画素行単位で接続されている。行選択部12は、複数の画素駆動線に対して転送信号TRG、リセット信号RST、及び、選択信号SELを適宜出力する。
[0059]
 フォトダイオード21は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換してその光電荷を蓄積する。フォトダイオード21のカソード電極は、転送トランジスタ22を介して増幅トランジスタ24のゲート電極と電気的に接続されている。ここで、増幅トランジスタ24のゲート電極が電気的に繋がった領域は、フローティングディフュージョン(浮遊拡散領域/不純物拡散領域)FDである。フローティングディフュージョンFDは、電荷を電圧に変換する電荷電圧変換部である。
[0060]
 転送トランジスタ22のゲート電極には、高レベル(例えば、V DDレベル)がアクティブとなる転送信号TRGが行選択部12から与えられる。転送トランジスタ22は、転送信号TRGに応答して導通状態となることで、フォトダイオード21で光電変換され、当該フォトダイオード21に蓄積された光電荷をフローティングディフュージョンFDに転送する。
[0061]
 リセットトランジスタ23は、高電位側電源V DDのノードとフローティングディフュージョンFDとの間に接続されている。リセットトランジスタ23のゲート電極には、高レベルがアクティブとなるリセット信号RSTが行選択部12から与えられる。リセットトランジスタ23は、リセット信号RSTに応答して導通状態となり、フローティングディフュージョンFDの電荷を電圧V DDのノードに捨てることによってフローティングディフュージョンFDをリセットする。
[0062]
 増幅トランジスタ24は、ゲート電極がフローティングディフュージョンFDに、ドレイン電極が高電位側電源V DDのノードにそれぞれ接続されている。増幅トランジスタ24は、フォトダイオード21での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ24は、ソース電極が選択トランジスタ25を介して垂直信号線32に接続される。そして、増幅トランジスタ24と、垂直信号線32の一端に接続される電流源Iとは、フローティングディフュージョンFDの電圧を垂直信号線32の電位に変換するソースフォロワを構成している。
[0063]
 選択トランジスタ25は、例えば、ドレイン電極が増幅トランジスタ24のソース電極に、ソース電極が垂直信号線32にそれぞれ接続されている。選択トランジスタ25のゲート電極には、高レベルがアクティブとなる選択信号SELが行選択部12から与えられる。選択トランジスタ25は、選択信号SELに応答して導通状態となることで、単位画素2を選択状態として増幅トランジスタ24から出力される信号を垂直信号線32に伝達する。
[0064]
 尚、ここでは、画素20の画素回路として、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25から成る、即ち4つのトランジスタ(Tr)から成る4Trの回路構成を例に挙げたが、4Trの回路構成に限られるものではない。また、画素構造として、配線層が設けられる側の基板面を表面(正面)とするとき、その反対側の裏面側からの照射光を取り込む裏面照射型の画素構造とすることもできるし、表面側からの照射光を取り込む表面照射型の画素構造とすることもできる。
[0065]
 上述したように、本実施形態に係る撮像素子10は、画素アレイ部11内の特定の領域ROIを関心領域として検出する関心領域検出部18を備えている。そして、本実施形態に係る撮像素子10は、第1画素制御部19A及び第2画素制御部19Bによる制御の下に、画素アレイ部11内の全画素20の信号を第1のフレームレートで読み出す一方、関心領域検出部18が関心領域として検出した特定の領域ROIの画素20の信号を第1のフレームレートよりも高い第2のフレームレートで読み出すことを特徴としている。
[0066]
 以下では、第1のフレームレートを低フレームレートと記述し、第2のフレームレートを高フレームレートと記述することとする。
[0067]
 以上説明した本実施形態に係る撮像素子10によれば、次のような作用、効果を得ることができる。
・全画面画像の出力と、高フレームレートでの特定の領域ROIの画像(ROI画像)の出力により、AI、認識技術に活用度の高い撮像素子(例えば、CMOSイメージセンサ)を実現することができる。
・先述した他の手法その1に対しては、単一の画素アレイ部11上で全画面画像の取得とROI画像の取得とを実現できるため、視差の問題を解決できるとともに、製造コストの低減を図ることができる。
・先述した他の手法その2、その3に対しては、製造コスト、消費電力、及び、発熱を大幅に削減することができる。
・従来の一般的な撮像素子(例えば、CMOSイメージセンサ)の技術を用いている部分が多いため、非常に少ない開発コストでの設計が可能である。
・回路設計コスト、消費電力、回路サイズなどが大きい、アナログ-デジタル変換器を高い効率で動作させて出力画像を得ているため、高効率な撮像素子を提供できる。
・撮像素子が特定の領域(関心領域)特定の領域ROIの検出から制御まで行うため、後段に配されるコントローラ側に特別な処理を必要とせず、コントローラの制御負担が小さくて済む。
[0068]
 以下に、画素アレイ部11内の全画素20の信号を低フレームレートで読み出し、画素アレイ部11内の特定の領域ROIの画素20の信号を高フレームレートで読み出す本実施形態の具体的な実施例について説明する。
[0069]
[実施例1]
 実施例1は、本実施形態に係る撮像素子10のアナログ部の回路構成例である。実施例1に係るアナログ部の回路構成を図6に示す。図6には、画素アレイ部11、アナログ-デジタル変換部13、及び、ラッチバッファ部14の具体的な回路構成を示している。
[0070]
 ここでは、図面の簡略化のために、画素アレイ部11として、水平4画素×垂直6画素の画素配列を図示している。画素アレイ部11には、垂直信号線32として、画素列毎に2系統の読み出し信号線SV 00,SV 01,・・・,SV 30,SV 31が配線され、画素駆動線31として、画素行毎に2系統の駆動線SH 00,SH 01,・・・,SH 50,SH 51が配線されている。これに対応して、アナログ-デジタル変換部13も2系統設けられている。更に、ラッチバッファ部14も2系統、即ち、全画面画像用のラッチバッファ部14A及びROI画像用のラッチバッファ部14Bとして設けられている。
[0071]
 また、画素20毎に、2つのスイッチSW 1,SW 2が設けられている。一方のスイッチSW 1は、一方の読み出し信号線SV 00,・・・,SV 30と画素20との間に接続され、他方のスイッチSW 2は、他方の読み出し信号線SV 01,・・・,SV 31と画素20との間に接続されている。2つのスイッチSW 1,SW 2は、2系統の駆動線SH 00,SH 01,・・・,SH 50,SH 51を通して与えられる制御信号によってオン(閉)/オフ(開)の制御が行われる。
[0072]
 一方のスイッチSW 1は、画素アレイ部11内の全画素20の信号を読み出す際に、図6の1行目の画素行に示すように、選択された画素行の単位でオン状態となる。これにより、選択された画素行の各画素20の信号は、スイッチSW 1によって一方の読み出し信号線SV 00,・・・,SV 30に読み出される。そして、スイッチSW 1によって読み出された画素信号は、アナログ-デジタル変換器131でデジタル-アナログ変換された後、全画面画像用のラッチバッファ部14Aの各ラッチ回路141にラッチされる。
[0073]
 他方のスイッチSW 2は、画素アレイ部11内の特定の領域ROIの画素20の信号を読み出す際に、図6の5行目の画素行に示すように、選択された画素行の単位でオン状態となる。これにより、選択された画素行の各画素20の信号は、スイッチSW 2によって他方の読み出し信号線SV 01,・・・,SV 31に読み出される。そして、スイッチSW 2によって読み出された画素信号は、アナログ-デジタル変換器131でデジタル-アナログ変換された後、ROI画像用のラッチバッファ部14Bの各ラッチ回路141にラッチされる。
[0074]
 上述したように、実施例1に係るアナログ部は、画素アレイ部11に、垂直信号線32として画素列毎に2系統の読み出し信号線SV、及び、画素駆動線31として画素行毎に2系統の駆動線SHを有する構成となっている。読み出し信号線SV及び駆動線SHをそれぞれ2系統持つことで、第1画素制御部19A及び第2画素制御部19Bによる制御の下に、画素アレイ部11内の全画素20の信号と、特定の領域ROIの画素20の信号とを並行して(同時に)読み出すことができるようになっている。
[0075]
 実施例1に係るアナログ部における読み出し制御について、図7のタイミング波形図を用いて説明する。
[0076]
 2系統の駆動線SH 00,SH 01,・・・,SH 50,SH 51を通して与えられる制御信号が、画素信号を読み出す画素行の制御を行う。当該制御信号はHigh(高レベル)になることで、スイッチSW 1/SW 2をオン状態とし、画素信号の読み出し、及び、アナログ-デジタル変換を行う。1つの画素行の駆動に対して2つの画素行の読み出しを行うために、2箇所の制御信号をHighにする。
[0077]
 図7のタイミング波形図に、破線の矢印で示された動作は、画素アレイ部11内の全画素20の信号を読み出す動作であり、本例では、1行目から6行目までの制御順を繰り返して実行する。この動作により、画素アレイ部11内の全画素20の信号、即ち、全画面の画像データを取得することができる。
[0078]
 図7のタイミング波形図に、実線の矢印で示された動作は、画素アレイ部11内の特定の領域ROIの画素20の信号を読み出す動作を想定している。図6及び図7の例では、3行目及び4行目を特定の領域ROIの画素行として、読み出し動作を繰り返して実行する。破線の矢印で示す全画面画像を読み出す場合よりも、実線の矢印で示すROI画像を読み出す繰り返し動作の周期が速い。これにより、ROI画像について、高フレームレートの画像を得ることができる。
[0079]
[実施例2]
 実施例2は、全画面画像の取得とROI画像の取得とを時分割駆動で行う例である。時分割駆動を実現する、実施例2に係る撮像素子のシステム構成を図8に示す。また、実施例2に係る撮像素子において、全画面画像の読み出し駆動を実現するためのアナログ部の回路構成を図9に示し、ROI画像の読み出し駆動を実現するためのアナログ部の回路構成を図10に示す。ここでは、図面の簡略化のために、画素アレイ部11として、水平6画素×垂直6画素の画素配列を図示している。
[0080]
 実施例1では、図6に示すように、画素20毎に、2つのスイッチSW 1,SW 2を備えるとともに、垂直信号線32(読み出し信号線SV)、画素駆動線31(駆動線SH)、アナログ-デジタル変換部13、及び、ラッチバッファ部14をそれぞれ2系統有する構成となっている。
[0081]
 これに対し、実施例2では、図8乃至図10に示すように、画素20毎に、スイッチSWを1つ備えるとともに、垂直信号線32(読み出し信号線SV)、画素駆動線31(駆動線SH)、アナログ-デジタル変換部13、及び、ラッチバッファ部14をそれぞれ1系統有する構成となっている。図8では、1ライン(1行)制御を図示しているが、一般的な撮像素子と同様に、複数ラインの同時制御であってもよい。
[0082]
 実施例2に係る撮像素子10は、実施例1の場合と同様に、第1画素制御部19A及び第2画素制御部19Bを備えており、これらの制御については、セレクタ41によって切り替えるようになっている。これに対応して、ラッチバッファ部14の後段にもセレクタ42が配されており、ラッチバッファ部14から出力される画素データの供給先をセレクタ42によって切り替えるようになっている。そして、セレクタ41及びセレクタ42は共に、時間的に交互に切り替え動作を行い、2回のアナログ-デジタル変換の単位で、全画面画像及びROI画像の各画素データを時分割で読み出す。
[0083]
 このように、実施例2に係る撮像素子10では、第1画素制御部19A及び第2画素制御部19Bによる制御の下に、全画面画像及びROI画像の各画素データを、時間的に交互に切り替えて時分割に読み出すことにより、画面単位で多重かつ同時に画像の取得が可能になる。尚、実施例2の場合、2回のアナログ-デジタル変換の単位で両方の画素データを読み出す動作が行われるため、実施例1の場合に比べて、半分の速度の動作になる。動作原理は実施例1の場合と同じである。
[0084]
 実施例2に係る撮像素子10によれば、画素アレイ部11、アナログ-デジタル変換部13、及び、ラッチバッファ部14等、アナログ回路部分を変更することなく、全画面画像及びROI画像の両方の画素データの読み出しを実現できるため、より開発量が少なくて済むメリットがある。
[0085]
 図9及び図10のアナログ部の回路構成は、一般的な撮像素子と同じ回路構成となっており、一度に一箇所の画素データを読み出すことを可能にしている。水平6画素×垂直6画素の画素配列において、図9では、1行目が全画面画像の読み出しの対象画素行となっており、図10では、4行目がROI画像の読み出しの対象画素行となっている。
[0086]
 尚、図9及び図10に示す例では、垂直信号線32としての読み出し信号線SVについて、1画素列につき1本配線した例となっているが、一般的な撮像素子の場合と同様に、高速化を目的として、1画素列につき複数本配線するようにしてもよい。
[0087]
 実施例2に係る撮像素子10の全画面画像の読み出し駆動(図9)、及び、ROI画像の読み出し駆動(図10)について、図11のタイミング波形図を用いて説明する。図11のタイミング波形図には、駆動線SH 0,・・・,SH 5を通して与えられる制御信号の波形を図示している。
[0088]
 本例では、1行毎に全画面画像の取得とROI画像の取得とを切り替えている。図11のタイミング波形図において、全画面画像の取得については、制御信号の波形を点線で図示し、1行目~6行目の各画素行の画素データを順に取得し、この動作を繰り返して実行する。ROI画像の取得については、制御信号の波形を破線で図示し、3行目~4行目の各画素行の画素データを繰り返して取得する。これにより、全画面画像の取得周期とROI画像の取得周期とが異なり、全画面画像の取得の場合に対してROI画像の取得の場合は高フレームレートで画像を取得することになる。
[0089]
[実施例3]
 実施例3は、関心領域の検出に動き検出の技術を用いる、関心領域検出部18の回路構成の例である。実施例3に係る関心領域検出部の回路構成の一例を図12に示す。また、動き検出の技術を用いる関心領域の検出についての概念図を図13(図13A乃至図13D)に示す。以下では、特定の領域ROIを関心領域ROIと記述する。
[0090]
 関心領域検出部18は、画像保存部181、画像メモリ182、比較部183、移動量メモリ184、関心領域判定部185、及び、位置情報取得部186を有する構成となっている。
[0091]
 画素アレイ部11の各画素20から読み出され、アナログ-デジタル変換部13でアナログ-デジタル変換後、ラッチバッファ部14を経由して供給される画像データは、画像保存部181に保存されるとともに、画像メモリ182及び比較部183に供給される。画像メモリ182には、少なくとも1撮像フレーム前の画像情報を過去の画像情報(図13A)として保持される。
[0092]
 比較部183は、画像メモリ182に保持されている過去の画像(図13A)と、現在の画像(図13B)とを比較し、同じ画素同士の差分絶対値を取り、差分絶対値画像(図13C)を取得する。動きの無い部分では過去の画像と現在の画像との間に差がないが、動きのある部分では両者に違いがあり、差分として抽出される。現在の画像情報は、次の撮像フレームでの比較動作のために、画像メモリ182に保存される。
[0093]
 比較部183での比較動作によって取得された差分絶対値画像(図13C)は、過去の画像(図13A)から現在の画像(図13B)までの移動量として移動量メモリ184に格納される。画像情報の保存や比較の単位は縮小画像にすることで、画像メモリ182や回路の大幅な縮小化が可能である。
[0094]
 関心領域判定部185は、移動量メモリ184に格納されている移動量に基づいて、当該移動量が所定量よりも大きい部分に動きがあるとし、その部分を関心領域ROIとして判定する。このとき、関心領域判定部185で関心領域ROIとして判定された部分の面積の大きさ等を加味するようにすることもできる。
[0095]
 位置情報取得部186は、関心領域判定部185で関心領域ROIとして判定された領域の物理位置の垂直位置情報を垂直ROI成分として取得し、水平位置情報を水平ROI成分として取得する(図13D)。垂直ROI成分は、第2画素制御部19Bへ供給され、水平ROI成分は、水平関心領域切り出し部15へ供給される。第2画素制御部19Bは、垂直ROI成分に基づいて、関心領域ROIについての画素行を決定する。水平関心領域切り出し部15は、水平ROI成分に基づいて、関心領域ROIに関して水平方向の切り出し位置を決定する。
[0096]
 図14を用いて、第2画素制御部19B及び水平関心領域切り出し部15による関心領域ROIの切り出し処理について、より具体的に説明する。
[0097]
 第2画素制御部19Bは、垂直ROI成分、即ち、垂直アドレス情報(垂直ROI位置情報)に基づいて、関心領域ROIを含む範囲の画素行の各画素20の信号の読み出し動作を繰り返して実行する。これにより、図14に示すように、関心領域ROIを含む横長の画像が取得される。この横長の画像に対して、水平関心領域切り出し部15は、水平ROI成分、即ち、水平アドレス情報(水平ROI位置情報)に基づいて、ROI部分の矩形だけを切り出し、他の部分についてはマスキングする処理を行う。この水平関心領域切り出し部15による処理により、出力データ量の削減を図ることができる。
[0098]
[実施例4]
 実施例4は、実施例1の変形例であり、関心領域ROIが水平方向(行方向)に移動する場合のアドレス制御の例である。実施例4に係るアドレス制御についての説明図を図15に示す。
[0099]
 図15の右側の画像イメージのように、関心領域検出部18による関心領域の検出によってROI部分を抽出し、当該ROI部分の垂直アドレス情報を分離する。図15の左側には、垂直アドレス情報に従って行われる時系列のアドレス制御の図を示している。図15の左側の図では、水平方向(行方向/右方向)に時間を示し、垂直方向(列方向/下方向)に垂直アドレスを示している。右側の画像イメージの垂直方向と一致するように描いている。
[0100]
 実施例1に係る撮像素子10は、アナログ-デジタル変換部13を2系統を有する構成となっている。ここでは、2系統の一方の出力である全画面画像出力を画像出力1とし、他方の出力であるROI画像出力を画像出力2とする。図15の左側の図には、2系統のアナログ-デジタル変換部13のそれぞれを画像出力1、画像出力2の矩形でアナログ-デジタル変換している時間と共にデータ出力を示している。
[0101]
 図15の左側のアドレス制御において、実線の斜線でシャッター(shutter)制御、点線の斜線で読み出し(readout)制御の様子を示しており、シャッター時刻から読み出し時刻までの時間が露光時間となる。後述する実施例においても同様である。斜めの平行四辺形により露光時間の一定した撮影を示しており、画面内の露光時間を一定に保つため、シャッター及び読み出しの垂直アドレス制御は時間遅延を伴って同じ制御となる。
[0102]
 画像出力1の制御では、全画面画像を読み出すために画面の上から下までを一巡し、それを繰り返す。画像出力2の制御では、ROI部分のアドレスを繰り返し制御する。ROI部分は画面の一部となるため、同じ速度でアドレス制御を行っても、繰り返し回数は全画面画像の読み出しの場合に比べて速くなる。これにより、ROI部分の高フレームレート化を実現している。
[0103]
 一行のAD(アナログ-デジタル)変換時間は、一般的な撮像素子(例えば、CMOSイメージセンサ)では一定時間となるため、水平方向のROI部分の切り出しは動作速度に影響しないが、データの削減になる。従って、図15の右下の図のように、マスキング部分の切り捨てにより、データを削減することができる。
[0104]
[実施例5]
 実施例5は、実施例1の変形例であり、関心領域ROIが垂直方向(列方向/下方向)に移動する場合のアドレス制御その1の例である。実施例5に係るアドレス制御についての説明図を図16に示す。
[0105]
 実施例5では、全画面画像の読み出しにより動きを検出し、関心領域ROIの位置を確認し、ROI画像の読み出しに反映している。図16の右側の図で垂直方向(列方向/下方向)に関心領域ROIが移動するに従って、ROI画像の読み出しのアドレス位置が変化している様子を図16の左側の図に示している。このようなアドレス制御が一般的な使い方となる。
[0106]
[実施例6]
 実施例6は、実施例1の変形例であり、関心領域ROIが垂直方向(列方向/下方向)に移動する場合のアドレス制御その2の例である。実施例6に係るアドレス制御についての説明図を図17に示す。
[0107]
 実施例6では、関心領域ROIの読み出し駆動時に垂直アドレスを変化させるようにする。これにより、撮像対象物をより高いフレームレートで追従することができる。この追従については、全画面画像から得られた関心領域ROIの位置の移動ベクタの微分等による推定や、関心領域ROIの枠内での移動位置の細分化、重心計算による移動方向計算等の手法を用いて制御することができる。
[0108]
[実施例7]
 実施例7は、実施例2の変形例であり、ジッタ対策のためのアドレス制御の例である。実施例7に係るアドレス制御についての説明図を図18に示す。
[0109]
 実施例2の場合、即ち、全画面画像の取得とROI画像の取得とを時分割駆動で行う場合、1行単位で全画面画像及びROI画像の読み出しを行うため、画像出力1、画像出力2のROI部分の露光タイミングに1行のジッタが生じることになる。多くの場合、問題とされるジッタでは無いが、そのジッタ対策のための手法が、実施例7に係るアドレス制御である。
[0110]
 ここでは、全画面画像出力である画像出力1側で制御している部分を、ROI画像出力である画像出力2側で出力する。このように、一定周期のタイミング生成が可能なROI画像出力側の制御で行うことにより、一定の間隔のROI画像出力が可能になる。一方で、画像出力1は、ROI部分のデータは欠損することになるので、出力上はパディングなどの対策により、画像出力1にデータを出さない期間(図中の空白部分)が生じる。この欠損画像については、ROI側のデータで補うことにより、全画面画像のデータを得ることができる。
[0111]
 ここでは、実施例2の時分割駆動で行う場合のアドレス制御の例として説明したが、実施例7に係るアドレス制御は、時分割駆動を行わない実施例1に対しても適用することができる。
[0112]
[実施例8]
 実施例8は、関心領域ROIが複数存在する場合のアドレス制御の例である。実施例8に係るアドレス制御についての説明図を図19に示す。図19の右側の図には、関心領域ROIが2つ存在する場合を図示している。
[0113]
 関心領域ROIが複数存在する場合は、一般的に、複数の関心領域ROIの画面上の位置が離れている。通常の撮像素子(例えば、CMOSイメージセンサ)の制御では、画面上の位置が離れている場合、全画面画像の読み出しに合わせて上からアドレスを順に読み出すと、関心領域ROIでは、読み出しを行わない画素行の時間分だけ待たなくてはならない。そして、読み出しを行わない期間が生じることで、ROI画像のフレームレートが低下する。
[0114]
 そこで、実施例8に係るアドレス制御では、ROI画像の読み出し時にアドレスを飛ばすようにしている。一方で、全画面画像の読み出し側は、ROI画像の読み出しとの時間間隔を一定に保つため、関心領域ROIのアドレス部分のタイミングを合わせて制御している。このため、一般的な撮像素子のような、画面の上から順に下への読み出しを行わない制御に変更している。図19の例では、全画面画像の読み出しである画像出力1側は、ROI画像の読み出しである画像出力2と同じアドレス部分を先に読み、後からそれ以外のアドレスの画素の読み出しを順番に行うような制御を行うようにしている。その順番は前でも後でも良い。
[0115]
 また、動き検出によって関心領域ROIを検出し、その位置を決めているため、関心領域ROI以外の画像は動きがなく、一般的な読み出しを行う撮像素子(例えば、CMOSイメージセンサ)と読み出し順が異なっていても画像に変わりはない。他の指標により関心領域ROIを検出している場合でも、関心の低い画像であるため、同様に読み出し順の変化は関心が低いと思われる。
[0116]
[実施例9]
 実施例9は、実施例8の変形例であり、複数の関心領域ROIが互いに反する方向に移動する場合のアドレス制御の例である。実施例9に係るアドレス制御についての説明図を図20に示す。
[0117]
 図20の右側の図には、2つの関心領域ROIが互いに違う動きを場合を示している。具体的には、2つの関心領域ROIの一方が垂直下方向に移動し、他方が垂直上方向に移動する様子を図示している。
[0118]
 この場合、図20の左側の図に示すように、ROI画像の読み出しのアドレスは変化するが、2つの関心領域ROIの合計の大きさが変わらない場合、同じフレームレートを保ちながら読み出しを継続していく。全画面画像の読み出しの方では、ROI部分のタイミングを維持し、ROI画像を読み出し終えてから、ROI画像以外を読み出す。全画面画像の大きさは変化しないため、常に同じタイミングを維持することが可能となる。
[0119]
 ここでは、2つの関心領域ROIの合計の大きさが変化しない場合について説明した。大きさが変化する場合に対応するには、次の2つの手法が考えられる。その1つは、2つの関心領域ROIを1単位とするとき、1単位のROI画像の読み出しの繰り返しの間に最大のサイズを設定し、関心領域ROIが小さくなった場合は、時間的なマージンを用意して一定のフレームレートを維持する手法である。もう1つは、関心領域ROIのサイズに応じてフレームレートを変化させていく手法である。前者の手法は、フレームレートが一定になることにより、アプリケーションコントローラの画像処理が簡単になるメリットがあり、後者の手法は、関心領域ROIのサイズ変化に対する適応性が増すメリットがある。実施例9に係るアドレス制御では、どちらの手法を用いてもよい。
[0120]
[実施例10]
 実施例10は、実施例2の変形例であり、ROI画像読み出しの画像出力2が全画面画像読み出しの画像出力1と時間的に重ならないように制御する例である。実施例10に係るアドレス制御についての説明図を図21に示す。
[0121]
 ROI画像読み出しの画像出力2が全画面画像読み出しの画像出力1と時間的に重ならないようにするために、実施例10では、図21に示すように、画像出力1が終了した後に画像出力2に切り替え、画像出力2が終了した後に画像出力1に切り替えるようにアドレス制御を行う。
[0122]
 このように、実施例10では、全画面画像出力時にROI部分の読み出しを行わないため、ROI部分のフレームレートに遅い部分が生じてしまう。しかし、画像出力1と画像出力2とを交互に切り替えているため、それぞれ半分の時間になっていたが、実施例10では、それぞれ専有できるため高速に読み出しができる。
[0123]
<変形例>
 以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像素子の構成、構造は例示であり、適宜、変更することができる。
[0124]
 例えば、上記の実施形態では、画素20が行列状に配置されて成るCMOSイメージセンサに適用した場合を例に挙げて説明したが、本開示の技術は、CMOSイメージセンサへの適用に限られるものではない。すなわち、本開示の技術は、画素20が行列状に2次元配置されて成るX-Yアドレス方式の撮像素子全般に対して適用可能である。
[0125]
<応用例>
 以上説明した本実施形態に係る撮像素子は、例えば図22に示すように、可視光、赤外光、紫外光、X線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
[0126]
 ・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
 ・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
 ・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
 ・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
 ・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
 ・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
 ・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
 ・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
[0127]
<適用例>
 本開示に係る技術は、様々な製品に適用することができる。より具体的には、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機等の電子機器に適用することができる。以下に、デジタルスチルカメラやビデオカメラ等の撮像装置に適用する場合について説明する。
[0128]
[撮像装置]
 図23は、電子機器の一例である撮像装置の構成を示すブロック図である。図23に示すように、本例に係る撮像装置100は、レンズ群等を含む撮像光学系101、撮像部102、DSP(Digital Signal Processor)回路103、フレームメモリ104、表示装置105、記録装置106、操作系107、及び、電源系108等を有している。そして、DSP回路103、フレームメモリ104、表示装置105、記録装置106、操作系107、及び、電源系108がバスライン109を介して相互に接続された構成となっている。
[0129]
 撮像光学系101は、被写体からの入射光(像光)を取り込んで撮像部102の撮像面上に結像する。撮像部102は、光学系101によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。DSP回路103は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。
[0130]
 フレームメモリ104は、DSP回路103での信号処理の過程で適宜データの格納に用いられる。表示装置105は、液晶表示装置や有機EL(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部102で撮像された動画または静止画を表示する。記録装置106は、撮像部102で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)等の記録媒体に記録する。
[0131]
 操作系107は、ユーザによる操作の下に、本撮像装置100が持つ様々な機能について操作指令を発する。電源系108は、DSP回路103、フレームメモリ104、表示装置105、記録装置106、及び、操作系107の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
[0132]
 上記の構成の撮像装置100において、撮像部102として、回路規模が小さく、低消費電力にて、特定の領域(関心領域)の画素に対する読み出し駆動と、全体画角の画素に対する読み出し駆動とを実現できる、先述した実施形態に係る撮像素子を用いることができる。従って、当該撮像素子を撮像部102として用いることで、撮像装置100の小型化、低消費電力化に寄与することができる。
[0133]
<本開示がとることができる構成>
 尚、本開示は、以下のような構成をとることもできる。
[0134]
≪A.撮像素子≫
[A-1]受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える撮像素子。
[A-2]撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
 上記[A-1]に記載の撮像素子。
[A-3]関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
 上記[A-2]に記載の撮像素子。
[A-4]関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも1撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
 上記[A-3]に記載の撮像素子。
[A-5]関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
 画像メモリは、少なくとも1撮像フレーム前の画像情報を保持し、
 比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
 移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
 関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
 上記[A-4]に記載の撮像素子。
[A-6]関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
 上記[A-5]に記載の撮像素子。
[A-7]第2画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
 上記[A-6]に記載の撮像素子。
[A-8]アナログ-デジタル変換部によるアナログ-デジタル変換後の画素データをラッチするラッチバッファ部、及び、
 ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
 上記[A-7]に記載の撮像素子。
[A-9]画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、2系統設けられており、
 画素アレイ部の各画素は、2系統の信号線のそれぞれに画素の信号を読み出す2つのスイッチを有する、
 上記[A-1]乃至上記[A-8]のいずれかに記載の撮像素子。
[A-10]アナログ-デジタル変換部は、2系統の信号線のそれぞれに対応して2系統設けられている、
 上記[A-9]に記載の撮像素子。
[A-11]第1画素制御部及び第2画素制御部は、2系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
 上記[A-9]又は上記[A-10]に記載の撮像素子。
[A-12]画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、1系統設けられており、
 第1画素制御部及び第2画素制御部は、1系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
 上記[A-1]乃至上記[A-8]のいずれかに記載の撮像素子。
[A-13]単一チップから成るチップ構造を有する、
 上記[A-1]乃至上記[A-12]のいずれかに記載の撮像素子。
[0135]
≪B.撮像素子の駆動方法≫
[B-1]受光素子を含む画素が配置されて成る画素アレイ部、及び、
 画素アレイ部から読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部を備える撮像素子の駆動に当たって、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出し、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す、
 撮像素子の駆動方法。
[B-2]2系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
 上記[B-1]に記載の撮像素子の駆動方法。
[B-3]1系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
 上記[B-1]に記載の撮像素子の駆動方法。
[0136]
≪C.電子機器≫
[C-1]受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える撮像素子を有する電子機器。
[C-2]撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
 上記[C-1]に記載の電子機器。
[C-3]関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
 上記[C-2]に記載の電子機器。
[C-4]関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも1撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
 上記[C-3]に記載の電子機器。
[C-5]関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
 画像メモリは、少なくとも1撮像フレーム前の画像情報を保持し、
 比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
 移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
 関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
 上記[C-4]に記載の電子機器。
[C-6]関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
 上記[C-5]に記載の電子機器。
[C-7]第2画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
 上記[C-6]に記載の電子機器。
[C-8]アナログ-デジタル変換部によるアナログ-デジタル変換後の画素データをラッチするラッチバッファ部、及び、
 ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
 上記[C-7]に記載の電子機器。
[C-9]画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、2系統設けられており、
 画素アレイ部の各画素は、2系統の信号線のそれぞれに画素の信号を読み出す2つのスイッチを有する、
 上記[C-1]乃至上記[C-8]のいずれかに記載の電子機器。
[C-10]アナログ-デジタル変換部は、2系統の信号線のそれぞれに対応して2系統設けられている、
 上記[C-9]に記載の電子機器。
[C-11]第1画素制御部及び第2画素制御部は、2系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
 上記[C-9]又は上記[C-10]に記載の電子機器。
[C-12]画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、1系統設けられており、
 第1画素制御部及び第2画素制御部は、1系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
 上記[C-1]乃至上記[C-8]のいずれかに記載の電子機器。
[C-13]単一チップから成るチップ構造を有する、
 上記[C-1]乃至上記[C-12]のいずれかに記載の電子機器。

符号の説明

[0137]
 10・・・撮像素子、11・・・画素アレイ部、12・・・行選択部、13・・・アナログ-デジタル変換部、14・・・ラッチバッファ部、15・・・水平関心領域切り出し部、16A,16B・・・画像処理部、17・・・出力インタフェース部、18・・・関心領域検出部、19A・・・第1画素制御部、19B・・・第2画素制御部、20・・・画素、21・・・フォトダイオード、22・・・転送トランジスタ、23・・・リセットトランジスタ、24・・・増幅トランジスタ、25・・・選択トランジスタ、31(31 1~31 m)・・・画素駆動線、32(32 1~32 n)・・・垂直信号線、100・・・撮像装置、131・・・アナログ-デジタル変換器、141・・・ラッチ回路、181・・・画像保存部、182・・・画像メモリ、183・・・比較部、184・・・移動量メモリ、185・・・関心領域判定部、186・・・位置情報取得部

請求の範囲

[請求項1]
 受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える撮像素子。
[請求項2]
 撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
 請求項1に記載の撮像素子。
[請求項3]
 関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
 請求項2に記載の撮像素子。
[請求項4]
 関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも1撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
 請求項3に記載の撮像素子。
[請求項5]
 関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
 画像メモリは、少なくとも1撮像フレーム前の画像情報を保持し、
 比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
 移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
 関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
 請求項4に記載の撮像素子。
[請求項6]
 関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
 請求項5に記載の撮像素子。
[請求項7]
 第2画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
 請求項6に記載の撮像素子。
[請求項8]
 アナログ-デジタル変換部によるアナログ-デジタル変換後の画素データをラッチするラッチバッファ部、及び、
 ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
 請求項7に記載の撮像素子。
[請求項9]
 画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、2系統設けられており、
 画素アレイ部の各画素は、2系統の信号線のそれぞれに画素の信号を読み出す2つのスイッチを有する、
 請求項1に記載の撮像素子。
[請求項10]
 アナログ-デジタル変換部は、2系統の信号線のそれぞれに対応して2系統設けられている、
 請求項9に記載の撮像素子。
[請求項11]
 第1画素制御部及び第2画素制御部は、2系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
 請求項9に記載の撮像素子。
[請求項12]
 画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、1系統設けられており、
 第1画素制御部及び第2画素制御部は、1系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
 請求項1に記載の撮像素子。
[請求項13]
 単一チップから成るチップ構造を有する、
 請求項1に記載の撮像素子。
[請求項14]
 受光素子を含む画素が配置されて成る画素アレイ部、及び、
 画素アレイ部から読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部を備える撮像素子の駆動に当たって、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出し、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す、
 撮像素子の駆動方法。
[請求項15]
 受光素子を含む画素が配置されて成る画素アレイ部、
 画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、
 画素アレイ部内の特定の領域の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部、及び、
 第1画素制御部又は第2画素制御部による制御によって読み出される画素信号をアナログ-デジタル変換するアナログ-デジタル変換部、
 を備える撮像素子を有する電子機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]