本開示は、イメージセンサ、および電子装置に関し、特に、読み出しモードの変更に起因して生じ得る欠陥フレームの代わりにダミーフレームを出力できるようにしたイメージセンサ、および電子装置に関する。

　従来、イメージセンサには複数の読み出しモード（加算読み出しモード、HDR読み出しモードなど）を有し、撮像中にそれらを切り替えることができるものが存在する（例えば、特許文献１参照）。

　ところで、イメージセンサにおける読み出しモードの変更は、シャッタ速度（露光時間）や画素データ（以下、フレームとも称する）の読み出し時間の変更を伴うので、読み出しモードを変更したタイミングで、各画素の露光時間が統一されていない、画像として利用できない欠陥フレームを生じてしまうことになる。

　図１は、従来の欠陥フレームに対する対処方法を示している。

　すなわち、第１の対処方法としては、同図Ａに示されるように、読み出しモードＡ(MODE-A)から読み出しモードＢ(MODE-B)に変更されたときに生じ得る欠陥フレームを後段に出力しない方法である。第１の対処方法によれば、後段に対して、常に画像として利用できるフレームだけを出力できる。ただし、第１の対処方法では、フレームの出力が１フレーム分だけ途切れることになり、フレームの出力はできる限り継続してほしいとの要求も存在するので、それに応える第２の対象方法が存在する。

　第２の対処方法としては、同図Ｂに示されるように、読み出しモードＡ(MODE-A)から読み出しモードＢ(MODE-B)に変更されたときに、フレーム同期信号（Vsync）を打ち直す方法である。

特許文献1 : 特開２００７－１５０４４８号公報

　第２の対処方法によれば、画像として利用できるフレームを継続的に出力できる。しかしながら、この場合、フレームレートが一時的に崩れてしまう。

　本開示はこのような状況に鑑みてなされたものであり、フレームレートを崩すことなく、画像として利用できるフレームを継続的に出力できるようにするものである。

　本開示の一側面であるイメージセンサは、複数の読み出しモードを有し、入射光に応じて画像データを生成する画素部と、少なくとも２フレーム分以上の前記画像データが格納できる容量を有するメモリと、前記画素部から入力される前記画像データをフレーム毎に前記メモリの異なる領域に格納する処理と、前回格納した領域から前記画像データを読み出す処理を同時に行う制御部と、前記画素部の前記読み出しモードの変更を検知する検知部とを備える。

　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画素部から入力される前記画像データを前記メモリに格納する処理を止めることができる。

　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画素部から入力される欠陥フレームの前記画像データを前記メモリに格納する処理を止めることができる。

　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画像データを前記メモリの前回格納した領域から、読み出し済みの前記画像データを再び読み出す処理を行うことができる。

　前記メモリは、１フレーム分の前記画像データがそれぞれ格納できる第１バッファおよび第２バッファを有することができ、前記制御部は、前記画素部から入力される前記画像データをフレーム毎に前記メモリの前記第１バッファまたは前記第２バッファの一方に格納する処理と、前記第１バッファまたは前記第２バッファの他方から前記画像データを読み出す処理を同時に行うことができる。

　本開示の第２の側面である電子装置は、複数の読み出しモードを有し、入射光に応じて画像データを生成する画素部と、少なくとも２フレーム分以上の前記画像データが格納できる容量を有するメモリと、前記画素部から入力される前記画像データをフレーム毎に前記メモリの異なる領域に格納する処理と、前回格納した領域から前記画像データを読み出す処理を同時に行う制御部と、前記画素部の前記読み出しモードの変更を検知する検知部とを備えるイメージセンサが搭載されている。

　本開示の第１および第２の側面においては、画素部から入力される画像データをフレーム毎にメモリの異なる領域に格納する処理と、前回格納した領域から前記画像データを読み出す処理が同時に行われる。さらに、画素部の読み出しモードの変更が検知される。

　本開示の第１および第２の側面によれば、フレームレートを崩すことなく、画像として利用できるフレームを継続的に出力することができる。

[図1] 従来の欠陥フレームに対する対処方法を説明するための図である。
[図2] 本開示を適用したイメージセンサの動作概要を説明するための図である。
[図3] 本開示を適用したイメージセンサの構成例を示すブロック図である。
[図4] 格納／読み出しアドレス制御部の制御の様子を示す図である。
[図5] 格納／読み出しアドレス制御部の制御の様子を示す図である。
[図6] フレーム出力処理を説明するフローチャートである。
[図7] フレーム出力処理の結果の一例を示す図である。
[図8] FAST AF時の処理を説明するフローチャートである。
[図9] FAST AF時の処理を説明するための図である。
[図10] フレーム出力処理の他の動作の様子を示す図である。
[図11] フレーム出力処理の他の動作の様子を示す図である。
[図12] フレーム出力処理の他の動作の結果の一例を示す図である。
[図13] イメージセンサの他の構成例を示すブロック図である。

　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について説明するが、その前に本開示の概要について説明する。

　＜本開示の実施の形態であるイメージセンサの動作概要＞
　図２は、本開示の実施の形態であるイメージセンサの動作概要を示している。

　該イメージセンサは、上述した従来のイメージセンサと同様、複数の読み出しモード（加算読み出しモード、HDR読み出しモードなど）を、撮像中にそれらを切り替えてフレームを後段に出力するものである。

　さらに、該イメージセンサは、読み出しモードを変更したタイミングで生成され得る欠陥フレームを後段に出力する代わりに、イメージセンサ内のメモリ（図３の複数フレーム格納メモリ１３）に格納されている、既に出力済みであるフレームをダミーフレームとして再び読み出して出力するようになされている。これにより、該イメージセンサは、フレームレートを崩すことなく、画像として利用できるフレームを継続的に出力することを実現する。

　＜１．本開示の実施の形態であるイメージセンサの構成例＞
　図３は、本開示の実施の形態であるイメージセンサの構成例を示している。

　このイメージセンサ１０は、画素部１１、格納／読み出しアドレス制御部１２、複数フレーム格納メモリ１３、ダミー出力判定部１６、および出力I/F部１７から構成される。

　画素部１１は、縦横に配置された多数の受光素子を有し、所定のフレームレートに従って、各受光素子にて入射光に応じて発生した画素信号を行毎にメモリ格納データとして格納／読み出しアドレス制御部１２に出力する。なお、画素部１１における各受光素子のシャッタ速度（露光時間）と、発生された画素信号の読み出し時間は、設定されている読み出しモードに応じて変化するものとする。

　格納／読み出しアドレス制御部１２は、複数フレーム格納メモリ１３に対する格納アドレスと読み出しアドレスとを個別に制御することができ、画素部１１からのメモリ格納データ（以下、フレームとも称する）を複数フレーム格納メモリ１３に格納する処理と、複数フレーム格納メモリ１３に格納されているフレームを読み出して出力I/F部１７に出力する処理を同時に実行する。さらに、格納／読み出しアドレス制御部１２は、画素部１１からのメモリ格納データに対するフロントエンド処理と、複数フレーム格納メモリ１３に格納したメモリ格納データのバックエンド処理を行うことができる。

　さらに、格納／読み出しアドレス制御部１２は、ダミー出力判定部１６からの通知に応じ、画素部１１からメモリ格納データとして入力され得る欠陥フレームの、複数フレーム格納メモリ１３の第１バッファ１４および第２バッファ１５に対する格納を止める。

　なお、格納／読み出しアドレス制御部１２は、格納アドレス制御部と、読み出しアドレス制御部に分離してもよい。

　複数フレーム格納メモリ１３は、少なくとも２フレーム分のメモリ格納データを格納できる容量を有する。本実施の形態の場合、複数フレーム格納メモリ１３は、それぞれが１フレーム分の容量を有する第１バッファ１４および第２バッファ１５を有する。

　これにより、格納／読み出しアドレス制御部１２は、複数フレーム格納メモリ１３の第１バッファ１４または第２バッファ１５の一方に対してメモリ格納データを格納する処理と、他方からメモリ格納データを読み出して出力I/F部１７に出力する処理を同時に実行することができる。さらに、格納／読み出しアドレス制御部１２は、複数フレーム格納メモリ１３の第１バッファ１４に対してメモリ格納データを格納する処理と、第１バッファ１４からメモリ格納データを読み出して出力I/F部１７に出力する処理を同時に実行することができる。第２バッファ１５に対しても同様である。

　ダミー出力判定部１６は、画素部１１から欠陥フレームが入力され得る、イメージセンサ１０の読み出しモードの変更を検知し、検知結果を格納／読み出しアドレス制御部１２に通知する。

　出力I/F部１７は、格納／読み出しアドレス制御部１２から出力データとして入力されたフレームを後段に出力する。

　＜格納／読み出しアドレス制御部１２の制御＞
　次に、図４は、画素部１１からＮ番目のフレームが入力されたときと、（Ｎ＋１）番目のフレームが入力されたときの格納／読み出しアドレス制御部１２の制御の様子を示している。

　Ｎ番目のフレームが入力された場合、同図Ａに示されるように、格納／読み出しアドレス制御部１２は、Ｎ番目のフレームを、複数フレーム格納メモリ１３の第１バッファ１４または第２バッファ１５のうち、前回格納した一方とは異なる他方（第１バッファ１４とする）に格納する。これと同時に、前回格納した一方（第２バッファ１５）に格納されていたフレームを読み出すようにする。

　次に、Ｎ＋１番目のフレームが入力された場合、同図Ｂに示されるように、格納／読み出しアドレス制御部１２は、Ｎ＋１番目のフレームを、複数フレーム格納メモリ１３の第１バッファ１４または第２バッファ１５のうち、前回格納した一方とは異なる他方（第２バッファ１５）に格納する。これと同時に、前回格納した一方（第１バッファ１４）に格納されていたフレームを読み出すようにする。

　すなわち、格納／読み出しアドレス制御部１２は、複数フレーム格納メモリ１３の第１バッファ１４と第２バッファ１５に対して交互にフレームを格納する。そして、今回フレームを格納していない方（前回格納した方）から読み出しを行う。

　次に、図５は、ダミー出力判定部１６により、イメージセンサ１０の読み出しモードの変更が検知された場合の格納／読み出しアドレス制御部１２の制御の様子を示している。

　読み出しモードの変更が検知された場合、同図Ａに示されるように、画素部１１から欠陥フレームが入力され得るので、格納／読み出しアドレス制御部１２は、これを第１バッファ１４および第２バッファ１５のいずれにも格納しない。ただし、前回格納した一方（いまの場合、第２バッファ１５）に格納されていたフレームを読み出す。

　そして、次のフレームが入力された場合、同図Ｂに示されるように、格納／読み出しアドレス制御部１２は、そのフレームを、複数フレーム格納メモリ１３の第１バッファ１４または第２バッファ１５のうち、前回格納した一方とは異なる他方（第１バッファ１４）に格納する。これと同時に、前回格納した一方（第２バッファ１５）に格納されていた、既に読み出し済みのフレームをダミーフレームとして再び読み出すようにする。

　以上に説明した格納／読み出しアドレス制御部１２の制御により、同一のフレームが連続して出力されることはあるものの、フレームレートを崩すことなく、画像として利用できるフレームを継続的に出力することができる。

　＜イメージセンサ１０のフレーム出力処理＞
　次に、図６は、イメージセンサ１０のフレーム出力処理を説明するフローチャートである。

　前提として、画素部１１から格納／読み出しアドレス制御部１２に対しては、所定のフレームレートでメモリ格納データ（ただし、欠陥フレームの場合もあり）が入力されているものとし、このフレーム出力処理は、フレーム毎に実行される。

　ステップＳ１において、ダミー出力判定部１６により、イメージセンサ１０の読み出しモードの変更を検知した場合、その旨を表す通知を格納／読み出しアドレス制御部１２に出力する。格納／読み出しアドレス制御部１２は、ダミー出力判定部１６から読み出しモードの変更の通知がない場合、すなわち、読み出しモードの変更がない場合、処理をステップＳ２に進める。

　ステップＳ２において、格納／読み出しアドレス制御部１２は、画素部１１から入力されたフレームを、複数フレーム格納メモリ１３の第１バッファ１４または第２バッファ１５のうち、前回格納した一方（例えば、第２バッファ１５とする）とは異なる他方（いまの例では第１バッファ１４）に格納する。これと同時に、格納／読み出しアドレス制御部１２は、ステップＳ３として、前回格納した一方（いまの例では第２バッファ１５）に格納されていたフレームを読み出し、出力I/F部１７に出力する。

　ステップＳ４において、出力I/F部１７は、格納／読み出しアドレス制御部１２から入力されたフレームを後段に出力する。

　この後、次に画素部１１から入力されるフレームが処理対象とされて、ステップＳ１以降が繰り返される。

　そして、ステップＳ１において、ダミー出力判定部１６により、イメージセンサ１０の読み出しモードの変更が検知され、その旨が格納／読み出しアドレス制御部１２に通知されると、格納／読み出しアドレス制御部１２は、ステップＳ２をスキップして処理をステップＳ３に進める。すなわち、格納／読み出しアドレス制御部１２は、画素部１１から入力される欠陥フレームを第１バッファ１４および第２バッファ１５のいずれにも格納しなせず、読み出しのみを行う。

　以上で、イメージセンサ１０のフレーム出力処理の説明を終了する。

　図７は、上述したフレーム出力処理による結果の一例を示している。図７の例では、画素部１１から格納／読み出しアドレス制御部１２に対しては、フレームＦ０，Ｆ１，Ｆ２、・・・が順次入力される。ただし、フレームＦ５を欠陥フレームとする。また、図中の網目模様は、バッファに対するフレームの格納を意味する。

　例えば、フレームＦ２が入力されると、第１バッファ１４に格納され、これと同時に、第２バッファ１５からフレームＦ１が読み出されて出力される。次に、フレームＦ３が入力されると、第２バッファ１５に格納され、これと同時に、第１バッファ１４からフレームＦ２が読み出されて出力される。次に、フレームＦ４が入力されると、第１バッファ１４に格納され、これと同時に、第２バッファ１５からフレームＦ３が読み出されて出力される。

　次に、欠陥フレームＦ５が入力されると、これは第１バッファ１４および第２バッファ１５のいずれにも格納されず、前回格納が行われた第１バッファ１４からフレームＦ４が読み出されて出力される。次に、フレームＦ６が入力されると、第２バッファ１５に格納され、これと同時に、第１バッファ１４からフレームＦ３が再び読み出されて出力される。これ以降同様に、格納と読み出しが同時に行われる。

　ただし、欠陥フレームＦ５が入力されたときに、第２バッファ１５からフレームＦ３を再度読み出して出力するようにしてもよい。

　＜フレーム出力処理の他の動作例＞
　図１０および図１１は、フレーム出力処理の他の動作例の様子を、図１２は、フレーム出力処理の他の動作例による結果の一例を示している。

　図４乃至図７を参照して上述したフレーム出力処理では、第１バッファ１４または第２バッファ１５の一方に対する格納と、他方からの読み出しとを同時に行うようにした。他の動作例では、図１０および図１１に示されるように、第１バッファ１４または第２バッファ１５の一方に対する格納と、当該一方からの読み出しとを同時に行うようにしてもよい。この場合、図１２に示されるように、画素部１１から出力されたフレームを１フレーム分の遅延を生じることなく、後段に出力することができる。

　＜イメージセンサ１０の応用例＞
　次に、イメージセンサ１０をFAST AF(Auto Focus)機能を有する撮像装置などに適用した場合について説明する。

　ここで、FAST AFについて説明する。従来、FAST AFはContrast AFにより実現され、フォーカスを変えながら120fps程度の高速シャッタにより得られる複数枚（30枚程）のフレームに基づいてフォーカスが決定される。具体的には、起動直後にFAST AFが行われた後にプレビュ表示が開始され、ユーザがプレビュ表示を見ながら実行するシャッタ操作に応じて再びFAST AFが行われ、フォーカスが決定された状態のフレームが後段に出力されて記録される。ただし、従来、FAST AFを実行している間はイメージセンサからプレビュ用の（間引きされた）フレームを後段に出力できず、プレビュ表示がブラックアウトしてしまっていた。

　これに対して、本実施の形態であるイメージセンサ１０では、FAST AF時においてもプレビュ表示を実現できる。具体的には、図８および図９に示されるとおりである。

　図８は、イメージセンサ１０によるFAST AF時の処理を説明するフローチャートである。図９は、図８を補足する図であり、図中の符号（Ｓ１１など）は図８の処理ステップに対応する。

　ステップＳ１１において、起動後のFAST AF用とし、フォーカスを変えながら高速シャッタ（120fps程度）で複数枚（30枚程）のフレームを取得、後段に出力する。次に、ステップＳ１２において、通常シャッタ（30fps）でプレビュ表示用のフレームを取得、後段に出力する。このとき、プレビュ用のフレームを複数フレーム格納メモリ１３の第１バッファ１４と第２バッファ１５の交互に格納、読み出すようにする。

　ステップＳ１３において、シャッタ操作の有無を確認し、シャッタ操作があるまでステップＳ１２およびＳ１３を繰り返す。シャッタ操作があった場合、処理はステップＳ１４に進められる。

　ステップＳ１４において、撮像のためのFAST AF用として、フォーカスを変えながら高速シャッタで30枚程のフレームを取得、後段に出力する。このとき、第１バッファ１４または第２バッファ１５に残っているプレビュ用のフレームを再度読み出して後段に出力する。

　以上説明したFAST AF時の処理により、イメージセンサ１０を搭載した撮像装置ではFAST AF時でもプレビュ表示を継続し、ブラックアウトを防ぐことができる。

　＜イメージセンサ１０の適用例＞
　以上に説明した本実施の形態であるイメージセンサ１０は、撮像機能、あるいはセンシング機能を備えるあらゆる電子装置に適用することができる。

　＜イメージセンサ１０の他の構成例＞
　図１３は、本実施の形態であるイメージセンサ１０の他の構成例を示している。同図に示されるように、格納／読み出しアドレス制御部１２の内部に、所定の画像処理を行う画像処理部２１を設けるようにしてもよい。また、格納／読み出しアドレス制御部１２が複数の格納アドレス制御と、複数の読み出しアドレス制御を実行できるようにしてもよい。複数フレーム格納メモリ１３の中には、より多くのバッファ（同図の場合、第３バッファ２２、および第４バッファ２３）を設けてもよい。

　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　なお、本開示は以下のような構成も取ることができる。
（１）
　複数の読み出しモードを有し、入射光に応じて画像データを生成する画素部と、
　少なくとも２フレーム分以上の前記画像データが格納できる容量を有するメモリと、
　前記画素部から入力される前記画像データをフレーム毎に前記メモリの異なる領域に格納する処理と、前回格納した領域から前記画像データを読み出す処理を同時に行う制御部と、
　前記画素部の前記読み出しモードの変更を検知する検知部と
　を備えるイメージセンサ。
（２）
　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画素部から入力される前記画像データを前記メモリに格納する処理を止める
　前記（１）に記載のイメージセンサ。
（３）
　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画素部から入力される欠陥フレームの前記画像データを前記メモリに格納する処理を止める
　前記（１）または（２）に記載のイメージセンサ。
（４）
　前記制御部は、前記検知部によって前記読み出しモードの変更が検知された場合、前記画像データを前記メモリの前回格納した領域から、読み出し済みの前記画像データを再び読み出す処理を行う
　前記（１）から（３）のいずれかに記載のイメージセンサ。
（５）
　前記メモリは、１フレーム分の前記画像データがそれぞれ格納できる第１バッファおよび第２バッファを有し、
　前記制御部は、前記画素部から入力される前記画像データをフレーム毎に前記メモリの前記第１バッファまたは前記第２バッファの一方に格納する処理と、前記第１バッファまたは前記第２バッファの他方から前記画像データを読み出す処理を同時に行う
　前記（１）から（４）のいずれかに記載のイメージセンサ。
（６）
　複数の読み出しモードを有し、入射光に応じて画像データを生成する画素部と、
　少なくとも２フレーム分以上の前記画像データが格納できる容量を有するメモリと、
　前記画素部から入力される前記画像データをフレーム毎に前記メモリの異なる領域に格納する処理と、前回格納した領域から前記画像データを読み出す処理を同時に行う制御部と、
　前記画素部の前記読み出しモードの変更を検知する検知部と
　を備えるイメージセンサが搭載されている電子装置。

　１０　イメージセンサ，　１１　画素部，　１２　格納／読み出しアドレス制御部，　１３　複数フレーム格納メモリ，　１４　第１バッファ，　１５　第２バッファ，　１６　ダミー出力判定部，　１７　出力I/F部，２１　画像処理部，　２２　第３バッファ，　２３　第４バッファ