国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018181611) 電子機器
Document

明 細 書

発明の名称 電子機器

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

0004  

図面の簡単な説明

0005  

発明を実施するための形態

0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250  

符号の説明

0251  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29  

明 細 書

発明の名称 : 電子機器

技術分野

[0001]
 本発明は、電子機器に関する。

背景技術

[0002]
 撮像素子からの信号により画像を生成する画像処理技術を搭載した撮像装置が知られている(特許文献1参照)。
 従来から画像の画質向上が要求されていた。

先行技術文献

特許文献

[0003]
特許文献1 : 日本国特開2006-197192号公報

発明の概要

[0004]
 発明の第1の態様によると、電子機器は、光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から、前記撮像素子の移動方向とは反対方向に配置された第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更する変更部と、前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動を制御する制御部と、を備える。
 発明の第2の態様によると、電子機器は、光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から、前記撮像素子の移動方向とは反対方向に配置された第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更する変更部と、前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動させるための信号を生成する生成部と、を備える。
 発明の第3の態様によると、電子機器は、光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更可能な変更部と、前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動を制御する制御部と、を備える。
 発明の第4の態様によると、電子機器は、光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更可能な変更部と、前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動させるための信号を生成する生成部と、を備える。

図面の簡単な説明

[0005]
[図1] 第1の実施の形態によるカメラの構成を例示するブロック図である。
[図2] 積層型の撮像素子の断面図である。
[図3] 撮像チップの画素配列と単位領域を説明する図である。
[図4] 単位領域における回路を説明する図である。
[図5] 撮像素子の機能的構成を示すブロック図である。
[図6] 図6(a)~図6(c)は、撮像素子の撮像面に設定される第1撮像領域および第2撮像領域の配置を例示する図である。
[図7] 図7(a)は、記録用画像を例示する図、図7(b)は、検出用画像を例示する図である。
[図8] 撮像画面における被写体領域を例示する図である。
[図9] 設定画面を例示する図である。
[図10] 記録用画像の撮像タイミングと、検出用画像の撮像タイミングと、モニタ用画像の表示タイミングとを例示する図である。
[図11] ぶれ補正部として機能する制御部を説明する図である。
[図12] 図12(a)および図12(b)は、像ぶれ補正を説明する模式図である。
[図13] 図13(a)~図13(e)は、像ぶれ補正を説明する模式図である。
[図14] カーネルを例示する図である。
[図15] 撮像面における焦点検出用画素の位置を例示する図である。
[図16] 焦点検出画素ラインの一部の領域を拡大した図である。
[図17] フォーカスポイントを拡大した図である。
[図18] 図18(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図18(b)は、モニタ用画像および探索範囲を例示する図である。
[図19] 第1の実施の形態による処理の流れを説明するフローチャートである。
[図20] 像ぶれ補正処理の流れを説明するフローチャートである。
[図21] 図21(a)は、静止画を例示する図、図21(b)および図21(c)は、第2の実施の形態による静止画ぶれ補正の概要を説明する図である。
[図22] 記録用画像の撮像タイミングと、ぶれ補正画像の表示タイミングとを例示する図である。
[図23] 像ぶれ処理の流れを説明するフローチャートである。
[図24] 第3の実施の形態による静止画ぶれ補正の概要を説明する図である。
[図25] 記録用画像の撮像タイミングと、ぶれ補正画像の表示タイミングとを例示する図である。
[図26] 撮像素子の撮像面に設定される第1撮像領域、第2撮像領域、第3撮像領域および第4撮像領域の配置を例示する図である。
[図27] 図27(a)は、第1の記録用画像による静止画であり、図27(b)は、第2の記録用画像による静止画である。
[図28] 変形例2による撮像システムの構成を例示するブロック図である。
[図29] モバイル機器へのプログラムの供給を説明する図である。

発明を実施するための形態

[0006]
(第1の実施の形態)
 第1の実施の形態による撮像装置を搭載する電子機器について説明する。図1のデジタルカメラ1(以降、カメラ1と称する)は、電子機器の一例である。カメラ1は、レンズ交換式のカメラでも、レンズ一体型のカメラでもよい。また、スマートフォン等の携帯端末に搭載されるカメラでもよい。また、ビデオカメラやモバイルカメラ等の撮像装置として構成してもよい。
[0007]
 カメラ1には、イメージセンサの一例として撮像素子32aが搭載される。撮像素子32aは、撮像領域に設定された撮像条件で撮像を行う。また、撮像素子32aは、撮像領域ごとに異なる撮像条件で撮像を行うことが可能に構成されている。第1の実施の形態では、カメラ1の画像処理部33が、動画を撮像中のカメラ1に生じた揺動(カメラ1の振れと称する)に伴う像ぶれの影響を抑える処理を行う。像ぶれは、撮像素子32aの撮像面の被写体像が動くことをいう。このようなカメラ1の詳細について、図面を参照して説明する。なお、像ぶれは、被写体像に対して撮像素子32aが動くともいえる。
[0008]
<カメラの説明>
 図1は、一実施の形態によるカメラ1の構成を例示するブロック図である。図1において、カメラ1は、撮像光学系31と、撮像部32と、画像処理部33と、制御部34と、表示部35と、操作部材36と、記録部37と、測光用センサ38と、振れセンサ39とを有する。
[0009]
 撮像光学系31は、被写体からの光束を撮像部32へ導く。撮像部32は、撮像素子32aおよび駆動部32bを含み、撮像光学系31によって結像された被写体の像を光電変換する。撮像部32は、撮像素子32aにおける撮像領域の全域において同じ撮像条件で撮像したり、撮像領域ごとに異なる撮像条件で撮像したりすることができる。撮像部32の詳細については後述する。駆動部32bは、撮像素子32aに蓄積制御を行わせるために必要な駆動信号を生成する。駆動部32bに対する電荷蓄積時間(露光時間)、ISO感度(ゲイン)、フレームレートなどの撮像指示は、制御部34から駆動部32bへ送信される。
[0010]
 画像処理部33は、入力部33aと、補正部33bと、生成部33cとを含む。入力部33aには、撮像部32によって生成された画像データが入力される。補正部33bは、上記入力された画像データに対して、手ぶれに伴う像ぶれに対して補正処理を行う。補正処理の詳細については後述する。生成部33cは、上記入力された画像データと補正処理後の画像データとに対する画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部33cは、表示部35により表示する画像や、記録する画像を生成する。
[0011]
 制御部34は、例えばCPUによって構成され、カメラ1による全体の動作を制御する。例えば、制御部34は、撮像部32で生成された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子32aの電荷蓄積時間、撮像光学系31の絞り値、ISO感度等の露出条件を決定して駆動部32bへ指示する。また、カメラ1に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部33へ指示する。被写体要素の検出については後述する。
[0012]
 制御部34には、物体検出部34aと、設定部34bと、撮像制御部34cと、レンズ移動制御部34dとが含まれる。これらは、制御部34が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをASIC等により構成しても構わない。
[0013]
 物体検出部34aは、公知の物体認識処理を行うことにより、撮像部32によって生成された画像データから、人物(人物の顔)、犬、猫などの動物(動物の顔)、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの被写体要素を検出する。
[0014]
 設定部34bは、撮像素子32aの撮像領域に対して撮像条件を設定する。撮像条件は、上記露出条件(電荷蓄積時間、ゲイン、ISO感度、フレームレート等)と、上記画像処理条件(例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等)とを含む。なお、設定部34bは、複数の撮像領域に同じ撮像条件を設定することも、複数の撮像領域において異なる撮像条件をそれぞれ設定することも可能である。
[0015]
 撮像制御部34cは、設定部34bによって撮像領域に設定された撮像条件を適用して撮像部32(撮像素子32a)、画像処理部33を制御する。撮像領域に配置される画素の数は、単数でも複数でもよい。また、複数の撮像領域間で配置される画素の数が異なっていてもよい。
[0016]
 レンズ移動制御部34dは、撮像画面の所定の位置(フォーカスポイントと呼ぶ)において、対応する被写体に対してフォーカスを合わせる自動焦点調節(オートフォーカス:AF)動作を制御する。フォーカスを合わせると、被写体の像の尖鋭度が高まる。すなわち、レンズ移動機構31mによって撮像光学系31のフォーカスレンズを光軸方向に移動させることにより、撮像光学系31による像を調節する。レンズ移動制御部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるための駆動信号、例えば被写体の像を撮像光学系31のフォーカスレンズで調節するための信号を、撮像光学系31のレンズ駆動機構31mに送る。このように、レンズ移動制御部34dは、演算結果に基づいて、撮像光学系31のフォーカスレンズを光軸方向に移動させる移動部として機能する。レンズ移動制御部34dがAF動作のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
[0017]
 表示部35は、画像処理部33によって生成された画像や画像処理された画像、記録部37によって読み出された画像などを表示する。表示部35は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
[0018]
 操作部材36は、録画ボタン、シャッターボタンやメニューボタン等の種々の操作部材によって構成される。操作部材36は、各操作に対応する操作信号を制御部34へ送出する。操作部材36には、表示部35の表示面に設けられたタッチ操作部材も含まれる。本実施の形態では、動画を記録することを録画と称する。
[0019]
 記録部37は、制御部34からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部37は、制御部34からの指示に応じて記録媒体に記録されている画像データを読み出す。
[0020]
 測光用センサ38は、被写体の明るさを検出し、検出信号を出力する。振れセンサ39は、例えば角速度センサおよび加速度センサによって構成される。振れセンサ39は、カメラ1の振れを検出し、検出信号を出力する。カメラ1の振れは、手ぶれとも称される。
 本実施の形態では、カメラ1の振れによって像ぶれが生じるものとする。
 なお、振れセンサ39による検出信号に基づいて像ぶれを検出する代わりに、撮像された被写体の画像データに基づいて像ぶれを検出してもよい。
[0021]
<積層型の撮像素子の説明>
 上述した撮像素子32aの一例として積層型の撮像素子100について説明する。図2は、撮像素子100の断面図である。撮像素子100は、撮像チップ111と、信号処理チップ112と、メモリチップ113とを備える。撮像チップ111は、信号処理チップ112に積層されている。信号処理チップ112は、メモリチップ113に積層されている。撮像チップ111および信号処理チップ112、信号処理チップ112およびメモリチップ113は、それぞれ接続部109により電気的に接続されている。接続部109は、例えばバンプや電極である。撮像チップ111は、被写体像を撮像して画像データを生成する。撮像チップ111は、画像データを撮像チップ111から信号処理チップ112へ出力する。信号処理チップ112は、撮像チップ111から出力された画像データに対して信号処理を施す。メモリチップ113は、複数のメモリを有し、画像データを記憶する。
 なお、撮像素子100は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子100が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子100とは別に設けていてもよい。また、撮像素子100は、撮像チップ111がメモリチップ113に積層され、メモリチップ113が信号処理チップ112に積層される構成でもよい。
[0022]
 図2に示すように、入射光は、主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
[0023]
 撮像チップ111は、例えば、CMOSイメージセンサである。撮像チップ111は、具体的には、裏面照射型のCMOSイメージセンサである。撮像チップ111は、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108を有する。撮像チップ111は、Z軸プラス方向に向かってマイクロレンズ層101、カラーフィルタ層102、パッシベーション層103、半導体層106、および配線層108の順に配置されている。
[0024]
 マイクロレンズ層101は、複数のマイクロレンズLを有する。マイクロレンズLは、入射した光を後述する光電変換部104に集光する。カラーフィルタ層102は、分光特性の異なる複数種類のカラーフィルタFを有する。カラーフィルタ層102は、具体的には、主に赤色成分の光を透過させる分光特性の第1フィルタ(R)と、主に緑色成分の光を透過させる分光特性の第2フィルタ(Gb、Gr)と、主に青色成分の光を透過させる分光特性の第3フィルタ(B)と、を有する。カラーフィルタ層102は、例えば、ベイヤー配列により第1フィルタ、第2フィルタおよび第3フィルタが配置されている。パッシベーション層103は、窒化膜や酸化膜で構成され、半導体層106を保護する。
[0025]
 半導体層106は、光電変換部104および読出回路105を有する。半導体層106は、光の入射面である第1面106aと第1面106aの反対側の第2面106bとの間に複数の光電変換部104を有する。半導体層106は、光電変換部104がX軸方向およびY軸方向に複数配列されている。光電変換部104は、光を電荷に変換する光電変換機能を有する。また、光電変換部104は、光電変換信号による電荷を蓄積する。光電変換部104は、例えば、フォトダイオードである。半導体層106は、光電変換部104よりも第2面106b側に読出回路105を有する。半導体層106は、読出回路105がX軸方向およびY軸方向に複数配列されている。読出回路105は、複数のトランジスタにより構成され、光電変換部104によって光電変換された電荷により生成される画像データを読み出して配線層108へ出力する。
[0026]
 配線層108は、複数の金属層を有する。金属層は、例えば、Al配線、Cu配線等である。配線層108は、読出回路105により読み出された画像データが出力される。画像データは、接続部109を介して配線層108から信号処理チップ112へ出力される。
[0027]
 なお、接続部109は、光電変換部104ごとに設けられていてもよい。また、接続部109は、複数の光電変換部104ごとに設けられていてもよい。接続部109が複数の光電変換部104ごとに設けられている場合、接続部109のピッチは、光電変換部104のピッチよりも大きくてもよい。また、接続部109は、光電変換部104が配置されている領域の周辺領域に設けられていてもよい。
[0028]
 信号処理チップ112は、複数の信号処理回路を有する。信号処理回路は、撮像チップ111から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路等である。信号処理回路は、光電変換部104ごとに設けられていてもよい。
[0029]
 また、信号処理回路は、複数の光電変換部104ごとに設けられていてもよい。信号処理チップ112は、複数の貫通電極110を有する。貫通電極110は、例えばシリコン貫通電極である。貫通電極110は、信号処理チップ112に設けられた回路を互いに接続する。貫通電極110は、撮像チップ111の周辺領域、メモリチップ113にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ111に設けてもよい。例えば、アナログ/デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ111に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ112に設けてもよい。
[0030]
 メモリチップ113は、複数の記憶部を有する。記憶部は、信号処理チップ112で信号処理が施された画像データを記憶する。記憶部は、例えば、DRAM等の揮発性メモリである。記憶部は、光電変換部104ごとに設けられていてもよい。また、記憶部は、複数の光電変換部104ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
[0031]
 図3は、撮像チップ111の画素配列と単位領域131を説明する図である。特に、撮像チップ111を裏面(撮像面)側から観察した様子を示す。画素領域には例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が1つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×32画素でもよいし、それ以上でもそれ以下でもよく、1画素であってもよい。
[0032]
 画素領域の部分拡大図に示すように、図3の単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタFとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタFとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタFとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
[0033]
 本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の単位領域131、すなわち、そのブロック内の画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
[0034]
 図4は、単位領域131における回路を説明する図である。図4の例では、隣接する2画素×2画素の4画素により1つの単位領域131を形成する。なお、上述したように単位領域131に含まれる画素の数はこれに限られず、1000画素以上でもよいし、最小1画素でもよい。単位領域131の二次元的な位置を符号A~Dにより示す。
[0035]
 単位領域131に含まれる画素のリセットトランジスタ(RST)は、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aのリセットトランジスタをオンオフするリセット配線300が設けられており、画素Bのリセットトランジスタをオンオフするリセット配線310が、上記リセット配線300とは別個に設けられている。同様に、画素Cのリセットトランジスタをオンオフするリセット配線320が、上記リセット配線300、310とは別個に設けられている。他の画素Dに対しても、リセットトランジスタをオンオフするための専用のリセット配線330が設けられている。
[0036]
 単位領域131に含まれる画素の転送トランジスタ(TX)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの転送トランジスタをオンオフする転送配線302、画素Bの転送トランジスタをオンオフする転送配線312、画素Cの転送トランジスタをオンオフする転送配線322が、別個に設けられている。他の画素Dに対しても、転送トランジスタをオンオフするための専用の転送配線332が設けられている。
[0037]
 さらに、単位領域131に含まれる画素の選択トランジスタ(SEL)についても、画素ごとに個別にオンオフ可能に構成される。図4において、画素Aの選択トランジスタをオンオフする選択配線306、画素Bの選択トランジスタをオンオフする選択配線316、画素Cの選択トランジスタをオンオフする選択配線326が、別個に設けられている。他の画素Dに対しても、選択トランジスタをオンオフするための専用の選択配線336が設けられている。
[0038]
 なお、電源配線304は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。同様に、出力配線308は、単位領域131に含まれる画素Aから画素Dで共通に接続されている。また、電源配線304は複数の単位領域間で共通に接続されるが、出力配線308は単位領域131ごとに個別に設けられる。負荷電流源309は、出力配線308へ電流を供給する。負荷電流源309は、撮像チップ111側に設けられてもよいし、信号処理チップ112側に設けられてもよい。
[0039]
 単位領域131のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域131に含まれる画素Aから画素Dに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域131の選択トランジスタを個別にオンオフすることにより、各画素Aから画素Dの光電変換信号を共通の出力配線308を介して出力することができる。
[0040]
 ここで、単位領域131に含まれる画素Aから画素Dについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図4の例では「ABCD」の順序で光電変換信号が出力される。
[0041]
 このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。例えば、単位領域131間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ111において一部のブロックに含まれる単位領域131に電荷蓄積(撮像)を行わせる間に他のブロックに含まれる単位領域131を休止させることにより、撮像チップ111の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積(撮像)を行わせるブロック(蓄積制御の対象ブロック)を切り替えて、撮像チップ111の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
[0042]
 図5は、図4に例示した回路に対応する撮像素子100の機能的構成を示すブロック図である。マルチプレクサ411は、単位領域131を形成する4個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線308へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ111に形成される。
[0043]
 マルチプレクサ411を介して出力された画素信号は、信号処理チップ112に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ113に形成される。
[0044]
 メモリチップ113に形成された演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ112に設けられてもよい。なお、図5では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくてもよく、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
 また、演算回路415は、後段の制御部、画像処理部等の機能を含めた構成としてもよい。
[0045]
 上記の通り、単位領域131のそれぞれに対応して出力配線308が設けられている。撮像素子100は撮像チップ111、信号処理チップ112およびメモリチップ113を積層しているので、これら出力配線308に接続部109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
[0046]
<撮像素子のブロック制御>
 本実施の形態では、撮像素子32aにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部34の撮像制御部34cは、上記複数の領域を上記ブロックに対応させて、ブロックごとに設定された撮像条件で撮像を行わせる。ブロックを構成する画素の数は、単数でも複数でもよい。
[0047]
 カメラ1は、記録する動画を撮像する場合、所定のフレームレート(例えば60fps)で撮像を繰り返す。モニタ用の動画を撮像する場合も同様である。モニタ用の動画は、録画ボタンが操作される前や、シャッターボタンが操作される前に撮像する動画である。本実施の形態では、録画ボタンが操作された場合に記録する動画を記録用画像と称し、モニタ用の動画をモニタ用画像と称する。図6(a)は、記録用画像やモニタ用画像を撮像するときに撮像素子32aの撮像面に設定される第1撮像領域B1および第2撮像領域B2の配置を例示する図である。
[0048]
<第1撮像領域と第2撮像領域>
 図6(a)によれば、第1撮像領域B1は、ブロックの奇数列における偶数行のブロックと、ブロックの偶数列における奇数行のブロックとによって構成される。また、第2撮像領域B2は、ブロックの偶数列における偶数行のブロックと、ブロックの奇数列における奇数行のブロックとによって構成される。このように、撮像素子32aの撮像面が第1撮像領域B1に属する複数のブロックと、第2撮像領域B2に属する複数のブロックとによって市松模様状に分割されている。
[0049]
<記録用画像と検出用画像>
 図7(a)、図7(b)は、記録用画像51と検出用画像52とを例示する図である。制御部34は、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、記録用画像51を生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された光電変換信号に基づいて、検出用画像52を生成する。
 本実施の形態では、光電変換信号を画像データとも称する。また、被写体検出、焦点検出、撮像条件設定、および画像生成に用いる画像を検出用画像52と称する。上述したように、記録用画像51は記録する動画である。
[0050]
 記録用画像51は、表示部35に表示するモニタ用画像の生成にも用いられる。また、検出用画像52は、被写体検出のための情報取得用、焦点検出のための情報取得用、撮像条件設定のための情報取得用、画像生成のための情報取得用として用いられる。具体的には、制御部34は、検出用画像52のうち後述する注目領域の画像データに基づいて物体検出部34aにより被写体要素を検出し、検出用画像52のうち後述する注目領域の画像データに基づいてレンズ移動制御部34dにより焦点検出処理を行い、検出用画像52のうち後述する注目領域の画像データに基づいて設定部34bにより露出演算処理を行い、検出用画像52のうち後述する注目領域の画像データに基づいて画像処理部33により画像生成処理を行う。
[0051]
<ブロック当たりの読み出し信号数>
 制御部34は、記録用画像51のために撮像素子32aの第1撮像領域B1から読み出す画像データの密度を、記録用画像51として必要な値に設定する。撮像素子32aの第1撮像領域B1に含まれる画素の全てについて画像データの読み出しが必要でない場合には、第1撮像領域B1に含まれる画素よりも少ない数の画素から画像データを読み出してもよい。
[0052]
 また、制御部34は、検出用画像52のために撮像素子32aの第2撮像領域B2から読み出す画像データの密度を、上述した情報取得に必要な値に設定する。撮像素子32aの第2撮像領域B2に含まれる画素の全てについて画像データの読み出しが必要でない場合には、第2撮像領域B2に含まれる画素よりも少ない数の画素から画像データを読み出してもよい。
[0053]
 制御部34は、撮像素子32aの第1撮像領域B1と、撮像素子32aの第2撮像領域B2とで、上記1ブロック当たりの読み出し信号数を異ならせることができる。例えば、撮像素子32aの第1撮像領域B1と第2撮像領域B2とで、所定の画素数当たりに読み出す画像データの密度を異ならせてもよい。
 なお、ブロックを構成する画素の数が1のときは、1ブロック当たりの読み出し信号数はゼロか1である。
[0054]
 一般に、カメラ1の表示部35は、撮像素子22が有する画素数に比べて表示解像度が低い。制御部34は、表示部35にモニタ用画像を表示するため、記録用画像51の画像データを所定データ数ごとに間引く、あるいは所定データ数ごとに加算するなどして、記録用画像51の画像データより少ない数の画像データを生成し、表示部35の表示解像度に対応させる。
 上述した所定データ数ごとの加算処理は、例えば、信号処理チップ112またはメモリチップ113に設けた演算回路415によって行ってもよい。
[0055]
 制御部34は、以上説明したように、1フレームの撮像を行った撮像素子32aから読み出した画像データによって、記録用画像51および検出用画像52をそれぞれ生成する。図7(a)、図7(b)によると、記録用画像51および検出用画像52は同じ画角で撮像され、共通の被写体の像を含む。記録用画像51の取得と検出用画像52の取得は、後に説明する図10に示すように、並行して行うことができる。
[0056]
<第1撮像領域および第2撮像領域の他の分割例>
 なお、撮像領域における第1撮像領域B1および第2撮像領域B2を市松模様状に分割する代わりに、図6(b)または図6(c)のように分割してもよい。図6(b)の例によれば、第1撮像領域B1は、ブロックの偶数列によって構成される。また、第2撮像領域B2は、ブロックの奇数列によって構成される。また、図6(c)の例によれば、第1撮像領域B1は、ブロックの奇数行によって構成される。また、第2撮像領域B2は、ブロックの偶数行によって構成される。
[0057]
 図6(b)、図6(c)のいずれの場合も、制御部34は、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された画像データに基づいて、記録用画像51を生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された画像データに基づいて、検出用画像52を生成する。記録用画像51および検出用画像52は同じ画角で撮像され、共通の被写体の像を含む。記録用画像51の取得と検出用画像52の取得は、後に説明する図10に示すように、並行して行うことができる。
[0058]
 なお、上記の記録用画像51を、焦点検出処理等に用いてもよい。また、モニタ用画像を表示部35に表示させる代わりに、カメラ1の外部にあるモニタへカメラ1からモニタ用画像を送信し、外部のモニタにモニタ用画像を表示させてもよい。
[0059]
 本実施の形態において、記録用画像51を撮像する第1撮像領域B1に設定する撮像条件を第1撮像条件と呼び、検出用画像52を撮像する第2撮像領域B2に設定する撮像条件を第2撮像条件と呼ぶことにする。制御部34は、第1撮像条件と第2撮像条件とを同じ条件に設定してもよく、異なる条件に設定してもよい。
[0060]
 一例をあげると、制御部34は、第1撮像領域B1に設定する第1撮像条件を、記録用画像51に適した条件に設定する。このとき、第1撮像領域B1の全体で一様に同じ第1撮像条件を設定する。一方、制御部34は、第2撮像領域B2に設定する第2撮像条件を、上記情報取得等に適した条件に設定する。第2撮像条件として設定する条件は、第2撮像領域B2の全体で一様に同じ第2撮像条件を設定してもよいし、第2撮像領域B2のうちの領域ごとに異なる第2撮像条件を設定してもよい。
[0061]
 制御部34は、例えば、被写体検出、焦点検出、撮像条件設定、および画像生成のための情報取得に適した条件がそれぞれ異なる場合は、第2撮像領域B2に設定する第2撮像条件を、第2撮像領域B2のうちの領域ごとに、被写体検出に適した条件、焦点検出に適した条件、撮像条件設定に適した条件、および画像生成に適した条件を、それぞれ設定してよい。
[0062]
 また、制御部34は、第2撮像領域B2に設定する第2撮像条件をフレームごとに異ならせてもよい。例えば、検出用画像52の1フレーム目に第2撮像領域B2に設定する第2撮像条件を被写体検出に適した条件とし、検出用画像52の2フレーム目に第2撮像領域B2に設定する第2撮像条件を焦点検出に適した条件とし、検出用画像52の3フレーム目に第2撮像領域B2に設定する第2撮像条件を撮像条件設定に適した条件とし、検出用画像52の4フレーム目に第2撮像領域B2に設定する第2撮像条件を画像生成に適した条件とする。これらの場合において、各フレームにおける第2撮像領域B2の全体で一様に同じ第2撮像条件を設定してもよいし、領域ごとに異なる第2撮像条件を設定してもよい。
[0063]
<第1撮像領域と第2撮像領域の面積比>
 さらにまた、図6(a)~図6(c)において、第1撮像領域B1と第2撮像領域B2との面積比を異ならせてもよい。制御部34は、例えば、ユーザによる操作、または制御部34の判断に基づき、撮像面で第1撮像領域B1が占める比率を第2撮像領域B2が占める比率よりも高く設定したり、撮像面で第1撮像領域B1と第2撮像領域B2とが占める比率を図6(a)~図6(c)に例示したように同等に設定したり、撮像面で第1撮像領域B1が占める比率を第2撮像領域B2が占める比率よりも低く設定したりする。
[0064]
<第1撮像領域と第2撮像領域の稼働率>
 また、制御部34は、第1撮像領域B1に含まれるブロックの稼働率と第2撮像領域B2に含まれるブロックの稼働率とを、それぞれ設定することができる。例えば、第1撮像領域B1に含まれるブロックの稼働率と第2撮像領域B2に含まれるブロックの稼働率をともに80%に設定する場合、図6(a)~図6(c)に例示した第1撮像領域B1に含まれる8割のブロックで撮像を行うとともに、第2撮像領域B2に含まれる8割のブロックで撮像を行う。
[0065]
 これに対して、例えば、第1撮像領域B1と第2撮像領域B2とに含まれるブロックの稼働率をそれぞれ50%と80%とに設定する場合、図6(a)~図6(c)に例示した第1撮像領域B1に含まれるブロックの半数で撮像を行うとともに、第2撮像領域B2に含まれるブロックの8割で撮像を行う。第1撮像領域B1に含まれるブロックの半数で撮像を行う場合、例えば、1ブロックおきに駆動するなどして、半数のブロックを駆動して、残り半数のブロックの駆動を休止させる。
[0066]
<被写体の例示>
 図8は、カメラ1の撮像画面における被写体領域を例示する図である。図8において、被写体領域には、人物61と、自動車62と、バッグ63と、山64と、雲65、雲66とが含まれている。人物61は、バッグ63を両手で抱えている。人物61の右後方に、自動車62が止まっている。図6(a)、図6(b)または図6(c)のように第1撮像領域B1および第2撮像領域B2を定める場合、第1撮像領域B1から読み出した画像データによって図7(a)のような記録用画像51が得られる。また、第2撮像領域B2から読み出した画像データによって図7(b)のような検出用画像52が得られる。
[0067]
 被写体に対応させて、撮像素子32aのブロックに異なる撮像条件を設定する一例として、各被写体領域に対応するブロックごとに撮像条件を設定することができる。例えば、人物61の領域に含まれるブロックと、自動車62に含まれるブロックと、バッグ63に含まれるブロックと、山64に含まれるブロックと、雲65に含まれるブロックと、雲66に含まれるブロックとに対し、それぞれ撮像条件を設定する。これらの各ブロックに対して適切に撮像条件を設定するためには、上述した検出用画像52を適切な露出条件で撮像し、白とびや黒つぶれがない画像が得られていることが必要である。白飛びは、オーバー露光によって画像の高輝度部分のデータの階調が失われるこという。また、黒潰れは、アンダー露光によって画像の低輝度部分のデータの階調が失われることをいう。
 白とびや黒つぶれが生じた検出用画像52では、例えば個々の被写体領域の輪郭(エッジ)が現れず、検出用画像52に基づいて被写体要素を検出することが困難になるからである。
[0068]
<第2撮像領域に設定する撮像条件>
 そこで、第1の実施の形態では、撮像素子32aの第2撮像領域B2に対し、検出用画像52を取得するための第2撮像条件を適切に設定することにより、検出用画像52に基づく被写体検出、焦点検出、撮像条件設定、および画像生成を適切に行えるようにする。第1の実施の形態では、第2撮像条件を以下のように設定する。
[0069]
 仮に、検出用画像52が暗すぎる画像、または、明るすぎる画像であると仮定すると、撮像画面内のエッジや色差等が抽出しづらくなり、被写体を検出しづらくなる。これに対し、検出用画像52が、白飛びや黒つぶれがない適切な明るさで得られていると、画面内のエッジや色差等が抽出しやすくなり、被写体検出や被写体認識の精度の向上を期待できる。制御部34は、例えば、検出用画像52を得るための第2撮像条件としての第2ゲインを、記録用画像51を得るための第1撮像条件としての第1ゲインに比べて高くする。記録用画像51の第1ゲインに比べて高い第2ゲインを検出用画像52のために設定するので、記録用画像51が暗い画像である場合でも、物体検出部34aは、明るい検出用画像52に基づいて正確に被写体検出を行うことが可能になる。被写体検出を正確に行うことができると、画像を被写体ごとに適切に分割することができる。
[0070]
<検出用画像に基づく被写体要素の検出>
 例えば、カメラ1のメインスイッチがオン操作されると、制御部34は、撮像素子32aに第1撮像領域B1および第2撮像領域B2をセットする。上述したように、第1撮像領域B1は、記録用画像51を撮像する領域である。また、第2撮像領域B2は、検出用の検出用画像52を撮像する領域である。
[0071]
 次に、制御部34は、撮像素子32aの第1撮像領域B1に記録用の第1ゲインを設定するとともに、撮像素子32aの第2撮像領域B2に上記第1ゲインよりも高い第2ゲインを設定する。ゲイン設定を行った制御部34は、撮像素子32aの第2撮像領域B2で検出用画像52のための撮像を行わせ、撮像素子32aの第2撮像領域B2から読み出した画像データに基づき検出用画像52を生成する。制御部34は、物体検出部34aによって、検出用画像52に基づいて被写体要素を検出させる。
 一方、制御部34は、撮像素子32aの第1撮像領域B1で記録用画像51の撮像を行わせる。録画ボタンが操作される前は、記録部37による記録用画像51の記録を行わないものの、記録用画像51に基づいてモニタ用画像を生成するために記録用画像51を撮像する。設定部34bは、物体検出部34aによって検出された被写体要素に基づき、記録用画像51を分割する。
[0072]
<領域ごとの撮像条件の設定>
 図8を参照して説明すると、撮像部32で取得された記録用画像51は、例えば人物61の領域と、自動車62の領域と、バッグ63の領域と、山64の領域と、雲65の領域と、雲66の領域と、その他の領域とに分割される。制御部34は、物体検出部34aによって被写体検出処理が行われ、設定部34bによって画像を自動で分割すると、図9に例示するような設定画面を表示部35に表示させる。図9において、モニタ用画像60aが表示部35に表示され、モニタ用画像60aの右側に撮像条件の設定画面70が表示される。
[0073]
 設定画面70には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード(TV)、ゲイン(ISO感度)が挙げられている。フレームレートは、カメラ1によって1秒間に撮像される動画のフレーム数である。シャッタースピードは露光時間に対応する。ゲインはISO感度に対応する。撮像条件の設定項目は、図9に例示した他にも適宜加えて構わない。全ての設定項目が設定画面70の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
[0074]
 本実施の形態において、制御部34は、設定部34bによって分割された領域のうち、ユーザ操作によって選択された領域を撮像条件の設定(変更)の対象にすることができる。例えば、タッチ操作が可能なカメラ1において、ユーザは、モニタ用画像60aが表示されている表示部35の表示面上で、撮像条件を設定(変更)したい被写体の表示位置をタッチ操作する。制御部34は、例えば人物61の表示位置がタッチ操作された場合に、モニタ用画像60aにおいて人物61に対応する領域を撮像条件の設定(変更)対象領域にするとともに、人物61に対応する領域の輪郭を強調して表示させる。
[0075]
 図9において、輪郭を強調して表示する領域は、撮像条件の設定(変更)の対象となる領域を示す。強調した表示とは、例えば、太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等である。図9の例では、人物61に対応する領域の輪郭を強調したモニタ用画像60aが表示されているものとする。この場合は、強調表示されている領域が、撮像条件の設定(変更)の対象である。例えば、タッチ操作が可能なカメラ1において、ユーザによってシャッタースピード(TV)の表示71がタッチ操作されると、制御部34は、強調して表示されている領域(人物61)に対するシャッタースピードの現設定値を画面内に表示させる(符号68)。
 以降の説明では、タッチ操作を前提としてカメラ1の説明を行うが、操作部材36を構成するボタン等の操作により、撮像条件の設定(変更)を行うようにしてもよい。
[0076]
 シャッタースピード(TV)の上アイコン71aまたは下アイコン71bがユーザによってタッチ操作されると、設定部34bは、シャッタースピードの表示68を現設定値から上記タッチ操作に応じて増減させるとともに、強調して表示されている領域(人物61)に対応する撮像素子32aの単位領域131(図3)の撮像条件を、上記タッチ操作に応じて変更するように撮像部32(図1)へ指示を送る。決定アイコン72は、設定された撮像条件を確定させるための操作アイコンである。設定部34bは、フレームレートやゲイン(ISO)の設定(変更)についても、シャッタースピード(TV)の設定(変更)の場合と同様に行う。
[0077]
 なお、設定部34bは、ユーザの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部34bは、ユーザの操作に基づかずに、制御部34の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、制御部34の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
 強調表示されていない領域(人物61以外の他の領域)については、設定されている撮像条件が維持される。
[0078]
 制御部34は、撮像条件の設定(変更)の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部34は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部34は、撮像条件の設定(変更)の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
[0079]
 制御部34は、操作部材36を構成する不図示の録画ボタン、または録画開始を指示する表示(例えば図9のレリーズアイコン74)が操作されると、記録部37によって記録用画像51の記録を開始させる。
 記録用画像51の撮像条件は、上記の分割された領域(人物61、自動車62、バッグ63、山64、雲65、雲66)ごとに異なる撮像条件を適用することも、上記の分割された領域に共通の撮像条件を適用することもできる。そして、画像処理部33は、撮像部32によって取得された画像データに対して画像処理を行う。画像処理は、上記の分割された領域ごとに異なる画像処理条件で行うこともできる。
[0080]
 例えば、制御部34は、上記のように分割された各領域に対する撮像条件として、第1条件から第6条件を設定する。なお、以降は、第1条件を設定する人物61の領域を第1領域61と呼び、第2条件を設定する自動車62の領域を第2領域62と呼び、第3条件を設定するバッグ63の領域を第3領域63と呼び、第4条件を設定する山64の領域を第4領域64と呼び、第5条件を設定する雲65の領域を第5領域65と呼び、第6条件を設定する雲66の領域を第6領域66と呼ぶ。
 このように設定され、取得された記録用画像51の画像データは、記録部37によって記録される。制御部34は、操作部材36を構成する不図示の録画ボタンが再度操作される、または、録画終了を指示する表示が操作されると、記録部37による記録用画像51の記録を終了させる。
[0081]
<記録用画像51および検出用画像52を撮像するタイミング>
 図10は、記録用画像51(Dv1、Dv2、Dv3、…)の撮像タイミングと、検出用画像52(Di、Dii、Diii、Div…)の撮像タイミングと、モニタ用画像(LV1、LV2、LV3、…)の表示タイミングとを例示する図である。撮像制御部34cは、時刻t0においてカメラ1のメインスイッチがオン操作されると、設定部34bによって設定される撮像条件で、撮像部32により記録用画像51と検出用画像52とを撮像させる。撮像制御部34cは、撮像素子32aの第1撮像領域B1で記録用画像51のための撮像を行わせる。これにより、撮像素子32aが1フレーム目の記録用画像Dv1、2フレーム目の記録用画像Dv2、3フレーム目の記録用画像Dv3、…を順次撮像する。本例では、撮像素子32aの第1撮像領域B1により、記録用画像51の撮像を繰り返す。
[0082]
 また、撮像制御部34cは、記録用画像51の撮像の1フレーム期間において、撮像素子32aの第2撮像領域B2により、検出用画像52のための撮像を4回行わせる。これにより、撮像素子32aが1フレーム目の検出用画像Di、2フレーム目の検出用画像Dii、3フレーム目の検出用画像Diii、4フレーム目の検出用画像Divを順次撮像する。本例では、記録用画像51の1フレーム期間に対して、検出用画像52として4フレームの検出用画像Di、Dii、Diii、Divを撮像する。
[0083]
 図10の例では、第1撮像領域B1による1フレームの記録用画像51の撮像と並行して、第2撮像領域B2により4フレームの検出用画像52を撮像する。4フレームの検出用画像Di、Dii、Diii、Divのうちの検出用画像Diは、例えば被写体検出用に、検出用画像Diiは、例えば焦点検出用に、検出用画像Diiiは、例えば撮像条件設定用に、検出用画像Divは、例えば画像生成用に、それぞれ用いられる。
[0084]
 また、制御部34は、第1フレームの記録用画像Dv1に基づいて第1フレームのモニタ用画像LV1を表示部35に表示させる。そして撮像制御部34cは、第1フレームの記録用画像Dv1の撮像と並行して撮像した検出用画像Di、Dii、Diii、Divに基づいて検出した被写体位置や、決定した撮像条件を、第2フレームの記録用画像Dv2の撮像に反映させるように、撮像部32を制御する。
[0085]
 同様に、制御部34は、第2フレームの記録用画像Dv2に基づいて第2フレームのモニタ用画像LV2を表示部35に表示させる。そして撮像制御部34cは、第2フレームの記録用画像Dv2の撮像と並行して撮像した検出用画像Di、Dii、Diii、Divに基づいて検出した被写体位置や、決定した撮像条件を、第3フレームの記録用画像Dv3の撮像に反映させるように、撮像部32を制御する。制御部34は、以降も同様の処理を繰り返す。
[0086]
 制御部34は、時刻t1においてカメラ1の録画ボタンが操作されると、その時点より後に撮像された記録用画像51(記録用画像Dv3以降)の画像データを、記録部37によって記録させる。
[0087]
 なお、撮像制御部34cは、撮像素子32aの第1撮像領域B1で第1フレームの記録用画像Dv1の撮像を開始する前に、撮像素子32aの第2撮像領域B2において検出用画像Diと、検出用画像Diiと、検出用画像Diiiと、検出用画像Divとを撮像させてもよい。例えば、ユーザによりカメラ1の電源オン操作が行われた後、第1撮像領域B1における第1フレームの記録用画像Dv1の撮像より先に、第2撮像領域B2において検出用画像Diと、検出用画像Diiと、検出用画像Diiiと、検出用画像Divとを撮像させる。そして撮像制御部34cは、検出用画像Di、Dii、Diii、Divに基づいて検出した被写体位置や、決定した撮像条件を、第1フレームの記録用画像Dv1の撮像に反映させるように、撮像部32を制御する。
[0088]
 また、カメラ1の電源オン操作後、撮像制御部34cが自動的に検出用画像Di、Dii、Diii、Divの撮像を開始させる代わりに、以下の操作を待って検出用画像Di、Dii、Diii、Divの撮像を開始させてもよい。撮像制御部34cは、例えば、撮像に関連する操作がユーザにより行われた場合に、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divの撮像を開始させる。撮像に関連する操作としては、例えば、撮像倍率を変更する操作、絞りを変更する操作、焦点調節に関する操作(例えばフォーカスポイントの選択)等がある。変更の操作が終了し新たな設定が確定すると、撮像制御部34cは、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divを撮像させる。これにより、第1フレームの記録用画像Dv1を行う前に、検出用画像Di、Dii、Diii、Divを生成できる。
[0089]
 さらにまた、撮像制御部34cは、例えば表示部35の画面上に対してメニュー操作が行われている場合に、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divの撮像を行わせてもよい。この理由は、メニュー画面から撮像に関連する操作が行われている場合において、新たな設定が行われる可能性が高いからである。この場合、撮像制御部34cは、メニュー画面によってユーザが操作している期間に、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divの撮像を繰り返し行わせる。
[0090]
 なお、第1フレームの記録用画像Dv1の撮像を開始する前に検出用画像Di、検出用画像Dii、検出用画像Diii、検出用画像Divの撮像を行った場合において、検出用画像Di、検出用画像Dii、検出用画像Diii、検出用画像Divの撮像を行った後は、記録用画像Dv1の撮像を開始してよい。例えば、検出用画像Di、Dii、Diii、Divに基づいて検出した被写体位置や、決定した撮像条件を反映して記録用画像Dv1を撮像し、記録用画像Dv1に基づきモニタ用画像LV1を表示できるように、撮像制御部34cが撮像部32を制御する。
[0091]
 また、撮像に関連しない操作、例えば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合には、撮像制御部34cは、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divの撮像を行わせなくてもよい。この理由は、撮像のための新たな設定が行われる可能性が低い場合に、無駄に検出用画像Di、Dii、Diii、Divを撮像させないためである。
[0092]
 さらにまた、操作部材36が検出用画像Di、検出用画像Dii、検出用画像Diiiの撮像を指示するための専用ボタンを有する場合には、ユーザにより専用ボタンが操作されると、撮像制御部34cは、撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divを撮像させてよい。
[0093]
 また、ユーザが専用ボタンを操作している間に操作部材36が操作信号を出力し続ける構成を有する場合には、撮像制御部34cは、専用ボタンの操作が行われている期間中、所定の周期ごとに撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divを撮像させてもよいし、専用ボタンの操作が終了した時点で撮像素子32aの第2撮像領域B2において検出用画像Di、Dii、Diii、Divを撮像させてもよい。これにより、ユーザが所望するタイミングで検出用画像Di、Dii、Diii、Divを撮像させることができる。
[0094]
 なお、以上の説明では、撮像素子32aの第2撮像領域B2において、それぞれ用途が異なる4フレームの検出用画像Di、Dii、Diii、Divを撮像する例を説明したが、必ずしも4フレームの検出画像を撮像しなくてもよい。例えば、検出用画像Diを被写体検出用と焦点調節用とに共用できる場合は、検出用画像Diと、撮像条件設定用に用いる検出用画像Diiとを撮像すればよい。
 検出用画像Di、Dii、Diii、Divをいずれの用途に用いるかは、ユーザが表示部35に表示されるメニュー画面から選択、決定可能に構成してよい。
[0095]
<像ぶれ補正>
 第1の実施の形態では、手ぶれに伴うカメラ1の振れに基づき、撮像素子32aの第1撮像領域B1から読み出した記録用画像51にトリミング処理を施すことによって、撮像された記録用画像51の像ぶれを抑える。このような像ぶれの抑制は、像ぶれ補正とも称される。像ぶれ補正の詳細について以下に説明する。
 一般に、手ぶれによりカメラ1で発生する像ぶれは、カメラ1の回転運動に伴う像ぶれ(角度ぶれとも称する)と、カメラ1の並進移動に伴う像ぶれ(並進ぶれとも称する)とに分けられる。制御部34は、カメラ1の回転運動による像ぶれと、カメラ1の並進移動による像ぶれとを算出する。
[0096]
 図11は、ぶれ補正部として機能する制御部34を説明する図である。制御部34は、ぶれ量演算部34eと、目標移動量演算部34fとを有する。
 ぶれ量演算部34eは、振れセンサ39によるX軸(図3)と平行な軸回り(Pitch方向)の検出信号を用いて、回転運動によるY軸方向の像ぶれを算出する。また、ぶれ量演算部34eは、振れセンサ39によるY軸(図3)と平行な軸回り(Yaw方向)の検出信号を用いて、回転運動によるX軸方向の像ぶれを算出する。
[0097]
 ぶれ量演算部34eはさらに、振れセンサ39によるX軸方向の検出信号を用いて、並進運動によるX軸方向の像ぶれを算出する。さらにまた、ぶれ量演算部34eは、振れセンサ39によるY軸方向の検出信号を用いて、並進運動によるY軸方向の像ぶれを算出する。
[0098]
 目標移動量演算部34fは、ぶれ量演算部34eによって算出された、回転運動によるX軸方向およびY軸方向の像ぶれと、並進運動によるX軸方向およびY軸方向の像ぶれとを軸ごとに足し合わせて、X軸方向およびY軸方向の像ぶれを算出する。例えば、ある軸方向についてぶれ量演算部34eによって算出された回転運動による像ぶれと並進運動による像ぶれの向きが同じ場合は、足し合わせにより像ぶれが大きくなるが、算出された2つの像ぶれの向きが異なる場合は、足し合わせにより像ぶれが小さくなる。このように、各軸の像ぶれの向きにより、正負の符号をつけて足し合わせ演算を行う。
[0099]
 次に、目標移動量演算部34fは、足し合わせ後のX軸方向およびY軸方向の像ぶれと、撮影倍率(撮像光学系31のズームレンズの位置に基づいて算出する)と、カメラ1から被写体までの距離(撮像光学系31のフォーカスレンズの位置に基づいて算出する)とに基づいて、被写体像に対する像面(撮像素子32aの撮像面)の像ぶれ量を算出する。
[0100]
 図12(a)および図12(b)は、像ぶれ補正を説明する模式図である。図12(a)において、制御部34は、記録用画像51の中に記録用画像51よりも小さいトリミング範囲W1を設定する。トリミング範囲W1の大きさは、例えば記録用画像51のサイズの60%とする。なお、トリミング範囲W1の大きさを、振れセンサ39による検出信号の平均的な大きさによって決定してもよい。制御部34は、例えば、直近の所定時間における振れセンサ39による検出信号の平均値が大きいほどトリミング範囲W1を小さくし、振れセンサ39による検出信号の平均値が小さいほどトリミング範囲W1を大きくする。
[0101]
 制御部34は、上述したように設定したトリミング範囲W1を、記録用画像51の中でカメラ1の振れ方向と反対方向に移動させることによって記録用画像51に対する像ぶれ補正を行う。そのため、目標移動量演算部34fは、上述した像面の像ぶれ量を打ち消すのに必要なトリミング範囲W1の移動方向および移動量を、目標移動量として演算する。目標移動量演算部34fは、補正部33bに対して演算した目標移動量を補正部33bへ出力する。
[0102]
 図12(b)は、記録用画像51の中でトリミング範囲W1を移動させた状態を例示する。すなわち、図12(a)の状態からカメラ1が上方に振れ、記録用画像51における被写体像が下方に像ぶれしたため、補正部33bによってトリミング範囲W1が下方に移動された状態を示す。このような像ぶれ補正により、手ぶれによって記録用画像51における被写体の位置が移動しても、トリミング範囲W1において略同じ位置に被写体が収まる。図12(a)および図12(b)においてハッチング処理した領域は、トリミング範囲W1の移動代に相当する。
[0103]
 補正部33bは、図12(a)および図12(b)に例示した画像51-1および画像51-2のように、記録用画像51の画像データのうちのトリミング範囲W1に相当する画像の画像データをそれぞれ抽出し、抽出した画像データを像ぶれ補正後の記録用画像51の画像データとする。制御部34は、このような像ぶれ補正を、記録用画像51を構成するフレームごとに行う。
[0104]
 第1の実施の形態において、制御部34は、記録用画像51だけでなく検出用画像52に対しても記録用画像51と同様の像ぶれ補正を行う。制御部34はさらに、検出用画像52に対して設定する後述の注目領域も、検出用画像52の中で移動させる。図13を参照して、以下に詳細に説明する。
[0105]
 図13(a)~図13(d)は、像ぶれ補正を説明する模式図である。図13(a)は、記録用画像51に対する像ぶれ補正を説明する図であり、図13(b)は、図13(a)の記録用画像51に対応する、検出用画像52に対する像ぶれ補正を説明する図である。図13(b)において、制御部34は、対応する記録用画像51と同様に、検出用画像52の中に検出用画像52よりも小さいトリミング範囲W2を設定する。トリミング範囲W2の大きさは、記録用画像51の場合と同様に、検出用画像52のサイズの60%とする。なお、トリミング範囲W2の大きさを、振れセンサ39による検出信号の平均的な大きさによって決定してよい点も、記録用画像51の場合と同様である。
[0106]
 制御部34は、上述したように設定したトリミング範囲W2を、検出用画像51の中でカメラ1の振れ方向と反対の方向へ移動させることによって、検出用画像52に対する像ぶれ補正を行う。補正部33bは、図13(b)に例示した画像52-2のように、検出用画像52の画像データのうちのトリミング範囲W2に相当する画像の画像データを抽出し、抽出した画像データを像ぶれ補正後の検出用画像52の画像データとする。
[0107]
 制御部34は、検出用画像52に対して設定した注目範囲61-2についても、検出用画像52の中でトリミング範囲W2とともにカメラ1の振れ方向と反対の方向へ移動させる。このとき、移動までのトリミング範囲W2と異動後のトリミング範囲W2との距離は、移動前の注目範囲61-2と移動後の注目範囲61-2との距離と同じとなる。ここで、移動前のトリミング範囲W2と異動後のトリミング範囲W2との距離とは、例えば、移動前のトリミング範囲W2の重心と移動後のトリミング範囲W2の重心との距離である。ここでいう距離は、トリミング範囲W2の移動量に一致する。なお、移動前の注目範囲61-2と移動後の注目範囲61-2との距離につても同様である。注目範囲61-2とは、検出用画像52の中で物体検出部34aが被写体要素を検出する領域、検出用画像52の中でレンズ移動制御部34dが焦点検出処理を行う領域、検出用画像52の中で設定部34bが露出演算処理を行う領域、検出用画像52の中で画像処理部33が画像生成処理時に参照する領域に対応する。注目範囲61-2の形状は、正方形でも長方形でもよく、円形や楕円形状でもよい。また、注目範囲61-2の大きさは、被写体要素を検出する領域、焦点検出処理を行う領域、露出演算処理を行う領域、および画像生成処理時に参照する領域の大きさに合わせて適宜変更してよい。なお、移動後の注目領域61-2は、移動前の注目領域61-2と一部が重なっていても(移動前の注目領域61-2を含んでいても)よく、重なっていなくてもよい。また、移動後の注目領域61-2は、移動前の注目領域61-2を包含していてもよい。
[0108]
 制御部34は、検出用画像52を得るための第2撮像条件の中で、注目範囲61-2と、第2撮像領域B2における他の領域とで異なる撮像条件を設定することができる。注目範囲61-2を検出用画像52の中でトリミング範囲W2とともに移動させる場合に、制御部34は、注目範囲61-2の移動に伴って第2撮像条件の設定を変更する。すなわち、移動後の注目範囲61-2の位置に合わせて、第2撮像領域B2に対する第2撮像条件を設定し直す。
[0109]
 図13(c)は、記録用画像51に対する像ぶれ補正を説明する図であり、記録用画像51の中でトリミング範囲W1を下方の限界まで移動させた状態を例示する。図13(d)は、検出用画像52に対する像ぶれ補正を説明する図であり、検出用画像52の中でトリミング範囲W2を下方の限界まで移動させた状態を例示する。図13(c)のトリミング範囲W1は、記録用画像51の中で移動するので、図13(c)に示す位置よりも下方には移動できない。同様に、図13(d)のトリミング範囲W2も、検出用画像52の中で移動するので、図13(d)に示す位置よりも下方には移動できない。
[0110]
 しかしながら、制御部34は、検出用画像52に対して設定した注目範囲61-3については、図13(d)に示すように、トリミング範囲W2の中でカメラ1の振れ方向と反対の方向へ継続して移動させる。注目範囲61-3の移動方向および移動量は、目標移動量演算部34fから補正部33bに対して出力された目標移動量である。
[0111]
 制御部34は、検出用画像52の中でトリミング範囲W2を下方の限界まで移動した以降において、注目する被写体(例えば、人物の頭部)がさらに下方に移動すると、注目範囲61-3をトリミング範囲W2の中で移動させる。移動後の注目範囲61-3に、人物の頭部が収まるようにするためである。このとき、移動前のトリミング範囲W2と異動後のトリミング範囲W2との距離は、移動前の注目範囲61-3と移動後の注目範囲61-3との距離と異なる。ここで、移動までのトリミング範囲W2と異動後のトリミング範囲W2との距離とは、例えば、移動前のトリミング範囲W2の重心と移動後のトリミング範囲W2の重心との距離である。ここでいう距離は、トリミング範囲W2の移動量に一致する。なお、移動前の注目範囲61-3と移動後の注目範囲61-3との距離についても同様である。これにより、カメラ1が振れても、検出用画像52の中で物体検出部34aが被写体要素を検出する領域、検出用画像52の中でレンズ移動制御部34dが焦点検出処理を行う領域、検出用画像52の中で設定部34bが露出演算処理を行う領域、検出用画像52の中で画像処理部33が画像生成処理時に参照する領域には、同じ被写体(本例では人物の頭部)が存在することとなる。この結果、カメラ1の振れによって注目する被写体が異なってしまう場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。
[0112]
<検出用画像52を用いる処理>
 第1の実施の形態では、上記のように撮像し、像ぶれ補正を行った検出用画像52を、画像処理、焦点検出処理、被写体検出処理、および露出条件設定処理に用いる。ここでは、各処理の一例を説明する。
<画像処理の例示>
 画像処理部33(生成部33c)は、例えば、検出用画像52の画像データのうちの注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いて画像処理を行う。図14は、カーネルを例示する図であり、図9のモニタ用画像60aにおける注目領域90に対応する。図14において、注目画素Pを中心とする注目領域90(例えば3×3画素)に含まれる注目画素Pの周囲の画素(本例では8画素)を参照画素Pr1~Pr8とする。注目画素Pの位置が注目位置であり、注目画素Pを囲む参照画素Pr1~Pr8の位置が参照位置である。
[0113]
(1)画素欠陥補正処理
 画素欠陥補正処理は、撮像した画像に対して行う画像処理の1つである。一般に、固体撮像素子である撮像素子32aは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部33の生成部33cは、画素欠陥が生じた画素から出力された画像データを補正することにより、画素欠陥が生じた画素位置における画像データを目立たないようにする。
[0114]
 画像処理部33の生成部33cは、例えば、1フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素P(処理対象画素)とし、注目画素Pを中心とする注目領域90に含まれる注目画素Pの周囲の画素を参照画素Pr1~Pr8とする。
[0115]
 画像処理部33の生成部33cは、参照画素Pr1~Pr8における画像データの最大値、最小値を算出し、注目画素Pから出力された画像データがこれら最大値または最小値を超えるときは注目画素Pから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
[0116]
 第1の実施の形態において、画像処理部33の生成部33cが、上述した画素欠陥補正処理を検出用画像52の画像データに対して行うことにより、検出用画像52に基づく被写体検出処理、焦点検出処理、および露出演算処理において画素欠陥の影響が及ぶことを防止できる。
 なお、画素欠陥補正処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。画像処理部33の生成部33cが、上述した画素欠陥補正処理を記録用画像51の画像データに対して行うことにより、記録用画像51における画素欠陥の影響を防止できる。
[0117]
(2)色補間処理
 色補間処理は、撮像した画像に対して行う画像処理の1つである。図3に例示したように、撮像素子100の撮像チップ111は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rがベイヤー配列されている。画像処理部33の生成部33cは、各画素位置において配置されたカラーフィルタFの色成分と異なる色成分の画像データが不足するので、公知の色補間処理を行うことにより、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する。
[0118]
 第1の実施の形態において、画像処理部33の生成部33cが、色補間処理を検出用画像52の画像データに対して行うことにより、色補間された検出用画像52に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことが可能になる。
 なお、色補間処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。画像処理部33の生成部33cが、上述した色補間処理を記録用画像51の画像データに対して行うことにより、色補間された記録用画像51を得ることができる。
[0119]
(3)輪郭強調処理
 輪郭強調処理は、撮像した画像に対して行う画像処理の1つである。画像処理部33の生成部33cは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N -1)個の参照画素Prの位置が参照位置である。
 なお、カーネルサイズはN×M画素であってもよい。
[0120]
 画像処理部33の生成部33cは、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
[0121]
 第1の実施の形態において、画像処理部33の生成部33cが、上述した輪郭強調処理を検出用画像52の画像データに対して行うことにより、輪郭が強調された検出用画像52に基づき、被写体検出処理、焦点検出処理、および露出演算処理を適切に行うことができる。
 なお、輪郭強調処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。画像処理部33の生成部33cが、上述した輪郭強調処理を記録用画像51の画像データに対して行うことにより、輪郭が強調された記録用画像51を得ることができる。輪郭強調の強さは、検出用画像52の画像データに対して行う場合と、記録用画像51の画像データに対して行う場合とで異なっていてもよい。
[0122]
(4)ノイズ低減処理
 ノイズ低減処理は、撮像した画像に対して行う画像処理の1つである。画像処理部33の生成部33cは、例えば、1フレームの画像において、注目画素P(処理対象画素)を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがN×N画素の場合、注目画素Pの位置が注目位置であり、注目画素Pを囲む(N -1)個の参照画素Prの位置が参照位置である。
 なお、カーネルサイズはN×M画素であってもよい。
[0123]
 画像処理部33の生成部33cは、注目画素Pにおける画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
[0124]
 第1の実施の形態において、画像処理部33の生成部33cが、上述したノイズ低減処理を検出用画像52の画像データに対して行うことにより、検出用画像52に基づく被写体検出処理、焦点検出処理、および露出演算処理においてノイズの影響が及ぶことを防止できる。
 なお、ノイズ低減処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。画像処理部33の生成部33cが、上述したノイズ低減処理を記録用画像51の画像データに対して行うことにより、ノイズが低減された記録用画像51を得ることができる。ノイズ低減の度合いは、検出用画像52の画像データに対して行う場合と、記録用画像51の画像データに対して行う場合とで異なっていてもよい。
[0125]
<焦点検出処理の例示>
 制御部34(レンズ移動制御部34d)が行う焦点検出処理の一例について説明する。制御部34のレンズ移動制御部34dは、撮像画面の所定の位置(フォーカスポイント)に対応する信号データ(画像データ)を用いて焦点検出処理を行う。本実施の形態のAF動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部34のレンズ移動制御部34d(生成部)は、撮像光学系31の異なる瞳の領域を通過した光束による複数の被写体像の像ズレ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を算出する。制御部34のレンズ移動制御部34dは、デフォーカス量をゼロ(許容値以下)にする位置、すなわち合焦位置へ撮像光学系31のフォーカスレンズを移動させ、撮像光学系31の焦点を調節する。
[0126]
 図15は、撮像素子32aの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ111のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図15の例では、15本の焦点検出画素ライン160が所定の間隔で設けられる。焦点検出画素ライン160を構成する焦点検出用画素は、焦点検出用、記録用画像51および検出用画像52の画像データを出力する。撮像チップ111において焦点検出画素ライン160以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、記録用画像51および検出用画像52の画像データを出力する。
[0127]
 図16は、図15に示すフォーカスポイント80Aに対応する上記焦点検出画素ライン160の一部の領域を拡大した図である。図16において、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bと、焦点検出用画素とが例示される。赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bは、上述したベイヤー配列の規則にしたがって配される。
[0128]
 赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bにおいて、マイクロレンズLおよび不図示のカラーフィルタの内側(背後)に例示した正方形状の領域は、撮像用画素の光電変換部を示す。各撮像用画素は、撮像光学系31(図1)の射出瞳を通る光束を受光する。すなわち、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の光電変換部に到達する。
 なお、赤色画素R、緑色画素G(Gb、Gr)、および青色画素Bの光電変換部(マスク開口部)の形状は四角形に限定されず、例えば円形であってもよい。
[0129]
 焦点検出用画素は、マイクロレンズLおよび不図示のカラーフィルタの内側(背後)に2つの光電変換部S1およびS2を有する。例えば、画素位置の左側に配置された第1の光電変換部S1と、画素位置の右側に配置された第2の光電変換部S2とを有する。これにより、第1の光電変換部S1には、撮像光学系31(図1)の射出瞳の第1の領域を通る第1の光束が入射し、第2の光電変換部S2には、撮像光学系31(図1)の射出瞳の第2の領域を通る第2の光束が入射する。
[0130]
 本実施の形態では、例えば、光電変換部と、光電変換部による光電変換信号を読み出す読出回路105(図2)とを含めて「画素」と呼ぶ。読出回路105は、転送トランジスタ(TX)、増幅トランジスタ(AMP)、リセットトランジスタ(RST)および選択トランジスタ(SEL)を含む例を説明するが、読出回路105の範囲は、必ずしも本例の通りでなくてもよい。
[0131]
 なお、撮像チップ111における焦点検出画素ライン160の位置は、図15に例示した位置に限定されない。また、焦点検出画素ライン160の数についても、図15の例に限定されるものではない。例えば、画素位置の全てに焦点検出用画素を配置してもよい。
[0132]
 また、撮像チップ111における焦点検出画素ライン160は、撮像チップ111のY軸方向(鉛直方向)に沿って焦点検出用画素を並べて設けたものであってもよい。図16のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
[0133]
 さらにまた、図16の例では、焦点検出用画素がそれぞれ焦点検出用の第1および第2の光束の双方を受光する構成を説明したが、焦点検出用画素が焦点検出用の第1および第2の光束のうちの一方を受光する構成にしてもよい。
[0134]
 制御部34のレンズ移動制御部34dは、焦点検出用画素の光電変換部S1およびS2から出力される焦点検出用の光電変換信号に基づいて、撮像光学系31(図1)の異なる領域を通る一対の光束による一対の像の像ズレ量(位相差)を検出する。そして、像ズレ量(位相差)に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
[0135]
 フォーカスポイント80A(図15)は、図9に例示したモニタ用画像60aにおいて、ユーザによって選ばれているものとする。図17は、フォーカスポイント80Aを拡大した図である。図17において枠170で囲む位置は、焦点検出画素ライン160(図15)に対応する。
[0136]
 本実施の形態において、制御部34のレンズ移動制御部34dは、検出用画像52のうちの枠170で示す焦点検出用画素による信号データを用いて焦点検出処理を行う。レンズ移動制御部34dは、図13(b)および図13(d)の検出用画像52における注目範囲61-2、61-3を、図17の枠170で示す範囲に対応させて設定する。
 レンズ移動制御部34dは、像ぶれ補正処理を行った検出用画像52の焦点検出用画素の信号データを用いることで、焦点検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、像ズレ量(位相差)の検出に適した画像処理を施したりした検出用画像52の焦点検出用画素の信号データを用いることで、焦点検出処理を適切に行うことができる。
[0137]
 以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系31のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合は以下のように行うことができる。
[0138]
 コントラスト検出方式を用いる場合、制御部34は、撮像光学系31のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子32aの第2撮像領域B2に含まれる撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
 すなわち、制御部34のレンズ移動制御部34dは、検出用画像52のうちのフォーカスポイント80Aに対応する撮像用画素による信号データを用いて焦点評価値演算を行う。レンズ移動制御部34dは、図13(b)および図13(d)の検出用画像52における注目範囲61-2、61-3を、図15のフォーカスポイント80Aの枠で示す範囲に対応させて設定する。
 レンズ移動制御部34dは、像ぶれ補正処理を行った検出用画像52の信号データを用いることで、焦点検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、像ズレ量(位相差)の検出に適した画像処理を施したりした検出用画像52の信号データを用いることで、焦点検出処理を適切に行うことができる。
[0139]
<被写体検出処理>
 図18(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図18(b)は、モニタ用画像60aおよび探索範囲190を例示する図である。制御部34の物体検出部34aは、モニタ用画像60aから対象物(例えば、図9の被写体要素の1つであるバッグ63)を検出する。制御部34の物体検出部34aは、対象物を検出する範囲をモニタ用画像60aの全範囲としてもよいが、検出処理を軽くするために、モニタ用画像60aの一部を探索範囲190としてもよい。
[0140]
 図9に例示したモニタ用画像60aにおいて、人物61の持ち物であるバッグ63を検出する場合を説明する。制御部34の物体検出部34aは、人物61を含む領域の近傍に探索範囲190を設定する。なお、人物61を含む領域61を探索範囲に設定してもよい。
[0141]
 本実施の形態において、制御部34の物体検出部34aは、検出用画像52のうちの探索範囲190を構成する画像データを用いて被写体検出処理を行う。物体検出部34aは、図13(b)および図13(d)の検出用画像52における注目範囲61-2、61-3を、図18の探索範囲190に対応させて設定する。
 物体検出部34aは、像ぶれ補正処理を行った検出用画像52の画像データを用いることで、被写体検出処理を適切に行うことができる。また、例えばゲインを高めに設定したり、被写体要素の検出に適した画像処理を施したりした検出用画像52の画像データを用いることで、被写体検出処理を適切に行うことができる。
 なお、被写体検出処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。
[0142]
<撮像条件を設定する処理>
 制御部34の設定部34bは、例えば、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、撮像画面のうちの測光範囲を構成する画像データを用いて露出演算処理を行う。設定部34bは、露出演算結果に基づき以下のように撮像条件を設定する。例えば、画像における最大輝度または最小輝度である被写体を含む領域において、白とびまたは黒つぶれが生じている場合、設定部34bは、白とびまたは黒つぶれを解消するように撮像条件を設定する。
[0143]
 本実施の形態において、制御部34の設定部34bは、検出用画像52のうちの測光範囲を構成する画像データを用いて露出演算処理を行う。設定部34bは、図13(b)および図13(d)の検出用画像52における注目範囲61-2、61-3を、測光範囲に対応させて設定する。
 設定部34bは、像ぶれ補正処理を行った検出用画像52の画像データを用いることで、演算処理を適切に行うことができる。また、例えばゲインを低めに設定した検出用画像52の画像データを用いることで、演算処理を適切に行うことができる。
[0144]
 上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定するときに行う測光(測色)範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定するときに行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定するときに行う測光範囲に対しても同様である。
 また、撮像条件を設定する処理は、検出用画像52に限らず、記録用画像51に対して行ってもよい。
[0145]
<フローチャートの説明>
 図19は、領域ごとに撮像条件を設定して撮像するカメラ1の処理の流れを説明するフローチャートである。例えば、カメラ1のメインスイッチがオン操作されると、制御部34は、図19に示す処理を実行するプログラムを起動させる。ステップS10において、制御部34は、撮像素子32aに第1撮像領域B1および第2撮像領域B2をセットしてステップS20へ進む。上述したように、第1撮像領域B1は記録用画像51を撮像する領域であり、第2撮像領域B2は検出用画像52を撮像する領域である。
[0146]
 ステップS20において、制御部34は、撮像素子32aに動画の撮像を開始させてステップS30へ進む。撮像素子32aは、第1撮像領域B1で記録用画像51の撮像を繰り返し、第2撮像領域B2で検出用画像52の撮像を繰り返す。ステップS30において、制御部34は、カメラ1の振れの有無を判断する。制御部34は、カメラ1の振れを検知した場合にステップS30を肯定判定してステップS40へ進み、カメラ1の振れを検知しない場合には、ステップS30を否定判定してステップS50へ進む。
[0147]
 ステップS40において、制御部34は、動画に対する像ぶれ補正処理を行う。図20は、像ぶれ補正処理の流れを説明する図である。図20のステップS42において、制御部34は像ぶれ量を算出する。具体的には、目標移動量演算部34fにより、ぶれ量演算部34eで演算された像ぶれと、撮影倍率(撮像光学系31のズームレンズの位置に基づいて算出する)と、カメラ1から被写体までの距離(撮像光学系31のフォーカスレンズの位置に基づいて算出する)とに基づいて、撮像素子32aの撮像面の像ぶれ量を算出してステップS44へ進む。
[0148]
 ステップS44において、制御部34は像ぶれ量に基づく像ぶれ補正を行う。具体的には、目標移動量演算部34fが算出した像ぶれ量を打ち消すために、記録用画像51におけるトリミング範囲W1の目標移動量を演算する。そして、図13(a)に示すように、補正部33bが記録用画像51の中でトリミング範囲W1を移動させる。このような像ぶれ補正により、手ぶれによって記録用画像51における被写体の位置が移動しても、トリミング範囲W1において略同じ位置に被写体が収まる。
[0149]
 目標移動量演算部34fは、上記目標移動量を、検出用画像52におけるトリミング範囲W2にも適用する。そして、図13(b)に示すように、補正部33bが検出用画像52の中でトリミング範囲W2を移動させる。このような像ぶれ補正により、手ぶれによって検出用画像52における被写体の位置が移動しても、トリミング範囲W2において略同じ位置に被写体が収まる。
[0150]
 ステップS46において、制御部34は、検出用画像52に対して注目範囲61-2を設定し、注目範囲61-2についても、図13(b)に示すように、トリミング範囲W2とともに検出用画像52の中で移動させて図19のステップS50へ進む。制御部34は、トリミング範囲W2を図13(b)の下方限界まで移動した以降は、図13(d)に示すように、注目範囲61-3のみを検出用画像52の中で下方に移動させる。注目範囲61-2,61-3を移動することにより、カメラ1が振れても同じ被写体に注目を続けるので、注目する被写体が異なる場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。
[0151]
 図19のステップS50において、制御部34は、表示部35にモニタ用画像の表示を開始させてステップS60へ進む。ステップS60において、制御部34は、第2撮像領域B2で撮像された検出用画像52に基づいて被写体を検出する処理を物体検出部34aで開始させてステップS70へ進む。
[0152]
 モニタ用画像の表示の開始により、第1撮像領域B1で撮像された記録用画像51に基づくモニタ用画像が表示部35に逐次表示される。なお、モニタ用画像の表示中にAF動作を行う設定がなされている場合、制御部34のレンズ移動制御部34dは、第2撮像領域B2で撮像された検出用画像52に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるAF動作を制御する。
 また、モニタ用画像の表示中にAF動作を行う設定がなされていない場合、制御部34のレンズ移動制御部34dは、後にAF動作が指示された時点でAF動作を行う。
[0153]
 ステップS70において、制御部34の設定部34bは、撮像素子32aにより撮像された撮像画面を、被写体要素を含む複数の領域に分割してステップS80へ進む。ステップS80において、制御部34は表示部35に領域の表示を行う。制御部34は、図9に例示したように、モニタ用画像60aのうち撮像条件の設定(変更)の対象となる領域を強調表示させる。制御部34は、強調表示する領域を、ユーザによるタッチ操作位置に基づいて決定する。また、制御部34は、撮像条件の設定画面70を表示部35に表示させてステップS90へ進む。
 なお、制御部34は、ユーザの指で表示画面上の他の被写体の表示位置がタッチ操作された場合は、その被写体を含む領域を撮像条件の設定(変更)の対象となる領域に変更して強調表示させる。
[0154]
 ステップS90において、制御部34は、AF動作が必要か否かを判定する。制御部34は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザ操作によってフォーカスポイントの位置が変更された場合、または、ユーザ操作によってAF動作の実行が指示された場合に、ステップS90を肯定判定してステップS100へ進む。制御部34は、焦点調節状態が変化せず、ユーザ操作によりフォーカスポイントの位置が変更されず、ユーザ操作によってAF動作の実行も指示されない場合には、ステップS90を否定判定してステップ110へ進む。
[0155]
 ステップS100において、制御部34は、AF動作を行わせてステップS110へ進む。制御部34のレンズ移動制御部34dは、第2撮像領域B2で撮像された検出用画像52に基づいて焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体にフォーカスを合わせるAF動作を制御する。
[0156]
 ステップS110において、制御部34の設定部34bは、ユーザ操作に応じて、強調して表示されている領域に対する撮像条件を設定(変更)してステップS120へ進む。設定部34bは、例えば第1撮像領域B1に対する撮像条件を設定(変更)する。また、設定部34bは、第2撮像領域B2に対する撮像条件を設定(変更)してもよい。
 なお、撮像条件を設定(変更)するユーザ操作が行われない場合、設定部34bは、第1撮像領域B1および第2撮像領域B2に対し、初期設定の撮像条件を継続して設定する。
 設定部34bは、撮像条件を設定(変更)した状態で新たに測光し直して撮像条件を決定する場合、第2撮像領域B2で撮像される検出用画像52に基づいて露出演算処理を行う。
[0157]
 ステップS120において、制御部34の撮像制御部34cは画像処理部33へ指示を送り、記録用画像の画像データに対して画像処理を行わせてステップS130へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
[0158]
 ステップS130において、制御部34は、録画ボタンの操作の有無を判定する。制御部34は、操作部材36を構成する不図示の録画ボタン、または録画を指示する表示アイコン74(図9)が操作された場合、ステップS130を肯定判定してステップS140へ進む。制御部34は、録画ボタンの操作が行われない場合には、ステップS130を否定判定してステップS30へ戻る。ステップS30へ戻った場合、制御部34は、上述した処理を繰り返す。
[0159]
 ステップS140において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録する処理を開始させてステップS150へ進む。ステップS150において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、例えば録画ボタンが再び操作された場合にステップS150を肯定判定して図19による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS150を否定判定してステップS30へ戻る。ステップS30へ戻った場合、制御部34は、上述した処理を繰り返す。記録する処理を開始している場合には、記録処理を継続しながら上述した処理を繰り返す。
[0160]
 以上の説明では、撮像素子32aとして、撮像素子(撮像チップ111)における複数のブロックごとに撮像条件を設定可能な積層型の撮像素子100を例示したが、必ずしも積層型の撮像素子として構成する必要はない。
[0161]
 以上説明した第1の実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、例えば、カメラ1の振れによって撮像素子32aの撮像面を被写体像が移動すると、振れ方向と反対方向の領域の撮像条件を変更し、変更後の撮像条件によって撮像を行う。これにより、適切に、被写体像の画像を生成できる。また、適切に、被写体要素を検出できる。さらに、適切に、焦点検出を行うことができる。また、適切に、露出演算を行うことができる。
[0162]
(2)カメラ1は、撮像素子32aの撮像面を被写体像が移動すると、振れ方向と反対方向の領域に注目範囲を移動し、注目範囲に設定する撮像条件を変更する。これにより、注目範囲で撮像される被写体像に基づき、適切に、被写体像の画像を生成できる。また、適切に、被写体要素を検出できる。さらに、適切に、焦点検出を行うことができる。また、適切に、露出演算を行うことができる。
[0163]
(3)カメラ1は、カメラ1が振れてもトリミング範囲の同じ位置に被写体像が存在するようにトリミング範囲を移動する。これにより、被写体像の像ぶれを適切に抑えることができる。
[0164]
(4)カメラ1は、トリミング範囲の移動とともに、トリミング範囲に含まれる注目範囲を移動する。これにより、カメラ1が振れても同じ被写体像に注目することができる。
[0165]
(5)カメラ1は、トリミング範囲を移動できなくても注目範囲のみを移動する。これにより、カメラ1の振れによる被写体像の像ぶれが抑えきれない場合でも、同じ被写体像に注目することができる。
[0166]
--- 第1の実施の形態の変形例1 ---
 制御部34は、検出用画像52に対して設定した図13(b)、図13(d)の注目範囲61-2、61-3について、検出用画像52の中で移動させる代わりに、注目範囲61-2、61-3の面積を広げてもよい。図13(e)は、第1の実施の形態の変形例1における、検出用画像52に対する像ぶれ補正を説明する図である。制御部34は、例えば、検出用画像52に対して設定した図13(b)の注目範囲61-2の面積を、検出用画像52の中でトリミング範囲W2の移動に伴って徐々に広げる。注目範囲61-2の面積を広げる方向は、トリミング範囲W2を移動させる方向と同じであり、カメラ1の振れと反対方向である。図13(e)の注目範囲61-3の面積は、図13(b)の注目範囲61-2の面積よりも下方に向かって広い。
[0167]
 また、制御部34は、検出用画像52の中でトリミング範囲W2を下方の限界まで移動した以降において、注目する被写体(例えば、人物の頭部)がさらに下方に移動する場合は、注目範囲61-3の面積をトリミング範囲W2の中で徐々に下方に広げる。面積を広げた注目範囲61-3に、人物の頭部が収まるようにするためである。これにより、カメラ1が振れても、検出用画像52の中で物体検出部34aが被写体要素を検出する領域、検出用画像52の中でレンズ移動制御部34dが焦点検出処理を行う領域、検出用画像52の中で設定部34bが露出演算処理を行う領域、検出用画像52の中で画像処理部33が画像生成処理時に参照する領域には、同じ被写体(本例では人物の頭部)が存在することとなる。この結果、カメラ1の振れによって注目する被写体が異なってしまう場合に比べて、被写体要素の検出、焦点検出、露出演算、画像生成に及ぼす影響を抑えることができる。
[0168]
 制御部34は、注目範囲61-2、61-3の面積を広げる場合に、注目範囲61-2、61-3の面積の変化に伴って第2撮像条件の設定を変更する。すなわち、面積を変更した後の注目範囲61-2、61-3の位置、面積に合わせて、第2撮像領域B2に対する第2撮像条件を設定し直す。
[0169]
(第2の実施の形態)
 第2の実施の形態では、カメラ1の画像処理部33が、静止画を撮像中のカメラ1の振れに伴う像ぶれの影響を抑える処理を行う。このようなカメラ1の詳細について、以下に説明する。
 第2の実施の形態におけるカメラ1は、第1の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
[0170]
 第2の実施の形態では、記録する静止画を撮像する場合、撮像素子32aの撮像面に第1撮像領域B1のみを設定して静止画を撮像する。第1撮像領域B1に含まれるブロックの稼働率は、第1の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率100%に設定してもよいし、稼働率を70%あるいは50%に設定してもよい。
 なお、撮像素子32aの撮像面に第1撮像領域B1のみを設定する代わりに、撮像面に設定されている第1撮像領域B1および第2撮像領域B2のうち、第1撮像領域B1のみを稼働して第2撮像領域B2を休止させてもよい。
 記録する静止画は、シャッターボタンが操作されたときに撮像する静止画である。第2の実施の形態では、シャッターボタンが操作された場合に記録する静止画を記録用画像と称する。また、静止画の撮像を指示する表示(例えば図9のレリーズアイコン74)が操作されたときに記録用画像を撮像してもよい。
[0171]
 図21(a)は、カメラ1によってフラッシュ光を使わずに室内で撮像された静止画を例示する図である。図21(a)の静止画は、撮像素子32aの画面の左右で異なる撮像条件を設定し、撮像されたものである。例えば、画面左側の男性の衣装よりも画面右側の女性の衣装が白く明るい場合、画面左側に対応する撮像素子32aの領域(第1撮像領域B1の左側)に対し、画面右側に対応する撮像素子32aの領域(第1撮像領域B1の右側)よりも長い露光時間が設定される。画面左側に対応する撮像素子32aの領域の露光時間を第1露光時間とし、画面右側に対応する撮像素子32aの領域の露光時間を第2露光時間とすると、第1露光時間>第2露光時間である。これにより、画面右側の女性の衣装がオーバー露光になるのを防ぎつつ、画面左側の男性の衣装がアンダー露光にならないように撮像することができる。
[0172]
 例えば、図21(a)の静止画を撮影する会場の演出によって照明光量が絞られると、撮像素子32aに設定される第1露光時間および第2露光時間は、いわゆる手ぶれ限界と称される露光時間(例えば、1/60秒とする)よりも長くなる。そのため、カメラ1は、静止画を撮像中のカメラ1の振れに伴う像ぶれの影響を抑える処理を行う。図21(b)および図21(c)は、第2の実施の形態による静止画ぶれ補正の概要を説明する模式図である。
[0173]
<像ぶれ補正>
 第2の実施の形態では、静止画の像ぶれ補正を行う場合、上記手ぶれ限界とされる露光時間(1/60秒)よりも短い露光時間(後述する短縮露光時間:例えば、1/300秒)で複数枚の記録用画像を撮像する。例えば、画面左側に対応する撮像素子32aの領域によって、短縮露光時間で第1の記録用画像51Lを複数枚(n枚とする)撮像するとともに、画面右側に対応する撮像素子32aの領域によって、上記短縮露光時間で第2の記録用画像51Rを複数枚(m枚とする)撮像する。本例では、n>mとする。
[0174]
 制御部34は、上記n枚の第1の記録用画像51Lの短縮露光時間の和(n×短縮露光時間)が上記第1露光時間となるように、第1の記録用画像の枚数nを決定する。また、m枚の第2の記録用画像51Rの短縮露光時間の和(m×短縮露光時間)が上記第2露光時間となるように、第2の記録用画像の枚数mを決定する。
[0175]
 そして、制御部34および補正部33bは、図21(b)に示すように、画面左側に対応する撮像素子32aの領域で撮像されたn枚の第1の記録用画像51(DL-1~DL-n)に対し、各画像における特徴点の位置を合わせて重ね合わせる第1の合成処理を行う。このような合成処理は、公知であるため詳細な説明は省略する。
[0176]
 また、制御部34および補正部33bは、図21(c)に示すように、画面右側に対応する撮像素子32aの領域で撮像されたm枚の第2の記録用画像51(DR-1~DR-m)に対し、各画像における特徴点の位置を合わせて重ね合わせる第2の合成処理を行う。補正部33bはさらに、第1の合成処理後の第1画像と、第2の合成処理後の第2画像とを合成し、図21(a)のような合成画像を得る。補正部33bは、合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。制御部34および補正部33bは、このように静止画に対する像ぶれ補正を行う。
[0177]
<記録用画像51Lおよび51Rを撮像するタイミング>
 図22は、記録用画像51L(DL-1、DL-2、DL-3、…)の撮像タイミングと、記録用画像51R(DR-1、DR-2、DR-3、…)の撮像タイミングと、ぶれ補正後の記録用画像に基づく表示(ぶれ補正画像)の表示タイミングとを例示する図である。撮像制御部34cは、時刻t2においてレリーズ操作(例えばシャッターボタン押下操作)が行われるまでは、第1の実施の形態で説明した、録画ボタンが操作される前(時刻t1以前)の処理を行う。
[0178]
 撮像制御部34cは、時刻t2においてレリーズ操作が行われると、撮像素子32aの撮像面に設定される第1撮像領域B1により、図22のタイミングで撮像を行う。すなわち、撮像制御部34cは、設定部34bによって第1撮像領域B1に設定される撮像条件で、撮像部32に記録用画像51を撮像させる。本例の場合、物体検出部34aが、上述した図10の検出用画像Diに基づいて画面左側の男性と画面右側の女性とを検出し、設定部34bが、検出結果に基づいて第1撮像領域B1を画面左側と画面右側とに分割したものとする。
[0179]
<像ぶれ補正する撮像>
 設定部32bは、上述した図10の検出用画像Diiiに基づいて露出演算を行うことにより、画面左側と画面右側とで異なる撮像条件(例えば、上記第1露光時間と第2露光時間)を設定する。撮像制御部34cは、第1露光時間および第2露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間(例えば、1/60秒)よりも長い場合、像ぶれ補正する撮像を行う。すなわち、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域によって、短縮露光時間で第1の記録用画像51Lをn枚撮像するとともに、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域によって、上記短縮露光時間で第2の記録用画像51Rをm枚撮像する。
[0180]
 図22によれば、画面右側に対応する撮像素子32aの領域によってm枚の第2の記録用画像51Rの撮像が終了した後にも、画面左側に対応する撮像素子32aの領域によって第1の記録用画像51Lを撮像する。この理由は、n>mとしたからである。第2の実施の形態では、第2の記録用画像51Rの撮像が終了した後に第1の記録用画像51Lを撮像する場合、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域を、第2の記録用画像51Rの撮像が終了する前の時点よりも、画面右側へ広げて(拡張して)第1の記録用画像51Lを撮像する。このことは、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域の少なくとも一部に第1露光時間に対応する短縮露光時間を設定することにより行う。
[0181]
 図21(b)において、第1の記録用画像DL-n-m+1~DL-nのサイズが第1の記録用画像DL-1~DL-mのサイズよりも大きい(本例では右方向に広い)ので、画面右側に位置する女性の一部が含まれる。これにより、第2の記録用画像51Rの撮像が終了した後にカメラ1の振れが大きくなったとしても(手ぶれにより図21(b)において人物に対して撮像素子32aの領域が向かって左にずれても)、第1の合成処理後の第1画像(図21(b))と、第2の合成処理後の第2画像(図21(c))との合成時において、画像のデータが不足することなく、図21(a)に示すような合成画像を得ることができる。補正部33bは、この合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。
[0182]
<通常の撮像>
 撮像制御部34cは、設定部32bによって設定された第1露光時間および第2露光時間が、いずれも手ぶれ限界として予め定めた露光時間(例えば、1/60秒)よりも短い場合は、像ぶれ補正が不要なので通常の撮像を行う。すなわち、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域に第1露光時間を設定するとともに、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域に第2露光時間を設定し、1枚の記録用画像51(51Lと51R)を撮像する。
[0183]
<フローチャートの説明>
 静止画の像ぶれ補正を行う処理の流れについて、図23のフローチャートを参照して説明する。図23において、ステップS10からステップS110までの処理は、図19の処理と同様なので説明を省略する。制御部34は、図19のステップS110の次に進むステップS210において、シャッターボタンの操作の有無を判定する。制御部34は、操作部材36を構成する不図示のシャッターボタン、または撮像を指示する表示アイコン74(図9)が操作された場合、ステップS210を肯定判定してステップS220へ進む。制御部34は、シャッターボタンの操作が行われない場合には、ステップS210を否定判定してステップS30へ戻る。ステップS30へ戻った場合、制御部34は、ステップS30~S210までの処理を繰り返す。
[0184]
 ステップS220において、制御部34は、静止画に対する像ぶれ補正の必要の有無を判定する。制御部34は、上述した第1露光時間および第2露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間(例えば、1/60秒)よりも長い場合、ステップS220を肯定判定してステップS230へ進む。制御部34は、上述した第1露光時間および第2露光時間がいずれも手ぶれ限界として予め定めた露光時間よりも短い場合には、ステップS220を否定判定してステップS250へ進む。
[0185]
 ステップS230において、制御部34は、短縮露光時間で複数枚の撮像を行う。図22の例では、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域によって、短縮露光時間で第1の記録用画像51Lをn枚撮像するとともに、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域によって、上記短縮露光時間で第2の記録用画像51Rをm枚撮像する。このとき、第2の記録用画像51Rの撮像が終了した後に第1の記録用画像51Lを撮像する場合、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域を、第2の記録用画像51Rの撮像が終了する前の時点よりも、画面右側へ広げて第1の記録用画像51Lを撮像する。
[0186]
 ステップS240において、制御部34および補正部33bは、記録用画像に対する像ぶれ補正を行う。具体的には、複数枚撮像した記録用画像に対し、各画像における特徴点の位置を合わせて重ね合わせて合成する合成処理を行う。
[0187]
 ステップS250において、制御部34は、通常の撮像を行う。すなわち、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域に第1露光時間を設定するとともに、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域に第2露光時間を設定し、1枚の記録用画像51L、51Rを撮像する。
[0188]
 ステップS260において、制御部34の撮像制御部34cは画像処理部33へ指示を送り、記録用画像の画像データに対する画像処理を行わせてステップS270へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
[0189]
 ステップS270において、制御部34は記録部37へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップS280へ進む。ステップS280において、制御部34は、終了操作が行われたか否かを判断する。制御部34は、終了操作が行われた場合にステップS280を肯定判定して図23による処理を終了する。制御部34は、終了操作が行われない場合には、ステップS280を否定判定してステップS10へ戻る。ステップS10へ戻った場合、制御部34は、上述した処理を繰り返す。
[0190]
 以上説明した第2の実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、複数の撮像領域で異なる撮像条件で撮像された被写体像の画像に対し、カメラ1の振れに伴う像ぶれの影響を抑える像ぶれ補正を、それぞれ適切に行うことができる。
[0191]
(2)カメラ1は、例えば、第1撮像条件を設定する画面左側と第2撮像条件を設定する画面右側とで異なる露光時間が設定された場合や、画面左側と画面右側とで像ぶれの大きさが異なる場合において、画面左側と画面右側とで、それぞれ適切に像ぶれ補正を行うことができる。
[0192]
(3)カメラ1は、例えば、第1撮像条件を設定する画面左側の領域を広げて第1の記録用画像51Lのサイズを大きくする。
 これにより、例えば、第2の記録用画像51Rの撮像が終了した後にカメラ1の振れが大きくなったとしても、第1の像ぶれ補正後の第1画像(図21(b))と、第2の像ぶれ補正後の第2画像(図21(c))との合成時において、画像のデータが不足することなく、図21(a)に示すような合成画像を得ることができる。
[0193]
(4)カメラ1は、例えば、第1撮像領域B1の左側範囲を右側方向へ広げて大きくする。第1撮像領域B1の左側範囲を拡大することによって、より広い範囲の被写体像を第1の記録用画像51Lに含めることができる。
[0194]
(5)カメラ1は、複数の第1の記録用画像51Lの位置を、他の第1の記録用画像51Lの位置と合うようにずらして(位置合わせする)合成を行う。
 これにより、複数の第1の記録用画像51Lの間で位置合わせした合成画像を得ることができる。
[0195]
(6)カメラ1は、第1の記録用画像51Lの被写体像が他の第1の記録用画像51Lの被写体像の位置と重なるように、第1の記録用画像51Lの位置を変えて(位置合わせする)合成を行う。
 これにより、複数の第1の記録用画像51Lの間で被写体像の位置がずれていたとしても、その被写体像のずれ、すなわち像ぶれを抑えた合成画像を得ることができる。
[0196]
(第3の実施の形態)
 第3の実施の形態は、第2の実施の形態と異なる態様で、静止画を撮像中のカメラ1の振れに伴う像ぶれの影響を抑える。
 第3の実施の形態におけるカメラ1は、第1および第2の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
[0197]
 第3の実施の形態は、第2の実施の形態と比べて、画面左側に対応する撮像素子32aの領域に第1の短縮露光時間を設定するとともに、画面右側に対応する撮像素子32aの領域に第2の短縮露光時間(第1の短縮露光時間>第2の短縮露光時間)を設定して、n枚の記録用画像51-1~51-nを撮像する点において相違する。換言すると、画面左側に対応する撮像素子32aの領域により撮像する第1の記録用画像51Lの枚数と、画面右側に対応する撮像素子32aの領域により撮像する第2の記録用画像51Rの枚数とが同じ(n枚)である。
 以下、図面を参照して第2の実施の形態との相違点を中心に説明する。
[0198]
<像ぶれ補正>
 図24は、第3の実施の形態による静止画ぶれ補正の概要を説明する模式図である。
 制御部34は、例えば、上記n枚の第1の記録用画像51Lの第1の短縮露光時間の和(n×第1の短縮露光時間)が上記第1露光時間となるように、第1の記録用画像の枚数nと第1の短縮露光時間とを決定する。また、n枚の第2の記録用画像51Rの第2の短縮露光時間の和(n×第2の短縮露光時間)が上記第2露光時間となるように、第2の短縮露光時間を決定する。
[0199]
 そして、制御部34および補正部33bは、図24に示すように、n枚の記録用画像51-1~51-nに対し、各画像における特徴点の位置を合わせて重ね合わせる合成処理を行う。このような合成処理は、公知であるため詳細な説明は省略する。補正部33bは、合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。制御部34および補正部33bは、このように静止画に対する像ぶれ補正を行う。
[0200]
<記録用画像51を撮像するタイミング>
 図25は、画面左側に対応する撮像素子32aの領域における記録用画像51L(DL1、DL2、DL3、…)の撮像タイミングと、画面右側に対応する撮像素子32aの領域における記録用画像51R(DR1、DR2、DR3、…)の撮像タイミングと、ぶれ補正後の記録用画像に基づく表示(ぶれ補正画像)の表示タイミングとを例示する図である。撮像制御部34cは、時刻t3においてレリーズ操作(例えばシャッターボタン押下操作)が行われるまでは、第1の実施の形態で説明した、録画ボタンが操作される前(時刻t1以前)の処理を行う。
[0201]
 撮像制御部34cは、時刻t3においてレリーズ操作が行われると、撮像素子32aの撮像面に設定される第1撮像領域B1により、図25のタイミングで撮像を行う。すなわち、撮像制御部34cは、設定部34bによって第1撮像領域B1に設定される撮像条件で、撮像部32に記録用画像51を撮像させる。第2の実施の形態と同様に、上述した図10の検出用画像Diに基づいて物体検出部34aが画面左側の男性と画面右側の女性とを検出し、検出結果に基づいて設定部34bが画面左側と画面右側とに分割したものとする。
[0202]
<像ぶれ補正する撮像>
 また、第2の実施の形態と同様に、設定部32bが上述した図10の検出用画像Diiiに基づいて露出演算を行うことにより、画面左側と画面右側とで異なる撮像条件(例えば、上記第1露光時間と第2露光時間)を設定する。撮像制御部34cは、第1露光時間および第2露光時間の少なくとも一方が、手ぶれ限界として予め定めた露光時間(例えば1/60秒)よりも長い場合、像ぶれ補正する撮像を行う。すなわち、第1撮像領域B1のうち画面左側に対応する撮像素子32aの領域に第1の短縮露光時間を設定するとともに、第1撮像領域B1のうち画面右側に対応する撮像素子32aの領域に第2の短縮露光時間を設定した上で、記録用画像51(51Lと51R)をn枚撮像する。
[0203]
 図25によれば、画面左側と右側とで、撮像される記録用画像51の枚数nが同じである。この理由は、1枚当たりの短縮露光時間として、第1の短縮露光時間よりも第2の短縮露光時間を短くしたことによる。第3の実施の形態では、画面左側と右側とで、同じn枚の記録用画像を撮像するので、カメラ1の振れが大きくなったとしても、画面左側と右側との間の画像のデータが不足することなく、図24に示すような合成画像を得ることができる。補正部33bは、この合成画像の画像データを像ぶれ補正後の記録用画像の画像データとする。
[0204]
<通常の撮像>
 撮像制御部34cは、設定部32bによって設定された第1露光時間および第2露光時間が、いずれも手ぶれ限界として予め定めた露光時間(例えば、1/60秒)よりも短い場合は、像ぶれ補正が不要なので通常の撮像を行う。
[0205]
 以上説明した第3の実施の形態によれば、次の作用効果が得られる。
(1)カメラ1は、複数の撮像領域で異なる撮像条件で撮像された被写体像の画像に対し、カメラ1の振れに伴う像ぶれの影響を抑える像ぶれ補正を、適切に行うことができる。
[0206]
(2)カメラ1は、例えば、第1撮像条件を設定する画面左側と第2撮像条件を設定する画面右側とで異なる露光時間が設定された場合や、画面左側と画面右側とで像ぶれの大きさが異なる場合において、適切に像ぶれ補正を行うことができる。
[0207]
(3)カメラ1は、例えば、第1撮像条件を設定する画面左側と第2撮像条件を設定する画面右側とで異なる露光時間で撮像された被写体像の画像に対し、適切に像ぶれ補正を行うことができる。
[0208]
(4)カメラ1は、例えば、第1撮像条件を設定する画面左側と第2撮像条件を設定する画面右側とで、撮像の同時性を保つことができる。
[0209]
(第4の実施の形態)
 第4の実施の形態は、第1の実施の形態による動画の像ぶれ補正を、2つの条件(例えば、トリミング範囲の広さが異なる)で並行して行う。
 第4の実施の形態におけるカメラ1は、第1および第2の実施の形態と同様に、レンズ交換式であってもレンズ交換式でなくてもよい。また、スマートフォンやビデオカメラ等の撮像装置として構成してもよい。
[0210]
 第4の実施の形態において、制御部34は、記録用画像やモニタ用画像を撮像するときに、撮像素子32aの撮像面に4つの撮像領域を設定する。図26は、撮像素子32aの撮像面に設定される第1撮像領域B1、第2撮像領域B2、第3撮像領域C1、および第4撮像領域C4の配置を例示する図である。図26の部分拡大図によれば、撮像素子32aに定義されている複数のブロックのうちの4つを1単位とするブロックの単位Uが、画素領域の水平方向および垂直方向に繰り返し配置される。
[0211]
 ブロックの単位Uは、第1撮像領域B1に属するブロックと、第2撮像領域B2に属するブロックと、第3撮像領域C1に属するブロックと、第4撮像領域C2に属するブロックとを含む。制御部34は、例えば、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、第1の記録用画像51Aを生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された光電変換信号に基づいて、第1の検出用画像52Aを生成する。制御部34はさらに、1フレームの撮像を行った撮像素子32aの第3撮像領域C1から読み出された光電変換信号に基づいて、第2の記録用画像51Bを生成する。また、制御部34は、上記撮像素子32aの第4撮像領域C2から読み出された光電変換信号に基づいて、第2の検出用画像52Bを生成する。
[0212]
 第1の記録用画像51A、第1の検出用画像52A、第2の記録用画像51B、および第2の検出用画像52Bは、いずれも同じ画角で撮像され、共通の被写体の像を含む。これらの画像の撮像は、並行して行うことができる。
[0213]
 第4の実施の形態において、第1の記録用画像51Aを撮像する第1撮像領域B1に設定する撮像条件を第1撮像条件と呼び、第1の検出用画像52Aを撮像する第2撮像領域B2に設定する撮像条件を第2撮像条件と呼ぶことにする。また、第2の記録用画像51Bを撮像する第3撮像領域C1に設定する撮像条件を第3撮像条件と呼び、第2の検出用画像52Bを撮像する第4撮像領域C2に設定する撮像条件を第4撮像条件と呼ぶことにする。
 制御部34は、第1撮像条件と第2撮像条件、第3撮像条件と第4撮像条件とを同じ条件に設定してもよく、異なる条件に設定してもよい。
[0214]
 第4の実施の形態において、制御部34は、上述したように並行して撮像する動画に対し、異なる像ぶれ補正を行う。例えば、第1の記録用画像51Aおよび第1の検出用画像52Aと、第2の記録用画像51Bおよび第2の検出用画像52Bとで、条件を変えて像ぶれ補正を行う。具体的には、制御部34は、第1の記録用画像51Aの中に第1の記録用画像51Aのサイズの90%のトリミング範囲W1を設定する。第1の検出用画像52Aの中に設定するトリミング範囲W2についても同様である。また、トリミング範囲W1、W2を設定した以降の像ぶれ補正処理も、第1の実施の形態の場合と同様である。
[0215]
 一方で、制御部34は、第2の記録用画像51Bの中に第2の記録用画像51Bのサイズの60%のトリミング範囲W3を設定する。第2の検出用画像52Bの中に設定するトリミング範囲W4についても同様である。また、トリミング範囲W3、W4を設定した以降の像ぶれ補正処理も、第1の実施の形態の場合と同様である。
[0216]
 一般に、カメラ1が大きく振れた場合におけるトリミング範囲W1~W4の移動代を十分に確保するために、トリミング範囲W1~W4を狭く設定することが多い。このため、像ぶれ補正後の動画の画面サイズは小さくなりがちである。しかしながら、複数通りのトリミング範囲を設定することで、通常は広いトリミング範囲を設定した像ぶれ補正を採用し、カメラ1の振れが大きい場合には狭いトリミング範囲を設定した像ぶれ補正を採用することが可能となる。
[0217]
 以上説明した第4の実施の形態によれば、動画の像ぶれ補正を、2つの条件(例えば、トリミング範囲の広さが異なる)で並行して行うことができる。
[0218]
--- 第4の実施の形態の変形例1 ---
 第4の実施の形態の変形例1は、第1の実施の形態による動画の像ぶれ補正と、第2または第3の実施の形態による静止画の像ぶれ補正とを並行して行う。
 第4の実施の形態の変形例1では、記録する静止画を撮像する場合、例えば、撮像素子32aの撮像面に設定される、第3撮像領域C1(図26)によって静止画を撮像する。第3撮像領域C1に含まれるブロックの稼働率は、第1の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率100%に設定してもよいし、稼働率を70%あるいは50%に設定してもよい。撮像素子32aの撮像面に設定される、第4撮像領域C2(図26)は、休止させる。
 なお、図26において第4撮像領域C2を設定せずに、第3撮像領域C1の位置と第4撮像領域C2の位置とをまとめ合わせて、第3撮像領域C1として設定してもよい。
[0219]
 第4の実施の形態の変形例1において、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、第1の記録用画像51Aを生成する。また、制御部34は、上記撮像素子32aの第2撮像領域B2から読み出された光電変換信号に基づいて、第1の検出用画像52Aを生成する。制御部34はさらに、1フレームの撮像を行った撮像素子32aの第3撮像領域C1から読み出された光電変換信号に基づいて、第2の記録用画像51を生成する。第1の記録用画像51Aおよび第1の検出用画像52Aは、動画である。第2の記録用画像51は、静止画である。
[0220]
 制御部34は、第1の記録用画像51Aおよび第1の検出用画像52Aに対し、第1の実施形態と同様に、動画に対する像ぶれ補正を行う。また、制御部34は、第2の記録用画像51に対し、第2の実施の形態または第3の実施の形態と同様に、静止画に対する像ぶれ補正を行う。
[0221]
 第4の実施の形態の変形例1によれば、動画に対する像ぶれ補正と静止画に対する像ぶれ補正とを並行して行うことができる。
[0222]
--- 第4の実施の形態の変形例2 ---
 第4の実施の形態の変形例2は、第2または第3の実施の形態による静止画の像ぶれ補正を、2つの条件で並行して行う。2つの条件とは、例えば、短縮露光時間が異なったり、複数枚の記録用画像の位置を合わせて合成するときの合成枚数が異なったりすることである。
[0223]
 第4の実施の形態の変形例2では、記録する第1の静止画を撮像する場合、例えば、撮像素子32aの撮像面に設定される、第1撮像領域B1(図26)によって第1の静止画を撮像する。第3撮像領域C1に含まれるブロックの稼働率は、第1の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率100%に設定してもよいし、稼働率を70%あるいは50%に設定してもよい。撮像素子32aの撮像面に設定される、第2撮像領域B2(図26)は、休止させる。
 なお、図26において第2撮像領域B2を設定せずに、第1撮像領域B1の位置と第2撮像領域B2の位置とをまとめ合わせて、第1撮像領域B1として設定してもよい。
[0224]
 また、第4の実施の形態の変形例2において、記録する第2の静止画を撮像する場合、例えば、撮像素子32aの撮像面に設定される、第3撮像領域C1(図26)によって第2の静止画を撮像する。第3撮像領域C1に含まれるブロックの稼働率は、第1の実施の形態の場合と同様に、適宜設定して構わない。例えば、稼働率100%に設定してもよいし、稼働率を70%あるいは50%に設定してもよい。撮像素子32aの撮像面に設定される、第4撮像領域C2(図26)は、休止させる。
 なお、図26において第4撮像領域C2を設定せずに、第3撮像領域C1の位置と第4撮像領域C2の位置とをまとめ合わせて、第3撮像領域C1として設定してもよい。
[0225]
 第4の実施の形態の変形例2において、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、第1の記録用画像51Aを生成する。また、制御部34は、1フレームの撮像を行った撮像素子32aの第3撮像領域C1から読み出された光電変換信号に基づいて、第2の記録用画像51Bを生成する。第1の記録用画像51Aは、第1の静止画である。第2の記録用画像51Bは、第2の静止画である。
[0226]
 制御部34は、第1の記録用画像51Aおよび第2記録用画像52Bに対し、それぞれ、第2の実施の形態または第3の実施の形態と同様に、静止画に対する像ぶれ補正を行う。例えば、第1の記録用画像51Aと、第2の記録用画像51Bとで、条件を変えて像ぶれ補正を行う。図27は、異なる条件で滝を撮像した静止画を例示する図である。図27(a)は、第1の記録用画像51Aによる静止画であり、図27(b)は、第2の記録用画像51Bによる静止画である。図27(a)、図27(b)の静止画は、水の流れと岩などの背景とで異なる撮像条件を設定し、撮像されたものである。
[0227]
 例えば、動きが大きい水の流れに対応する撮像素子32aの領域に対し、岩などの背景に対応する撮像素子32aの領域よりも短い短縮露光時間を設定することにより、背景の像ぶれを抑えて、水の流れを撮ることができる。しかしながら、水の流れをほとんど止めて粒状感を表現した場合と、水の流れを止めないで表現したい場合とで、短縮露光時間や記録用画像の枚数の組み合わせを変えたい場合がある。このため、撮像制御部34cは、第1の記録用画像51Aの短縮露光時間を第2の記録用画像51Bの短縮露光時間より短くする。または、あるいは上記に加えて、撮像制御部34cは、第1の記録用画像51Aの枚数を、第2の記録用画像51Bの枚数より少なくする。
[0228]
 第4の実施の形態の変形例2によれば、静止画の像ぶれ補正を、2つの条件(例えば、短縮露光時間が異なる)で並行して行うことができる。
[0229]
--- 第4の実施の形態の変形例3 ---
 第4の実施の形態の変形例3は、第2または第3の実施の形態による静止画の像ぶれ補正を、4つの条件(例えば、短縮露光時間が異なる)で、並行して行う。4つの条件とは、例えば、短縮露光時間が異なったり、複数枚の記録用画像の位置を合わせて合成するときの合成枚数が異なったりすることである。
[0230]
 第4の実施の形態の変形例3では、記録する第1の静止画を撮像する場合、例えば、撮像素子32aの撮像面に設定される、第1撮像領域B1(図26)によって第1の静止画を撮像する。記録する第2の静止画を撮像する場合、撮像素子32aの撮像面に設定される、第2撮像領域B2(図26)によって第2の静止画を撮像する。さらに、記録する第3の静止画を撮像する場合、撮像素子32aの撮像面に設定される、第3撮像領域B1(図26)によって第3の静止画を撮像する。記録する第4の静止画を撮像する場合、撮像素子32aの撮像面に設定される、第4撮像領域C2(図26)によって第4の静止画を撮像する。
 上記第1撮像領域B1、第2撮像領域B2、第3撮像領域C1、第4撮像領域C2に含まれるブロックの稼働率は、それぞれ、第1の実施の形態の場合と同様に、適宜設定して構わない。
[0231]
 第4の実施の形態の変形例3において、1フレームの撮像を行った撮像素子32aの第1撮像領域B1から読み出された光電変換信号に基づいて、第1の記録用画像51Aを生成する。また、制御部34は、1フレームの撮像を行った撮像素子32aの第2撮像領域B2から読み出された光電変換信号に基づいて、第2の記録用画像51Bを生成する。さらに、制御部34は、1フレームの撮像を行った撮像素子32aの第3撮像領域C1から読み出された光電変換信号に基づいて、第3の記録用画像51Cを生成する。そして、制御部34は、1フレームの撮像を行った撮像素子32aの第4撮像領域C2から読み出された光電変換信号に基づいて、第4の記録用画像51Dを生成する。
 第1の記録用画像51Aは、第1の静止画である。第2の記録用画像51Bは、第2の静止画である。第3の記録用画像51Cは、第3の静止画である。第4の記録用画像51Dは、第4の静止画である。
[0232]
 制御部34は、第1の記録用画像51A、第2記録用画像52B、第3の記録用画像51C、および第4の記録用画像52Dに対し、それぞれ、第2の実施の形態または第3の実施の形態と同様に、静止画に対する像ぶれ補正を行う。例えば、各記録用画像51A~51Dとで、条件を変えて像ぶれ補正を行う。
[0233]
 第4の実施の形態の変形例3によれば、静止画の像ぶれ補正を、4つの条件(例えば、短縮露光時間が異なる)で並行して行うことができる。
[0234]
 次のような変形も、上述した発明の範囲内であり、変形例の1つ、もしくは複数を上述の実施の形態または変形例と組み合わせることも可能である。
(変形例1)
 上述した第1の実施の形態では、電子機器の一例としてカメラ1を説明したが、撮像素子32aを備えるスマートフォンのように、カメラ機能を備えた高機能携帯電話機、タブレット端末、ウエアラブル機器などのモバイル電子機器であってもよい。
[0235]
(変形例2)
 上記の第1の実施の形態では、撮像部32と制御部34とを単一の電子機器として構成したカメラ1を例に説明した。この代わりに、例えば、撮像部32と制御部34とを分離して設け、制御部34から通信を介して撮像部32を制御する撮像システム1Aを構成してもよい。
 以下、撮像部32を備えた撮像装置1001を、制御部34を備えた制御装置1002から制御する例を、図28を参照して説明する。
[0236]
 図28は、変形例2に係る撮像システム1Aの構成を例示するブロック図である。図28において、撮像システム1Aは、撮像装置1001と、表示装置1002とによって構成される。撮像装置1001は、上記実施の形態で説明した撮像光学系31、撮像部32、測光センサ38に加えて、第1通信部1003を備える。また、表示装置1002は、上記実施の形態で説明した画像処理部33、制御部34、表示部35、操作部材36、および記録部37に加えて、第2通信部1004を備える。
[0237]
 第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
 なお、撮像装置1001と表示装置1002とを有線ケーブルにより有線接続し、第1通信部1003および第2通信部1004が双方向の画像データ通信を行う構成にしてもよい。
[0238]
 撮像システム1Aは、制御部34が、第2通信部1004および第1通信部1003を介したデータ通信を行うことにより、撮像部32に対する制御を行う。例えば、撮像装置1001と表示装置1002との間で所定の制御データを送受信することにより、表示装置1002は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。
[0239]
 変形例2によれば、撮像装置1001側で取得され、表示装置1002へ送信されたモニタ用画像が表示装置1002の表示部35に表示されるので、ユーザは、撮像装置1001から離れた位置にある表示装置1002から、遠隔操作を行うことができる。
 表示装置1002は、例えば、スマートフォンのような高機能携帯電話機250によって構成することができる。また、撮像装置1001は、上述した積層型の撮像素子100を備える電子機器によって構成することができる。
 なお、表示装置1002の制御部34に物体検出部34aと、設定部34bと、撮像制御部34cと、レンズ移動制御部34dとを設ける例を説明したが、物体検出部34a、設定部34b、撮像制御部34c、およびレンズ移動制御部34dの一部について、撮像装置1001に設けるようにしてもよい。
[0240]
(変形例3)
 上述したカメラ1、高機能携帯電話機250、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図29に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
[0241]
 パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD-ROMなどの記録媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
[0242]
 また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
[0243]
(変形例4)
 上記第1の実施の形態では、制御部34の物体検出部34aが検出用画像Diに基づいて被写体要素を検出し、設定部34bが記録用画像51を、被写体要素を含む領域に分割する例を説明した。変形例4において、制御部34は、検出用画像Diに基づいて記録用画像51を分割する代わりに、撮像素子32aと別の測光用センサ38からの出力信号に基づき、記録用画像51の領域を分割してもよい。
[0244]
 制御部34は、測光用センサ38からの出力信号に基づき、記録用画像51を前景と背景とに分割する。具体的には、撮像素子32bによって取得された記録用画像51を、測光用センサ38の出力信号から前景と判断した領域に対応する前景領域と、測光用センサ38の出力信号から背景と判断した領域に対応する背景領域とに分割する。
[0245]
 制御部34はさらに、撮像素子32aの撮像面の前景領域に対応する位置に対して、図6(a)~図6(c)に例示したように、第1撮像領域B1および第2撮像領域B2を設定する。一方、制御部34は、撮像素子32aの撮像面の背景領域に対応する位置に対して、撮像素子32aの撮像面に第1撮像領域B1のみを設定する。制御部34は、第1撮像領域B1で撮像される記録用画像51をモニタ用画像の表示に用いるとともに、第2撮像領域B2で撮像される検出用画像52を被写体要素の検出、焦点検出、および露出演算に用いる。
 なお、撮像素子32aの撮像面に第1撮像領域B1のみを設定する代わりに、撮像面に設定されている第1撮像領域B1および第2撮像領域B2のうち、第1撮像領域B1のみを稼働して第2撮像領域B2を休止させてもよい。
[0246]
 変形例4によれば、測光用センサ38からの出力信号を用いることにより、撮像素子32bによって取得されたモニタ用画像の領域分割を行うことができる。また、前景領域に対しては、記録用画像51と検出用画像52とを得ることができ、背景領域に対しては、記録用画像51のみを得ることができる。
[0247]
 以上説明した撮像光学系31は、ズームレンズやアオリレンズを含んでいてもよい。レンズ移動制御部34dは、ズームレンズを光軸方向に移動させることによって、撮像光学系31による画角を調節する。すなわち、ズームレンズの移動によって、広い範囲の被写体の像を得たり、遠くの被写体について大きな像を得たりするなど、撮像光学系31による像を調節することができる。
 また、レンズ移動制御部34dは、アオリレンズを光軸に直交する方向に移動させることによって、撮像光学系31による像の歪みを調節することができる。
 そして、撮像光学系31による像の状態(例えば画角の状態、または像の歪みの状態)を調節するために、上述したような前処理後の画像データを用いる方が好ましいという考え方に基づき、上述した前処理を行うとよい。
[0248]
 また、以上説明した撮像素子32aは、図6で示したように第1撮像領域B1に属する複数のブロックと第2撮像領域B2に属する複数のブロックに予め分けて説明したが、これに限定されるものではない。たとえば、被写体の輝度、種類、形状等により撮像素子32aにおける第1撮像領域B1および第2撮像領域B2の位置を設定してもよく、ユーザの選択操作により撮像素子32aにおける第1撮像領域B1および第2撮像領域B2の位置を設定してもよい。
 また、撮像素子32aにおける撮像領域は、第1撮像領域B1および第2撮像領域B2に限られず、第1撮像領域B1および第2撮像領域B2それぞれに設定された撮像条件とは異なる撮像条件が設定された撮像領域でもよい。
[0249]
 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
 また、上述した実施の形態やその変形例を、適宜組み合わせてもよい。
[0250]
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2017年第72669号(2017年3月31日出願)

符号の説明

[0251]
1…カメラ
1A…撮像システム
31…撮像光学系
32…撮像部
32a、100…撮像素子
33…画像処理部
33a…入力部
33b…補正部
33c…生成部
34…制御部
34a…物体検出部
34b…設定部
34c…撮像制御部
34d…レンズ移動制御部
35…表示部
38…測光センサ
90…注目領域
1001…撮像装置
1002…表示装置
P…注目画素

請求の範囲

[請求項1]
 光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、
 前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から、前記撮像素子の移動方向とは反対方向に配置された第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更する変更部と、
 前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動を制御する制御部と、
 を備える電子機器。
[請求項2]
 請求項1に記載の電子機器において、
 前記変更部は、前記第1撮像領域とは異なる前記第2撮像領域に設定されている撮像条件を変更する電子機器。
[請求項3]
 請求項1に記載の電子機器において、
 前記変更部は、前記第1撮像領域の一部を含む前記第2撮像領域に設定されている撮像条件を変更する電子機器。
[請求項4]
 請求項3に記載の電子機器において、
 前記変更部は、前記第1撮像領域を含む前記第2撮像領域に設定されている撮像条件を変更する電子機器。
[請求項5]
 請求項3または4に記載の電子機器において、
 前記変更部は、前記第1撮像領域よりも広い前記第2撮像領域に設定されている撮像条件を変更する電子機器。
[請求項6]
 請求項1~5のいずれか一項に記載の電子機器において、
 前記制御部は、前記第1撮像領域を含む第3撮像領域で撮像された被写体像の信号により前記レンズの移動を制御し、前記被写体像に対して前記撮像素子が移動されると、前記第2撮像領域を含む前記第3撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項7]
 請求項1~5のいずれか一項に記載の電子機器において、
 前記制御部は、前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第3撮像領域から前記反対方向に配置された第4撮像領域に移動されると、前記第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項8]
 請求項6または7に記載の電子機器において、
 前記制御部は、前記第1撮像領域および第2撮像領域よりも大きい第3撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項9]
 請求項7または8に記載の電子機器において、
 前記制御部は、前記第1撮像領域および第2撮像領域よりも大きい第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項10]
 請求項9に記載の電子機器において、
 前記制御部は、前記被写体像に対して前記撮像素子が移動されると、前記第3撮像領域との距離が、前記第1撮像領域と第2撮像領域との距離が同じである前記第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項11]
 請求項9に記載の電子機器において、
 前記制御部は、前記被写体像に対して前記撮像素子が移動されると、前記第3撮像領域との距離が、前記第1撮像領域と第2撮像領域との距離と異なる前記第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項12]
 請求項9に記載の電子機器において、
 前記変更部は、前記被写体像に対して前記撮像素子が移動した移動量に基づいて、前記第2撮像領域に設定されている撮像条件を変更し、
 前記制御部は、前記移動量に基づいて、前記第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項13]
 請求項12に記載の電子機器において、
 前記変更部は、前記第1撮像領域から第1距離離れて配置された第2撮像領域に設定されている撮像条件を変更し、
 前記制御部は、前記第3撮像領域から、第1距離と異なる第2距離離れて配置された第4撮像領域で撮像された被写体像の信号により前記レンズの移動を制御する電子機器。
[請求項14]
 請求項9~13のいずれか一項に記載の電子機器において、
 前記第1撮像領域は、光を電荷に変換する第1光電変換部を有し、
 前記第2撮像領域は、光を電荷に変換する第2光電変換部を有する電子機器。
[請求項15]
 請求項14に記載の電子機器において、
 前記第1撮像領域は、複数の前記第1光電変換部を有し、
 前記第2撮像領域は、複数の前記第2光電変換部を有する電子機器。
[請求項16]
 請求項14または15に記載の電子機器において、
 前記第1光電変換部は、前記第1撮像領域において第1方向と前記第1方向と交差する第2方向とに複数配置され、
 前記第2光電変換部は、前記第2撮像領域において前記第1方向と前記第2方向とに複数配置されている電子機器。
[請求項17]
 請求項9~16のいずれか一項に記載の電子機器において、
 前記第3撮像領域は、光を電荷に変換する第3光電変換部を有し、
 前記第4撮像領域は、光を電荷に変換する第4光電変換部を有する電子機器。
[請求項18]
 請求項17に記載の電子機器において、
 前記第3撮像領域は、複数の前記第3光電変換部を有し、
 前記第4撮像領域は、複数の前記第4光電変換部を有する電子機器。
[請求項19]
 請求項17または18に記載の電子機器において、
 前記第3光電変換部は、前記第3撮像領域において第1方向と前記第1方向と交差する第2方向とに複数配置され、
 前記第4光電変換部は、前記第4撮像領域において前記第1方向と前記第2方向とに複数配置されている電子機器。
[請求項20]
 光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、
 前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から、前記撮像素子の移動方向とは反対方向に配置された第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更する変更部と、
 前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動させるための信号を生成する生成部と、
 を備える電子機器。
[請求項21]
 光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、
 前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更可能な変更部と、
 前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動を制御する制御部と、
 を備える電子機器。
[請求項22]
 光学系の光軸方向に移動可能なレンズを介して光電変換された電荷により信号を生成する複数の画素が配置された、被写体像を撮像する複数の撮像領域を有する撮像素子と、
 前記被写体像に対して前記撮像素子が移動されることにより、前記被写体像が複数の前記撮像領域のうちの第1撮像領域から第2撮像領域に移動されると、前記第2撮像領域に設定されている撮像条件を変更可能な変更部と、
 前記変更部により変更された撮像条件で撮像された被写体像の信号を用いて、前記レンズの移動させるための信号を生成する生成部と、
 を備える電子機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]