Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020158070 - DISPOSITIF D'IMAGERIE, PROCÉDÉ D'IMAGERIE ET PROGRAMME

Document

明 細 書

発明の名称 撮像装置、撮像方法、及びプログラム

技術分野

0001  

背景技術

0002   0003   0004   0005  

先行技術文献

特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031  

発明の効果

0032  

図面の簡単な説明

0033  

発明を実施するための形態

0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140  

符号の説明

0141  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 撮像装置、撮像方法、及びプログラム

技術分野

[0001]

 本発明は、撮像装置、撮像方法、及びプログラムに関し、特に光源のフリッカーが発生する環境下で用いられる撮像装置、撮像方法、及びプログラムの技術に関する。

背景技術

[0002]

 従来より、蛍光灯やLED(light emitting diode)光源の環境下で撮像を行う場合に光源のフリッカー(以下、単にフリッカーという)が発生してしまうことが知られており、撮像においてフリッカーの影響を抑制する技術が検討されてきた。
[0003]

 例えば特許文献1では、照明の周波数Aを検知して、2A/n(nは自然数)を満たすタイミングでフレームレートを設定することにより、フリッカーの影響を抑制することを目的とした技術が提案されている。
[0004]

 又、例えば特許文献2では、フリッカーの光量変化特性を検出してその光量変化に基づいて、シャッターを作動させることにより、フリッカーの影響を抑制することを目的とした技術が提案されている。
[0005]

 一方、近年では被写体の一瞬のシーンを捉えるために、静止画抽出用の動画を撮像する動画撮影モードを有する撮像装置が提案されている。例えば、特許文献3に記載の技術では、静止画抽出用の動画が、通常の動画と比べて1フレームの露光時間が短く設定されたものである。

先行技術文献

特許文献

[0006]

特許文献1 : 特開2002-165141号公報
特許文献2 : 特開2018-133826号公報
特許文献3 : 特開2016-032303号公報

発明の概要

発明が解決しようとする課題

[0007]

 ここで、上述した静止画抽出用の動画を撮像する動画撮影モードでは、1フレームの露光時間が短く設定されているので、フリッカーの影響を受けやすい。フリッカーの影響を受けると、撮像されたフレームの一部では暗い絵になってしまったり、色味が悪くなったりする。したがって、静止画抽出用の動画を撮像する動画撮影モードにおいても、フリッカーの影響を抑制する必要がある。
[0008]

 又、静止画抽出用の動画を撮像する動画撮影モードでは、撮像されたフレーム群からユーザが所望のフレームを選択するという特性上、フリッカーの影響が抑制されたフレームの数が多くなるほど、ユーザが所望するシーンを捉えたフレームであって且つフリッカーの影響が抑制されたフレームである確率が増す。
[0009]

 上述した特許文献1から3においては、このような静止画抽出用の動画の撮像におけるフリッカーの影響を抑制する手法に関しては言及されていない。
[0010]

 本発明はこのような事情に鑑みてなされたもので、その目的は、静止画抽出用の動画の撮像において、フリッカーの影響が抑制された数多くのフレームの撮像を行うことができる撮像装置、撮像方法、及びプログラムを提供することである。

課題を解決するための手段

[0011]

 上記目的を達成するための本発明の一の態様である撮像装置は、予め設定された第1フレーム周期で、1フレームの露光時間が第1フレーム周期よりも短い第1動画像データを撮像する撮像部と、撮像部により撮像された第1動画像データを取得する画像取得部と、第1動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第1動画像データのフレーム周期を第1フレーム周期から第1フレーム周期よりも短い第2フレーム周期に変更する。
[0012]

 本態様によれば、検出部でフリッカーが検出された場合には、予め設定された第1フレーム周期よりも短い第2フレーム周期により、第1動画像データが撮像される。これにより、本態様は、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。
[0013]

 好ましくは、検出部はフリッカーの周期を検出するものであって、撮像フレーム周期制御部は、第2フレーム周期を検出部で検出されたフリッカーの周期の半分以下の周期に変更する。
[0014]

 好ましくは、撮像フレーム周期制御部は、設定された露光時間に応じて第2フレーム周期を変更する。
[0015]

 好ましくは、撮像装置は、第1動画像データから、第2フレーム周期より長い第3フレーム周期の、記録用の第2動画像データを生成する動画像データ生成部を備える。
[0016]

 好ましくは、動画像データ生成部は、第1動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は第1動画像データを構成する複数のフレームの内の隣接する複数のフレームを合成することにより、第3フレーム周期の第2動画像データを生成する。
[0017]

 好ましくは、動画像データ生成部は、検出部がフリッカーを検出した場合に、第3フレーム周期を変更しない。
[0018]

 好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備える。
[0019]

 好ましくは、撮像フレーム周期制御部は、さらに、検出部がフリッカーを検出した場合に、位相情報に応じて第1動画像データの撮像タイミングを調整する。
[0020]

 好ましくは、撮像部は、位相情報を用いて、フリッカーの特定の位相範囲で撮像を行わない。
[0021]

 好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第2動画像データを生成する。
[0022]

 好ましくは、撮像装置は、位相情報を、第2動画像データを構成するフレームと共に表示する表示部を備える。
[0023]

 好ましくは、撮像装置は、第2動画像データを構成する複数のフレームから、位相情報を用いてフレームを抽出する抽出部と、抽出部で抽出されたフレームを表示する表示部を備える。
[0024]

 好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第1動画像データを構成する複数のフレームから一部のフレームを選択し、第2動画像データを生成する。
[0025]

 好ましくは、撮像部は、第1動画モードと第2動画モードを有し、第1動画モードでは第1動画像データを撮像し、第2動画モードでは第1動画像データよりも1フレームの露光時間が長く設定された第3動画像データを撮像する。
[0026]

 好ましくは、第1動画モードは、第2動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される。
[0027]

 本発明の他の態様である撮像装置は、予め設定された第1フレーム周期で、1フレームの露光時間が第1フレーム周期よりも短い第1動画像データを撮像する撮像部と撮像部により撮像された第1動画像データを取得する画像取得部と、第1動画像データにおいて光源のフリッカーを検出する検出部と、撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、第1動画像データから第3フレーム周期の記録用の第2動画像データを生成する動画像データ生成部と、を備える撮像装置であって、撮像フレーム周期制御部は、検出部がフリッカーを検出した場合に、撮像部で撮像される第1動画像データのフレーム周期を第1フレーム周期から第1フレーム周期よりも短い第2フレーム周期に変更し、第2フレーム周期は、第3フレーム周期よりも短い。
[0028]

 好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報が付与された第2動画像データを生成する。
[0029]

 好ましくは、撮像装置は、検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、動画像データ生成部は、位相情報を用いて、第1動画像データを構成する複数のフレームから一部のフレームを選択し、第2動画像データを生成する。
[0030]

 本発明の他の態様である撮像方法は、予め設定された第1フレーム周期で、1フレームの露光時間が第1フレーム周期よりも短い第1動画像データを撮像するステップと、撮像するステップにより撮像された第1動画像データを取得するステップと、第1動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像方法であって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第1動画像データのフレーム周期を第1フレーム周期から第1フレーム周期よりも短い第2フレーム周期に変更する。
[0031]

 本発明の他の態様であるプログラムは、予め設定された第1フレーム周期で、1フレームの露光時間が第1フレーム周期よりも短い第1動画像データを撮像するステップと、撮像するステップにより撮像された第1動画像データを取得するステップと、第1動画像データにおいて光源のフリッカーを検出するステップと、撮像するステップでの撮像のフレーム周期を制御するステップと、を含む撮像工程をコンピュータに実行させるプログラムであって、フレーム周期を制御するステップは、検出するステップがフリッカーを検出した場合に、撮像するステップで撮像される第1動画像データのフレーム周期を第1フレーム周期から第1フレーム周期よりも短い第2フレーム周期に変更する。

発明の効果

[0032]

 本発明によれば、フリッカーが検出された場合に予め設定された第1フレーム周期よりも短い第2フレーム周期により、第1動画像データが撮像されるので、フリッカーの影響が抑制されたフレームの数を増やして撮像を行うことができる。

図面の簡単な説明

[0033]

[図1] 図1は、撮像装置の構成を示す図である。
[図2] 図2は、制御部で実現される機能の構成例を示すブロック図である。
[図3] 図3は、フリッカー周期と各フレームの露光タイミングを示す図である。
[図4] 図4は、撮像工程を示したフローチャートである。
[図5] 図5は、撮像工程を示したフローチャートである。
[図6] 図6は、制御部で実現される機能の構成例を示すブロック図である。
[図7] 図7は、撮像工程を示したフローチャートである。
[図8] 図8は、制御部で実現される機能の構成例を示すブロック図である。
[図9] 図9は、撮像工程を示したフローチャートである。
[図10] 図10は、静止画を抽出する工程を示したフローチャートである。
[図11] 図11は、撮像工程を示したフローチャートである。
[図12] 図12は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。
[図13] 図13は、フリッカー周期と各フレームの露光タイミングを示す図である。
[図14] 図14は、スマートフォンの外観を示す図である。
[図15] 図15は、スマートフォンの構成を示すブロック図である。

発明を実施するための形態

[0034]

 以下、添付図面にしたがって本発明にかかる撮像装置、撮像方法、及びプログラムの好ましい実施の形態について説明する。尚、以下の説明では、撮像動画像データが第1動画像データであり、記録動画像データが第2動画像データである。又、動画を撮像する場合の撮像フレーム周期は設定フレーム周期(第1フレーム周期)と再設定フレーム周期(第2フレーム周期)とで構成される。又、撮像フレーム周期と撮像された動画を記録する場合の記録フレーム周期(第3フレーム周期)とは同じ場合と異なる場合がある。更に、撮像フレーム周期の逆数、設定フレーム周期の逆数、再設定フレーム周期の逆数、及び記録フレーム周期の逆数は、それぞれ撮像フレームレート、設定フレームレート、再設定フレームレート、及び記録フレームレートを示す。
[0035]

 図1は、本発明の撮像装置10の構成を示す図である。撮像装置10は交換レンズ100及び撮像装置本体200により構成され、後述するズームレンズ110を含む撮像レンズにより被写体像(光学像)を撮像素子210に結像させる。交換レンズ100と撮像装置本体200とは、図示せぬマウントを介して装着及び取り外しすることができる。
[0036]

 交換レンズ100は、ズームレンズ110と、フォーカスレンズ120と、絞り130と、レンズ駆動部140とを備える。レンズ駆動部140は、制御部240からの指令に応じてズームレンズ110、フォーカスレンズ120を進退駆動してズーム(光学ズーム)調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、制御部240からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作(図示せぬズームリング、フォーカスリングの回動等)に応じて行ってもよい。又、レンズ駆動部140は制御部240からの指令に応じて絞り130を制御し、露出を調整する。一方、ズームレンズ110及びフォーカスレンズ120の位置、絞り130の開放度等の情報が制御部240に入力される。
[0037]

 撮像装置本体200は、撮像素子210、AFE220(AFE:Analog Front End)、A/D変換器230(A/D:Analog to Digital)、制御部240、操作部250、記憶部260、及びモニタ270を備える。撮像装置本体200は、撮像素子210に透過させる光を遮光するためのメカニカルシャッター(不図示)を有していてもよい。撮像素子210は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ110、フォーカスレンズ120、及び絞り130を透過した被写体光が撮像素子210の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子210の受光面上にはR(赤),G(緑),又はB(青)のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。尚、撮像素子210としては、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge-Coupled Device)等の様々な光電変換素子を用いることができる。AFE220は撮像素子210から出力されるアナログ画像信号のノイズ除去、増幅等を行い、A/D変換器230は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。尚、シャッターは、メカニカルシャッターでも電子シャッターでもよい。電子シャッターの場合、制御部240によって撮像素子210の電荷蓄積期間を制御することで露光時間(シャッタースピード)を調節することができる。又撮像部201は、交換レンズ100、撮像素子210、AFE220、及びA/D変換器230で構成されており、制御部240により制御される。
[0038]

 撮像装置10は、撮像モードとして静止画撮像モード、通常動画撮像モード、静止画抽出用動画撮像モードのいずれかを設定することができる。静止画撮像モード、通常動画撮像モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮像モードでは通常動画撮像モードと撮像条件が異なる動画(動画自体の鑑賞よりも静止画の抽出を重視した撮像条件の動画)を撮像する。具体的には、静止画抽出用動画撮像モードでは、通常動画撮像モードに対してシャッタースピードが高速に設定される(露光時間が短く設定される)。又、静止画抽出用動画撮像モードでは、オートフォーカスの追従速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも1つが高速に設定され、且つ/又は通常動画撮像モードに対してフレームレートが高く設定される。又、解像度及びフレームレートは撮像装置10で設定可能な最高値(例えば4,000×2,000画素、30フレーム/秒)に設定され、色調も静止画抽出を前提として設定される。ISO感度の上限も通常動画撮像モードより高くする。
[0039]

 例えばシャッタースピード(露光時間)に関しては、通常動画撮像モードでは記録する動画(第3動画像データ)のフレームレートに対応した値(フレームレートが30フレーム/秒の場合、1/30秒)に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速(例えば、1/30秒未満)に設定される。通常動画撮像モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合に動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮像モードではシャッタースピードを通常動画撮像モードよりも高速(フレーム間隔よりも高速)に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ISO感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。又、オートフォーカスの速度,自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮像モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。尚、静止画抽出用動画モードにおいて、シャッタースピード(露光時間)の設定は、静止画撮像モードと同様にPモード(プログラムモード)やSモード(シャッタスピード優先)を用いることができる。Pモード(プログラムモード)では、シャッタースピードと絞り値の両方が撮像装置10によって自動制御される。一方、Sモードでは、シャッタースピードはユーザが事前に設定し、絞り値が撮像装置10によって自動制御される。
[0040]

 上述した静止画抽出用動画撮像モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント(自然現象やアクシデント、ハプニング等)の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮像することができる。この際、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。又、静止画抽出に適した撮像条件(上述したシャッタースピード、解像度、フレームレート等)を設定することにより高画質の静止画を抽出することができる。
[0041]

 記憶部260は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮像装置本体200に対し着脱できるタイプを用いることができる。又、プログラム及び制御部240の各種制御に用いる情報等が記憶される。
[0042]

 モニタ270はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ270は撮像装置本体200の背面側、天面側等に配置することができる。撮像装置10はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、静止画抽出用フレーム等を視認することができる。ファインダとしては「光学式ビューファインダ(OVF:Optical View Finder)」、「電子式ビューファインダ(EVF:Electronic View Finder)」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ(HVF:Hybrid View Finder)」を用いることができる。
[0043]

 制御部240は、記憶部260から必要なプログラム及び各種制御に用いる情報を読み出して、制御部240で行われる各種処理及び各種制御を行う。
[0044]

 制御部240は各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の機能部として作用する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
[0045]

 1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。又、複数の機能部を1つのプロセッサで構成してもよい。複数の機能部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
[0046]

 <第1の実施形態>

 図2は、制御部240で実現される機能の構成例を示すブロック図である。
[0047]

 制御部240は、画像取得部11、検出部13、及び撮像フレーム周期制御部15を備える。
[0048]

 画像取得部11は、撮像部201(交換レンズ100、撮像素子210、AFE220、及びA/D変換器230)により撮像された動画像データを取得する(以下、撮像動画像データという。)。尚撮像部201は、通常動画撮像モード(第1動画モード)又は静止画抽出用動画撮像モード(第2動画モード)により動画を撮像する。又、画像取得部11は、静止画抽出用動画撮像モードでは、通常動画撮像モードよりも各フレームの露光時間が短い(シャッタースピードが速い)条件で撮像部201により撮像された撮像動画像データを取得する。
[0049]

 検出部13は、撮像素子210で撮像され、AFE220、A/D変換器230で処理され生成された撮像動画像データの時間的、空間的な輝度変化や色変化からフリッカーを検出する。検出部13は、公知の手法によりフリッカーの検出を行うことができ、例えば、特開2018-133826に記載されている方法等を用いることができる。又、検出部13は、フリッカーの周期、フリッカーによる撮像動画像データを構成するフレーム間の輝度変化や色変化、及びフリッカー環境下でのフリッカーの位相に対する撮像動画像データを構成する各フレームの露光タイミングを検出するように構成してもよい。検出部13は、例えばライブビュー画像に基づいてフリッカーの検出を行う。更に検出部13は、動画撮影の開始から予め定められた時間内にフリッカーの検出を行ってもよいし、動画撮影中にシーンの明るさが変わった時にフリッカーの検出を逐次行ってもよい。
[0050]

 撮像フレーム周期制御部15は、静止画抽出用動画撮像モードにおける撮像部201での撮像のフレーム周期を制御する。撮像フレーム周期は、予め設定されている設定フレーム周期と、検出部13がフリッカーを検出した場合に切り替わる再設定フレーム周期で構成される。設定フレーム周期とは例えばユーザが、撮像前に設定したフレームレートに対応するフレーム周期である。又、再設定フレーム周期は、設定フレーム周期よりも短いフレーム周期である。撮像フレーム周期制御部15は、検出部13がフリッカーを検出した場合には、再設定フレーム周期により、撮像部201に撮像動画像データを撮像させる。
[0051]

 図3は、フリッカー周期と各フレームの露光タイミングを示す図である。図3(A)には、フリッカーの光量の時間変化が横軸の時間(t)と共に示されている。図示された曲線の頂点部Pにおいて光源の光量がピークであることを示し、谷部Vにおいて光源の光量が最も少なくなることを示している。図3(B)は、静止画抽出用動画撮像モードにおいて、設定フレーム周期による各フレームの露光タイミングが示されている。図3(B)の場合には、露光タイミングがフリッカー周期の谷部Vと重なり、得られるフレームは光量が少なく暗いシーンとなってしまう。
[0052]

 図3(C)は静止画抽出用動画撮像モードにおいて、再設定フレーム周期による各フレームの露光タイミングが示されている。検出部13でフリッカーが検出されると、撮像フレーム周期制御部15は、設定フレーム周期よりも短い再設定フレーム周期に撮像フレーム周期を変更する。言い換えると、撮像フレーム周期制御部15は、フリッカーが検出されると、設定フレームレートをより速い再設定フレームレートに変更する。再設定フレーム周期(再設定フレームレート)により撮像動画像データを得ることにより、図3(C)に示すように、頂点部Pの時点においても露光されるフレームが取得される。これにより、谷部Vの時点で撮像されるフレーム以外のフレームを新たに得ることができ、適切な明るさのシーンを撮像したフレームの数が増える。これはユーザに、より多くの適切な明るさでシーンを撮像したフレームの選択候補を提供することができる。光源によってフリッカー周期において光量が低い状態(谷部V)が占める割合が異なる。図3(A)の例では、フリッカー周期において、光量が低い状態(谷部V)となるのは短い時間であるが、一部のLED光源では、フリッカー周期の約半分の期間が光量の低い状態(谷部V)で占められる場合がある。このため、再設定フレーム周期は、設定フレーム周期の半分以下にすることが好ましい。これにより、光源の種類によらず、フリッカーの影響を抑制することができる。又、再設定フレーム周期は、検出部13で検出したフリッカーの位相情報に応じて設定してもよい。
[0053]

 <<第1の実施形態の例1>>

 次に、第1の実施形態の例1に関して説明する。図4は、撮像装置10を使用した撮像方法(撮像工程)を示したフローチャートである。
[0054]

 先ずユーザは、静止画抽出用動画撮像モードに操作部250を使用して設定する。その後、検出部13により撮像された動画像データにおいてフリッカーの検出が行われる(ステップS101)。検出部13がフリッカーを検出しなかった場合には(ステップS102のNo)、撮像フレーム周期制御部15は、ユーザが設定したフレームレート(設定フレームレート)を設定し、撮像部201に撮像動画像データを撮像させる(ステップS104)。
[0055]

 一方、検出部13がフリッカーを検出した場合には(ステップS102のYes)、撮像フレーム周期制御部15は撮像フレームレートをユーザが設定したフレームレートより高いフレームレート(再設定フレームレート)を設定する(ステップS103)。すなわち、撮像フレーム周期制御部15が設定フレーム周期から周期が短い再設定フレーム周期に変更して撮像部201に撮像動画像データを撮像させる。尚、このようにフレームレートが変更された場合には、モニタ270によりユーザに通知してもよい。
[0056]

 その後、制御部240は、ユーザからの動画記録開始指示が有るか否かを判定し(ステップS105)、動画記録開始指示がある場合には動画記録を開始する(ステップS106)。次に、制御部240は、動画記録終了指示が有るか否かの判定(ステップS107)を行い、動画記録終了指示がある場合(ステップS107のYes)には動画ファイルのクローズ処理を行う(ステップS109)。又、動画記録終了指示がない場合(ステップS107のNo)には、制御部240は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し(ステップS108)、記憶容量を超えている場合には動画ファイルのクローズ処理を行う(ステップS109)。
[0057]

 以上で説明したように、撮像装置10の静止画抽出用動画撮像モードで動画が撮像される場合に、フリッカーが検出されると、設定フレーム周期よりも短い再設定フレーム周期により、第1動画像データが撮像される。このように撮像された撮像動画像データは、フリッカーの影響が抑制されたフレームを設定フレーム周期で撮像された撮像動画像データより多く含む。したがって、ユーザはフリッカーの影響が抑制されたより多くのフレームの中から、所望の静止画を抽出することができる。
[0058]

 <<第1の実施形態の例2>>

 次に、第1の実施形態の例2に関して説明する。本例では、フリッカーが検出された場合に、設定フレーム周期が設定された露光時間に応じて決定された再設定フレーム周期に変更される。
[0059]

 図5は、本例の撮像装置10を使用した撮像方法(撮像工程)を示したフローチャートである。
[0060]

 先ずユーザは、静止画抽出用動画撮像モードに操作部250を使用して設定する。その後、検出部13により撮像した動画像データにおいてフリッカーの検出が行われる(ステップS201)。検出部13がフリッカーを検出しなかった場合には(ステップS202のNo)、撮像フレーム周期制御部15は、ユーザが設定したフレームレートを設定し、撮像部201に撮像動画像データを撮像させる(ステップS204)。
[0061]

 一方、検出部13がフリッカーを検出した場合には(ステップS202のYes)、撮像フレーム周期制御部15は撮像フレームレートをユーザが設定したフレームレートより高く且つフレームレートを「1/露光時間」に設定する(ステップS203)。すなわち、撮像フレーム周期制御部15は、フリッカーが検出されると、設定フレーム周期から予め設定された露光時間の再設定フレーム周期に変更する。
[0062]

 ここで、上述したように、静止画抽出用動画撮像モードでは一般に短い露光時間が設定さる。露光時間は例えば、撮像するシーンにもよるが、1/125秒から1/500秒に設定される。そして、撮像フレーム周期制御部15は、設定フレーム周期をこの設定された露光時間がフレーム周期となる再設定フレーム周期に変更する。又、装置が設定可能な最小のフレーム周期よりも設定された露光時間が短い場合は、撮像フレーム周期制御部15は、再設定フレーム周期を設定可能な最小のフレーム周期とする。尚、静止画抽出用動画撮像モードでは露光時間が短く設定されることから、このように設定された第2のフレーム周期は、予め設定された設定フレーム周期よりも短い再設定フレーム周期となる。
[0063]

 その後、制御部240は、ユーザからの動画記録開始指示が有るか否かを判定し(ステップS205)、動画記録開始指示がある場合には動画記録を開始する(ステップS206)。次に、制御部240は、動画記録終了指示が有るか否かの判定(ステップS207)を行い、動画記録終了指示がある場合(ステップS207のYes)には動画ファイルのクローズ処理を行う(ステップS209)。又、動画記録終了指示がない場合(ステップS207のNo)には、制御部240は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し(ステップS208)、記憶容量を超えている場合には動画ファイルのクローズ処理を行う(ステップS209)。
[0064]

 以上のように本例では、フリッカーが検出されると、設定フレーム周期が静止画抽出用動画撮像モードで設定された露光時間である再設定フレーム周期に変更されるので、ユーザが設定した露光時間で露光され、フリッカー影響が抑制されたより多くのフレームを得ることができる。
[0065]

 <第2の実施形態>

 次に、第2の実施形態に関して説明する。本実施形態では、撮像フレームレート及び記録フレームレートが独立に制御される。ここで記録フレームレートとは記憶部260に記憶される動画像データ(以下、記録動画像データという)のフレームレートのことである。
[0066]

 図6は、制御部240で実現される機能の構成例を示すブロック図である。尚、図2で既に説明を行った箇所は同じ符号を付し説明を省略する。
[0067]

 制御部240は、画像取得部11、検出部13、撮像フレーム周期制御部15、及び記録動画像データ生成部17を備える。
[0068]

 記録動画像データ生成部17は、撮像素子210で撮像された動画像データを処理して、記録用の記録動画像データを生成する。具体的には記録動画像データ生成部17は、再設定フレーム周期の撮像動画像データを取得し、再設定フレーム周期より長い記録フレーム周期に変更した記録動画像データを生成する。記録動画像データ生成部17は、記憶部260に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データのフレームを間引くことにより記録フレーム周期に変更し、記録動画像データを生成する。又、記録動画像データ生成部17は、記憶部260に記録動画像データを記憶させる際に、再設定フレーム周期で撮像された撮像動画像データの隣接するフレームを合成することにより記録フレーム周期に変更し、記録フレーム周期の記録動画像データを生成する。又、記録動画像データ生成部17は、一旦撮像動画像データをそのまま記憶部260に記憶させて、記録動画データの再生のフレーム周期に関する情報を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更することができる。例えば、記録動画像データのヘッダー情報又はタイムコードの情報を記録フレーム周期での再生を行うよう書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。
[0069]

 本態様では、例えば、静止画抽出用動画モードにおいて、撮影動画像データの設定フレーム周期と記録動画像データの記録フレーム周期は予め同じ値に設定され、フリッカーが検出された場合に、撮影動画像データのフレーム周期のみを設定フレーム周期から設定フレーム周期よりも短い再設定フレーム周期に変更される。例えば、撮像動画像データ、及び記録動画像データのフレーム周期が1/30sに設定されている場合において、フリッカーが検出されると、撮像動画像データのフレーム周期(再設定フレーム周期)を1/120sに変更し、動画像データ生成部は、フレーム周期1/120sで取得された撮像動画像データからフレーム周期(記録フレーム周期)が1/30sの記録動画像データを生成する。これにより、フリッカーの影響を抑止すると同時に、記録動画像データのフレームレートを一般的に用いられる動画規格(24fps/25fps/30fps/60fps等)に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。尚、上述の例ではフリッカーが検出された場合に記録フレーム周期は変更されないが、予め用意された選択肢(24fps/25fps/30fps/60fps等)よりユーザが事前に選択したフレーム周期に変更するようにしてもよい。
[0070]

 <<第2の実施形態の例1>>

 次に、第2の実施形態の例1に関して説明する。図7は、本例の撮像装置10を使用した撮像方法(撮像工程)を示したフローチャートである。尚、本例では、記録動画像データ生成部17は、記録動画像データのヘッダー情報において再生フレーム周期を書き換えることにより、再設定フレーム周期を記録フレーム周期に変更する。
[0071]

 先ずユーザは、静止画抽出用動画撮像モードに操作部250を使用して設定する。その後、検出部13により撮像動画像データにおいてフリッカーの検出が行われる(ステップS301)。検出部13がフリッカーを検出しなかった場合には(ステップS302のNo)、撮像フレーム周期制御部15は、ユーザが設定したフレームレートを設定し、撮像部201に撮像動画像データを撮像させる(ステップS304)。
[0072]

 一方、検出部13がフリッカーを検出した場合には(ステップS302のYes)、撮像フレーム周期制御部15は撮像フレームレートをユーザが設定したフレームレート(設定フレームレート)より高いフレームレート(再設定フレームレート)に設定する(ステップS303)。
[0073]

 その後、記録動画像データ生成部17は、ユーザからの動画記録開始指示が有るか否かを判定し(ステップS305)、動画記録開始指示がある場合には動画記録を開始する(ステップS306)。すなわち、記録動画像データ生成部17は、記録動画像データの生成を開始する。
[0074]

 次に、記録動画像データ生成部17は、動画記録終了指示が有るか否かの判定(ステップS307)を行う。記録動画像データ生成部17は、動画記録終了指示がある場合(ステップS307のYes)には、記録フレームレートをユーザが予め設定したフレームレートに設定して動画ファイルをクローズ処理する(ステップS309)。具体的には記録動画像データ生成部17は、ユーザが予め設定したフレームレートで再生するように、動画ファイルのヘッダー情報を書き換えることにより、再設定フレームレート(再設定フレーム周期)から記録フレーム周期(記録フレームレート)への変更を行う。
[0075]

 又、動画記録終了指示がない場合(ステップS307のNo)には、記録動画像データ生成部17は、記録動画像データの記録が記憶メディアの記憶容量を超えているか否かを判定する(ステップS308)。記憶容量を超えている場合には、上述したように記録動画像データ生成部17により、記録フレームレートをユーザが設定したフレームレートに設定して動画ファイルをクローズ処理が行われる(ステップS309)。
[0076]

 検出部13がフリッカーを検出し、撮像動画像データのフレームレートが、予め設定された設定フレームレート(設定フレーム周期)から再設定フレームレート(再設定フレーム周期)に変更された場合、変更後の再設定フレームレート(再設定フレーム周期)が、動画規格として一般的に用いられないフレーム周期となる場合がある。本例では、このような場合であっても、記録動画像データのフレームレートを一般的に用いられる動画規格(24fps/30fps/60fps等)に沿ったものとすることできる。これにより、記録動画像データは、汎用のコンピュータアプリケーションでも扱え、汎用性が向上する。
[0077]

 <第3の実施形態>

 次に、第3の実施形態に関して説明する。本実施形態ではフリッカーの位相情報が取得される。
[0078]

 図8は、制御部240で実現される機能の構成例を示すブロック図である。尚、図2及び図6で既に説明を行った箇所は同じ符号を付し説明を省略する。
[0079]

 制御部240は、画像取得部11、検出部13、撮像フレーム周期制御部15、記録動画像データ生成部17、及びフリッカー情報取得部19を備える。
[0080]

 フリッカー情報取得部19は、検出部13で検出されたフリッカーの位相に関する位相情報を取得する。位相情報とは、フリッカーに関連する様々な情報が含まれる。例えば位相情報とは、フリッカーの周期、フリッカーによる輝度変化、フリッカーによる色変化、及びフリッカー環境下でのフレームの露光タイミングに関する情報が含まれる。又、位相情報はフリッカーの周期、及び、フリッカーによる輝度変化等から推定される被写体の光源情報(LED、蛍光灯)を含んでもよい。
[0081]

 <<第3の実施形態の例1>>

 次に、第3の実施形態の例1に関して説明する。本例では、フレーム毎の位相情報を取得し、各フレームに対応づけて位相情報を保存する。そして、静止画抽出用動画撮像モードにおける静止画抽出の際に位相情報を参照可能として、ユーザの静止画抽出を補助する。この場合、記録動画像データ生成部17は、位相情報が付加された記録動画像データを生成する。
[0082]

 図9は、撮像装置10を使用した撮像方法(撮像工程)を示したフローチャートである。
[0083]

 先ずユーザは、静止画抽出用動画撮像モードに操作部250を使用して設定する。その後、検出部13により撮像動画像データにおいてフリッカーの検出が行われる(ステップS401)。検出部13がフリッカーを検出しなかった場合には(ステップS402のNo)、撮像フレーム周期制御部15は、ユーザが設定したフレームレートを設定し、撮像部201に撮像動画像データを撮像させる(ステップS404)。
[0084]

 一方、検出部13がフリッカーを検出した場合には(ステップS402のYes)、撮像フレーム周期制御部15は、撮像フレームレートをユーザが設定したフレームレート(設定フレームレート)より高いフレームレート(再設定フレームレート)に設定する(ステップS403)。
[0085]

 その後、記録動画像データ生成部17は、ユーザからの動画記録開始指示が有るか否かを判定し(ステップS405)、動画記録開始指示がある場合には動画記録を開始する(ステップS406)。
[0086]

 次に、フリッカー情報取得部19は、位相情報を取得する(ステップS407)。フリッカー情報取得部19は、検出部13での検出結果に基づいて位相情報を取得する。そして、記録動画像データ生成部17は、各フレームに位相情報が付与された記録動画像データを生成する(ステップS408)。
[0087]

 次に、記録動画像データ生成部17は、動画記録終了指示が有るか否かの判定(ステップS409)を行い、動画記録終了指示がある場合(ステップS409のYes)には動画ファイルのクローズ処理を行う(ステップS411)。又、動画記録終了指示がない場合(ステップS409のNo)には、記録動画像データ生成部17は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し(ステップS410)、記憶容量を超えている場合には動画ファイルのクローズ処理を行う(ステップS411)。
[0088]

 以上で説明したように、記録動画像データの各フレームに位相情報を対応付けて保存することにより、ユーザが静止画を抽出する際に対応付けされた位相情報を参照可能として、フリッカーの有無に関する情報を提供することができる。これにより、ユーザの静止画の抽出を補助することができる。
[0089]

 <<第3の実施形態の例2>>

 次に、第3の実施形態の例2に関して説明する。本例では、各フレームに対応付けられた位相情報があれば、その情報からフリッカーの有無を判定し、その結果を抽出候補フレームに重畳して表示する。静止画の抽出時に、フリッカーの発生有無をユーザに伝えることで、静止画抽出の選択の補助を行う。
[0090]

 モニタ(表示部)270(図1)は、位相情報を記録動画像データと共にモニタ270に表示する。例えばモニタ270は、位相情報を記録動画像データを構成するフレームに重畳させて表示する。又、モニタ270は、記録動画像データを構成する複数のフレームから、制御部240に備えられる抽出部(不図示)により位相情報を用いてフレームを抽出し、抽出されたフレームを表示してもよい。例えば抽出部は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。
[0091]

 図10は、記録動画像データを構成フレームから静止画を抽出する工程を示したフローチャートである。
[0092]

 先ず、制御部240は静止画抽出モードを開始させる(ステップS501)。その後、モニタ270に記録動画像データを構成するフレームが順次表示され、ユーザは操作部250を介してフレーム(静止画)を選択する(ステップS502)。次に、フリッカー情報取得部19は、選択されたフレームに位相情報が有るか否かを判定する(ステップS503)。フリッカー情報取得部19が選択されたフレームに位相情報が無いと判定した場合には、モニタ270は位相情報を表示せずに選択されたフレームを表示する(ステップS506)。
[0093]

 一方、フリッカー情報取得部19が選択されたフレームに位相情報が有ると判定した場合には、フリッカー情報取得部19は位相情報から被写体を照らす光源の明暗状態を判定する(ステップS504)。具体的には、位相情報として輝度変化、又は色変化を取得した場合には閾値に基づいて、光源の明暗状態を判定する。又、位相情報として、フリッカー周期又は露光タイミングを取得した場合であっても、これらの情報からフリッカーの明暗状態の判定を行ってもよい。
[0094]

 その後、モニタ270は、被写体を照らす光源の明暗状態を示す情報をフレームに重畳して表示する(ステップS505)。その後、フレーム抽出の指示が操作部250を介して有った場合には(ステップS507のYes)、記録動画像データ生成部17は、指示を受けたフレームを抽出する(ステップS508)。そして、この場合モニタ270は、抽出されたフレームを表示してもよい。その後、ユーザが操作部250を介して静止画抽出モードの終了指示が有った場合には、制御部240は静止画抽出モードを終了させる(ステップS509及びステップS510)。
[0095]

 以上で説明したように、記録動画像データを構成する各フレームに対応付けられた位相情報を用いて光源の明暗状態を判定し、その結果を抽出候補フレームに重畳して表示する。これにより、ユーザの静止画の抽出を補助することができる。本例では、光源の明暗状態を抽出候補フレームに重畳して表示しているが、フリッカー情報取得部19が位相情報から光源が暗状態を判定した場合(ステップS504)は、選択されたフレームを表示する代わりに選択されたフレーム前後の光源が明状態のフレームを表示してもよい。これにより、ユーザは、フリッカーが存在する場合において、光源が明状態の静止画を抽出することができる。
[0096]

 <<第3の実施形態の例3>>

 次に、第3の実施形態の例3に関して説明する。本例では、取得した位相情報を利用して、記録動画像データに使用されるフレームが選択される。
[0097]

 図11は、撮像装置10を使用した撮像方法(撮像工程)を示したフローチャートである。
[0098]

 先ずユーザは、静止画抽出用動画撮像モードに操作部250を使用して設定する。その後、検出部13により撮像動画像データにおいてフリッカーの検出が行われる(ステップS601)。検出部13がフリッカーを検出しなかった場合には(ステップS602のNo)、撮像フレーム周期制御部15は、ユーザが設定したフレームレートを設定し、撮像部201に撮像動画像データを撮像させる(ステップS604)。
[0099]

 一方、検出部13がフリッカーを検出した場合には(ステップS602のYes)、撮像フレーム周期制御部15は撮像フレームレートをユーザが設定したフレームレート(設定フレームレート)より高いフレームレート(再設定フレームレート)に設定する(ステップS603)。
[0100]

 その後、記録動画像データ生成部17は、ユーザからの動画記録開始指示が有るか否かを判定し(ステップS605)、動画記録開始指示がある場合には動画記録を開始する(ステップS606)。
[0101]

 次に、記録動画像データ生成部17は、撮像動画像データを保持する(ステップS607)。ここで、保持するとは一時的な保存又は記憶を意味し、記憶部260を利用して行われる。その後、記録動画像データ生成部17により、保持している撮像動画像データを構成するフレームから、位相情報を参照してフリッカーの影響が少ないフレームを抽出する(ステップS608)。具体的には、記録動画像データ生成部17は、位相情報に基づいて、各フレームにおける光源の明暗状態を判定し、明状態のフレームを抽出する。例えば、60fpsで再設定フレームレートが設定されている場合であっても、ユーザが設定したフレームレート(設定フレームレート)が30fpsである場合には、記録フレームレートを30fpsにする。このような場合には、60fpsの撮像動画像データから30fpsの記録動画像データを生成するためのフレームを上位ランクのフレームから順に選択する。
[0102]

 次に、記録動画像データ生成部17は、動画記録終了指示が有るか否かの判定(ステップS609)を行い、動画記録終了指示がある場合(ステップS609のYes)には、記録フレームレートをユーザ設定値にして動画ファイルのクローズ処理を行う(ステップS611)。又、動画記録終了指示がない場合(ステップS607のNo)には、制御部240は、動画記録が記憶メディアの記憶容量を超えているか否かを判定し(ステップS610)、記憶容量を超えている場合には動画ファイルのクローズ処理を行う(ステップS611)。
[0103]

 以上で説明したように、記録動画像データを構成するフレームを位相情報に基づいて抽出することにより、記憶容量を効率的に使用することができ、且つ、ユーザが静止画を選択する際に効率的な選択を行うことができる。
[0104]

 <<第3の実施形態の例4>>

 次に、第3の実施形態の例4に関して説明する。本例では、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成される。
[0105]

 静止画抽出用動画撮像モードでは、記録動画像データを構成するフレームからフレーム(静止画)を抽出することを前提としているので、必ずしも等間隔でフレームを取得する必要はない。したがって本例では、フリッカーにより光源が暗くなるタイミングでは露光しない、又は露光してもそのフレームを記録動画像データに用いないように制御する。
[0106]

 図12は、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることを説明する図である。図12に示すようにフリッカー情報取得部19は、位相情報としてフリッカーによる光源の光量の変化特性を示す特性曲線Lを得る。そして、撮像部201は、位相情報に基づいて特定の範囲で撮像を行わない。具体的には、撮像部201は、再設定フレームレートにおいて撮像を行う場合であっても、不要位相範囲Rにおいては撮像を行わない。一方で撮像部201は、ピーク位相範囲Qにおいては再設定フレームレートに基づいて撮像Sを行う。又、記録動画像データ生成部17は、不要位相範囲Rで撮像されたフレームを使用せずに、ピーク位相範囲Qで撮像Sされたフレームのみを使用して記録動画像データを生成する。この場合には、位相情報として、フリッカーの位相と撮像タイミングに関する情報が各フレームに対応付けられている。
[0107]

 以上で説明したように、特定の位相範囲のみでフレームの露光、又は特定の位相範囲のみのフレームで記録動画像データが構成されることにより、記憶容量を効率的に使用することができる。
[0108]

 <<第3の実施形態の例5>>

 次に、第3の実施形態の例5について説明する。本例では、位相情報に基づいて、再設定フレーム周期での撮像タイミングを制御する。
[0109]

 撮像フレーム周期制御部15は、位相情報としてのフリッカーの位相に基づいて、再設定フレーム周期での撮像タイミングを制御する。具体的に、撮像フレーム周期制御部15は、設定フレーム周期をより短い再設定フレーム周期にし、且つ再設定フレーム周期での撮像タイミングをフリッカーの位相とずらす。
[0110]

 図13は、フリッカー周期と各フレームの露光タイミングを示す図である。尚、図3で既に説明をした箇所は同じ符号を付し説明を省略する。図13(A)は、フリッカーにおける光量の時間変化が横軸で示される時間(t)と共に示す図である。図13(B)は、静止画抽出用動画撮像モードにおいて、設定フレーム周期での各フレームの露光タイミングが示されている。設定フレーム周期では、露光タイミングが谷部Vとなっており、又フリッカーの位相と設定フレーム周期での露光タイミングとが合致している。
[0111]

 図13(C)は、再設定フレーム周期での露光タイミングが示されている。再設定フレーム周期は、設定フレーム周期よりも短くなっている。又、再設定フレーム周期での撮像タイミングは、フリッカーの位相と異なるように制御されている。
[0112]

 以上で説明したように、フリッカーの位相と再設定フレーム周期での撮像タイミング(露光タイミング)を異ならせることにより、適切な明るさで撮像されたフレームを多く取得することができる。
[0113]

 <スマートフォンの構成>

 上述の説明では、図1において撮像装置10の一例として、レンズ交換式のカメラを用いて説明をしたが、本発明の適用はこれに限定されるものではない。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。尚、図1における撮像部201、制御部240、操作部250、記憶部260、及びモニタ270は、それぞれ図15におけるカメラ部541、主制御部501、操作部540、記録部550、及び表示パネル521に対応する。
[0114]

 図14は、本発明の撮像装置10の一実施形態であるスマートフォン500の外観を示す図である。図14に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。又、係る筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
[0115]

 図15は、図14に示すスマートフォン500の構成を示すブロック図である。図15に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記録部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。
[0116]

 無線通信部510は、主制御部501の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Webデータ及びストリーミングデータなどの受信を行う。
[0117]

 表示入力部520は、主制御部501の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。
[0118]

 表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
[0119]

 図14に示すように、本発明の撮像装置10の一実施形態として例示しているスマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
[0120]

 尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。又、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
[0121]

 通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。又、図14に示すように、例えば、スピーカ531、マイクロホン532を表示入力部520が設けられた面と同じ面に搭載することができる。
[0122]

 操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図14に示すように、操作部540は、スマートフォン500の筐体502の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
[0123]

 記録部550は、主制御部501の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記録部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。尚、記録部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの記録媒体を用いて実現される。
[0124]

 外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、及びIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
[0125]

 スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(UserIdentity Module Card)カード、又はオーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、及びイヤホンなどがある。外部入出力部560は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達し、又はスマートフォン500の内部のデータを外部機器に伝送することが可能である。
[0126]

 GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン500の緯度、経度、及び高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
[0127]

 モーションセンサ部580は、例えば、3軸の加速度センサ及びジャイロセンサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
[0128]

 電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
[0129]

 主制御部501は、マイクロプロセッサを備え、記録部550が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。又、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。
[0130]

 アプリケーション処理機能は、記録部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。
[0131]

 又、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画や動画のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
[0132]

 更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
[0133]

 表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
[0134]

 又、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
[0135]

 更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
[0136]

 又、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
[0137]

 カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、図1に示した撮像装置10に相当する。又、カメラ部541は、主制御部501の制御により、撮影によって得た静止画の画像データを、例えばJPEG(Joint Photographic coding Experts Group)で圧縮し、又は動画の画像データを、例えばH.264/AVCで圧縮して記録部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図14に示すようにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、或いは、複数のカメラ部541が搭載されてもよい。尚、複数のカメラ部541が搭載されている場合、撮影に供するカメラ部541を切り替えて単独にて撮影したり、或いは、複数のカメラ部541を同時に使用して撮影することもできる。
[0138]

 又、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。又、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサ(ジャイロセンサ)と併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
[0139]

 その他、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等などを付加して記録部550に記録したり、外部入出力部560や無線通信部510を通じて出力することもできる。
[0140]

 以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

符号の説明

[0141]

10   :撮像装置

11   :画像取得部

13   :検出部

15   :撮像フレーム周期制御部

17   :記録動画像データ生成部

19   :フリッカー情報取得部

100  :交換レンズ

110  :ズームレンズ

120  :フォーカスレンズ

130  :絞り

140  :レンズ駆動部

200  :撮像装置本体

201  :撮像部

210  :撮像素子

230  :A/D変換器

240  :制御部

250  :操作部

260  :記憶部

270  :モニタ

請求の範囲

[請求項1]

 フレーム周期が第1フレーム周期で、かつ、1フレームの露光時間が前記第1フレーム周期よりも短い第1動画像データを撮像する撮像部と、

 前記撮像部により撮像された前記第1動画像データを取得する画像取得部と、

 前記第1動画像データにおいて光源のフリッカーを検出する検出部と、

 前記撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、

 を備える撮像装置であって、

 前記撮像フレーム周期制御部は、前記検出部が前記フリッカーを検出した場合に、前記撮像部で撮像される前記第1動画像データのフレーム周期を前記第1フレーム周期から前記第1フレーム周期よりも短いフレーム周期である第2フレーム周期に変更する撮像装置。
[請求項2]

 前記検出部は前記フリッカーの周期を検出するものであって、

 前記撮像フレーム周期制御部は、前記第2フレーム周期を前記検出部で検出された前記フリッカーの周期の半分以下の周期に変更する請求項1に記載の撮像装置。
[請求項3]

 前記撮像フレーム周期制御部は、設定された露光時間に応じて前記第2フレーム周期を変更する請求項1又は2に記載の撮像装置。
[請求項4]

 前記第1動画像データから、フレーム周期が前記第2フレーム周期より長い第3フレーム周期の、記録用の第2動画像データを生成する動画像データ生成部を備える請求項1から3のいずれか1項に記載の撮像装置。
[請求項5]

 前記動画像データ生成部は、前記第1動画像データを構成する複数のフレームの内の一部のフレームを間引くことにより、又は前記第1動画像データを構成する前記複数のフレームの内の隣接する複数のフレームを合成することにより、前記第3フレーム周期の前記第2動画像データを生成する請求項4に記載の撮像装置。
[請求項6]

 前記動画像データ生成部は、前記検出部が前記フリッカーを検出した場合に、前記第3フレーム周期を変更しない請求項4又は5に記載の撮像装置。
[請求項7]

 前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備える請求項1から6のいずれか1項に記載の撮像装置。
[請求項8]

 前記撮像フレーム周期制御部は、さらに、前記検出部が前記フリッカーを検出した場合に、前記位相情報に応じて前記第1動画像データの撮像タイミングを調整する請求項7に記載の撮像装置。
[請求項9]

 前記撮像部は、前記位相情報を用いて、前記フリッカーの特定の位相範囲で撮像を行わない請求項7又は8に記載の撮像装置。
[請求項10]

 前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、

 前記動画像データ生成部は、前記位相情報が付与された前記第2動画像データを生成する請求項4から6のいずれか1項に記載の撮像装置。
[請求項11]

 前記位相情報を、前記第2動画像データを構成するフレームと共に表示する表示部を備える請求項10に記載の撮像装置。
[請求項12]

 前記第2動画像データを構成する複数のフレームから、前記位相情報を用いてフレームを抽出する抽出部と、

 前記抽出部で抽出された前記フレームを表示する表示部を備える請求項10に記載の撮像装置。
[請求項13]

 前記検出部で検出された前記フリッカーの位相情報を取得するフリッカー情報取得部を備え、

 前記動画像データ生成部は、前記位相情報を用いて、前記第1動画像データを構成する前記複数のフレームから一部のフレームを選択し、前記第2動画像データを生成する請求項4から6のいずれか1項に記載の撮像装置。
[請求項14]

 前記撮像部は、第1動画モードと第2動画モードを有し、前記第1動画モードでは前記第1動画像データを撮像し、前記第2動画モードでは前記第1動画像データよりも1フレームの露光時間が長く設定された第3動画像データを撮像する請求項1から13のいずれか1項に記載の撮像装置。
[請求項15]

 前記第1動画モードは、前記第2動画モードに対して、オートフォーカスの追従速度、自動露出の追従速度、及びホワイトバランスの追従速度のうち少なくとも一つが高速に設定される請求項14に記載の撮像装置。
[請求項16]

 フレーム周期が第1フレーム周期で、かつ、1フレームの露光時間が前記第1フレーム周期よりも短い第1動画像データを撮像する撮像部と、

 前記撮像部により撮像された前記第1動画像データを取得する画像取得部と、

 前記第1動画像データにおいて光源のフリッカーを検出する検出部と、

 前記撮像部での撮像のフレーム周期を制御する撮像フレーム周期制御部と、

 前記第1動画像データからフレーム周期が第3フレーム周期の記録用の第2動画像データを生成する動画像データ生成部と、

 を備える撮像装置であって、

 前記撮像フレーム周期制御部は、前記検出部が前記フリッカーを検出した場合に、前記撮像部で撮像される前記第1動画像データのフレーム周期を前記第1フレーム周期から前記第1フレーム周期よりも短いフレーム周期である第2フレーム周期に変更し、

 前記第2フレーム周期は、前記第3フレーム周期よりも短いフレーム周期である撮像装置。
[請求項17]

 前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、

 前記動画像データ生成部は、前記位相情報が付与された前記第2動画像データを生成する請求項16に記載の撮像装置。
[請求項18]

 前記検出部で検出されたフリッカーの位相情報を取得するフリッカー情報取得部を備え、

 前記動画像データ生成部は、前記位相情報を用いて、前記第1動画像データを構成する前記複数のフレームから一部のフレームを選択し、前記第2動画像データを生成する請求項16又は17に記載の撮像装置。
[請求項19]

 フレーム周期が第1フレーム周期で、1フレームの露光時間が前記第1フレーム周期よりも短い第1動画像データを撮像するステップと、

 前記撮像するステップにより撮像された前記第1動画像データを取得するステップと、

 前記第1動画像データにおいて光源のフリッカーを検出するステップと、

 前記撮像するステップでの撮像のフレーム周期を制御するステップと、

 を含む撮像方法であって、

 前記フレーム周期を制御するステップは、前記検出するステップが前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第1動画像データのフレーム周期を前記第1フレーム周期から前記第1フレーム周期よりも短いフレーム周期である第2フレーム周期に変更する撮像方法。
[請求項20]

 フレーム周期が第1フレーム周期で、かつ、1フレームの露光時間が前記第1フレーム周期よりも短い第1動画像データを撮像するステップと、

 前記撮像するステップにより撮像された前記第1動画像データを取得するステップと、

 前記第1動画像データにおいて光源のフリッカーを検出するステップと、

 前記撮像するステップでの撮像のフレーム周期を制御するステップと、

 を含む撮像工程をコンピュータに実行させるプログラムであって、

 前記フレーム周期を制御するステップは、前記検出するステップが前記フリッカーを検出した場合に、前記撮像するステップで撮像される前記第1動画像データのフレーム周期を前記第1フレーム周期から前記第1フレーム周期よりも短いフレーム周期である第2フレーム周期に変更するプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]