Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020110710 - IMAGE-CAPTURING DEVICE, IMAGE-CAPTURING METHOD, AND PROGRAM

Document

明 細 書

発明の名称 撮像装置、撮像方法、及びプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024  

発明の効果

0025  

図面の簡単な説明

0026  

発明を実施するための形態

0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109  

符号の説明

0110  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24  

明 細 書

発明の名称 : 撮像装置、撮像方法、及びプログラム

技術分野

[0001]

 本発明は動画を撮影する撮像装置、撮像方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出可能な撮像装置、撮像方法、及びプログラムに関する。

背景技術

[0002]

 撮影後に静止画を抽出することを目的として動画を撮影する技術が知られている。この技術では、例えばいつ起こるか分からない一瞬の事象(イベント)を捉えるために動画を撮影及び記録しておき、撮影後にユーザが所望のフレームを選択するが、動画撮影中にいつイベントが発生するかは予測が難しい。そのため、ある程度の時間にわたって動画を撮影し続ける必要があり、記録メディアの残容量が切迫する、あるいは長時間の動画からイベントが発生したフレームをユーザが選択するのに非常に大きな労力を要する、という課題がある。
[0003]

 上述した課題に対応するために、動画へのタグ付けやマーキングを行うことが考えられる。例えば、イベントを検出し、イベント発生時のフレームに対してイベント情報を表すタグを付加する。また、例えば特許文献1には、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後の動画フレームを抽出及び表示することで、ユーザが動画における静止画抽出のタイミングを選択することを可能にする旨が記載されている。

先行技術文献

特許文献

[0004]

特許文献1 : 特開2016-32303号公報

発明の概要

発明が解決しようとする課題

[0005]

 しかしながら、上述したタグの付加を行う場合、イベント情報を表すタグは標準化されておらず、撮影に用いた撮像装置を含む特定の機器でしか認識できず、またイベントフレームを再生するにあたっては全フレームのタグ情報を解析する必要があり、イベントフレームの再生までに時間を要するという課題がある。また、特許文献1に記載の技術ではマーキング情報が記録されるだけなので、マーキングしたフレームを抽出及び表示する度に動画のデコード(静止画処理)が必要であり、撮像装置への処理負荷が高い。このように、従来の技術は静止画として抽出したい動画のフレームをユーザが容易に選択できるものではなかった。
[0006]

 本発明はこのような事情に鑑みてなされたもので、静止画として抽出したい動画のフレームをユーザが容易に選択することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

課題を解決するための手段

[0007]

 上述した目的を達成するため、本発明の第1の態様に係る撮像装置は、撮像装置であって、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、制御部と、を備え、制御部は、撮影部が撮影した動画の動画ファイルを生成し、動画ファイルから静止画を抽出可能な第1動画モードを有し、制御部は、第1動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第1動画と第2動画を生成し、制御部は第1動画の第1動画ファイルを、記憶部の第1フォルダに保存し、第2動画の第2動画ファイルを記憶部の第2フォルダに保存する。
[0008]

 通常、静止画撮影においては、ユーザは所望の構図に応じてカメラ(撮像装置)を横向き(カメラ底面が地面と平行)になるように、あるいは縦向き(カメラ底面が重力方向と平行)になるように構えて撮影する。これに対し動画撮影においては、撮影中に縦と横を切り替えることは少ない。一方、静止画の抽出を行うための動画撮影においては、事後的にフレーム切り出しを行うという特性上、動画撮影中にもカメラの構え方が縦と横で変化することが想定される。この縦と横の変化は、ユーザの動作に起因する一種のイベントであると考えることができる。このような観点から、第1の態様では、重力方向に対する撮像装置の方向(撮像装置の姿勢)の変化が起きた場合に動画を分割して第1動画と第2動画を生成し、第1動画の第1動画ファイルと第2動画の第2動画ファイルをそれぞれ別フォルダ(第1フォルダ、第2フォルダ)に保存する。これにより各動画を撮影した際の撮像装置の姿勢を容易に識別でき、ユーザは静止画として抽出したいフレームを含む動画を撮像装置の姿勢を手がかりにして容易に選択することができる。また、静止画として抽出するフレームは分割され記録時間が短くなった動画の中で探せばよいので、所望のフレームを迅速に探すことができる。
[0009]

 このように、第1の態様によれば、静止画として抽出したい動画のフレームをユーザが容易に選択することができる。さらに、第1の態様ではタグやマーキング等の情報を用いる必要がないので、第1の態様で記録された動画に基づくと、フレームの選択や静止画の抽出を、他の撮像装置や画像再生装置、画像処理装置でも行うことができる。なお、記憶部は撮像装置に備えられたものでもよいし、外部の装置でもよい。
[0010]

 第2の態様に係る撮像装置は第1の態様において、制御部は、時間において、第1動画と第2動画の間にある第3動画を生成し、第3動画は、方向変化が起きている第1期間の動画を含む。第2の態様では、方向変化が起きている期間(第1期間)を第1,第2動画とは別の動画(第3動画)にして、ユーザが容易に識別できるようにしている。
[0011]

 第3の態様に係る撮像装置は第1の態様において、時間において、第1動画は第2動画よりも前であり、方向検出部は、撮像装置が水平方向に沿っている第1状態、撮像装置が重力方向に沿っている第2状態、又は、撮像装置が第1状態と第2状態との間で変化している状態である第3状態のいずれかであるかを検出し、第1動画は、撮像装置が第3状態である期間の動画を含む。第3の態様において、例えば第1,第2状態の中間状態、撮像装置の方向が不定の状態、撮像装置の姿勢が第1状態と第2状態との間で変化している状態等を第3状態とすることができる。
[0012]

 第4の態様に係る撮像装置は第2の態様において、制御部は、第3動画を記憶部に保存しない。第4の態様によれば、方向変化が起きている期間(第1期間)の動画を保存しないことで、記憶部の容量を節約することができる。
[0013]

 第5の態様に係る撮像装置は第2の態様において、制御部は、第3動画を記憶部の第1フォルダに保存する。すなわち、第3動画は第1動画と同じフォルダに保存される。
[0014]

 第6の態様に係る撮像装置は第4又は第5の態様において、第3動画は、方向変化が終了した後の第2期間の動画も含む。第6の態様は、方向変化が終了しても構図の変化に伴い撮影条件が安定していない可能性があるため、方向変化が終了した後も第2期間においては第3動画に含めている。
[0015]

 第7の態様に係る撮像装置は第1又は第2の態様において、第1動画は、方向変化が終了した後の第2期間の動画も含む。第6の態様は、方向変化が終了しても構図の変化に伴い撮影条件が安定していない可能性があるため、方向変化が終了した後も第2期間においては第1動画に含めている。
[0016]

 第8の態様に係る撮像装置は第6又は第7の態様において、第2期間は、撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である。第8の態様は、第2期間の内容を具体的に規定するものである。
[0017]

 第9の態様に係る撮像装置は第1ないし第8の態様のいずれか1つにおいて、制御部は、第1動画ファイルと第2動画ファイルに、重力方向に対する撮像装置の方向に関する情報を付与する。例えば、ファイル名もしくはその一部、動画ファイルのヘッダやフッタ等に情報を付与することができる。
[0018]

 第10の態様に係る撮像装置は第1ないし第9の態様のいずれか1つにおいて、制御部は、ユーザの指示を受け付ける受付部を有し、第2動画の終了タイミングは、受付部によるユーザの第2動画終了指示又は動画撮影終了指示の受付に対応する。第10の態様によれば、ユーザは所望のタイミングで第2動画を終了させることができる。
[0019]

 第11の態様に係る撮像装置は第1ないし第10の態様のいずれか1つにおいて、制御部内にあるユーザの指示を受け付ける受付部、又は特定のイベントを検出するイベント検出部を備え、制御部は、受付部によるユーザの指示の受付中又はイベント検出部による特定のイベントの検出中に、方向検出部により方向変化を検出した場合、動画を分割しない。第11の態様によれば、ユーザの指示又は特定のイベントの発生中に撮像装置の方向変化(姿勢変化)があった場合は動画を分割しないので、ユーザの指示又はイベントに関連した一連のシーンを1つの動画で確認することができる。
[0020]

 第12の態様に係る撮像装置は第1ないし第11の態様のいずれか1つにおいて、制御部は、第1動画モードと撮影条件が異なる第2動画モードを有し、制御部は、第2動画モードにおいて、方向検出部が方向変化を検出した場合、動画を分割しない。例えば、動画からの静止画の抽出を行わない通常の動画モードを第2動画モードとすることができる。
[0021]

 第13の態様に係る撮像装置は第12の態様において、第1動画モードは、第2動画モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも1つが高速に設定され、かつ/又は第2動画モードに対してフレームレートが高く設定される。第13の態様は、第1動画モードと第2動画モードとの撮影条件の違いの一態様を規定するものであり、第1動画モードの撮影条件をこのように設定することで、動画から高画質な静止画を抽出することができる。
[0022]

 第14の態様に係る撮像装置は第1ないし第13の態様のいずれか1つにおいて、第1動画ファイルと第2動画ファイルは、ファイル名の拡張子を除く少なくとも一部が共通している。これにより、ユーザは第1動画ファイルと第2動画ファイルとが1つの動画を分割して生成されたファイルであることを容易に識別することができる。
[0023]

 上述した目的を達成するため、本発明の第15の態様に係る撮像方法は、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画のファイルから静止画を抽出可能な第1動画モードを有する制御部と、を備える撮像装置の撮像方法であって、第1動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、第1動画モードにおいて方向変化が起きたと判断された場合、制御部が動画を分割して第1動画と第2動画を生成する動画生成ステップと、第1動画の第1動画ファイルを、記憶部の第1フォルダに保存し、第2動画の第2動画ファイルを記憶部の第2フォルダに保存する動画保存ステップと、を有する。第15の態様に係る撮像方法によれば、第1の態様と同様に撮影した動画からユーザが所望のフレームを容易に選択することができる。なお、第15の態様において第2の態様から第14の態様と同様の構成をさらに備えていてもよい。
[0024]

 上述した目的を達成するため、本発明の第16の態様に係るプログラムは、重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、撮影部が撮影した動画のファイルから静止画を抽出可能な第1動画モードを有する制御部と、を備える撮像装置を動作させるプログラムであって、第1動画モードにおいて、方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断させ、第1動画モードにおいて方向変化が起きたと判断された場合、制御部が動画を分割して第1動画と第2動画を生成させ、第1動画の第1動画ファイルを記憶部の第1フォルダに保存させ、第2動画の第2動画ファイルを記憶部の第2フォルダに保存させる、プログラムである。第16の態様に係るプログラムによれば、第1,第15の態様と同様に、撮影した動画からユーザが所望のフレームを容易に選択することができる。なお、第16の態様において第2の態様から第14の態様と同様の構成をさらに備えていてもよい。また、これら態様のプログラムは、コンピュータ読み取り可能なコードを記録した非一時的記録媒体に記録されていてもよい。

発明の効果

[0025]

 以上説明したように、本発明の撮像装置、撮像方法、及びプログラムによれば、撮影した動画からユーザが所望のフレームを容易に選択することができる。

図面の簡単な説明

[0026]

[図1] 図1は、第1の実施形態に係るカメラの構成を示す図である。
[図2] 図2は、画像処理装置の機能構成を示す図である。
[図3] 図3は、カメラの座標系を示す図である。
[図4] 図4は、姿勢判定と動画分割の例を示す図である。
[図5] 図5は、撮像方法の処理を示すフローチャートである。
[図6] 図6は、カメラの姿勢変化と動画の分割及び保存の様子を示す図である。
[図7] 図7は、フォルダ構成の例を示す図である。
[図8] 図8は、フォルダ構成の例を示す他の図である。
[図9] 図9は、縦動画及び横動画のアイコン表示の例を示す図である。
[図10] 図10は、縦動画及び横動画にサムネイル画像を付した様子を示す図である。
[図11] 図11は、撮像方法の処理を示す他のフローチャートである。
[図12] 図12は、姿勢判定と動画分割の他の例を示す図である。
[図13] 図13は、姿勢判定と動画分割のさらに他の例を示す図である。
[図14] 図14は、姿勢判定と動画分割のさらに他の例を示す図である。
[図15] 図15は、姿勢判定と動画分割のさらに他の例を示す図である。
[図16] 図16は、撮像方法の処理を示すさらに他のフローチャートである。
[図17] 図17は、撮像方法の処理を示すさらに他のフローチャートである。
[図18] 図18は、第1モード及び第2モードにおける動画記録の処理を示すフローチャートである。
[図19] 図19は、第1モード及び第2モードにおける動画記録の処理を示すフローチャート(図18の続き)である。
[図20] 図20は、静止画として抽出するフレームを選択する様子を示す図である。
[図21] 図21は、第2の実施形態に係るスマートフォンの外観図である。
[図22] 図22は、第2の実施形態に係るスマートフォンの構成を示すブロック図である。
[図23] 図23は、第2の実施形態に係るスマートフォンの姿勢を示す図である。
[図24] 図24は、角度によるスマートフォンの姿勢判定の様子を示す図である。

発明を実施するための形態

[0027]

 以下、添付図面を参照しつつ、本発明に係る撮像装置、撮像方法、及びプログラムを実施するための形態について詳細に説明する。
[0028]

 <第1の実施形態>

 <撮像装置の全体構成>

 図1は第1の実施形態に係るカメラ10(撮像装置)の構成を示す図である。カメラ10は交換レンズ100(撮影部、撮像装置)及び撮像装置本体200(撮像装置)により構成され、後述するズームレンズ110を含む撮影レンズにより被写体像(光学像)を撮像素子210に結像させる。交換レンズ100と撮像装置本体200とは、図示せぬマウントを介して装着及び取り外しすることができる。
[0029]

 <交換レンズの構成>

 交換レンズ100は、ズームレンズ110と、フォーカスレンズ120と、絞り130と、レンズ駆動部140とを備える。レンズ駆動部140は、画像処理装置240(図2のレンズ駆動制御部240F)からの指令に応じてズームレンズ110、フォーカスレンズ120を進退駆動してズーム(光学ズーム)調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置240からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作(図示せぬズームリング、フォーカスリングの回動等)に応じて行ってもよい。また、レンズ駆動部140は画像処理装置240からの指令に応じて絞り130を制御し、露出を調整する。一方、ズームレンズ110及びフォーカスレンズ120の位置、絞り130の開放度等の情報が画像処理装置240に入力される。なお、交換レンズ100は光軸Lを有する。
[0030]

 <撮像装置本体の構成>

 撮像装置本体200は、撮像素子210(撮影部)、AFE220(AFE:Analog FrontEnd、撮影部)、A/D変換器230(A/D:Analog to Digital、撮影部)、画像処理装置240、操作部250、記憶部260、モニタ270、及び姿勢センサ280(方向検出部)を備える。撮像装置本体200は、撮像素子210に透過させる光を遮光するためのシャッター(不図示)を有していてもよい。撮像素子210は、多数の受光素子がマトリクス状に配列された受光面を備える。そして、ズームレンズ110、フォーカスレンズ120、及び絞り130を透過した被写体光が撮像素子210の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子210の受光面上にはR(赤),G(緑),又はB(青)のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子210としては、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge-Coupled Device)等の様々な光電変換素子を用いることができる。AFE220は撮像素子210から出力されるアナログ画像信号のノイズ除去、増幅等を行い、A/D変換器230は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。
[0031]

 <画像処理装置の構成>

 図2は、画像処理装置240の機能構成を示す図である。画像処理装置240は、画像取得部240A、方向検出部240B(方向検出部)、制御部240C(制御部)、イベント検出部240D(イベント検出部)、静止画抽出部240E(静止画抽出部)、及びレンズ駆動制御部240F(レンズ駆動制御部)を備える。制御部240Cはユーザの指示を受け付ける受付部を有し、この受付部は操作部250を介したユーザの指示を受け付けることができる。そして、画像処理装置240は、A/D変換器230から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置240による処理の詳細は後述する。
[0032]

 画像処理装置240の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
[0033]

 上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM(Read Only Memory)等の非一時的記録媒体に記憶しておく。そして、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮像方法を実行するためのプログラム(本発明に係る、撮像装置を動作させるプログラム)を含む。ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばRAM(Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。
[0034]

 画像処理装置240は、上述の各部の他にROM242を備える。ROM242には、画像の撮影、記録、表示等に必要なプログラム(本発明に係る撮像方法を実行するためのプログラムを含む)のコンピュータ読み取り可能なコードが記録される。
[0035]

 <操作部>

 操作部250は図示せぬレリーズボタン、操作用ボタン(例えば十字ボタン、Quickボタン、OKボタン等)、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ270(タッチパネル型)を操作部250として使用してもよい。
[0036]

 <記憶部>

 記憶部260(記憶部)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を保存する。記録媒体は撮像装置本体200に対し着脱できるタイプを用いることができる。撮影した画像(動画、静止画)を例えば無線通信により外部の記録媒体(記憶部)に送信して保存してもよい。
[0037]

 <モニタ及びファインダ>

 モニタ270(表示装置)はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ270は撮像装置本体200の背面側、天面側等に配置することができる。また、カメラ10はファインダを備えていてもよい。
[0038]

 <撮影モード>

 カメラ10は撮影モードとして静止画撮影モード、静止画抽出用動画撮影モード(第1動画モード)、通常動画撮影モード(第2動画モード)のいずれかを設定することができる。静止画撮影モード、通常動画撮影モードは通常のデジタルカメラと同様のモードである。一方、静止画抽出用動画撮影モードは動画のファイルから静止画を抽出可能なモードであり、通常動画撮影モードと撮影条件が異なる動画(動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画)を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも1つが高速に設定され、かつ/又は通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラ10で設定可能な最高値(例えば4,000×2,000画素、30フレーム/秒)に設定され、色調も静止画抽出を前提として設定される。ISO感度の上限も通常動画撮影モードより高くする。
[0039]

 例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値(フレームレートが30フレーム/秒の場合、1/30秒)に設定される。一方、静止画抽出用動画モードではフレーム間隔よりも高速(例えば、1/30秒未満)に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速(フレーム間隔よりも高速)に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ISO感度(ISO:International Organization for Standardization)の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度,自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定される。これによって、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。
[0040]

 上述した静止画抽出用動画撮影モードによれば、動画を構成するフレームを事後的に静止画として抽出することができる。よって、ユーザはいつ発生するか分からないイベント(自然現象やアクシデント、ハプニング等)の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できる。よって、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件(上述したシャッタースピード、解像度、フレームレート等)を設定することにより高画質の静止画を抽出することができる。なお、このような静止画の事後的抽出に加えて、静止画抽出用動画撮影モード及び通常動画撮影モードにおいては、動画撮影中に静止画を撮影(保存)することができる。
[0041]

 <カメラの姿勢>

 図3はカメラ10に対して規定される座標系の例を示す図である。図3に示す例では、X軸が光軸方向(被写体に向かう方向)、Z軸が撮像装置本体200の上方に向かう方向であり、(X軸,Y軸,Z軸)で右手系の座標系を構成する。カメラ10が縦位置(カメラ10の上面及び底面が鉛直方向と平行)であるか横位置(カメラ10の上面及び底面が地面と平行)であるかは、例えばX軸周りの角度(撮像装置本体200の上面及び底面が地面と平行の状態で0degとする)で判断することができる。図4はX軸周りの角度と姿勢(縦又は横)の関係の例を示す図である。方向検出部240B(方向検出部)は角度が(-45deg以上+45deg以下)、及び(+135deg以上+225deg以下)の範囲である場合に「横」と判定し、それ以外の場合に「縦」と判定することができる。上述のようにカメラ10は姿勢センサ280(例えば、3軸方向の加速度を測定する加速度センサ;図1参照)を備えているので、方向検出部240Bは、姿勢センサ280の測定結果に基づいてカメラ10の姿勢(重力方向に対する方向)を検出することができる。
[0042]

 なお、図4に示す角度の範囲は一例であり、これと異なる範囲で姿勢を判定してもよい。例えば方向検出部240Bは角度が(-30deg以上+30deg以下)、及び(+150deg以上+210deg以下)の範囲である場合に「横」と判定し、それ以外の場合に「縦」と判定してもよい。
[0043]

 <静止画抽出用動画撮影モードにおける処理>

 上述した構成のカメラ10における撮像方法について説明する。図5は、静止画抽出用動画撮影モードにおける処理を示すフローチャートである。例えば操作部250の図示せぬモードダイヤルの操作によりカメラ10が静止画抽出用動画撮影モードになる。そして、制御部240Cは、撮影部(交換レンズ100、撮像素子210、AFE220、A/D変換器230)を第1動画モードに設定する。そして、図5の処理が開始され、制御部240Cは、カメラ10の状態を初期化(ライブビュー画像の取得及び表示、姿勢の初期化、姿勢判定の開始等)する(ステップS100:初期化ステップ)。
[0044]

 <動画記録開始指示>

 制御部240Cは動画記録開始指示がされたか否かを判断する(ステップS110:撮影ステップ、動画生成ステップ)。例えば操作部250の図示せぬレリーズボタンが押し下げされた場合に「動画記録開始指示がされた」と判断することができる。判断が肯定されるとステップS120へ進む。
[0045]

 <姿勢の判定>

 方向検出部240Bは、姿勢センサ280の出力に基づいてカメラ10(撮像装置)の姿勢(重力方向に対する方向)を検出する(ステップS120:姿勢検出ステップ、判断ステップ)。図3,4について上述したように、方向検出部240Bは、X軸周りの角度により姿勢が「縦」、「横」、「不定」のいずれであるかを判定する。姿勢が「不定」には、ユーザがカメラ10を地面や空に向けて構えている場合のように、Y軸周りの角度が大きく「縦」又は「横」を特定できない状態を含めることができる。なお、方向検出部240Bは、カメラ10の「不定」状態を検出しなくてもよい。
[0046]

 <姿勢に応じたフォルダへの記録>

 ステップS120でカメラ10の姿勢が「横」又は「不定」と判断された場合、制御部240Cは撮影した動画を圧縮して新たな動画ファイルとする。そして制御部240Cは、記憶部260の横動画用フォルダ(第1フォルダ)に動画ファイルの記録(保存)を開始する(ステップS130:動画保存ステップ)。動画の圧縮は、例えばMPEG形式(MPEG2、MPEG4等)で行うことができる。一方、カメラ10の姿勢が「縦」と判断された場合、制御部240Cは横動画用フォルダとは別の縦動画用フォルダ(第2フォルダ)に動画ファイルの記録(保存)を開始する(ステップS140:動画保存ステップ)。カメラ10に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び保存してもよい。なお、「横動画」、「縦動画」は、それぞれ姿勢が横又は不定の場合、縦の場合の動画であり、「横動画用フォルダ」、「縦動画用フォルダ」はそれぞれ横動画、縦動画を保存するフォルダである。
[0047]

 <姿勢が不定の場合の扱い>

 なお、図5のフローチャートでは「姿勢が横から不定に変化した場合」及び「不定から横に変化した場合」は同一フォルダ及び同一ファイルでの記録を継続する。そして、「姿勢が縦から不定に変化した場合」及び「不定から縦に変化した場合」は、「姿勢が変化した」と判断して動画の分割及び別フォルダへの記録を行う態様について説明している。しかしながら姿勢が不定の場合に縦動画用フォルダに記録してもよいし、横動画用フォルダ及び縦動画用フォルダとは別のフォルダに記録してもよい(後述する他の態様を参照)。
[0048]

 方向検出部240Bは動画の撮影と並行してカメラ10の姿勢検出を継続し、「カメラ10(撮像装置)の重力方向に対する方向変化が起きたか否か」を判断する(ステップS170:判断ステップ)。「方向変化が起きたか否か」は姿勢センサ280の出力(例えば、3軸方向の加速度)に基づいて判断することができる。方向検出部240Bが「方向変化が起きた」と判断した場合、具体的には「カメラ10の姿勢が「横又は不定」と「縦」との間で変化した」と判断した場合(ステップS170でYes)は、制御部240Cは記録中の動画ファイルをクローズして動画を分割する(ステップS180:動画生成ステップ)。そして、ステップS190の判断を否定してステップS120に戻る。
[0049]

 戻ってきたステップS120では、制御部240Cは動画ファイルの記録開始時と同様にカメラ10の姿勢が「縦」、「横」、及び、「不定」のいずれであるかを判断する。そして、制御部240Cは、その結果に応じて、分割に係る新たな動画ファイルを記憶部260の横動画用フォルダ又は縦動画用フォルダに保存する。例えば、カメラ10の姿勢が記録開始時の「横」から「縦」に変化した場合、制御部240Cは、記録開始時は横動画用フォルダに動画ファイル(第1動画の第1動画ファイル)を保存し、姿勢変化に起因して生成された新たな動画ファイル(第2動画の第2動画ファイル)を縦動画用フォルダに保存する。なお、ステップS170において、カメラの姿勢が再度変化した場合(ステップS170でYes)に、動画はクローズしなくてもよい。カメラの姿勢変化が起きるたびに、繰り返して動画を分割すると、動画のファイル数が増えすぎてしまうからである。
[0050]

 画像取得部240A、方向検出部240B、及び制御部240Cは、このようなカメラ10の姿勢に応じた動画の分割及び動画ファイルの保存を、動画撮影終了まで(ステップS190の判断がNoの間)継続して行う。方向検出部240B及び制御部240Cは、第1動画ファイル及び第2動画ファイルに対しカメラ10の姿勢(重力方向に対する方向)に関する情報を付与しておき、動画ファイルのアイコン表示や動画再生の際等に参照できるようにすることが好ましい。方向検出部240B及び制御部240Cは、カメラ10の姿勢に関する情報をヘッダやフッタに記録することができる。例えば、縦の場合は“01”、横の場合は“02”、その他(斜め、不定等)は“03”とすることができる。
[0051]

 なお、図6の例のように、カメラ10が横状態から縦状態に移行し縦状態で動画の撮影を終了する場合がある。この場合、第2動画(縦動画;縦状態での動画)の終了タイミングは、制御部240C内にある受付部によるユーザの第2動画終了指示又は動画撮影終了指示の受付に対応する。この受付部は、操作部250を介したユーザの指示を受け付けることができる。同様に、縦状態から再度横状態に移行し横状態で動画の撮影を終了する場合がある。この場合、第1動画(横動画;横状態での動画)の終了タイミングは、受付部によるユーザの第1動画終了指示又は動画撮影終了指示の受付に対応する。これらの動画終了タイミングは、後述する態様においても同様である。
[0052]

 図6はX軸周りの角度に基づく方向変化の判断例を示す図である。図6の例では、経過時間がゼロからt1の間は姿勢が「横」、経過時間t1の時点で角度が45deg(しきい値)を超えて「縦」と判断されており、これにより経過時間t1で動画が分割されている。制御部240Cは経過時間がゼロからt1までの第1動画の動画ファイル(第1動画ファイル)を横動画用フォルダ(第1フォルダ)に保存し、経過時間t1以降の第2動画の動画ファイル(第2動画ファイル)は縦動画用フォルダ(第2フォルダ)に保存する。なお、カメラ10の姿勢は細かく変動する可能性があるので、姿勢が変化した状態が決められた時間以上継続した時点で「姿勢が変化した」と判断してもよい。なお、図6ではカメラ10の姿勢が横から縦に変化する例を示しているが、縦から横に変化する場合も同様に処理することができる(この場合、縦動画が第1動画、横動画が第2動画となる。また、縦動画用フォルダが第1フォルダ、横動画用フォルダが第2フォルダとなる;他の態様についても同様である)。
[0053]

 制御部240Cは、カメラ10の姿勢が変化した場合(ステップS170でYes)の他、ステップS150で「動画記録終了指示(動画撮影終了指示)があった」と判断した場合、及びステップS160で「記録メディアの残容量が十分でない」と判断した場合にも動画ファイルをクローズする(ステップS180)。しかし、これらの場合は動画の撮影も終了させる(ステップS190でYes)。ステップS150では、制御部240Cは操作部250の図示せぬレリーズボタンが押し下げされた場合、モニタ270を介した終了指示がされた場合等に「動画記録終了指示がされた」と判断することができる。
[0054]

 第1の実施形態では、このように「静止画抽出用動画撮影モード(第1動画モード)においてカメラ10(撮像装置)の重力方向に対する方向(姿勢)が変化した」と判断された場合は、動画を分割して横動画(第1動画)と縦動画(第2動画)を生成する。そして、横動画の動画ファイル(第1動画ファイル)を横動画用フォルダ(第1フォルダ)に保存し、縦動画の動画ファイル(第2動画ファイル)を縦動画用フォルダ(第2フォルダ)に保存する。
[0055]

 これによりユーザは各動画を撮影した際のカメラ10の姿勢を容易に識別でき、静止画として抽出したいフレームを含む動画をカメラ10の姿勢を手がかりにして容易に選択することができる。また、ユーザは静止画として抽出するフレームを分割され記録時間が短くなった動画の中で探せばよいので、所望のフレームを迅速に探すことができる。このように、第1の実施形態によれば、撮影した動画からユーザが所望のフレームを容易に選択することができる。
[0056]

 <フォルダ構成の例>

 図7は動画を保存するフォルダ構成の例を示す図である。同図の例では、撮影日ごとにフォルダが生成され、撮影日ごとのフォルダ内には撮影番号ごとにフォルダが生成されている。例えば、図5のフローチャートにおいて、ステップS110で動画記録開始が指示されてからステップS190で動画撮影を終了するまでを1つの撮影番号とすることができる。各撮影番号のフォルダに対し、横動画用フォルダと縦動画用フォルダが設けられており、それぞれ横動画、縦動画が保存される。このようなフォルダ構成は、制御部240Cによりモニタ270に表示することができる。
[0057]

 図8は、横動画用フォルダ(第1フォルダ)と縦動画用フォルダ(第2フォルダ)をそれぞれ横向き、縦向きのアイコンでモニタ270に表示した様子を示している。このようなフォルダ表示の態様によれば、ユーザは縦動画用フォルダと縦動画用フォルダを視覚により容易に把握でき、所望のフレームを容易に選択することができる。
[0058]

 <動画ファイルのアイコン表示及びファイル名>

 図9は動画ファイルのアイコン表示の例を示す図である。同図の(a)部分は、横動画の動画ファイルについて横型アイコンに「横動画」の文字を付して表示した様子を示している。アイコン中の記号はファイルの指定により再生可能であることを示す。同様に、図9の(b)部分は縦動画の動画ファイルについてのアイコン表示の例を示しており、縦型アイコンに「縦動画」の文字を付して表示している。図9の例において、ファイル名はファイル作成日(2018年10月23日)、撮影番号(001)、縦横識別情報(横動画はH(Horizontal)、縦動画はV(Vertical))、ファイル番号(001,002,・・・)、ファイルサイズ(10MB等)、拡張子(ここでは“.mpg”)から構成されている。そして、横動画の動画ファイル(第1動画ファイル)と縦動画の動画ファイル(第2動画ファイル)はファイル名の拡張子を除く一部が共通している。なお、縦横識別情報はカメラ10(撮像装置)の重力方向に対する方向に関する情報の一例である。
[0059]

 ファイル名はファイルの種類を示す情報、ファイル作成日時、及び縦横識別情報を含んでいてもよい。例えば、2018/1/1 12:30に作成した横動画のファイルに対し“IMG201801011230_H.MOV”というファイル名を付与し、2018/1/1 12:40にファイル名を作成した縦動画のファイルに対し“IMG201801011240_H.MOV”というファイル名を付与することができる。ファイル名中、“IMG”は画像ファイルであることを示す情報の一例である。この場合においても、ファイル名はファイルサイズを示す情報を含んでいてもよい。
[0060]

 図10はアイコンにサムネイル画像を表示した様子を示す図である。同図の(a)部分は横動画の場合の例であり、(b)部分は縦動画の場合の例である。表示する画像は横動画又は縦動画の最初のフレームでもよいし、途中のフレーム(例えば、イベントが発生したフレーム等)でもよい。
[0061]

 以上に例示した動画ファイルのアイコン表示、サムネイル表示、ファイル名の付与により、ユーザは縦動画と横動画とを容易に識別でき、所望のフレームを含む動画を容易に選択することができる。なお、動画ファイルのアイコン表示、サムネイル表示、ファイル名の付与は制御部240Cが行うことができる。
[0062]

 <動画の分割及び記録の他の態様>

 動画の分割及び記録(保存)の他の態様について説明する。なお、以下で説明するフローチャートのうち図5と同じ処理には同じステップ番号を付し、詳細な説明を省略する。
[0063]

 (態様1:姿勢変化中の期間を独立した動画ファイルとする態様)

 図5について説明した態様ではカメラ10の姿勢(X軸周りの角度)がしきい値を超えたら「方向変化が起きた」と判断している。しかし、図11に示す態様1では姿勢変化中の動画は横動画及び縦動画とは別の動画ファイルとして別のフォルダに保存する。図11は態様1での処理を示すフローチャートであり、方向検出部240Bは、カメラ10の姿勢(重力方向に対する方向)が「横」、「縦」、「変化中」のいずれであるかを判断する(ステップS122:姿勢検出ステップ)。
[0064]

 制御部240Cは、姿勢が「横」である場合は横動画(第1動画)として横動画用フォルダ(第1フォルダ)に動画ファイル(第1動画ファイル)の記録(保存)を開始する(ステップS130)。制御部240Cは、「縦」である場合は縦動画(第2動画)として縦動画用フォルダ(第2フォルダ)に記録を開始する(ステップS140)。「変化中」である場合は変化中動画(第3動画)として変化中動画用フォルダ(第3フォルダ)に記録を開始する(ステップS124)。態様1においては、各撮影番号のフォルダの下位の階層に、横動画用フォルダ及び縦動画用フォルダに加えて、変化中動画用フォルダを作成することができる。
[0065]

 態様1では、方向検出部240Bが「カメラ10の姿勢変化が開始又は完了した」と判断した場合(ステップS172(判断ステップ)でYes)に動画を分割(動画ファイルのクローズ、新たな動画ファイルの生成)する。この際、カメラ10の姿勢は手振れその他により細かく変動する場合があるので、方向検出部240BはX軸周りの角度が一定時間に決められた値以上変化したら「姿勢変化が開始した」と判断する。同様に、方向検出部240Bは、角度の変動が決められた範囲内に収まる時間が一定時間以上継続したら「姿勢変化が完了した」と判断することが好ましい。例えば、図12に示す例では、経過時間t1とt2の間で角度が大きく変化しており、経過時間t3とt4の間で角度が安定している。
[0066]

 よって、方向検出部240Bは経過時間t2からt4まで「姿勢が変化中である」と判断し、経過時間t4において「姿勢変化が完了した」と判断する(カメラ10の実際の姿勢と姿勢の判定結果が変化するまでの時間ズレを考慮している)。この判断に対応して、制御部240Cは経過時間t2からt4までの間、時間において横動画(第1動画;経過時間ゼロからt2まで)と縦動画(第2動画;経過時間t4以降)の間にある変化中動画(第3動画)を生成する。図12に示すように、変化中動画(第3動画)は、カメラ10の姿勢が変化中である(方向変化が起きている)第1期間の動画を含む。
[0067]

 (態様2:姿勢変化中は前の期間の動画ファイルに継続して記録する態様)

 上述した態様1では姿勢変化中(第1期間)は独立した動画(第3動画)として記録している。しかし、態様2では、姿勢変化中は変化開始前の期間についての動画ファイルに継続して記録する。具体的には、図13に示すように、態様2では方向検出部240Bはカメラ10(撮像装置)が第1状態(カメラ10の底面が水平方向に沿っている状態;横状態)、第2状態(カメラ10の底面が重力方向に沿っている状態;縦状態)、又は第3状態(第1状態と第2状態との間で変化している状態)のいずれであるかを検出する。そして、制御部240Cはカメラ10が第3状態(姿勢が変化中)である期間の動画を第1動画に含めて第1フォルダ(横動画用フォルダ)に記録する。
[0068]

 (態様3:姿勢変化終了後の期間の一部を変化中の期間の動画ファイルに継続して記録する態様)

 カメラ10の姿勢が変化した状況では、モニタ270の画面における構図が大きく変化している場合がある。その場合、カメラ10(撮像装置)が動画の露出(AE:AutoExposure)、動画のホワイトバランス(AWB:Auto White Balance)、又は動画中の被写体のフォーカス(AF:Auto Focus)等を調整する期間が必要になる可能性がある。そこで態様3では、姿勢変化終了後の決められた期間(第2期間)は、カメラ10の姿勢が安定していても姿勢が変化中である場合と同様に扱う。具体的には、例えば図14に示すように、方向検出部240Bは経過時間t2からt4までの期間(第1期間)に加えて経過時間t4からt5までの期間(第2期間)についても「カメラ10の姿勢が変化している」として扱う。
[0069]

 そして、これら第1期間及び第2期間については第3動画として記録(保存)する。すなわち、第3動画は方向変化が終了した後の第2期間の動画も含む。なお、制御部240Cは動画を分割して第3動画を横動画(第1動画)及び縦動画(第2動画)とは別の動画ファイル(第3動画ファイル)とし、横動画用フォルダ(第1フォルダ)に記録することができる。しかし、第3動画は独立した変化中動画用フォルダ(第3フォルダ)に記録してもよい。姿勢変化中や撮影条件が不安定な期間の画像は重要性が低い場合があるが、態様3ではそのような期間は横動画及び縦動画とは別の動画として保存するので、静止画として抽出したいフレームの選択や動画ファイル、フォルダの整理を容易に行うことができる。
[0070]

 (態様4:姿勢変化終了後の期間の一部までを当初の動画ファイルに継続して記録する態様)

 上述した態様3では、カメラ10の姿勢変化中(第1期間)及び姿勢変化が終了してから決められた期間(第2期間)については「第3動画」としている。しかし、態様4では、図15に示すように第1期間(経過時間t2からt4まで)及び第2期間(経過時間t4からt5まで)については「第1動画」として横動画用フォルダ(第1フォルダ)に記録する。
[0071]

 (態様5:姿勢変化中は動画を記録しない態様)

 上述した態様1から態様4では姿勢変化中の期間(及びその後姿勢が安定するまでの期間)について動画を記録しているが、姿勢変化中は動画を記録しない態様も採用することができる。具体的には、図16のフローチャートに示すように、方向検出部240Bが「カメラ10の姿勢が横(第1状態)、縦(第2状態)、又は変化中(第3状態)のいずれであるか」を検出する(ステップS122)。そして、姿勢が変化中の場合は動画ファイルの記録を開始しない(ステップS122に戻る)。
[0072]

 また、カメラ10の姿勢が横又は縦であり動画の記録を開始(ステップS130、ステップS140)した後にカメラ10の姿勢変化が開始すると(ステップS174(判断ステップ)でYes)、制御部240CはステップS180で動画ファイルをクローズしてステップS122に戻る。そして、カメラ10は、カメラ10の姿勢が横又は縦となってから動画の記録を再開する(ステップS130、ステップS140)。クローズされた動画ファイルは対応するフォルダに保存される。姿勢変化中の画像は重要性が低い場合があるが、態様5ではそのような期間は動画を保存しないので記録メディアの残容量を節約することができる。またユーザは静止画として抽出したいフレームの選択や動画ファイル、フォルダの整理を容易に行うことができる。
[0073]

 (態様6:姿勢変化があった場合でもイベント発生の直後は動画を分割しない態様)

 図17のフローチャートに示す態様6は、カメラ10の姿勢変化が開始もしくは完了した(ステップS172(判断ステップ)でYes)場合についての他の態様である。この態様では、カメラ10の姿勢変化開始もしくは完了したタイミングから決められた時間(ステップS176では“T秒前”と記載)前までの間に特定のイベントが発生していた場合、制御部240Cは動画ファイルをクローズしない(ステップS176でYesとなりステップS180に進まない)。したがってこの場合、動画の分割を行わない。また、一定時間前までに特定イベントが発生していた場合だけではなく、特定のイベントの検出中(イベントが継続中)である場合、及び受付部によるユーザの指示の受付中である場合(ユーザの指示、又はユーザの指示に基づく処理が継続中である場合を含む)も同様である。
[0074]

 制御部240Cは、操作部250を介したユーザの操作に応じて、あるいはユーザの操作によらずにTの値(例えば30秒とすることができるが、他の値でもよい)を設定することができる。特定のイベントが発生したかどうかは、イベント検出部240D(図2を参照)が周知の画像処理によって被写体の動き量、大きさや形の変化、明るさの変化等を自動的に検出して判断してもよい。また、特定のイベントが発生したかどうかは、操作部250又は受付部(モニタ270をタッチパネルとして使用する場合を含む)を介したユーザの指示により判断してもよい。例えば、制御部240Cは、受付部がユーザによる動画撮影中に静止画の撮影指示を受け付けた場合に「(特定の)イベントが発生した」と判断してもよい。イベント検出部240D及び制御部240Cは、イベントを検出した場合、イベント検出タイミングを示す情報を動画ファイルに付与する(例えば、ヘッダやフッタに記録する)ことが好ましい。この情報を参照することで、ユーザは静止画として抽出したいフレームを容易に選択することができる(後述)。
[0075]

 上述のように、カメラ10の姿勢変化があった場合でも姿勢変化前にイベントが発生していた場合は動画を分割しないことで、ユーザはイベントに関連した一連の流れを1つの動画で確認することができ、撮影した動画から所望のフレームを容易に選択することができる。なお、図17のフローチャートは図11(姿勢変化中の動画は横動画及び縦動画とは別動画とし、別フォルダに保存する態様)をベースとしているが、図5、15のフローチャートをベースとしてもよい。
[0076]

 なお、カメラ10において、上述した態様1から態様6を含めたいずれの態様で動画の分割及び記録(保存)を行うかを、操作部250を介したユーザの操作に応じて決定してもよい。
[0077]

 <第1モード及び第2モードを考慮した場合の処理>

 図5,11,16,17に示すフローチャートでは第1動画モードにおける処理について説明したが、第1動画モード及び第2動画モードを考慮した場合の処理について、図18,19を参照しつつ説明する。なお、図5,11,16,17と同様の処理については同一のステップ番号を付し、詳細な説明を省略する。
[0078]

 制御部240Cは、カメラ10が第1動画モード(静止画抽出用動画モード)か第2動画モード(通常の動画モード)かを判断する(ステップS112)。第1動画モードの場合、制御部240Cは、第1動画モードに適した撮影条件を設定する(ステップS114)。ステップS114で設定する撮影条件は、「撮影モード」の項で上述したように、動画自体の鑑賞よりも静止画の抽出を重視した撮影条件である。第1動画モードにおけるステップS114以降の処理は図5のフローチャートと同様であるので、詳細な説明を省略する。
[0079]

 一方、ステップS112での判断の結果が第2動画モードであった場合、制御部240Cは、第2動画モードに適した撮影条件を設定する(図19のステップS191)。方向検出部240Bはカメラ10の姿勢を判定し(ステップS192)、制御部240Cは、記憶部260の第2動画用フォルダに動画ファイルの記録(保存)を開始する(ステップS193:動画保存ステップ)。ステップS194,S195の処理は第1動画モードについてのステップS150,S160の処理と同様である。動画記録終了指示があった場合(ステップS194でYes)及び記録メディア残容量が十分でない場合(ステップS195でNo)は、制御部240Cは動画ファイルをクローズして(ステップS197)、図18のステップS190(動画撮影終了か否かの判定)へ戻る。
[0080]

 動画記録終了指示がなく(ステップS194でNo)、記録メディア残容量が十分である(ステップS195でYes)場合、制御部240Cは動画の記録を継続する。しかし、第2動画モードにおいては、第1動画モードの場合と異なり、方向検出部240Bがカメラ10の姿勢の変化(方向変化)を検出しない場合(ステップS196でNo)も、検出した場合(ステップS196でYes)も動画を分割しない。第2動画モードにおいてカメラ10の姿勢が変化しても動画を分割しないのは、第2動画モードは静止画の抽出を目的とした動画を撮影するモードではなく、第1動画モードのように動画を分割して特定のシーンを探しやすくしなくてもよいからである。
[0081]

 <フォルダ構成の例>

 第1,第2動画モードを考慮する場合、制御部240Cは、記憶部260(記憶部)の撮影日ごとのフォルダ内に第1動画モードのフォルダと第2モードのフォルダを生成することができる。この場合、制御部240Cは、第1動画モードのフォルダ内に撮影番号ごとのフォルダを生成し、各撮影番号のフォルダ内に横動画用フォルダ(第1フォルダの例)と縦動画用フォルダ(第2フォルダの例)を設けて、それぞれ横動画(第1動画の例)、縦動画(第2動画の例)を保存する。一方、第2動画モードのフォルダについては、制御部240Cは、撮影日ごとのフォルダに、その撮影日に撮影された動画のファイルを記録する。また、制御部240Cは、撮影日のフォルダの下位に第1,第2動画モードのフォルダを設けるのではなく、第1,第2動画モードのフォルダを上位とし、その下位に撮影日のフォルダを設けてもよい。このようなフォルダ構成は、図7の場合と同様に、制御部240Cによりモニタ270に表示することができる。
[0082]

 <静止画の抽出>

 以下の例で説明するように、カメラ10では動画を構成するフレームを静止画として抽出することができる。なお、カメラ10で記録した動画ファイルを用いて、パーソナルコンピュータ等の他の装置で静止画の抽出を行ってもよい。
[0083]

 (例1)

 制御部240Cは横動画、縦動画、又は変化中動画(第1動画、第2動画、第3動画)の動画ファイルのうち、ユーザが選択したファイルをモニタ270に再生表示させる。連続的な再生ではなくコマ送りで再生(ユーザの操作に応じて1フレームずつ表示)してもよい。制御部240Cはユーザの操作により再生を停止し、停止した時点で表示されているフレームの選択をユーザの操作に応じて確定することで、静止画抽出部240Eがそのフレームを静止画として抽出する。
[0084]

 (例2)

 動画ファイルにイベントの検出を示す情報が付与されている場合、制御部240Cは、その情報を参照してイベントが検出されたフレームを含む複数のフレームをモニタ270(図1参照)に表示してもよい。図20はそのような表示の例であり、フレーム1052を含む5つのフレーム1051~1055が表示されている。また、静止画が記録されたフレーム1052(静止画の記録はイベント発生の一例である)については、静止画抽出部240Eによりカメラ状のアイコン1060が付されている。これによって、ユーザは静止画が記録されたフレームであることを把握することができる。
[0085]

 なお、表示する静止画抽出用フレームの範囲は、「記録した静止画ファイルに対応するフレーム」(図20の例ではフレーム1052)に対し時間的に前のフレーム(フレーム1051)及び後のフレーム(フレーム1053~1055)を含めてもよい。また、表示する静止画抽出用フレームの範囲は、「時間的に前のフレームだけを含める」態様あるいは「時間的に後のフレームだけを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定(例えば、静止画が記録されたフレームの前後1秒ずつ)してもよいし、フレーム数で規定(例えば、静止画が記録されたフレームの前後の10フレームずつ)してもよい。また、初期状態では静止画として記録されたフレームのみを一覧表示し、その中から選択されたフレームについて時間的に前及び/又は後ろのフレームを表示してもよい。
[0086]

 <抽出するフレームの選択>

 ユーザは、表示された静止画抽出用フレームからフレームを選択することができる。図20の例では、ユーザは操作部250及び/又はモニタ270を介して所望のフレームに対するチェックボックス1070をチェックすることによりフレームを選択することができ、複数のフレームを選択することもできる。なお、ユーザによって指定された静止画が記録されたフレームが、必ずしもベストのタイミングで記録されたとは限らない。他の関連フレームを合わせて表示することで、ユーザが他のフレームを選択したいと思う場合もある。よって、静止画が記録されたフレームに加えてその前及び/又は後ろのフレームから選択できるように、モニタ270に表示することが好ましい。図20では、静止画が記録されたフレーム(アイコン1060が付されたフレーム1052)と異なるフレーム1053をユーザが選択した状態を示している。
[0087]

 静止画抽出部240Eは、選択されたフレームを静止画として抽出する(静止画抽出ステップ)。なお、動画ファイルはMPEG形式等の動画用フォーマットで記憶されているので、静止画抽出部240Eは選択されたフレームのデータを静止画用のフォーマット(JPEG形式等)に変換する。ユーザは、動画(第1動画、第2動画、第3動画)から所望のタイミングにおける静止画を抽出することができる。
[0088]

 <第2の実施形態>

 第1の実施形態では、デジタルカメラであるカメラ10について説明したが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型又は外付け型のPC用カメラ(PC:Personal Computer)、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
[0089]

 本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
[0090]

 図21は本発明の撮像装置の一実施形態であるスマートフォン1(撮像装置)の外観を示す図であり、同図の(a)部分は正面図、(b)部分は背面図である。図21に示すスマートフォン1は平板状の筐体2を有し、筐体2の一方の面に表示部としての表示パネル21(表示装置)と、入力部としての操作パネル22(操作部)とが一体となった表示入力部20を備えている。また、筐体2は、スピーカ31と、マイクロフォン32、操作部40(操作部)と、カメラ部41,42(撮像装置、撮影部、イベント検出部、制御部、静止画抽出部、レンズ駆動制御部)、ストロボ43とを備えている。なお、筐体2の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。
[0091]

 図22は、図21に示すスマートフォン1の構成を示すブロック図である。図22に示すように、スマートフォン1の主たる構成要素として、無線通信部11と、表示入力部20と、通話部30と、操作部40と、カメラ部41,42と、ストロボ43と、記憶部50と、外部入出力部60と、GPS受信部70(GPS:Global Positioning System)と、モーションセンサ部80と、電源部90と、主制御部101(撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部)とを備える。また、スマートフォン1の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
[0092]

 無線通信部11は、主制御部101の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行う。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
[0093]

 表示入力部20は、主制御部101の制御により、画像(静止画像及び/又は動画像)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル21と、操作パネル22とを備える。
[0094]

 表示パネル21においては、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などが表示デバイスとして用いられる。操作パネル22は、表示パネル21の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される1又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル22は、操作に起因して発生する検出信号を主制御部101に出力する。次いで、主制御部101は、受信した検出信号に基づいて、表示パネル21上の操作位置(座標)を検出する。
[0095]

 図21に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン1の表示パネル21と操作パネル22とは一体となって表示入力部20を構成しているが、操作パネル22が表示パネル21を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル22は、表示パネル21外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル22は、表示パネル21に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル21に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
[0096]

 通話部30は、スピーカ31やマイクロフォン32を備え、マイクロフォン32を通じて入力されたユーザの音声を主制御部101にて処理可能な音声データに変換して主制御部101に出力すること、無線通信部11あるいは外部入出力部60により受信された音声データを復号してスピーカ31から出力することができる。また、図21に示すように、例えばスピーカ31を表示入力部20が設けられた面と同じ面に搭載し、マイクロフォン32を筐体2の側面に搭載することができる。
[0097]

 操作部40は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図21に示すように、操作部40は、スマートフォン1の筐体2の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
[0098]

 記憶部50は、主制御部101の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部50は、スマートフォン内蔵の内部記憶部51と着脱自在な外部メモリスロットを有する外部記憶部52により構成される。なお、記憶部50を構成するそれぞれの内部記憶部51と外部記憶部52は、公知の格納媒体を用いて実現される。
[0099]

 外部入出力部60は、スマートフォン1に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン1は、外部入出力部60を介して他の外部機器に通信等により直接的又は間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス(USB:Universal Serial Bus)、IEEE1394、ネットワーク(例えば、インターネット、無線LAN)を挙げることができる。この他、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wide Band)(登録商標)、ジグビー(ZigBee)(登録商標)なども通信等の手段として挙げることができる。
[0100]

 スマートフォン1に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カードが挙げられる。また、オーディオ及びビデオI/O(Input/Output)端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線/無線接続されるスマートフォン、有線/無線接続されるPDA、有線/無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部60は、このような外部機器から伝送を受けたデータをスマートフォン1の内部の各構成要素に伝達することや、スマートフォン1の内部のデータを外部機器に伝送することができる。
[0101]

 モーションセンサ部80は、例えば、3軸の加速度センサや傾斜センサなどを備え、主制御部101の指示にしたがって、スマートフォン1の物理的な動きを検出する。スマートフォン1の物理的な動きを検出することにより、スマートフォン1の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部101に出力されるものである。電源部90は、主制御部101の指示にしたがって、スマートフォン1の各部に、バッテリ(不図示)に蓄えられる電力を供給する。
[0102]

 主制御部101は、マイクロプロセッサを備え、記憶部50が記憶する制御プログラムや制御データにしたがって動作し、カメラ部41を含むスマートフォン1の各部を統括して制御する。また、主制御部101は、無線通信部11を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
[0103]

 また、主制御部101は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部20に表示する等の画像処理機能を備える。画像処理機能とは、主制御部101が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部20に表示する機能のことをいう。
[0104]

 カメラ部41,42は、CMOSやCCDなどの撮像素子を用いて電子撮影するデジタルカメラ(撮像装置)である。また、カメラ部41,42は、主制御部101の制御により、撮像によって得た画像データ(動画、静止画)を例えばMPEGやJPEGなどの圧縮した画像データに変換し、記憶部50に記録することや、外部入出力部60や無線通信部11を通じて出力することができる。また、カメラ部41は、主制御部101の制御により、動画の分割及び結合、高画質な静止画(RAW画像等)の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図21,22に示すスマートフォン1において、カメラ部41,42の一方を用いて撮影することもできるし、カメラ部41,42を同時に使用して撮影することもできる。カメラ部42を用いる場合はストロボ43を使用することができる。
[0105]

 また、カメラ部41,42はスマートフォン1の各種機能に利用することができる。例えば、スマートフォン1は、表示パネル21にカメラ部41,42で取得した画像を表示できる。また、スマートフォン1は、操作パネル22の操作入力のひとつとして、カメラ部41,42の画像を利用することができる。また、スマートフォン1は、GPS受信部70が位置を検出する際に、カメラ部41,42からの画像を参照して位置を検出することもできる。さらには、スマートフォン1は、カメラ部41,42からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン1のカメラ部41の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、スマートフォン1は、カメラ部41,42からの画像をアプリケーションソフトウェア内で利用することもできる。その他、スマートフォン1は、静止画又は動画の画像データにGPS受信部70により取得した位置情報、マイクロフォン32により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部80により取得した姿勢情報等を付加して記憶部50に記録することもできる。また、スマートフォン1は、これらの静止画又は動画の画像データを外部入出力部60や無線通信部11を通じて出力することもできる。
[0106]

 <スマートフォンの姿勢>

 図23の(a)部分はスマートフォン1に対して規定される座標系の例を示す図であり、この例ではX軸周りの角度で姿勢を決める。(a)部分は角度0degの縦状態(スマートフォン1(撮像装置)が重力方向に沿っている第2状態)を示し、同図の(b)部分は角度90degの横状態(スマートフォン1(撮像装置)が水平方向に沿っている第1状態)を示す。また、図24はX軸周りの角度とスマートフォン1の姿勢(縦又は横)との関係の例を示す図である。なお、第1の実施形態に係るカメラ10の場合(図4を参照)と同様に、横状態(図23の(b)部分に示す状態)を基準(角度0deg)として姿勢及び状態(第1状態、第2状態、第3状態)を規定してもよい。
[0107]

 上述した構成のスマートフォン1においても、第1の実施形態に係るカメラ10と同様に本発明に係る撮像方法の処理(動画の撮影、分割、及び記録、静止画の記録、静止画抽出等)を実行することができる。具体的には、第1の実施形態(態様1から態様6の処理を含む)において画像処理装置240(図2に示す各部)が実行する処理をスマートフォン1ではカメラ部41,42及び主制御部101が実行できる。その他、第1の実施形態における操作部250、記憶部260、モニタ270の機能は、スマートフォン1において操作部40、記憶部50及び操作パネル22、表示パネル21及び操作パネル22によりそれぞれ実現することができる。
[0108]

 これにより、第2の実施形態に係るスマートフォン1においても、第1の実施形態に係るカメラ10と同様の効果(静止画として抽出したいフレームの選択や、動画ファイル、フォルダの整理を容易に行うことができること等)を得ることができる。
[0109]

 以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した実施形態及び態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

符号の説明

[0110]

1    スマートフォン

2    筐体

10   カメラ

11   無線通信部

20   表示入力部

21   表示パネル

22   操作パネル

30   通話部

31   スピーカ

32   マイクロフォン

40   操作部

41   カメラ部

42   カメラ部

43   ストロボ

50   記憶部

51   内部記憶部

52   外部記憶部

60   外部入出力部

70   GPS受信部

80   モーションセンサ部

90   電源部

100  交換レンズ

101  主制御部

110  ズームレンズ

120  フォーカスレンズ

130  絞り

140  レンズ駆動部

200  撮像装置本体

210  撮像素子

220  AFE

230  A/D変換器

240  画像処理装置

240A 画像取得部

240B 方向検出部

240C 制御部

240D イベント検出部

240E 静止画抽出部

240F レンズ駆動制御部

242  ROM

250  操作部

260  記憶部

270  モニタ

280  姿勢センサ

1051 フレーム

1052 フレーム

1053 フレーム

1054 フレーム

1055 フレーム

1060 アイコン

1070 チェックボックス

L    光軸

S100~S197 撮像方法の各ステップ

ST1 GPS衛星

STn GPS衛星

請求の範囲

[請求項1]

 撮像装置であって、

 重力方向に対する前記撮像装置の方向を検出する方向検出部と、

 動画を撮影する撮影部と、

 制御部と、

 を備え、

 前記制御部は、前記撮影部が撮影した動画の動画ファイルを生成し、前記動画ファイルから静止画を抽出可能な第1動画モードを有し、

 前記制御部は、前記第1動画モードにおいて、前記方向検出部が撮像装置の重力方向に対する方向変化が起きたと判断した場合、動画を分割して第1動画と第2動画を生成し、

 前記制御部は、前記第1動画の第1動画ファイルを、記憶部の第1フォルダに保存し、

前記第2動画の第2動画ファイルを前記記憶部の第2フォルダに保存する、撮像装置。
[請求項2]

 前記制御部は、時間において、前記第1動画と前記第2動画の間にある第3動画を生成し、

 前記第3動画は、前記方向変化が起きている第1期間の動画を含む、請求項1に記載の撮像装置。
[請求項3]

 時間において、前記第1動画は前記第2動画よりも前であり、

 前記方向検出部は、前記撮像装置が水平方向に沿っている第1状態、前記撮像装置が重力方向に沿っている第2状態、又は、前記撮像装置が前記第1状態と前記第2状態との間で変化している状態である第3状態のいずれかであるかを検出し、

 前記第1動画は、前記撮像装置が前記第3状態である期間の動画を含む、請求項1に記載の撮像装置。
[請求項4]

 前記制御部は、前記第3動画を前記記憶部に保存しない、請求項2に記載の撮像装置。
[請求項5]

 前記制御部は、前記第3動画を前記記憶部の前記第1フォルダに保存する、請求項2に記載の撮像装置。
[請求項6]

 前記第3動画は、前記方向変化が終了した後の第2期間の動画も含む、請求項2、4又は5のいずれか1項に記載の撮像装置。
[請求項7]

 前記第1動画は、前記方向変化が終了した後の第2期間の動画も含む、請求項1又は2に記載の撮像装置。
[請求項8]

 前記第2期間は、前記撮像装置が、動画の露出、動画のホワイトバランス、又は、動画中の被写体のフォーカスを調整している期間である、請求項6又は7に記載の撮像装置。
[請求項9]

 前記制御部は、前記第1動画ファイルと前記第2動画ファイルに、重力方向に対する前記撮像装置の方向に関する情報を付与する、請求項1ないし8のいずれか1項に記載の撮像装置。
[請求項10]

 前記制御部は、ユーザの指示を受け付ける受付部を有し、

 前記第2動画の終了タイミングは、前記受付部によるユーザの第2動画終了指示又は動画撮影終了指示の受付に対応する、請求項1ないし9のいずれか1項に記載の撮像装置。
[請求項11]

 前記制御部内にあるユーザの指示を受け付ける受付部、又は特定のイベントを検出するイベント検出部を備え、

 前記制御部は、前記受付部によるユーザの指示の受付中又は前記イベント検出部による特定のイベントの検出中に、前記方向検出部により前記方向変化を検出した場合、前記動画を分割しない、請求項10に記載の撮像装置。
[請求項12]

 前記制御部は、前記第1動画モードと撮影条件が異なる第2動画モードを有し、

 前記制御部は、前記第2動画モードにおいて、前記方向検出部が前記方向変化を検出した場合、動画を分割しない、請求項1ないし11のいずれか1項に記載の撮像装置。
[請求項13]

 前記第1動画モードは、前記第2動画モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも1つが高速に設定され、かつ/又は前記第2動画モードに対してフレームレートが高く設定される請求項12に記載の撮像装置。
[請求項14]

 前記第1動画ファイルと前記第2動画ファイルは、ファイル名の拡張子を除く少なくとも一部が共通している、請求項1ないし13のいずれか1項に記載の撮像装置。
[請求項15]

 重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画のファイルから静止画を抽出可能な第1動画モードを有する制御部と、を備える撮像装置の撮像方法であって、

 前記第1動画モードにおいて、前記方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断する判断ステップと、

 前記第1動画モードにおいて前記方向変化が起きたと判断された場合、前記制御部が動画を分割して第1動画と第2動画を生成する動画生成ステップと、

 前記制御部が前記第1動画の第1動画ファイルを記憶部の第1フォルダに保存し、前記第2動画の第2動画ファイルを前記記憶部の第2フォルダに保存する動画保存ステップと、

 を有する撮像方法。
[請求項16]

 重力方向に対する撮像装置の方向を検出する方向検出部と、動画を撮影する撮影部と、前記撮影部が撮影した動画のファイルから静止画を抽出可能な第1動画モードを有する制御部と、を備える撮像装置を動作させるプログラムであって、

 前記第1動画モードにおいて、前記方向検出部が撮像装置の重力方向に対する方向変化が起きたか否か判断させ、

 前記第1動画モードにおいて前記方向変化が起きたと判断された場合、前記制御部が動画を分割して第1動画と第2動画を生成させ、

 前記第1動画の第1動画ファイルを記憶部の第1フォルダに保存させ、前記第2動画の第2動画ファイルを前記記憶部の第2フォルダに保存させる、プログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]