処理中

しばらくお待ちください...

設定

設定

出願の表示

1. JP2011087257 - 半導体集積回路及び撮像装置

Document

Description

Title of Invention 半導体集積回路及び撮像装置

Technical Field

0001  

Background Art

0002   0003   0004  

Citation List

Patent Literature

0005  

Summary of Invention

Technical Problem

0006   0007   0008  

Technical Solution

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026  

Advantageous Effects

0027  

Brief Description of Drawings

0028  

Description of Embodiments

0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110  

Industrial Applicability

0111  

Reference Signs List

0112  

Claims

1   2   3   4   5   6   7   8   9   10    

Drawings

1   2   3   4   5   6   7   8   9A   9B   10  

Description

半導体集積回路及び撮像装置

Technical Field

[0001]
本発明は、撮像素子及びメモリに接続される半導体集積回路と、撮像装置とに関する。

Background Art

[0002]
被写体をレンズにより撮像素子上に結像させ、光電変換により得られた画像データに各種信号処理を施し、液晶モニターなどに被写体映像を表示させると共に記録媒体に記録するデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が実用化され広く普及している。撮影者はカメラの向きやズーム機能を制御し、子供が遊んでいるシーンを撮影するなど被写体の構図を自分の意思で決定し撮影を行なっている。
[0003]
アマチュアの撮影者がビデオ撮影を行なう場合、一般的には撮影に関する訓練を受けていないので、しばしば誤った判断、操作で撮影を行なうため、観て楽しめる良好な映像になっていない場合がある。その多くは撮りっ放しの映像であり、冗長で退屈なものとなってしまう。またこのように記録された映像を魅力ある映像にするには撮影後の編集作業が必要になるが、編集作業には技術と時間を要するため実施されない場合が多い。
[0004]
応用技術として、撮影者のカメラワークをモニターし、ズームアップのシーンばかりが続くなど撮影状態に偏りがある場合、撮影者に注意喚起し良好な映像が撮影できるようアシストする技術が提案されている(例えば特許文献1)。また本応用技術では、再生時に重要なシーンのみを選択して再生できるように、撮影状態の変化によりメタデータを生成し優先度の高い順に決められた個数のメタデータを付帯情報として記録する技術も開示されている。

Citation List

Patent Literature

[0005]
patcit 1 : 特開2008−227859号公報

Summary of Invention

Technical Problem

[0006]
しかしながら、上記従来の撮像装置においては、良好なカメラワークをアシストする注意喚起を促したとしても必ずしも撮影者がカメラワークを変更するとは限らないし、撮影されたシーンの中から重要度の高いシーンを選択して再生するための機能を提供しているので、実際にカメラワークを変更して撮影されなければ良好な映像を撮影するという目的を達成できない。
[0007]
ここで言う良好な映像とは、観ていて魅力的な(飽きない)映像を意味し、1つのシーン(カメラワーク)の持続時間が5秒から長くて数十秒程度の短い映像のことと定義する。テレビや映画などプロのカメラマンが撮影する映像はこの法則に当てはまっているものがほとんどである。
[0008]
本発明は、上記従来の課題を解決するものであり、アマチュアの撮影者が撮影する主映像とは別に、副映像として適応的にシーンの切り替えを行ない躍動感のある映像を記録する半導体集積回路を提供することを目的とする。また、そのような半導体集積回路を含む撮像装置を提供することも、本発明の目的に含まれる。

Technical Solution

[0009]
上記目的を達成するため、本発明に係る半導体集積回路は、撮像素子およびメモリに接続される半導体集積回路であって、前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を繰り返し検出する検出部と、前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、前記検出部は、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、前記注視領域を再度検出する。
[0010]
かかる構成により、撮影者が単調なカメラワークで撮影を行なった場合でも、副映像には変化のある映像を記録することができる。
[0011]
また、前記検出部は、前記撮像素子により撮像された映像のうち、人物が含まれる領域である少なくとも1つの人物領域を検出する人物検出部と、検出された少なくとも1つの人物領域のいずれかを含む領域を前記注視領域として検出する領域検出部とを備えてもよい。
[0012]
かかる構成により、人物を撮影した場合に映っている人物に注視する構図で副映像を記録することができる。
[0013]
また、前記領域検出部は、検出された少なくとも1つの人物領域のうち、前記主映像の中心に近い人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
[0014]
かかる構成により、撮影者が撮りたい人物を画面の中心になるように構図を決定する場合に、撮りたい人物を注視する構図で副映像を記録することができる。
[0015]
また、前記領域検出部は、検出された少なくとも1つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
[0016]
かかる構成により、撮影者が撮りたい人物を画面の手前に大きく配置されるように構図を決定する場合に、撮りたい人物を注視する構図で副画像を記録することができる。
[0017]
また、前記検出部は、さらに、人物を示す人物情報を保持している保持部と、前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物と、前記保持部に保持されている前記人物情報とを照合する照合部を備え、前記領域検出部は、前記照合部による照合結果に基づいて前記注視領域を検出してもよい。
[0018]
また、前記保持部は、さらに、前記人物情報に対応して、人物の特徴を示す特徴データを保持し、前記照合部は、前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物の特徴と、前記保持部に保持されている前記特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出し、前記領域検出部は、算出された前記照合スコアが高い人物の人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
[0019]
かかる構成により、撮影する人物が予め決まっている場合に、撮りたい人物を注視する構図で副画像を記録することができる。
[0020]
また、前記保持部は、さらに、現在までに前記人物検出部により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、前記領域検出部は、前記保持部に保持された回数が多い人物の人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
[0021]
かかる構成により、撮影する人物が予め決まっていない場合に、頻繁に撮影されている人物を撮りたい人物として注視する構図で副画像を記録することができる。よって、撮影者は、予め人物を登録する必要がなくなり、煩わしさを回避できる。
[0022]
また、前記検出部は、さらに、前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物の向きを検出する人物向き検出部を備え、前記領域検出部は、前記人物向き検出部により検出された前記向きを用いて、人物の後方の領域よりも前方の領域が大きくなるように前記注視領域を検出してもよい。
[0023]
かかる構成により、撮りたい人物を注視するとともに、人物の見ている方向にある被写体も合わせた形で構図を決定し副映像を記録することができる。つまり、人物の視線方向の領域を含む映像を副映像として撮影できるので、見ていて分かりやすい映像にすることができる。
[0024]
また、前記所定時間は、5秒以上かつ30秒以下が望ましい。
[0025]
かかる構成により、副映像を観ていて飽きない魅力的な映像にできる。
[0026]
また、本発明の撮像装置は、上記半導体集積回路と、撮像素子と、表示装置とを備え、前記主映像及び前記副映像を前記メモリに格納する。

Advantageous Effects

[0027]
本発明によれば、撮影者の決定した構図が単調で退屈なカメラワークであったとしても、副画像としては変化に富んだ躍動感のある映像を記録することが可能となる。また、主画像は撮影者の意思のまま記録されるため、副画像の領域切り替えに誤判定があったとしても本来記録されるべき場面が記録されていないという失敗が発生することもない。

Brief Description of Drawings

[0028]
[fig. 1] 本発明の撮像装置のシステム構成を示すブロック図である。
[fig. 2] 主画像読み出しを説明するための模式図である。
[fig. 3] 副画像読み出しを説明するための模式図である。
[fig. 4] 画像が記録メディアに格納されるまでのデータフローについて、メモリのバッファ構成について着目して示した図である。
[fig. 5] デジタル処理部の画像取り込み動作を時系列で示した図である。
[fig. 6] 主画像および副画像のエンコード動作を説明するための模式図である。
[fig. 7] 検出部の詳細な構成を示すブロック図である。
[fig. 8] 検出部の動作を説明するための図である。
[fig. 9A] 人物データベースのデータ構造の一例を示す図である。
[fig. 9B] 人物結果・照合結果のデータ構造の一例を示す図である
[fig. 10] 領域決定部の動作を示すフローチャートである。

Description of Embodiments

[0029]
本発明の撮像装置は、撮像素子およびメモリに接続して使用される半導体集積回路であって、前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を検出する検出部と、前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、前記検出部は、さらに、前記注視領域に所定期間同一の被写体が含まれるか否かを判定する判定部と、前記判定部により前記同一の被写体が含まれると判定された場合、前記注視領域を変更する変更部とを備える。
[0030]
以下、本発明の実施の形態における撮像装置について、図面を参照しながら説明する。
[0031]
図1は、実施の形態1の撮像装置のシステム構成を示すブロック図である。
[0032]
本撮像装置100は、ズーム可能な光学素子であるレンズ1と、レンズ1を駆動しズーム動作を行なわせるレンズ駆動部2と、レンズ1のズーム方向/ズーム量を指定するズームスイッチ11と、レンズ1を通過した被写体光を光電変換して画像信号を出力する撮像素子3と、撮像素子3から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部4と、撮像素子3から出力されるアナログの画像信号にノイズ低減やゲイン制御、A/D変換などの各種処理を実施するアナログ処理部5と、デジタル化された画像信号に対してY/C変換処理や電子的なズーム処理を実施するデジタル処理部6と、デジタル処理部6により処理された画像を一時記憶しておくメモリ7と、メモリ7に格納された画像を所定のフォーマットに画像圧縮するエンコーダ8と、エンコーダ8により画像圧縮されたデータをSDカードやHDDなどの記録メディア(記録媒体)に格納する記録部9と、デジタル処理部6から出力される画像を確認可能なように表示するLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等の表示部10と、デジタル処理部6により処理された画像データに対して注視すべき画像領域である注視領域を検出する検出部12と、全体制御を実施する制御部13と、撮影者によるモード切替指示を受け付けるモード切替スイッチ14とを備える。
[0033]
なお、本実施の形態では、撮像装置100がメモリ7を有しているが、本発明は、メモリ内蔵の撮像装置に限られず、外部のメモリに接続されて使用される撮像装置であってもよい。また、点線で囲まれた処理部であるデジタル処理部6、エンコーダ8、記録部9、検出部12及び制御部13は、SoC(System on Chip)として実現されていてもよい。
[0034]
デジタル処理部6は、主画像格納部15および副画像格納部16を備える。
[0035]
主画像格納部15は、撮像素子3に撮像された映像を主映像としてメモリ7に格納する、本発明の主映像格納部である。具体的には、主画像格納部15は、撮像素子3に撮像された全体画像である主画像領域の画像に対応する画像信号をアナログ処理部5から読み出して、時間的に連続する複数の主画像からなる主映像としてメモリ7へ格納する。
[0036]
副画像格納部16は、撮像素子3に撮像された映像のうち、注視領域の映像を副映像としてメモリ7に格納する、本発明の副映像格納部である。具体的には、副画像格納部16は、結像された全体画像のうち、検出部12により検出された注視領域の画像に対応する画像信号をアナログ処理部5から読み出して、時間的に連続する複数の副画像からなる副映像としてメモリ7へ格納する。
[0037]
次に各構成要素について、より具体的に説明する。
[0038]
図2および図3は撮像素子3からデジタル処理部6が画像を読み出す動作を示す図である。説明を簡単にするため、例えば、撮像素子3の画素数を16画素×16画素の256画素、メモリ7に格納される動画の画素数を8画素×8画素の64画素とする。
[0039]
図2に示されるように、デジタル処理部6が有する主画像格納部15は、撮像素子3により撮像された全体画像(主画像領域の画像)21を主画像22としてメモリ7に格納する。このとき、主画像格納部15は、主画像領域の画像21の縦横を1/2倍に縮小して主画像22を作成する。つまり、主画像22の画素数は、主画像領域の画像21の画素数と比較して、縦横それぞれ1/2となる。
[0040]
また、図3に示されるように、デジタル処理部6が有する副画像格納部16は、撮像素子3により撮像された全体画像31のうち、検出部12により検出された注視すべき画像領域の画像(注視領域の画像)32を副画像33としてメモリ7に格納する。このとき副画像格納部16は、縦横の倍率は変えず等倍で副画像33を作成する。このように、撮像素子3は、メモリ7が主画像および副画像として記録する画像の画素数よりも多い数の画素数を有している。
[0041]
なお、主画像格納部15は、主画像22を作成する際に、撮像素子3からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子3からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。
[0042]
また、副画像格納部16は、副画像33を作成する際に、注視領域の画像32と副画像33が同じ画素数である例を示したが、画素数が異なってもよいし、画素数が異なる場合には画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。
[0043]
次に、撮像素子3に結像された画像が、記録部9により記録メディアに記録されるまでの流れについて説明する。
[0044]
図4は、撮像素子3に結像された画像が記録メディアに格納されるまでのデータフローについて、メモリ7のバッファ構成について着目して示した図である。
[0045]
同図に示すように、デジタル処理部6は、ハードウェア構成としては、YC変換処理部6Aとデジタルズーム部6Bとを備える。YC変換処理部6Aは、アナログ処理部5から出力されたRGBの画像信号をY(輝度)およびC(色差)の画像信号に変換する。デジタルズーム部6Bは、YC変換処理部6Aで変換された画像の拡大/縮小を行う。
[0046]
図2および図3で説明している例では、全体画像21はデジタルズーム部6Bにより1/2倍に縮小され、主画像22としてメモリ7に格納される。一方、注視領域の画像32は、デジタルズーム部6Bによる拡大/縮小処理を行なわず、等倍で切り出されて副画像33としてメモリ7に格納される。つまり、主画像格納部15は、YC変換処理部6Aおよびデジタルズーム部6Bのハードウェア構成を有し、副画像格納部16は、YC変換処理部6Aのハードウェア構成を有する。なお、副画像格納部16はデジタルズーム部6Bのハードウェア構成を有し、注視領域の画像32の拡大/縮小処理を行い、副画像を生成してもよい。
[0047]
次に、メモリ7に格納された主画像22および副画像33を入力画像としてエンコーダ8は圧縮処理を行なう。この際、エンコード処理に必要な参照画像やエンコードされた動画はエンコードバッファ7Cに格納され、記録部9はエンコードバッファ7Cからエンコードされた動画を取得し記録メディアに書き込む。
[0048]
このように、本実施の形態の撮像装置100は、撮像素子3が動画画素数よりも高精細な画素数を有しているため、副画像はデジタルズーム処理が不要になり、主画像についても高精細な画像から縮小処理を行なうため、画質劣化を抑えることが可能となる。また、所望のサイズに変換した画像をメモリ7へ格納するため、メモリアクセス回数や使用するメモリ容量を削減することも可能になる。
[0049]
図5は、デジタル処理部6の画像取り込み動作を時系列で示した図である。撮像素子3は動画フレーム周期よりも高速に撮像可能な素子であり、例えば、毎秒120フレーム撮像できる撮像素子である。ここで、全体画像51a〜51hは1/120秒周期で撮像素子3に撮像された画像を表している。デジタル処理部6は、撮像素子3の1フレーム周期ごとに主画像と副画像とを切り替えながらメモリ7へ画像を格納する。
[0050]
すなわち主画像格納部15は、全体画像51b、51d、51f、51hを主画像領域の画像として画素数を変換し、主画像53b、53d、53f、53hとしてメモリ7へ格納する。また、副画像格納部16は、全体画像51b、51d、51f、51hとは時間が異なる全体画像51a、51c、51e、51gの注視領域の画像を副画像52a、52c、52e、52gとしてメモリ7へ格納する。
[0051]
これにより、主画像53b、53d、53f、53hは1/60秒周期、副画像52a、52c、52e、52gも1/60秒周期となる。つまり、デジタル処理部6は、1系列の全体画像から異なる2つの系列の画像を生成し、メモリ7へ格納する。
[0052]
図6は、メモリ7に格納された主画像および副画像をエンコードし、外部の記録メディアに記録する動作を説明するための模式図である。
[0053]
エンコーダ8は、主画像61を画像圧縮し主画像動画63を生成すると共に、副画像62を画像圧縮し副画像動画64を生成する。記録部9は生成された2つの異なる動画を2つのファイルとして記録メディア65に格納する。また、エンコーダ8は主画像61と副画像62を画像圧縮しマルチアングル動画66を生成する。記録部9は生成された1つのマルチアングル動画66を1つのファイルとして記録メディア65に格納する。
[0054]
なお、ここでは2つの異なる画像をエンコードする例を記載しているが2つに限定するものではない。また、複数の動画として記録する場合において、関連のある動画であることを示すためにファイル名やファイル管理情報の属性に特徴を持たせるようなことを実施しても構わない。
[0055]
また、撮像装置は、主画像の入力および副画像の入力について、撮像素子3の撮像能力(最高フレーム周期、画素数など)に応じて読み出しフレーム周期を決定し、エンコーダ8はそれぞれ決定されたフレーム周期で画像圧縮するようにしてもよい。
[0056]
次に、検出部12による注視領域の検出方法について説明する。
[0057]
図7は、検出部12の詳細な構成を示すブロック図である。なお、同図にはデジタル処理部6、制御部13及びモード切替スイッチ14も示されている。
[0058]
検出部12は、主画像のうち注視すべき領域である注視領域を繰り返し検出する。この検出部12は、フレームメモリ71、人物検出部72、人物向き検出部73、人物照合部74、人物登録部75、人物記憶部76、領域決定部77、経過時間タイマー78及び無効時間タイマー79を備える。具体的には、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、注視領域を再度検出する。また、人物記憶部76は人物データベース81を保持し、領域決定部77は人物検出・照合結果82及び優先状態83を保持する。
[0059]
フレームメモリ71は、デジタル処理部6の主画像格納部15から出力された主画像領域の画像に対応する画像信号を格納することにより、主画像を格納する。このフレームメモリ71はメモリ7の一部の領域であり、検出部12はデジタル処理部6を介してメモリ7の当該一部の領域から主画像を取り込む。なお、フレームメモリ71は、メモリ7とは物理的に別のメモリであってもよい。
[0060]
人物検出部72は、主画像のうち、人物が含まれる領域である少なくとも1つの人物領域を検出する。具体的には、人物検出部72は、人物の特徴的なパターンを予め保持しており、パターンマッチングを用いて、フレームメモリ71に格納された主画像に人物が含まれる否かを判定し、人物が含まれる場合、当該人物を含む領域を人物領域として検出する。さらに、人物検出部72は、検出した人物領域を示す領域情報(領域ID、位置、大きさ)を領域決定部77に渡す。ここで、領域IDとは検出した人物領域のそれぞれと1対1に対応するIDであり、位置とは主画像における人物領域の基準点を示す座標であり、大きさとは主画像における人物領域の大きさである。
[0061]
人物向き検出部73は、人物検出部72で検出された少なくとも1つの人物領域のそれぞれに含まれる人物の向きを検出する。具体的には、人物向き検出部73は、人物検出部72で検出された人物領域の情報を使用し、その人物がどちらの方向を向いているかを検出し、人物の向き情報(領域ID、方向、角度)を領域決定部77に渡す。例えば、人物検出部72で検出された人物領域の画像をフレームメモリ71に格納された主画像から抽出し、抽出した人物領域の画像から当該人物領域の人物の向きを特定し、人物の向き情報を検出する。
[0062]
人物照合部74は、本発明の照合部であって、人物検出部72により検出された少なくとも1つの人物領域のそれぞれに含まれる人物と、人物記憶部76に保持されている人物情報とを照合する。具体的には、人物照合部74は、人物検出部72により検出された少なくとも1つの人物領域のそれぞれに含まれる人物の特徴と、人物記憶部76に保持されている特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出する。より具体的には、人物照合部74は、人物検出部72で検出された人物領域の情報や人物向き検出部73で検出された人物向き情報を使用して人物の特徴量を抽出する。さらに、人物照合部74は、抽出した特徴量と、人物記憶部76に保持されている人物データベース81に登録された特定人物の特徴量とを照合し、特定人物である確からしさである類似度情報(領域ID、照合スコア)を領域決定部77に渡す。例えば、人物照合部74は、人物検出部72で検出された人物領域の画像をフレームメモリ71に格納された主画像から抽出し、抽出した人物領域の画像から当該人物領域に含まれる人物の特徴量を抽出する。そして、抽出した特徴量と、人物データベース81に登録された特定人物との特徴データとを照合することにより、当該人物領域に含まれる人物の特徴と、当該特徴データとの類似度を示す照合スコアを算出する。
[0063]
人物登録部75は、人物照合部74で照合した人物が人物データベース81に登録されていなかった場合、人物データベース81に新たな人物の特徴量データを登録する。
[0064]
人物記憶部76は、人物を示す人物情報を保持している、本発明の保持部である。具体的には、人物記憶部76は、人物情報と、当該人物情報に対応して、人物の特徴を示す人物データとが格納された人物データベース81を有する。人物データベース81のデータ構造については、後述する。
[0065]
領域決定部77は、本発明の領域検出部であって、人物検出部72によって検出された少なくとも1つの人物領域のいずれかを含む領域を注視領域として検出する。具体的には、領域決定部77は、人物検出部72、人物向き検出部73及び人物照合部74から渡された領域情報、人物の向き情報及び類似度情報と、撮影者により指示されたモードとに応じて、注視領域を決定する。この領域決定部77は、人物検出・照合結果82と優先状態83とを有する。
[0066]
人物検出・照合結果82は、人物検出部72で検出された人物領域ごとに対応して、当該人物領域を示す情報及び当該人物領域の人物を示す情報を格納するデータベースである。この人物検出・照合結果82のデータ構造については後述する。
[0067]
優先状態83は、領域決定部77による領域を決定するための判断基準となるモードを示す。具体的には、優先状態83は、(A)位置優先モード、(B)大きさ優先モード及び(C)照合優先モードのいずれかを示す。この優先状態83は、撮影者がモード切替スイッチ14を操作することにより、いずれかのモードに切り替えられる。
[0068]
(A)位置優先モードは、撮影者が撮りたい人物をより中央に映るよう構図を決定することを想定したモードである。領域決定部77は、優先状態83が位置優先モードの場合に、人物検出部72により検出された少なくとも1つの人物領域のうち、主画像の中心に近い人物領域を含む領域ほど優先的に注視領域として検出する。
[0069]
(B)大きさ優先モードは、撮影者が自身の撮りたい被写体をより手前に、より大きく映るように構図を決定することを想定したモードである。領域決定部77は、優先状態83が大きさ優先モードの場合に、人物検出部72により検出された少なくとも1つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に注視領域として検出する。
[0070]
(C)照合優先モードは、撮影者が撮りたい人物は自分の家族や知人など予め決まっていることを想定したモードである。領域決定部77は、優先状態83が照合優先モードの場合に、人物照合部74による照合結果に基づいて注視領域を検出する。具体的には、人物照合部74により算出された照合スコアが高い人物の人物領域を含む領域ほど優先的に注視領域として検出する。
[0071]
経過時間タイマー78は、領域決定部77により、所定の経過時間(例えば、10秒)が設定される。そして、経過時間タイマー78は、設定された経過時間が過ぎた場合にイベントを発生する。具体的には、経過時間タイマー78は、領域決定部77により所定の経過時間以上同一の領域が注視領域として決定されることを防止する。
[0072]
無効時間タイマー79は、領域決定部77により、所定の無効時間(例えば、20秒)が設定される。そして、無効時間タイマー79は、設定された無効時間が過ぎた場合にイベントを発生する。具体的には、無効時間タイマー79は、注視領域が所定の経過時間以上同一の領域である場合に起動されることにより、領域決定部77に注視領域を強制的に変更させる。
[0073]
以上のように構成された検出部12は、撮影者によって指示されたモードに応じて、注視領域を適応的に切り替えることができる。
[0074]
次に、図8、図9A及び図9Bを用いて、上記のように構成された検出部12の動作を説明する。具体的には、図8は検出部12の動作を説明するための図であり、図9Aは人物データベース81のデータ構造の一例を示す図であり、図9Bは人物結果・照合結果82のデータ構造の一例を示す図である。なお、ここでは人物を特定するための情報として顔の位置や向きを用いて説明するが、顔情報を用いた領域決定方法に限定するものではなく、別の手法を用いて領域を決定しても構わない。
[0075]
図8に示す主画像91は16画素×16画素の画像であり左上の画素を原点座標(0,0)として位置を表す。例えば、領域ID1の領域情報としては、位置(11,4)、大きさ2として表される。
[0076]
人物データベース81は、図9Aに示すように、登録された人物登録IDごとに対応して、名前及び特徴量データが格納されている。この人物データベース81には、例えば、撮影者により特徴量データが登録されている。
[0077]
人物検出・照合結果82は、人物検出部72で検出された領域IDごとに対応して、当該領域IDに対応する人物領域の位置及び大きさと、当該人物領域に含まれる人物の向きと、当該人物領域に含まれる人物の照合スコアと、当該人物領域を有効とするか否かを示す有効フラグとが格納されている。具体的には、この人物検出・照合結果82は、人物検出部72で検出された領域ID、位置及び大きさと、人物向き検出部73で検出された向きと、人物照合部74で算出された照合スコアと、当該人物領域を注視領域として選択できるか否かを示す有効フラグとが格納されている。
[0078]
まず人物検出部72は、主画像91から3人の人物それぞれに対応する人物領域を検出し、検出結果を領域決定部77に渡す。検出結果はそれぞれ、例えば、領域ID1として位置(11,4)、大きさ2の領域、領域ID2として位置(8,7)、大きさ2.5の領域、領域ID3として位置(2,9)、大きさ3の領域となっている。人物検出部72から検出結果を受け取った領域決定部77は、当該検出結果を人物検出・照合結果82に格納する。
[0079]
次に人物向き検出部73は、人物検出部72により検出された3つの人物領域のそれぞれについて人物の向き検出を行ない、結果を領域決定部77に渡す。検出結果はそれぞれ、例えば領域ID1として右45°、領域ID2として右90°、領域ID3として正面となっている。人物向き検出部73から検出結果を受け取った領域決定部77は、当該検出結果を人物検出・照合結果82に格納する。
[0080]
次に人物照合部74は、前記3つの人物領域のそれぞれに対して人物データベース81に登録済みの特徴量データとの照合を行ない、照合結果を領域決定部77に渡す。照合結果はそれぞれ、例えば、領域ID1は人物登録ID1との照合スコアとして90ポイント、領域ID2は人物登録ID2との照合スコアとして80ポイント、領域ID3と照合できたものは存在しないとなっている。人物照合部74から照合結果を受け取った領域決定部77は、当該照合結果を人物検出・照合結果82に格納する。
[0081]
次に、領域決定部77は、人物検出・照合結果82及び優先状態83に基づき、注視領域を決定する。
[0082]
図10は、領域決定部77の動作を示すフローチャートである。
[0083]
領域決定部77は、優先状態83が(A)位置優先モード、(B)大きさ優先モード及び(C)照合優先モードのいずれであるかを判定する(ステップS01)。
[0084]
優先状態83が(A)位置優先モードの場合(ステップS01で位置優先モード)、領域決定部77は、人物検出・照合結果82に格納された各領域IDのうち有効フラグが有効な領域IDの中から、主画像の中心に最も近い位置に対応する領域IDを選択する(ステップS02)。例えば、図8の例においては、位置(8,8)に最も近い人物領域の領域IDが選択される。よって、図8及び図9Bでは領域ID2が選択される。
[0085]
また、優先状態83が(B)大きさ優先モードの場合(ステップS01で大きさ優先モード)、領域決定部77は、人物検出・照合結果82に格納された各領域IDのうち有効フラグが有効な領域IDの中から、最も大きさが大きい領域IDを選択する(ステップS03)。例えば、図8及び図9Bでは領域ID3が選択される。
[0086]
また、優先状態83が(C)照合優先モードの場合(ステップS01で照合優先モード)、領域決定部77は、人物検出・照合結果82に格納された各領域IDのうち有効フラグが有効な領域IDの中から、照合スコアが最も高い領域IDを選択する(ステップS04)。例えば、図8及び図9Bでは領域ID1が選択される。
[0087]
なお、優先状態83がいずれのモードであっても、人物検出・照合結果82に格納された各領域IDのうち有効フラグが有効な領域IDがない場合、領域IDは選択されない。また、優先状態83がいずれのモードであっても、人物検出部72で検出された人物領域がない場合も、領域IDは選択されない。
[0088]
次に、領域決定部77は、各モード((A)位置優先モード、(B)大きさ優先モード及び(C)照合優先モード)に応じた領域IDの選択後に、選択した領域IDがあるか否かを判断する(ステップS05)。
[0089]
選択された領域IDがある場合(ステップS05でYES)、選択した領域IDの人物領域を含む領域92を注視領域とする(ステップS06)。例えば、図8及び図9Bにおいて位置優先モードの場合、領域決定部77は領域92を注視領域とすることになる。ここで、領域決定部77は、選択した領域IDの人物領域が注視領域の中心になるように、注視領域を決定する。
[0090]
なお、領域ID2の人物領域に含まれる人物の向きが右90°であるので、人物領域を中心に注視領域を決定するのではなく、当該人物の向いている方向に何か別の被写体が存在すると判断し、人物の向きの方向にシフトさせた領域を中心に注視領域を決定してもよい。例えば、図8において、領域ID2をシフトさせた領域を中心とする領域93を注視領域としてもよい。こうすることで、本実施の形態に係る撮像装置100は、人物の視線方向も副画像として撮影できるので、見て分かりやすい映像にすることができる。
[0091]
ところで、領域決定部77は、単調なカメラワークにならないよう、経過時間タイマー78により同一領域IDが選択されている経過時間を監視する。
[0092]
具体的には、領域決定部は注視領域を決定(ステップS06)した後に、前回選択された領域IDと今回選択された領域IDを比較し、領域IDに変化があるか否かを判断する(ステップS07)。
[0093]
領域IDに変化があった場合(ステップS07でYES)、領域決定部77は、経過時間タイマー78に同一の領域IDの選択が許容される経過時間を設定し、経過時間タイマーを起動する(ステップS08)。言い換えると、経過時間タイマー78を、所定時間に再設定する。この所定時間とは、例えば、5秒以上かつ30秒以下である。これにより、副映像を観ていて飽きない魅力的な映像にできる。
[0094]
一方、領域IDに変化がない場合(ステップS07でNO)、又は、経過時間タイマー78を再設定した後、領域決定部77は、経過時間タイマー78によりイベントが発生するか否かを判断する(ステップS09)。
[0095]
経過時間タイマー78によりイベントが発生した場合(ステップS09でYES)、つまり同一の領域IDが一定期間選択され続けた場合、領域決定部77は、一定期間選択された領域IDを以降の一定期間選択させないようにするため人物検出・照合結果82の該当する領域IDの有効フラグをクリアする。さらに、領域決定部77は、該当する領域IDの無効時間を無効時間タイマー79に設定し、無効時間タイマー79を起動する(ステップS10)。その後、ステップS01に戻り、上記処理を繰り返す。
[0096]
撮影者がカメラワークを変更したり、被写体が移動したりする場合は、モードに応じた優先度で選択される領域IDが変化し、経過時間タイマー78に設定した経過時間のイベントが発生する前に、経過時間タイマー78が再設定される。ところが単調なカメラワークで動きの少ないシーンなどの場合は、同一領域IDが一定期間選択され続け、経過時間タイマー78が再設定されないため、経過時間タイマー78に設定した経過時間のイベントが発生し、人物検出・照合結果82の該当する領域IDの有効フラグをクリアし該当する領域IDが一定期間選択できないようになる。有効フラグがクリアされている期間において、領域決定部77が次回領域IDを選択する際には(ステップS02、ステップS03又はステップS04)、有効フラグがクリアされた領域IDを除く残りの領域IDから優先度の高い領域IDを選択する。これにより、異なる人物領域が一定期間毎に選択されるので、注視領域も一定期間毎に異なる領域となる。よって、撮像装置100は、副画像に変化をつけることができる。
[0097]
ここで、主画像内に検出された人物が1人しかいない状態で一定期間経過したとき、あるいはカメラワークの変更もしくは被写体の移動により選択すべき領域IDがなくなった場合(ステップS05でNO)、主画像91の領域を注視領域とし、経過時間タイマー78を停止する(ステップS11)。こうすることで複数の人物が検出されない場合でも副画像に変化をつけることができる。
[0098]
連続で選択された領域IDは、一定期間後に選択対象に戻さなければならない。具体的には、ステップS09で経過時間タイマー78によるイベントが発生しなかったと判断された場合(ステップS09でNO)、又は、ステップS11における経過時間タイマー78を停止した後に、領域決定部77は、無効時間タイマー79によりイベントが発生した否かを判断する(ステップS12)。
[0099]
ステップS10で設定された無効時間タイマー79によりイベントが発生した場合(ステップS12でYES)、該当する領域IDを選択対象に戻すため人物検出・照合結果82の該当する領域IDの有効フラグを有効にし、無効時間タイマー79を停止する(ステップS13)。その後、ステップS01に戻り、上記処理を繰り返す。
[0100]
一方、無効時間タイマー79によるイベントが発生しない場合(ステップS12でNO)、ステップS01に戻り、上記処理を繰り返す。
[0101]
このように、検出部12は、撮影者によって指示されたモードに応じて、注視領域を適応的に切り替える。よって、本実施の形態に係る撮像装置100は、撮影者が単調なカメラワークで撮影を行った場合でも、副画像として変化に富んだ映像を記録することができる。
[0102]
以上のように、本実施の形態に係る撮像装置100は、撮像素子3により撮像された画像を主画像としてメモリ7に格納する主画像格納部15と、メモリ7に格納された主画像のうち、注視すべき領域である注視領域を繰り返し検出する検出部12と、撮像素子3に撮像された画像のうち、注視領域の映像を副映像としてメモリ7に格納する副画像格納部16と、主画像格納部15及び副画像格納部16によりメモリ7に格納された主画像及び副画像を圧縮するエンコーダ8と、エンコーダ8により圧縮された主画像及び副画像を記録媒体に記録する記録部9とを備え、検出部12は、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、注視領域を再度検出する。
[0103]
これにより、本実施の形態に係る撮像装置100は、アマチュアの撮影者が撮影する主画像とは別に、副画像として適応的にシーンの切り替えを行ない躍動感のある映像を記録できる。
[0104]
なお、フレームメモリ71の物理的な場所は言及しておらず、メモリ7上に存在してもよい。また、一定期間同一の領域IDが選択され続けた場合に一旦そのIDを無効化し次の候補を選択するが、その際に異なる領域IDに切り替えてもよいし、以前選択されていた領域IDと今回選択された領域IDの両方を含む統合領域を注視領域としてもよい。また、一の人物領域を含む領域Aから他の一の人物領域を含む領域Bへ注視領域を切り替えるときは、領域Aからと領域Bへと注視領域を瞬間的に切り替えてもよいし、領域Aから領域Bへと仮想的なパン/チルト/ズームを行なっているように連続的に領域を移動させてもよい。
[0105]
また、経過時間タイマー78に設定する経過時間の値は毎回同じでもよいし、優先度の低い領域IDが選択されたときは設定する経過時間を短くするなど、優先度に連動して時間を変更してもよい。領域IDを無効にする場合も同様である。経過時間を計測する経過時間タイマー78と、無効時間を計測する無効時間タイマー79とは、物理的に別々に存在してもよいし、物理的には1つで論理的に2系統使える構成でもよい。
[0106]
また、実施の形態の内容は半導体集積回路として全てハードウェアで実現されてもよいし、一部の処理をソフトウェアで実現しても構わない。
[0107]
また、図10では説明していないが、次のような実施の形態でも構わない。ステップS04において照合優先モードで人物データベース81に登録されていない人物が検出された場合は、人物登録部75は今回検出された人物を人物データベース81に登録し、出現頻度をカウントする。領域決定部77は、新規に登録された人物の出現頻度と照合結果とを用いて特定の個人が含まれる領域を注視領域として選択することが可能となる。つまり、人物記憶部76は、人物検出部72により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、領域決定部77は、人物記憶部76に保持された回数が多い人物の人物領域を含む領域ほど優先的に注視領域として検出する。こうすることで、撮像装置が頻繁に出現する人物を副画像として撮影できるので、撮影者は、予め人物を登録しておくという煩わしさを回避することができる。
[0108]
以上、本発明に係る撮像装置100について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。これらの実施の形態における任意の構成要素を組み合わせて実現される別の形態や、本発明の主旨を逸脱しない範囲でこれらの実施の形態に対して当業者が思いつく変形を施して得られる形態も、本発明に含まれる。
[0109]
例えば、人物向き検出部73に加えて人物動き検出部を設け、人物の向きだけでなく動き方向も考慮して副画像領域の枠をシフトさせてもよい。
[0110]
また、上記実施の形態においては、被写体として人物を挙げたがこれに限らない。例えば、被写体として動物でもよいし、飛行機又は電車でもよい。

Industrial Applicability

[0111]
本発明は、撮像装置として、特に、アマチュアの撮影者が手軽に良好な映像を撮影できる撮像装置として、例えば民生用ビデオカメラなどの分野で有用である。

Reference Signs List

[0112]
1 レンズ
2 レンズ駆動部
3 撮像素子
4 撮像素子駆動部
5 アナログ処理部
6 デジタル処理部
7 メモリ
8 エンコーダ
9 記録部
10 表示部
11 ズームスイッチ
12 検出部
13 制御部
15 主画像格納部
16 副画像格納部
21、31、51a〜51h 全体画像
22、53b、53d、53f、53h、61、91 主画像
32 注視領域の画像
33、52a、52c、52e、52g、62 副画像
63 主画像動画
64 副画像動画
65 記録メディア
66 マルチアングル動画
71 フレームメモリ
72 人物検出部
73 人物向き検出部
74 人物照合部
75 人物登録部
76 人物記憶部
77 領域決定部
78 経過時間タイマー
79 無効時間タイマー
81 人物データベース
82 人物検出・照合結果
92、93 領域

Claims

[1]
撮像素子およびメモリに接続される半導体集積回路であって、
前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、
前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を繰り返し検出する検出部と、
前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、
前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、
前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、
前記検出部は、
現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、前記注視領域を再度検出する
半導体集積回路。
[2]
前記検出部は、
前記撮像素子により撮像された映像のうち、人物が含まれる領域である少なくとも1つの人物領域を検出する人物検出部と、
検出された少なくとも1つの人物領域のいずれかを含む領域を前記注視領域として検出する領域検出部とを備える
請求項1記載の半導体集積回路。
[3]
前記領域検出部は、
検出された少なくとも1つの人物領域のうち、前記主映像の中心に近い人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項2記載の半導体集積回路。
[4]
前記領域検出部は、
検出された少なくとも1つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項2記載の半導体集積回路。
[5]
前記検出部は、さらに、
人物を示す人物情報を保持している保持部と、
前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物と、前記保持部に保持されている前記人物情報とを照合する照合部を備え、
前記領域検出部は、
前記照合部による照合結果に基づいて前記注視領域を検出する
請求項2記載の半導体集積回路。
[6]
前記保持部は、さらに、
前記人物情報に対応して、人物の特徴を示す特徴データを保持し、
前記照合部は、
前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物の特徴と、前記保持部に保持されている前記特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出し、
前記領域検出部は、
算出された前記照合スコアが高い人物の人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項5記載の半導体集積回路。
[7]
前記保持部は、さらに、
現在までに前記人物検出部により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、
前記領域検出部は、
前記保持部に保持された回数が多い人物の人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項5記載の半導体集積回路。
[8]
前記検出部は、さらに、前記人物検出部により検出された少なくとも1つの人物領域のそれぞれに含まれる人物の向きを検出する人物向き検出部を備え、
前記領域検出部は、前記人物向き検出部により検出された前記向きを用いて、人物の後方の領域よりも前方の領域が大きくなるように前記注視領域を検出する
請求項2〜7のいずれか1項に記載の半導体集積回路。
[9]
前記所定時間は、5秒以上かつ30秒以下である
請求項1〜8のいずれか1項に記載の半導体集積回路。
[10]
請求項1〜9のいずれか1項に記載の半導体集積回路と、撮像素子と、表示装置とを備え、
前記主映像及び前記副映像を前記メモリに格納する
撮像装置。

Drawings

[ Fig. 1]

[ Fig. 2]

[ Fig. 3]

[ Fig. 4]

[ Fig. 5]

[ Fig. 6]

[ Fig. 7]

[ Fig. 8]

[ Fig. 9A]

[ Fig. 9B]

[ Fig. 10]