PATENTSCOPE は、メンテナンスのため次の日時に数時間サービスを休止します。サービス休止: 月曜日 03.02.2020 (10:00 午前 CET)
国際・国内特許データベース検索
このアプリケーションの一部のコンテンツは現在ご利用になれません。
この状況が続く場合は、次のお問い合わせ先までご連絡ください。ご意見・お問い合わせ
1. (WO2012008143) 画像生成装置
Document

明 細 書

発明の名称 画像生成装置

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031  

発明の効果

0032   0033  

図面の簡単な説明

0034  

発明を実施するための形態

0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286  

産業上の利用可能性

0287  

符号の説明

0288  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36  

明 細 書

発明の名称 : 画像生成装置

技術分野

[0001]
 本発明は、動画像の画像処理に関する。より具体的には、本発明は、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。

背景技術

[0002]
 従来の撮像処理装置は、高解像度化を図る目的で撮像素子の画素寸法が小型化されるにつれて、撮像素子の1画素に入射する光量が減少していた。その結果、各画素の信号対雑音比(S/N)の低下につながり、画質を維持することが困難であった。
[0003]
 特許文献1は、3枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームな動画像の復元を実現している。この方法では、2種類の解像度の撮像素子が用いられ、高解像度な撮像素子は長時間露光で画素信号を読み出し、低解像度な撮像素子は短時間露光で画素信号を読み出すことによって、光量を確保していた。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2009-105992号公報

発明の概要

発明が解決しようとする課題

[0005]
 高解像度の画素信号を長時間露光で読み取ると、被写体が動いている場合には動きぶれが入った画像になってしまう。そのため、得られた動画像の画質は結果として高かったものの、動きの検出が困難な一部の範囲においては復元した動画像上に色にじみが見られることがあり、画質改善の余地があった。
[0006]
 本発明の目的は、光量を確保しつつ、色にじみの発生を低減した動画像を得ることにある。本発明の他の目的は、同時に高フレームで高解像度な動画像の復元を行うことである。

課題を解決するための手段

[0007]
 本発明による画像生成装置は、同一の事象を撮影して得られた第1動画像、第2動画像および第3動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、前記新たな動画像の信号を出力する出力端子とを備えており、前記第2動画像の色成分は前記第1動画像の色成分と異なっており、前記第2動画像の各フレームは、前記第1動画像の1フレーム時間よりも長時間の露光によって得られており、前記第3動画像の色成分は前記第2動画像の色成分と同じであり、前記第3動画像の各フレームは、前記第2動画像の1フレーム時間よりも短時間の露光によって得られている。
[0008]
 前記高画質処理部は、前記第1動画像、前記第2動画像および前記第3動画像の信号を利用して、前記第1動画像または前記第3動画像のフレームレート以上のフレームレートで、かつ、前記第2動画像または前記第3動画像の解像度以上の解像度の新たな動画像を生成してもよい。
[0009]
 前記第2動画像の解像度は前記第3動画像の解像度よりも高く、前記高画質処理部は、前記第2動画像の信号および前記第3動画像の信号を利用して、前記第2動画像の解像度以上の解像度を有し、前記第3動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第2動画像および第3動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成してもよい。
[0010]
 前記高画質処理部は、前記新たな動画像を前記第2動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第2動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定してもよい。
[0011]
 前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成してもよい。
[0012]
 前記高画質処理部は、前記新たな動画像を前記第1動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第1動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定してもよい。
[0013]
 前記第2動画像と前記第3動画像のフレームはフレーム間の開放露光により得られてもよい。
[0014]
 前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。
[0015]
 前記画像生成装置は、前記第1動画像および前記第3動画像の少なくとも1つから対象物の動きを検出する動き検出部をさらに備え、前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成してもよい。
[0016]
 前記動き検出部は、前記動き検出の信頼度を算出し、前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成してもよい。
[0017]
 前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の2乗和の符号を逆にした値を前記信頼度として算出し、前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成してもよい。
[0018]
 前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出してもよい。
[0019]
 前記高画質処理部は、前記第1動画像および前記第3動画像から色差情報を抽出し、前記第1動画像および前記第3動画像から取得された輝度情報と、前記第2動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成してもよい。
[0020]
 前記高画質処理部は、前記第1動画像、第2動画像および第3動画像の少なくとも1つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後の時刻の画像以降の画像を用いて新たな動画像の生成を開始してもよい。
[0021]
 前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力してもよい。
[0022]
 前記画像生成装置は、単板の撮像素子を利用して、前記第1動画像、第2動画像および第3動画像を生成する撮像部をさらに備えていてもよい。
[0023]
 前記画像生成装置は、撮影の環境に応じて前記高画質化部の処理を制御する制御部をさらに備えていてもよい。
[0024]
 前記撮像部は、空間的な画素加算演算を行うことにより、前記第3動画像の解像度よりも高い解像度の前記第2動画像を生成しており、前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。
[0025]
 前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。
[0026]
  前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。
[0027]
 前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。
[0028]
 前記高画質処理部は、前記新たな動画像を前記第2動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第2動画像の各フレームの画素値との誤差が減少するよう、かつ、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。
[0029]
 前記画像生成装置は、3板の撮像素子を利用して、前記第1動画像、第2動画像および第3動画像を生成する撮像部をさらに備えていてもよい。
[0030]
 本発明による画像生成方法は、同一の事象を撮影して得られた第1動画像、第2動画像および第3動画像の信号を受け取るステップであって、前記第2動画像の色成分は前記第1動画像の色成分と異なっており、前記第2動画像の各フレームは、前記第1動画像の1フレーム時間よりも長時間の露光によって得られており、前記第3動画像の色成分は前記第2動画像の色成分と同じであり、前記第3動画像の各フレームは、前記第2動画像の1フレーム時間よりも短時間の露光によって得られている、ステップと、前記第1動画像、第2動画像および第3動画像から、前記事象を表す新たな動画像を生成するステップと、前記新たな動画像の信号を出力するステップとを包含する。
[0031]
 本発明によるコンピュータプログラムは、複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、上述の画像生成方法を実行させる、コンピュータプログラム。

発明の効果

[0032]
 本発明によれば、長時間露光の読み出しをしていた色成分画像の画素(たとえばG画素)を、2種類の画素、すなわち長時間露光を行う画素と、短時間露光を行うとともにフレーム内で画素加算する画素とに分けて、各種類の画素から信号を読み出す。これにより、少なくともフレーム内で画素加算する画素については短時間露光であるため、全て長時間露光によって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
[0033]
 2種類の画素を利用して1つの色成分画像を得ることにより、その色成分画像については、十分な画素数(解像度)と感光量(明るさ)とを確保した、高フレームで高解像度の動画像を復元することができる。

図面の簡単な説明

[0034]
[図1] 実施形態1における撮像処理装置100の構成を示すブロック図である。
[図2] 高画質化部105のより詳細な構成の一例を示す構成図である。
[図3] (a)および(b)は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
[図4] (a)および(b)は、2×2画素の空間加算をする際の仮想的サンプル位置を示す図である。
[図5] G L、G s、RおよびBに関連する画素信号の読み出しタイミングを表す図である。
[図6] 実施形態1による高画質処理部202の構成の一例を示す図である。
[図7] RGB色空間と球面座標系(θ、ψ、r)との対応例を示す図である。
[図8] 実施形態1の処理における入力動画像と出力動画像のイメージ図である。
[図9] 単板の撮像素子において、G画素をすべて長時間露光した場合と実施形態1で提案した方法との処理後のPSNR値との対応関係を示す図である。
[図10] 比較実験で用いた動画像の3つのシーンを示す図である。
[図11] 比較実験で用いた動画像の3つのシーンを示す図である。
[図12] 比較実験で用いた動画像の3つのシーンを示す図である。
[図13] 比較実験で用いた動画像の3つのシーンを示す図である。
[図14] 比較実験で用いた動画像の3つのシーンを示す図である。
[図15] 比較実験で用いた動画像の3つのシーンを示す図である。
[図16] 生成される動画像の信頼度γと符号化の圧縮率δとの関係を示す図である。
[図17] 実施形態2による撮像処理装置500の構成を示す構成図である。
[図18] 実施形態2による高画質処理部202の詳細な構成を示す図である。
[図19] G簡易復元部1901の構成を示す図である。
[図20] (a)および(b)は、G S算出部2001およびG L算出部2002の処理の例を示す図である。
[図21] 実施形態1の高画質処理部202の構成に、さらにベイヤ復元部2201が追加された構成を示す図である。
[図22] ベイヤ配列のカラーフィルターの構成例を示す図である。
[図23] 実施形態2の高画質処理部202の構成に、さらにベイヤ復元部2201が追加された構成を示す図である。
[図24] 実施形態4による撮像処理装置300の構成を示す図である。
[図25] 実施形態4による制御部107の構成を示す図である。
[図26] 実施形態5による撮像処理装置の制御部107の構成を示す図である。
[図27] 実施形態6による撮像処理装置の制御部107の構成を示す図である。
[図28] 実施形態7による撮像処理装置の制御部107の構成を示す図である。
[図29] (a)および(b)は、単板の撮像素子と、カラーフィルターとの組み合わせ例を示す図である。
[図30] (a)および(b)は、G(G LおよびG S)の画素信号を生成するための撮像素子の構成例を示す図である。
[図31] (a)および(b)は、G(G LおよびG S)の画素信号を生成するための撮像素子の構成例を示す図である。
[図32] (a)~(c)は、RやBを主として含む各カラーフィルター中にG Sのカラーフィルターが含まれている構成例を示す図である。
[図33] (a)は3板用の薄膜光学フィルターの分光特性を示す図であり、(b)は単板用の染料フィルターの分光特性を示す図である。
[図34] (a)はグローバルシャッタを用いた露光タイミングを示す図であり、(b)はフォーカルプレーン現象発生時の露光タイミングを示す図である。
[図35] 動き検出部201を含まない画像処理部105を有する撮像処理装置500の構成を示すブロック図である。
[図36] 高画質化部105における高画質化処理の手順を示すフローチャートである。

発明を実施するための形態

[0035]
 以下、添付の図面を参照しながら、本発明による画像生成装置の実施形態を説明する。
[0036]
 (実施形態1)
 図1は、本実施形態における撮像処理装置100の構成を示すブロック図である。図1において、撮像処理装置100は、光学系101と、単板カラー撮像素子102と、時間加算部103と、空間加算部104と、高画質化部105とを備えている。以下、撮像処理装置100の各構成要素を詳細に説明する。
[0037]
 光学系101は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
[0038]
 単板カラー撮像素子102は、カラーフィルターアレイが装着された単板撮像素子である。単板カラー撮像素子102は、光学系101によって結ばれた光(光学像)を光電変換し、それによって得られた電気信号を出力する。この電気信号の値は、単板カラー撮像素子102の各画素値である。単板カラー撮像素子102からは、各画素に入射した光の量に応じた画素値が出力される。同じフレーム時刻に撮影された、同じ色成分の画素値により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
[0039]
 時間加算部103は、単板カラー撮像素子102によって撮像された、カラー画像における第1色の一部について光電変換値を時間方向に複数フレーム加算する。
[0040]
 ここで、「時間方向への加算」とは、連続する複数のフレーム(画像)の各々において共通の画素座標値を有する各画素の画素値を加算することである。具体的には、2フレームから9フレーム程度の範囲で、画素座標値が同じ画素の画素値を加算する。
[0041]
 空間加算部104は、単板カラー撮像素子102によって撮像された、カラー動画像の第1色の一部と、第2色及び第3色との光電変換値を空間方向に複数画素分加算する。
[0042]
 ここで、「空間方向への加算」とは、ある時刻に撮影された1フレーム(画像)を構成する、複数の画素の画素値を加算することである。具体的には、画素値が加算される「複数の画素」の例は、水平2画素×垂直1画素、水平1画素×垂直2画素、水平2画素×垂直2画素、水平2画素×垂直3画素、水平3画素×垂直2画素、水平3画素×垂直3画素、等である。これらの複数の画素に関する画素値(光電変換値)を空間方向に加算する。
[0043]
 高画質化部105は、時間加算部103によって時間加算された一部の第1色動画像、および、空間加算部104によって空間加算された一部の第1色動画像と第2色動画像および第3色動画像の各データを受け取り、これらに画像復元を行うことによって各画素における第1色から第3色の値を推定しカラー動画像を復元する。
[0044]
 図2は、高画質化部105のより詳細な構成の一例を示す構成図である。図2において、高画質化部105以外の構成は、図1と同一である。高画質化部105は、動き検出部201および高画質処理部202を有している。
[0045]
 動き検出部201は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、空間加算された一部の第1色動画像、第2色動画像、第3色動画像から動き(オプティカルフロー)を検出する。公知技術として、たとえばP. Anandan. "Computaional Framework and an algorithm for the measurement of visual motion", International Journal of Computer Vision, Vol. 2, pp. 283-310, 1989が知られている。
[0046]
 図3(a)および(b)は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部201は、基準とするフレーム(動きを求めるべく着目している時刻tにおける画像)内に、図3(a)に示す窓領域Aを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
[0047]
 探索範囲は、図3(b)に示すように、通常、移動量ゼロの位置Bを基準に予め一定の範囲(同図3(b)中のC)が設定される。また、パターンの類似の度合い(程度)は、(数1)に示す残差平方和(SSD:Sum of Square Differrences)や、(数2)に示す残差絶対値和(SAD:Sum of Absoluted Differences)を評価値として計算することによって評価する。
[数1]



[数2]


[0048]
 (数1)および(数2)において、f(x、y、t)は画像すなわち画素値の時空間的な分布であり、x,y∈Wは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
[0049]
 動き検出部201は、探索範囲内で(u,v)を変化させることにより、上記評価値を最小とする(u,v)の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎(例えば8画素×8画素)に求め、動きベクトルを生成する。
[0050]
 ここで、動き検出部201は、動き検出の信頼度の時空間的分布conf(x,y,t)を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。なお、信頼度が「高い」、「低い」という表現は、信頼度と予め定められた基準値とを比較したときに、その基準値よりも「高い」か「低い」かを意味している。
[0051]
 動き検出部201による、隣り合う2フレーム画像間の画像上の各位置での動きの求め方については、例えば、P.ANANDAN,"A Computational Framework and an Algorithm for the Measurement of Visual Motion",IJCV,2,283-310(1989)で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Lihi Zelkik-Manor、“Multi-body Segmentation:Revisinting Motion Consistency”、ECCV(2002)などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
[0052]
 信頼度の求め方については、上記P.ANANDANの文献に記載の方法を用いてもよい。または、ブロックマッチングを用いた動き検出の場合には、(数3)のように、動きに対応するブロック同士の画素値の差の2乗和を差の2乗和が取り得る最大値SSD maxから引いた値、つまりブロック同士の画素値の差の2乗和の符号を逆にした値Conf(x,y,t)を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の2乗和を2乗和が取り得る最大値SSD maxから引いた値conf(x,y,t)を信頼度として用いても良い。
[数3]


[0053]
 上述のように、ブロックごとに信頼度を求める場合には、動き検出部201は、信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、新たな動画像を生成してもよい。
[0054]
 また、撮影機器の姿勢の変化を検出する姿勢センサの情報を入力として用いても良い。この場合、動き検出部201は加速度や角加速度センサを備え、加速度の積分値として速度や角速度を取得する。または、動き検出部201は、姿勢センサの情報を受け取る姿勢センサ入力部をさらに備えていてもよい。これにより、動き検出部201は姿勢センサの情報に基づいて、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。
[0055]
 例えば、カメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。カメラが時刻tに水平方向にω hの角速度を持ち、垂直方向にω vの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上(撮影画像上)の位置(x,y)における時刻tにおける像の2次元的動き(u,v)と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系(レンズなど)の特性(焦点距離やレンズひずみなど)と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ω h・ω vから、撮像素子上(x,y)の像の速度(u,v)を参照するようにしてもよい。
[0056]
 このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。
[0057]
 図4(a)および(b)は、2×2画素の空間加算をする際の仮想的サンプル位置を示す。カラー撮像素子の各画素は、グリーン(G)、レッド(R)、ブルー(B)の3つの色の各成分を取得する。ここでは、グリーン(以下、Gと称す)を第1色とし、レッド(以下、Rと称す)、ブルー(以下、Bと称す)をそれぞれ第2色、第3色とする。
[0058]
 また、グリーン(G)の色成分画像のうち、時間加算されて得られる画像をG Lと記述し、空間加算されて得られる画像をG Sと記述する。なお、単に「R」,「G」,「B」,「G L」,「G S」と記載したときは、その色成分のみを含む画像を意味する。
[0059]
 図5は、G L、G s、RおよびBに関連する画素信号の読み出しタイミングを表す。G Lは4フレーム分の時間加算によって得られ、G s、R、Bは1フレームごとに得られる。
[0060]
 図4(b)は、図4(a)のRおよびBを2×2画素の範囲で空間加算した場合の、仮想的なサンプル位置を示す。同じ色の4つの画素の画素値が加算される。得られた画素値は、その4画素の中心に位置する画素の画素値とされる。
[0061]
 この場合、仮想的なサンプル位置は、RもしくはBについては、4画素おきに均等な配置になっている。しかし、空間加算による仮想的なサンプル位置において、RとBの間隔は非均等である。そのため、(数1)もしくは(数2)による(u,v)を、この場合4画素おきに変化させる必要がある。もしくは、図4(b)に示す仮想的なサンプル位置のRとBとの値から、各画素におけるRとBとの値を公知の補間方法によって求めた上で、上記の(u,v)を1画素おきに変化させるようにしてもよい。
[0062]
 上記の様にして得られた(数1)または(数2)を最小にする(u,v)の近傍での(u,v)の値の分布に対して、1次ないし2次関数を当てはめる(等角フィッテング法やパラボラフィッティング法として知られる公知の技術)ことによって、サブピクセル精度の動き検出を行う。
[0063]
 <各画素におけるGの画素値の復元処理>
 高画質処理部202は、次式を最小化して、各画素におけるGの画素値を計算する。
[数4]


ここで、H 1は時間サンプリング過程、H 2は空間サンプリング過程、fは復元すべき高空間解像度かつ高時間解像度のG動画像、撮像部101によって撮像されたGの動画像のうち、時間加算したものをg L、空間加算したものをg S、Mはべき指数、Qは復元すべき動画像fが満たすべき条件、すなわち拘束条件である。
[0064]
 たとえば数4の第1項に着目すると、第1項は、復元すべき高空間解像度かつ高時間解像度のG動画像fを、時間サンプリング過程H 1によってサンプリングして得られたg動画像と、実際に時間加算によって得られたg Lとの差の演算を意味する。時間サンプリング過程H 1を予め定めておき、この差分を最小化するfを求めると、このfは、時間加算処理によって得られたg Lと最もよく整合するといえる。第2項についても同様に、差分を最小化するfは、空間加算処理によって得られたg sと最もよく整合するといえる。
[0065]
 そして、数4を最小化するfは、時間加算処理および空間加算処理によって得られたg Lおよびg sの両方を総合的によく満足するといえる。高画質処理部202は、数4を最小化する、高空間解像度かつ高時間解像度のG動画像の画素値を計算する。なお、高画質処理部202は高空間解像度かつ高時間解像度のG動画像のみを生成するのではなく、高空間解像度のB動画像およびR動画像も生成する。それらの処理は後に詳しく説明する。
[0066]
 以下、数4に関してより詳しく説明する。
[0067]
 f、g Lおよびg Sは、動画像の各画素値を要素とする縦ベクトルである。以下では、動画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、1画素につき1個の値を考えればよい。fの要素数は、例えば、復元すべき動画像を横2000画素、縦1000画素、30フレームとすると、2000×1000×30=60000000となる。
[0068]
 図4に示すようなベイヤ配列の撮像素子で撮像する場合、g Lおよびg Sの要素数は、それぞれfの4分の1となり、15000000となる。fの縦横の画素数と信号処理に用いるフレーム数は、高画質化部105によって設定される。時間サンプリング過程H 1は、fを時間方向にサンプリングする。H 1は、行数がg Lの要素数と等しく、列数がfの要素数と等しい行列である。空間サンプリング過程H 2は、fを空間方向にサンプリングする。H 2は、行数がg Sの要素数と等しく、列数がfの要素数と等しい行列である。
[0069]
 現在一般に普及しているコンピュータでは、動画像の画素数(例えば幅2000画素×高さ1000画素)とフレーム数(例えば30フレーム)に関する情報量が多すぎるため、(数4)を最小化するfを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてfの一部を求める処理を繰り返すことにより、復元すべき動画像fを計算することができる。
[0070]
 次に、時間サンプリング過程H 1の定式化を簡単な例を用いて説明する。幅2画素(x=1,2)、高さ2画素(y=1,2)、2フレーム(t=1,2)の画像をベイヤ配列の撮像素子で撮像し、G Lを2フレーム分時間加算する場合のGの撮像過程について考える。
[数5]



[数6]


[0071]
 これらによれば、サンプリング過程H 1は以下のように定式化される。
[数7]


Lの画素数は、2フレーム分の全画素読み出しした画素数の8分の1になる。
[0072]
 次に、空間サンプリング過程H 2の定式化を簡単な例を用いて説明する。幅4画素(x=1,2,3,4)、高さ4画素(y=1,2,3,4)、1フレーム(t=1)の画像をベイヤ配列の撮像素子で撮像し、G Sを4画素分空間加算する場合のGの撮像過程について考える。
[数8]



[数9]


[0073]
 これらによれば、サンプリング過程H 2は以下のように定式化される。
[数10]


Sの画素数は、1フレーム全画素読み出しした画素数の16分の1になる。
[0074]
 (数5)と(数8)において、G 111~G 222やG 111~G 441は各画素におけるGの値を示し、3個の添字は順にx、y、tの値を示す。
[0075]
 (数4)のべき指数Mの値は、特に限定するものではないが、演算量の観点から、1または2が好ましい。
[0076]
 (数7)や(数10)は、fを時間的/空間的にサンプリングしてgを得る過程を示す。逆に、gからfを復元する問題は、一般に逆問題といわれる。拘束条件Qのない場合、下記(数11)を最小化するfは無数に存在する。
[数11]


[0077]
 このことは、サンプリングされない画素値に任意の値を入れても(数11)が成り立つことから、容易に説明できる。そのため、(数11)の最小化によってfを一意に解くことはできない。
[0078]
 そこで、fについての一意な解を得るために、拘束条件Qを導入する。Qは、画素値fの分布に関する滑らかさの拘束条件や、fから得られる動画像の動きの分布に関する滑らかさの拘束条件を与える。本明細書では、後者を動き拘束条件と呼び、前者を動き拘束条件以外の拘束条件と呼ぶこともある。拘束条件Qとして、動き拘束条件を利用するかどうか、および/または、動き拘束条件以外の拘束条件を利用するかどうかは、撮像処理装置100において予め定められていればよい。
[0079]
 画素値fの分布に関する滑らかさの拘束としては、以下の拘束式を用いる。
[数12]



[数13]


ここで、∂f/∂xは復元すべき動画像の画素値のx方向の1階の微分値を要素とする縦ベクトル、∂f/∂yは復元すべき動画像の画素値のy方向の1階の微分値を要素とする縦ベクトル、∂ 2f/∂x 2は復元すべき動画像の画素値のx方向の2階の微分値を要素とする縦ベクトル、∂ 2f/∂y 2は復元すべき動画像の画素値のy方向の2階の微分値を要素とする縦ベクトルである。また、||はベクトルのノルムを表す。べき指数mの値は、(数4)、(数11)におけるべき指数Mと同様に、1または2が望ましい。
[0080]
 なお、上記の偏微分値∂f/∂x、∂f/∂y、∂ 2f/∂x 2、∂ 2f/∂y 2は、着目画素近傍の画素値による差分展開により、例えば(数14)により近似計算することができる。
[数14]


[0081]
 差分展開は上記(数14)に限らず、例えば(数15)の様に、近傍の他の画素を参照するようにしてもよい。
[数15]


[0082]
 (数15)は(数14)による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、0≦α≦1の範囲のαで重み付けをして、以下の式を採用してもよい。
[数16]


[0083]
 差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、(数14)を用いて行ってもよい。
[0084]
 なお、動画像fの画素値の分布に関する滑らかさの拘束としては、(数12)、(数13)に限らず、例えば、(数17)に示す2階の方向微分の絶対値のm乗を用いても良い。
[数17]


[0085]
 ここで、ベクトルn minおよび角度θは1階の方向微分の2乗が最小になる方向であり、下記(数18)によって与えられる。
[数18]


[0086]
 さらに、動画像fの画素値の分布に関する滑らかさの拘束としては、下記(数19)から(数21)のいずれかのQを用いて、fの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。
[数19]



[数20]



[数21]


[0087]
 (数19)から(数21)において、w(x,y)は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記(数22)に示す画素値のこう配成分のべき乗和が、大きい場合にはw(x,y)の値が小さく、逆の場合にはw(x,y)の値が大きくなるようにすると、fのこう配に応じて拘束条件を適応的に変化させることができる。
[数22]


[0088]
 このような重み関数を導入することにより、復元される動画像fが必要以上に平滑化されることを防ぐことができる。
[0089]
 また、(数22)に示す輝度こう配の成分の2乗和の代わりに、(数23)に示す方向微分の、べき乗の大小によって、重み関数w(x,y)を定義してもよい。
[数23]


[0090]
 ここで、ベクトルn maxおよび角度θは方向微分が最大になる方向であり、下記(数24)によって与えられる。
[数24]


[0091]
 (数12)、(数13)、(数17)~(数21)に示したような、動画像fの画素値の分布に関する滑らかさの拘束を導入して(数4)を解く問題は、公知の解法(有限要素法等の変分問題の解法)によって計算することができる。
[0092]
 fに含まれる動画像の動きの分布に関する滑らかさの拘束としては、下記(数25)または(数26)を用いる。
[数25]



[数26]


ここで、uは動画像fから得られる各画素についての動きベクトルのx方向の成分を要素とする縦ベクトル、vは動画像fから得られる各画素についての動きベクトルのy方向の成分を要素とする縦ベクトルである。
[0093]
 fから得られる動画像の動きの分布に関する滑らかさの拘束としては、(数21)、(数22)に限らず、例えば(数27)、(数28)に示す1階または2階の方向微分としてもよい。
[数27]



[数28]


[0094]
 さらに、(数29)~(数32)に示すように、(数21)~(数24)の拘束条件を、fの画素値のこう配に応じて適応的に変化させてもよい。
[数29]



[数30]



[数31]



[数32]


ここで、w(x,y)は、fの画素値のこう配に関する重み関数と同一のものであり、(数22)に示す画素値のこう配の成分の、べき乗和、または、(数23)に示す方向微分の、べき乗によって定義されるものである。
[0095]
 このような重み関数を導入することにより、fの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される動画像fが必要以上に平滑化されることを防ぐことができる。
[0096]
 (数25)~(数32)に示したような、動画像fから得られる動きの分布に関する滑らかさの拘束を導入して(数4)を解く問題は、fについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。復元すべき動画像fと動き情報(u,v)が相互に依存するためである。
[0097]
 この問題に対しては、公知の解法(EMアルゴリズム等を用いた変分問題の解法)によって計算することができる。その際、繰り返し計算に、復元すべき動画像fと動き情報(u,v)の初期値が必要になる。
[0098]
 fの初期値としては、入力動画像の補間拡大画像を用いればよい。一方、動き情報(u,v)としては、動き検出部201において(数1)ないし(数2)を計算して求めた動き情報を用いる。その結果、高画質化部105が、上述のごとく、(数25)~(数32)に示したような、動画像fから得られる動きの分布に関する滑らかさの拘束を導入して(数4)を解くことにより、超解像処理結果の画質を向上させることができる。
[0099]
 高画質化部105における処理は、(数12)、(数13)、(数17)~(数21)に示した画素値の分布に関する滑らかさの拘束のいずれかと、(数25)~(数32)に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、(数33)のように同時に用いてもよい。
[数33]


ここで、Q fはfの画素値のこう配に関する滑らかさの拘束、Q uvはfから得られる動画像の動きの分布に関する滑らかさの拘束、λ 1,λ 2はQ fとQ uvの拘束に関する重みである。
[0100]
 画素値の分布に関する滑らかさの拘束と、動画像の動きの分布に関する滑らかさの拘束の両方を導入して(数4)を解く問題も、公知の解法(たとえばEMアルゴリズム等を用いた変分問題の解法)によって計算することができる。
[0101]
 また、動きに関する拘束は、(数25)~(数32)に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差(動きベクトルの始点と終点間における画素値の差)を評価値として、これを小さくするようにしてもよい。対応点間の残差は、fを関数f(x,y,t)として表すと、(数34)のように表せる。
[数34]


[0102]
 fをベクトルとして、動画像全体について考えると、各画素における残差は下記(数35)に示すようにベクトル表現することができる。
[数35]


[0103]
 残差の平方和は下記(数36)に示すように表すことができる。
[数36]


[0104]
 (数35)、(数36)において、H mはベクトルfの要素数(時空間の総画素数)×fの要素数の行列である。H mでは、各行において、動きベクトルの視点と終点に相当する要素だけが0でない値を持ち、それ以外の要素は0の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、-1と1の値を持ち、他の要素は0である。
[0105]
 動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
[0106]
 (数36)をQ mとおき、拘束条件を(数37)のようにしてもよい。
[数37]


ここで、λ3は拘束条件Q mに関する重みである。
[0107]
 以上述べた方法により、動き検出部201でG SとRとBの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたGの動画像(複数フレームにわたって時間蓄積された画像G Lと1フレーム内で空間加算された画像G S)を高画質化部105で高時空間解像度化することができる。
[0108]
 <各画素におけるR,Bの画素値の復元処理>
 RとBについては、簡易な処理によってより高解像度化した結果をカラー動画像として出力できる。たとえば、図6に示すように、R動画像、B動画像に上述の高時空間解像度化したGの高周波成分を重畳すればよい。その際、高周波数域以外(中低周波数域の)のR、G、B間の局所的な相関関係に応じて、重畳する高域成分の振幅を制御してもよい。これにより、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。
[0109]
 また、R、Bについても、高時空間高解像度化したGの高域を重畳して高解像度化するので、より安定した高解像度化が可能となる。
[0110]
 図6は、上述の動作を行う高画質処理部202の構成の一例である。高画質処理部202は、G復元部501と、サブサンプリング部502と、G補間部503と、R補間部504と、R用ゲイン制御部505と、B補間部506と、B用ゲイン制御部507と、出力端子203G、203Rおよび203Bを備えている。
[0111]
 上述の通り、本実施形態においては、2種類のGの動画像、すなわち時間方向への加算が行われて得られたG L、および、空間方向への加算が行われて得られたG Sが生成される。そのため高画質処理部202には、Gの動画像を復元するためのG復元部501が設けられている。
[0112]
 G復元部501は、G LおよびG Sを利用してGの復元処理を行う。この処理は上述の通りである。
[0113]
 サブサンプリング部502は、高解像度化したGをR,Bと同じ画素数に間引く(サブサンプリングする)。
[0114]
 G補間部503は、サブサンプリング部502によって画素数が間引かれたGを、再びもとの画素数に戻す処理を行う。具体的にはG補間部503は、サブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。補間方法は周知の方法であってもよい。サブサンプリング部502およびG補間部503を設けた目的は、G復元部501から出力されたGと、サブサンプリングおよび補間が行われたGとを利用して、Gの高空間周波数成分を求めるためである。
[0115]
 R補間部504は、Rを補間する。
[0116]
 R用ゲイン制御部505は、Rに重畳するGの高域成分に対するゲイン係数を計算する。
[0117]
 B補間部506は、Bを補間する。
[0118]
 B用ゲイン制御部507は、Bに重畳するGの高域成分に対するゲイン係数を計算する。
[0119]
 出力端子203G、203Rおよび203Bは、高解像度化されたG、RおよびBをそれぞれ出力する。
[0120]
 なお、R補間部504およびB補間部506における補間方法は、それぞれG補間部503と同じであってもよいし、異なっていてもよい。補間部503、504および506がいずれも異なる補間方法を用いてもよい。
[0121]
 以下、上述の高画質処理部202の動作を説明する。
[0122]
 G復元部501は、時間方向への加算が行われて得られたG L、および、空間方向への加算が行われて得られたG Sを用い、かつ、拘束条件を設定して数4を最小化するfを求めることにより、高解像度かつ高フレームレートの動画像Gを復元する。G復元部501は、復元結果を出力画像のG成分として出力する。当該G成分はサブサンプリング部502に入力される。サブサンプリング部502は、入力されたG成分を間引く。
[0123]
 G補間部503は、サブサンプリング部502で間引かれたG動画像を補間する。これにより、サブサンプリングによって画素値が失われた画素における画素値が、周囲の画素値からの補間によって計算される。このようにして補間計算されたG動画像を、G復元部501の出力から差し引くことによって、Gの高空間周波数成分G highが抽出される。
[0124]
 一方、R補間部504は、空間加算されたR動画像をGと同じ画素数になるよう補間拡大する。R用ゲイン制御部505は、G補間部503の出力(すなわち、Gの低空間周波成分)とR補間部504の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば(数38)により、着目画素(x,y)の近傍3×3画素における相関係数が計算される。
[数38]


[0125]
 このようにして計算されたRとGの低空間周波数成分における相関係数を、Gの高空間周波数成分G highに乗じた後、R補間部504の出力に加算することにより、R成分の高解像度化が行なわれる。
[0126]
 B成分についてもR成分と同様に処理する。すなわち、B補間部506は、空間加算されたB動画像を、Gと同じ画素数になるよう補間拡大する。B用ゲイン制御部507は、G補間部503の出力(すなわち、Gの低空間周波成分)とB補間部506の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば(数39)により、着目画素(x,y)の近傍3×3画素における相関係数が計算される。
[数39]


[0127]
 このようにして計算されたBとGの低空間周波数成分における相関係数を、Gの高空間周波数成分G highに乗じた後、B補間部506の出力に加算することにより、B成分の高解像度化が行なわれる。
[0128]
 なお、上述した復元部202におけるGおよびR,Bの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば復元部202においてR,G,Bの画素値を同時に計算してもよい。
[0129]
 すなわちG復元部501において、目的とするカラー動画像gにおける各色の動画像の空間的変化パターンが近い程度を表す評価関数Jを設定し、評価関数Jを最小化する目的動画像fを求める。空間的変化パターンが近いことは、B動画像、R動画像、およびG動画像の空間的変化が相互に相似していることを意味する。
[0130]
 評価関数Jの一例を(数40)に示す。
[数40]


[0131]
 評価関数Jは、生成したい高解像度カラー動画像(目的動画像)fを構成する赤、緑、および青の各色の動画像(画像ベクトルとしてそれぞれR H,G H、B Hと表記する。)の関数として定義される。(数40)におけるH R、H G、H Bは、それぞれ、目的動画像fの各色動画像R H,G H、B Hから、各色の入力動画像R L,G L、B L(ベクトル表記)への低解像度化変換を表す。H RおよびH G、H Bは、それぞれ、例えば(数41)(数42)(数43)に示されるような低解像度化の変換である。
[数41]



[数42]



[数43]


[0132]
 入力動画像の画素値は、目的動画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
[0133]
 (数41)、(数42)、(数43)において、R H(x,y)G H(x,y)B H(x,y)は、それぞれ、目的動画像fの画素位置(x,y)における赤(R)の画素値、緑(G)の画素値、青(B)の画素値を示す。また、R L(x RL,y RL)、G L(x GL,y GL)、B L(x BL,y BL)は、それぞれ、Rの画素位置(x RL,y RL)の画素値、Gの画素位置(x GL,y GL)の画素値、Bの画素位置(x BL,y BL)の画素値を示している。x(x RL)、y(y RL)、x(x GL)、y(y GL)、x(x BL)、y(y BL)は、それぞれ、Rの画素位置(x RL,y RL)に対応する目的動画像の画素位置のx、y座標と、Gの画素位置(x GL,y GL)に対応する目的動画像の画素位置のx、y座標と、入力動画像のBの画素位置(x BL,y BL)に対応する目的動画像の画素位置のx、y座標とを表している。また、w Rとw Gとw Bは、RとGとBの入力動画像の画素値に対する目的動画像の画素値の重み関数をそれぞれ示している。なお、(x’,y’)∈Cは、w Rとw Gとw Bとが定義される局所領域の範囲を示している。
[0134]
 低解像度化動画像および入力動画像の対応画素位置における画素値の差の2乗和を、評価関数の評価条件として設定する((数40)の第1項、第2項、および第3項)。つまり、これらの評価条件は、低解像度化動画像に含まれる各画素値を要素とするベクトルと、入力動画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
[0135]
 (数40)の第4項のQ sは、画素値の空間的な滑らかさを評価する評価条件である。
[0136]
 Q sの例であるQ s1およびQ s2を(数44)および(数45)に示す。
[数44]


[0137]
 (数44)において、θ H(x,y)、ψ H(x,y)、r H(x,y)は、目的動画像の画素位置(x,y)における赤、緑、青のそれぞれの画素値で表される3次元直交色空間(いわゆるRGB色空間)内の位置を、RGB色空間に対応する球面座標系(θ、ψ、r)で表現した場合の座標値である。ここで、θ H(x,y)とψ H(x,y)は2種類の偏角を表し、r H(x,y)は動径を表す。
[0138]
 図7は、RGB色空間と球面座標系(θ、ψ、r)との対応例を示す。
[0139]
 図7では、一例として、θ=0°かつψ=0°の方向をRGB色空間のR軸の正方向とし、θ=90°かつψ=0°の方向をRGB色空間のG軸の正方向としている。ここで、偏角の基準方向は、図7に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、RGB色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系(θ、ψ、r)の座標値に変換する。
[0140]
 目的動画像の各画素の画素値をRGB色空間内の3次元ベクトルとして考えた場合に、3次元ベクトルをRGB色空間に対応付けられる球面座標系(θ、ψ、r)で表現すると、画素の明るさ(信号強度、輝度も同義である)は、ベクトルの大きさを表すr軸の座標値に相当する。また、画素の色彩(色相、色差、彩度などを含む色情報)を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系(θ、ψ、r)を用いることにより、画素の明るさおよび色彩を規定するr、θ、ψの3つのパラメータを個別に取り扱うことができる。
[0141]
 (数44)は、目的動画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。(数44)は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Q s1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Q s1の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきということを表している。
[0142]
 動画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、(数44)に示すように、画素の明るさの連続性(r軸の座標値の変化の一様性)に関する条件((数44)の大括弧内の第3項)と、画素の色彩の連続性(θ軸およびψ軸の座標値の変化の一様性)に関する条件((数44)の大括弧内の第1項および第2項)とを個別に設定することにより、望ましい画質を得やすくなる。
[0143]
 λ θ(x,y)、λ ψ(x,y)、およびλ r(x,y)は、それぞれ、θ軸、ψ軸、およびr軸の座標値を用いて設定される条件に対して、目的動画像の画素位置(x,y)において適用される重みである。これらの値は、予め定めておく。簡単には、λ θ(x,y)=λ ψ(x,y)=1.0、λ r(x,y)=0.01のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力動画像のフレーム画像内の隣り合う画素における画素値の差分値や2階差分値の絶対値が一定値以上であることにより判断してもよい。
[0144]
 画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き(法線の向き)の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい(変化の一様性に乏しい)ことによる。
[0145]
 なお、(数44)では、目的動画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を条件Q s1として設定したが、2階差分値の絶対値和、または1階差分値の2乗和もしくは絶対値和を条件として設定してもよい。
[0146]
 上記説明ではRGB色空間に対応付けられる球面座標系(θ、ψ、r)を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
[0147]
 新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のRGB色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける(固有ベクトル軸とする)ことができる。
[数45]


[0148]
 (数45)において、C 1(x,y)、C 2(x,y)、C 3(x,y)は、目的動画像の画素位置(x,y)における赤、緑、青のそれぞれの画素値であるRGB色空間の座標値を、新たな直交座標系の座標軸C 1、C 2、C 3の座標値に変換する回転変換である。
[0149]
 (数45)は、目的動画像の新たな直交座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。(数45)は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である(つまり画素値が連続している)ほど、値が小さくなる条件Q s2を定義している。
[0150]
 条件Q s2の値が小さくあるべきことは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
[0151]
 λ C1(x,y)、λ C2(x,y)、λ C3(x,y)はそれぞれ、C 1軸、C 2軸、C 3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置(x,y)において適用される重みであり、予め定めておく。
[0152]
 C 1軸、C 2軸、C 3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλ C1(x,y)、λ C2(x,y)、λ C3(x,y)の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、2階差分の2乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
[0153]
 以上、2種類の条件Q s1、Q s2の例を説明した。条件Q sとしては、Q s1、Q s2いずれを用いることもできる。
[0154]
 例えば、(数44)に示される条件Q s1を用いた場合、球面座標系(θ、ψ、r)を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すr軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の動画像の生成が容易になるという利点がある。
[0155]
 (数45)に示される条件Q s2を用いた場合、RGB色空間の座標値から線型(回転)変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
[0156]
 また、固有ベクトル軸を新たな直交座標系の座標軸C 1、C 2、C 3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分(コンポーネント)の画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
[0157]
 なお、評価関数Jは、上記に限定するものではなく、(数40)の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
[0158]
 次に、(数40)の評価関数Jの値をできるだけ小さく(望ましくは最小に)する目的動画像の各画素値を求めることによって、目的動画像の各色動画像R H、G H、B Hを生成する。
[0159]
 評価関数Jを最小にする目的動画像fは、例えば、(数40)中のべき指数pを2としたとき、Jを目的動画像fの各色動画像R H、G H、B Hの各画素値成分で微分した式を全て0とおいた(数46)の方程式を解いて求めることができる。
[数46]


[0160]
 各辺の微分式が0になるのは、数40の各項が表している各2次式の傾きが0となるときである。このときのR H、G H、B Hが、各2次式の最小値を与える望ましい目的動画像であるといえる。大規模な連立一次方程式の解法として、たとえば共役勾配法を用いて目的動画像を求める。
[0161]
 一方、(数40)のべき指数pが2以外の場合は、評価関数Jの最小化には非線形最適化が必要になる。その場合の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的動画像を求める。
[0162]
 なお、本実施形態では、出力するカラー動画像をRGBとして説明したが、例えばYPbPr等、RGB以外のカラー動画像を出力することももちろんできる。すなわち、上記(数46)と、下記(数47)とから、(数48)に示す変数変換を行うことができる。
[数47]



[数48]


[0163]
 さらに、上述のカラー動画像の映像信号が一般的なビデオ信号(YPbPr=4:2:2)であるとする。Pb、PrはYと比べて水平画素数が半分であることを考慮すると、下記(数49)の関係を利用することにより、Y H、Pb L、Pr Lについての連立方程式を立てることができる。
[数49]


[0164]
 この場合、連立方程式で解くべき変数の総数をRGBの場合と比べて3分の2に低減させることができ、演算量を低減できる。
[0165]
 図8は、実施形態1の処理における入力動画像と出力動画像のイメージ図を表したものである。
[0166]
 また、図9は、単板の撮像素子において、G画素をすべて長時間露光した場合と実施形態1で提案した方法との処理後のPSNR値との対応関係を示す。実施形態1で提案した方法は、G画素をすべて長時間露光した結果よりも高いPSNRの値を示しており、多くの動画像で2dB近く画質が改善できていることが確認できる。この比較実験では、12個の動画像を用いており、それぞれの動画像の3シーン(それぞれ50フレーム間隔離れた静止画3枚)を図10から図15に示す。
[0167]
 以上説明したように、実施形態1によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力動画像に対して復元処理を施すことによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれのすくない動画像(空間加算と時間加算を行なわずに全画素を読み出した動画像)を推定し復元することができる。
[0168]
 上記の例では、動画像の生成の方法を記述したが、高画質処理部202は動画像の生成と併せて、生成した動画像の信頼度を出力しても良い。動画像生成における「信頼度γ」は、生成された動画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の(数50) に示される動きの信頼度の総和や、有効な拘束条件の数Nと求めるべき動画像の総画素数M(=フレーム数×1フレーム画像の画素数)との比率N/Mなどを用いることができる。ここでN=Nh+Nl+Nλ×Cであり、Nhは高速画像の総画素数(フレーム数×1フレーム画像の画素数)、Nlは低速画像の総画素数、Nλは外部拘束条件を有効にする時空間位置(x,y,t)の外部拘束の種類の数とする。
[数50]


[0169]
 なお、(数40) などの方程式を連立1次元方程式として解く場合には、Cline,A.K.,Moler,C.B.,Stewart, G.W.and Wilkinson,J.H.,“An Estiate for the Condition Number of a Matrix”,SIAM J.Num. Anal.16(1979),368-375.などに記載されている計算式において、安定解となる動画像を得るための条件の数を信頼度として用いることができる。
[0170]
 動き検出部201によって求められる信頼度が高い場合、動き検出結果に基づく動き拘束条件を用いて生成された動画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成動画像を安定して得ることができ、生成動画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できるため、生成される動画像の信頼度が高いと期待できる。
[0171]
 このように、生成される動画像の信頼度を出力することで、出力した動画像に対してMPEGなどの圧縮符号化を行う際に、高画質処理部202は、信頼度の高低に応じて、圧縮率を変更することが可能になる。たとえば以下に説明する理由により、高画質処理部202は信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となる。これにより、適切な圧縮率の設定が可能となる。
[0172]
 図16は、生成される動画像の信頼度γと符号化の圧縮率δとの関係を示す。信頼度γと圧縮率δとの関係を図16に示すように単調増加の関係に設定し、高画質処理部202は、生成された動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成動画像の信頼度γが低い場合には生成された動画像は誤差を含み得るため、圧縮率を高くしても画質面で実質的に情報の欠損があまり生じないことが期待される。よって効果的にデータ量を削減できる。ここで圧縮率とは、もとの動画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い(大きい値)ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。
[0173]
 同様に、MPEGの場合などでは、信頼度の高いフレームを優先的にIピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の速送り再生や一次停止時などの画質を向上させることが可能となる。ここで、信頼度が「高い」、「低い」という表現は、信頼度と予め定められた閾値とを比較したときに、信頼度がその閾値よりも「高い」か「低い」かを意味している。
[0174]
 例えば、生成された動画像の信頼度をフレーム毎に求めておきγ(t )と置く。t はフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ(t)が予め定めた閾値γthより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ(t)の大きいフレームを選択する。このとき高画質処理部202は、算出した信頼度γ(t )の値を動画像とともに出力してもよい。
[0175]
 また、高画質処理部202は、低速動画像を輝度と色差に分解し、輝度の動画像のみを上記の処理で高速高解像度化してもよい。この結果得られた高速高解像度化された輝度の動画像を、本明細書では「中間的動画像」と呼ぶ。高画質処理部202は色差情報を補完拡大し、上述の中間的動画像に付加することによって、動画像を生成してもよい。上述の処理によれば、動画像の情報の主成分は輝度に含まれるため、他方の色差の情報が補完拡大された場合であっても、両者を利用して最終的な動画像を生成することで、入力された画像に比べて、高速高解像度化した動画像を得ることが可能となる。さらにR、G、B独立に処理する場合に比べて処理量を削減することが可能となる。
[0176]
 また、高画質処理部202は、R、G、Bの各動画像の少なくとも1つについて、隣り合うフレーム画像の時間的な変化量(残差平方和SSD)を予め設定しておいた閾値と比較し、SSDが閾値を越える場合に、残差平方和SSDを算出した時刻tのフレームと時刻t+1のフレームとの間を処理の境界とし、時刻t以前のシーケンスと時刻t+1以降のシーケンスの処理を分けて行ってもよい。より具体的には、高画質処理部202は、算出した変化量が予め定めた値を超えないときには、動画像を生成する計算は行わず、時刻t以前に生成した画像を出力し、超えた直後から新たな動画像を生成する処理を開始する。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなり、不連続性が知覚されにくくなるという効果が期待できるため、画像生成の計算回数を減らすことができる。
[0177]
 (実施形態2)
 実施形態1においては、G SとRとBについて空間的に加算した画素数を利用した。本実施形態では、G SとRとBが空間的な加算を行わない動画像復元方法を説明する。
[0178]
 図17は、本実施形態による撮像処理装置500の構成を示す構成図である。図17において、図1と同じ動作をする構成要素には図1と同一の符号を付し、その説明を省略する。
[0179]
 図1に示す撮像処理装置100と比べると、図17に示す撮像処理装置500には空間加算部104がない。撮像処理装置500では、撮像素子102の出力は高画質化部105の動き検出部201と高画質処理部202に入力される。また、時間加算部103の出力は高画質処理部202に入力される。
[0180]
 以下、図18を参照しながら、高画質処理部202の構成および動作を説明する。
[0181]
 図18は、高画質処理部202の詳細な構成を示す。高画質処理部202は、G簡易復元部1901と、R補間部504と、B補間部506と、ゲイン調整部507aと、ゲイン調整部507bとを有している。
[0182]
 まずG簡易復元部1901を詳細に説明する。
[0183]
 G簡易復元部は1901と、実施形態1に関連して説明したG復元部501とを比較すると、G簡易復元部は1901の計算量の方が削減されている。
[0184]
 図19は、G簡易復元部1901の構成を示す。
[0185]
 重み係数算出部2003は、動き検出部201(図17)の動きベクトルを受け取る。重み係数算出部2003は、受け取った動きベクトルの値をインデックスにして、対応する重み係数を出力する。
[0186]
 G S算出部2001は、時間加算したG Lの画素値を受け取り、その画素値を利用してG Sの画素値を算出する。G補間部503aはG S算出部2001によって算出されたG Sの画素値を受け取って補間拡大を行う。補間拡大されたG sはG補間部503aから出力され、その後、整数値1から、重み係数算出部2003から出力された重み係数の差分をとった値(1-重み係数値)と乗算される。
[0187]
 G L算出部2002は、G Sの画素値を受け取り、ゲイン調整部2004で画素値をゲインアップした後に、その画素値を利用してG Lの画素値を算出する。ゲイン調整部2004は、長時間露光したG Lの輝度と短時間露光G Sの輝度との差(輝度差)を減少する。ゲインアップは、長時間露光の期間が4フレームの場合には、ゲイン調整部2004では、入力画素値に4をかけるという計算であってもよい。G補間部503bはG L算出部2002によって算出されたG Lの画素値を受け取って補間拡大を行う。補間拡大されたG LはG補間部503bから出力され、その後、重み係数と乗算される。G簡易復元部1901は、重み係数を用いて乗算を行った2つの動画像を加算し、出力する。
[0188]
 再び図18を参照する。ゲイン調整部507aおよびゲイン調整部507bは、入力画素値をゲインアップする機能を有する。これは、短時間露光の画素(R、B)と長時間露光の画素G Lとの輝度差を減少するために行う。ゲインアップは、長時間の期間が4フレームなら、画素値に4をかけるという計算であってもよい。
[0189]
 なお上述のG補間部503aおよびG補間部503bは、受け取った動画像に補間拡大処理を行う機能を有していればよい。補間拡大処理は、それぞれ同じ方法による処理であってもよいし、異なる処理であってもよい。
[0190]
 図20(a)および(b)は、G S算出部2001およびG L算出部2002の処理の例を示す。図20(a)は、G S算出部2001がG Sの周囲に存在する4つのG Lの画素値を利用してG Sの画素値を算出する例を示す。たとえばG S算出部2001は、4つのG Lの画素値を加算した後に、整数値4で除算する。得られた値を当該4画素から均等の位置に存在するG Sの画素値とすればよい。
[0191]
 図20(b)は、G L復元部2002がG Lの周囲に存在する4つのG Sの画素値を利用して、G Lの画素値を算出する例を示す。先のG S算出部2001と同様、G L復元部2002は4つのG Sの画素値を加算した後に整数値4で除算し、得られた値を当該4画素から均等の位置に存在するG Lの画素値とすればよい。
[0192]
 ここでは、算出する画素の周囲4つの画素値を利用する方法を記載したが、それに限るものではない。周囲の画素の中で画素値の近いものを選出して、G SもしくはG Lの画素値の算出に利用してもよい。
[0193]
 以上述べたように、実施形態2によれば、G簡易復元部1901を利用することによって、実施形態1と比較して、少ない計算量で、高解像度かつ高フレームで動きブレのすくない動画像を推定し、復元することができる。
[0194]
 (実施形態3)
 実施形態1や実施形態2では、R、G、B毎に全画素を算出する場合について説明した。本実施形態では、ベイヤ配列の色画素の箇所のみ算出し、算出後に、ベイヤ復元処理を行う方法について説明する。
[0195]
 図21は、実施形態1の高画質処理部202の構成に、さらにベイヤ復元部2201が追加された構成を示す。図4において、G復元部501、R補間部504、B補間部506は、全画素の画素値を算出していた。図21において、G復元部1401、R補間部1402、B補間部1403は、ベイヤ配列で割り当てられた色の画素部分のみ算出する。そのため、ベイヤ復元部2201への入力値は、Gの動画像であれば、ベイヤ配列のG画素のみ画素値が含まれる。R、G、Bの動画像がベイヤ復元部2201で処理され、R、G、Bのそれぞれの動画像は、全画素に画素値が補間された動画像になる。
[0196]
 ベイヤ復元部2201は、図22に示すベイヤ配列のカラーフィルターを用いる単板撮像素子の出力から全画素位置のRGBの値を算出する。ベイヤ配列では、ある画素位置には、RGB3色のうち1つの色情報しかない。ベイヤ復元部2201は、残り2色の情報を算出する。ベイヤ復元部2201のアルゴリズムはいくつか提案されているが、ここでは一般的に用いられているACPI(Adaptive Color Plane Interpolation)法を紹介する。
[0197]
 たとえば、図22の画素位置(3,3)はR画素になっているため、残り2色のBとGの各画素値を算出する必要がある。ACPI法の手順は、輝度成分の強いGの成分の補間値を先に求め、その後求めたGの成分の補間値を用いてBまたはRの補間値を求める。ここで、算出するBとGをそれぞれB'、G'と表す。G'(3,3)を算出するベイヤ復元部2201の計算方法を(数51)に示す。
[数51]


[0198]
 (数51)のαとβの計算式を(数52)に示す。
[数52]


B'(3,3)を算出するベイヤ復元部2201の計算方法を(数53)に示す。
[数53]


[0199]
 (数53)のαとβの計算式を(数54)に示す。
[0200]
[数54]


[0201]
 また他の例として、ベイヤ配列のGの画素位置(2,3)のR’とB’は、それぞれ(数55)、(数56)に示す計算式で算出する。
[数55]



[数56]


[0202]
 ここでは、ACPI法でのベイヤ復元部2201を紹介したが、これに限るものではなく、色相を考慮した方法やメジアンを用いた補間法で、全画素位置のRGBを算出してもよい。
[0203]
 図23は、実施形態2の高画質処理部202の構成に、さらにベイヤ復元部2201が追加された構成を示す。実施形態2では、高画質化部105は、G補間部503、R補間部504、B補間部506を含んでいた。本実施形態では、G補間部503、R補間部504、B補間部506を行わず、ベイヤ配列で割り当てられた色の画素部分のみ算出する。そのため、ベイヤ復元部2201への入力値は、Gの動画像であれば、ベイヤ配列のG画素のみ画素値が含まれる。R、G、Bの動画像がベイヤ復元部2201で処理され、R、G、Bのそれぞれの動画像は、全画素に画素値が補間された動画像になる。実施形態2では、G SとG Lの補間後に、それぞれGの画素全体の補間を行ってから重み係数で乗算していたが、ベイヤ復元を利用することによって、Gの画素全体の補間処理を1度に減らすことができる。
[0204]
 本実施例で利用するベイヤ復元処理とは、ベイヤ配列のフィルターを用いた色再現に用いる既存の補間方法を指す。
[0205]
 以上述べたように、実施形態3によれば、ベイヤ復元を利用することによって、補間拡大による画素の補間よりも、色ずれやにじみを低減でき、実施形態2においては、計算量を削減することができる。
[0206]
 (実施形態4)
 実施形態1では、R、B、G Sについての空間的な加算の画素数と、G Lについての時間的な加算の画素数とがあらかじめ決まっている場合の例を説明した。
[0207]
 本実施形態では、カメラへの入射光量に応じて加算する画素数を制御する例を説明する。
[0208]
 図24は、本実施形態による撮像処理装置300の構成を示す。図24において、図1と同じ動作をする構成要素には、図1と同一の符号を付し、その説明を省略する。以下、図25を参照しながら制御部107の動作を説明する。
[0209]
 図25は、本実施形態による制御部107の構成を示す。
[0210]
 制御部107は、光量検出部2801と、時間加算処理制御部2802と、空間加算処理制御部2803と、高画質化処理制御部2804とを備えている。
[0211]
 制御部107は、光量に応じて時間加算部103、空間加算部104による加算画素数を変更する。
[0212]
 光量の検出は光量検出部2801が行う。光量検出部2801は、撮像素子102からの読み出し信号の全平均、色毎の平均を利用して光量を測定してもよいし、時間加算後や空間加算後の信号を利用して光量を測定してもよい。または光量検出部2801は、画像復元105によって復元された動画像の輝度レベルを利用して光量を測定してもよいし、別途、受けた光の量に応じた大きさの電流を出力する光電センサなどを設けて光量を測定してもよい。
[0213]
 光量が十分(たとえば飽和レベルの半分以上)であることを光量検出部2801が検出したときには、制御部107は、加算読み出しを行わずに、1フレームに対して全画素を読み出すよう制御する。具体的には、時間加算処理制御部2802は、時間加算部103に時間加算を行わないように制御する。また、空間加算処理制御部2803は、空間加算部104に空間加算を行わないように制御する。また、高画質化処理制御部2804は、入力されるRGBに対して、高画質化部105の構成のうち、ベイヤ復元部2201のみ動作させるように制御する。
[0214]
 光量が不足し、飽和レベルの1/2、1/3、1/4、1/6,1/9と低下したことを光量検出部2801が検出したとき、時間加算処理制御部2802は時間加算部103における時間加算のフレーム数を、空間加算制御部2803は空間加算部104における空間加算の画素数を、それぞれ、2倍,3倍,4倍,6倍,9倍と切り替えて制御する。また、高画質化処理制御部2804は、時間加算処理制御部2802によって変更された時間加算のフレーム数や、空間加算処理制御部2803によって変更された空間加算の画素数に対応して、高画質化部105の処理内容を制御する。
[0215]
 これにより、カメラへの入射光量に応じて加算処理を切り替えることが可能となる。低光量時から高光量時まで、シームレスに光量に応じた処理を行うことができるため、ダイナミックレンジを拡大して、飽和を抑えて撮像することが可能となる。
[0216]
 なお、加算画素数の制御は動画像全体に対して制御するものに限らず、画素の位置毎、領域毎に適応的に切り替えるようにしてもよいことは言うまでもない。
[0217]
 なお、上述の説明から明らかなように、光量に代えて、画素値を利用して加算処理を切り替えるよう、制御部7を動作させてもよい。または、ユーザからの指定によって動作モードを変更することにより、加算処理を切り替えてもよい。
[0218]
(実施形態5)
 実施形態4では、被写体の光量によってR、B、Gの加算画素数をコントロールする場合について説明した。
[0219]
 本実施形態による撮像処理装置は動力源(バッテリー)を備えて動作することが可能である。そして、バッテリーの残量によって、R、B、Gの加算画素数を制御する。撮像処理装置の構成は、たとえば図24に示すとおりである。
[0220]
 図26は、本実施形態による撮像処理装置の制御部107の構成を示す。
[0221]
 制御部107は、バッテリー残量検出部2901と、時間加算処理制御部2702と、空間加算処理制御部2703と、高画質化処理制御部2704とを備えている。
[0222]
 バッテリー残量が少ない場合は、バッテリーの消費を軽減する必要がある。バッテリーの消費は、たとえば演算量を低減することによって実現される。そこで本実施形態では、バッテリー残量が少ない場合に高画質化部105の計算量を減らすこととする。
[0223]
 バッテリー残量検出部2901は、たとえばバッテリーの残量に応じた電圧値を検出することにより、撮像装置のバッテリーの残量を監視する。近年のバッテリーには、それ自体にバッテリー残量検出機構が設けられていることがある。そのようなバッテリーであれば、バッテリー残量検出部2901は、そのバッテリー残量検出機構と通信をすることにより、バッテリー残量を示す情報を取得してもよい。
[0224]
 バッテリーの残量が予め定められた基準値よりも少ないことを検出した場合には、制御部107は加算読み出しを行わずに、1フレームに対して全画素を読み出す。より具体的には、時間加算処理制御部2802は、時間加算部103に時間加算を行わせないように制御する。また、空間加算処理制御部2803は、空間加算部104に空間加算を行わせないように制御する。また、高画質化処理制御部2804は、入力されるRGBに対して、高画質化部105の構成のうち、ベイヤ復元部2201のみ動作させるように制御する。
[0225]
 一方、バッテリー残量が上述の基準値以上であり、十分残されているといえる場合には、たとえば実施形態1による処理を行えばよい。
[0226]
 バッテリー残量が少ない場合には、高画質化部105の計算量を減らすことにより、バッテリーの消費を軽減でき、より長い時間に亘ってより多くの被写体を撮影することができる。
[0227]
 なお、実施形態5では、バッテリー残量が少ない場合に全画素読み出しする方法を記載したが、実施形態2に関連して説明した方法で、R、B、Gを高解像度化しても構わない。
[0228]
(実施形態6)
 実施形態5では、撮像装置のバッテリー残量によってR,B,Gの加算画素数を制御する処理を説明した。
[0229]
 本実施形態による撮像処理装置は、被写体の動き量によって、高画質化部105を制御する。撮像処理装置の構成は、たとえば図24に示すとおりである。
[0230]
 図27は、本実施形態による撮像処理装置の制御部107の構成を示す。
[0231]
 制御部107は、被写体動き量検出部3001と、時間加算処理制御部2702と、空間加算処理制御部2703と、高画質化処理制御部2704とを備えている。
[0232]
 被写体動き量検出部3001は、被写体の動き量を検出する。検出方法は、動き検出部201(図2)による動きベクトルの検出方法と同じ方法を用いることが可能である。たとえば被写体動き量検出部3001は、ブロックマッチング、勾配法、位相相関法を利用して動き量を検出してもよい。被写体動き量検出部3001は、検出した動き量が、予め定められた基準値より小さいかそれ以上かによって、動き量が大きいか小さいかを判定することができる。
[0233]
 光量が不足していて動きが小さいと判定された場合、空間加算処理制御部2703は、R,Bが空間加算をするように空間加算部104を制御する。また、時間加算処理制御部2702は、Gはすべて時間加算を行うように時間加算部103を制御する。そして高画質化処理制御部2704は、高画質化部105が特許文献1と同様の復元処理を行うように制御し、高解像度化したR,B、Gを出力する。Gをすべて時間加算にする理由は、被写体の動きが小さいため、長時間露光によりGに含まれる動きぶれの影響が少なくなり、高感度で、かつ高解像度のGを撮影できるからである。
[0234]
 被写体が暗くて動きが大きいと判定された場合、実施形態1に記載した方法で、高解像度化したR,B、Gを出力する。
[0235]
 これにより、被写体の動きの大きさに対応して、高画質化部105の処理内容を変更でき、被写体の動きに応じた高画質な動画像を生成することができる。
[0236]
 (実施形態7)
 上記の実施形態では、撮像処理装置内の機能によって、時間加算部103や空間加算部104、高画質化部105を制御する例を説明した。
[0237]
 本実施形態においては、撮像処理装置を操作するユーザが、撮像方式を選択することが可能である。以下、図28を参照しながら、制御部107の動作を説明する。
[0238]
 図28は、本実施形態による撮像処理装置の制御部107の構成を示す。
[0239]
 ユーザは、制御部107の外部にある処理選択部3101によって撮像の方式を選択する。処理選択部3101は、たとえば撮像の方式の選択を可能とするダイヤルスイッチなどの、撮像処理装置に設けられたハードウェアである。または処理選択部3101は、撮像処理装置に設けられた液晶表示パネル(図示せず)上にソフトウェアによって表示される選択メニューであってもよい。
[0240]
 処理選択部3101は、ユーザが選択した撮像の方式を処理切替部3102に伝え、処理切替部3102は、ユーザが選択した撮像の方式が実現されるように、時間加算処理制御部2702や空間加算処理制御部2703、高画質化処理制御部2704に指示を出す。
[0241]
 これにより、ユーザが希望する撮像処理を実現することができる。
[0242]
 なお、実施形態4から7では、制御部107の構成のバリエーションを記述したが、各制御部107の機能は2つ以上の組み合わせであってもよい。
[0243]
 以上、本発明の種々の実施形態を説明した。
[0244]
 実施形態1から3においては、撮像時のカラーフィルターアレイとして原色系のRGBフィルターを用いる場合について説明したが、カラーフィルターアレイとしてはこれに限る必要はない。たとえば、補色系のCMY(シアン、マゼンタ、イエロー)フィルターを用いてもよい。CMYフィルターは、光量の面では概ねRGBフィルターの2倍有利になる。たとえば、色再現性を重視する場合にはRGBフィルターを利用し、光量を重視する場合にはCMYフィルターを利用すればよい。
[0245]
 なお、上述の各実施形態において、異なる色フィルターを用いて時間加算および空間加算によって撮像される画素値(時間加算後、空間加算後の画素値、すなわち、光量に相当)の色範囲は、広いことが当然望ましい。例えば、実施形態1の場合、2画素で空間加算を行うときは2フレームの時間加算を行い、4画素で空間加算を行うときは4フレームの時間加算を行った。このように、例えば、時間加算を行うフレーム数などを事前に揃えておくことが望ましい。
[0246]
 一方、特殊な例として、被写体の色が特定の色に偏っているときには、例えば原色系のフィルターを用いる場合、R,G、Bで時間加算、空間加算の画素数を適応的に変えることで、ダイナミックレンジを色毎に有効に使うことができる。
[0247]
 なお、上述の各実施形態においては、撮像素子102として単板の撮像素子を用い、また、図4に示す配列のカラーフィルターを用いた例を説明した。しかしながら、カラーフィルターの配列は、これに限定されるものではない。
[0248]
 たとえば、図29に示すカラーフィルターの配列を利用しても構わない。図29(a)は、単板の撮像素子と、図4と異なる配列のカラーフィルターとを組み合わせたときの例を示す。R、G L、G SおよびBの各画素信号を生成するための画素数の比は、R、G L、G S:B=1:4:2:1である。
[0249]
 一方、図29(b)は、画素数の比が図29(a)の例と異なる組み合わせの例を示している。R、G L、G S:B=3:8:2:3である。
[0250]
 本発明は、単板の撮像素子102の利用に限られることはなく、R,G,Bの各々の画素信号を別々に生成する3枚の撮像素子(いわゆる3板の撮像素子)を利用することによっても実施可能である。
[0251]
 たとえば図30(a)および(b)はいずれも、G(G LおよびG S)の画素信号を生成するための撮像素子の構成例を示す。図30(a)はG LおよびG Sの画素数が同じときの構成例を示す。また図30(b)はG Lの画素数がG Sの画素数よりも多いときの構成例を示す。そのうち、(i)はG LおよびG Sの画素数の比が2:1のときの構成例を示し、(ii)はG LおよびG Sの画素数の比が5:1のときの構成例を示す。なお、RおよびBの画素信号を生成するための撮像素子については、それぞれ、RおよびBのみを透過するフィルターが設けられていればよい。
[0252]
 図30の各例に示すように、ライン毎にG LとG Sとが配列されていてもよい。ライン毎に露光時間を変える場合、回路の読み出し信号をライン内で共通にできるため、格子状に素子の露光時間を変更するよりも、回路の構成を簡素化することができる。
[0253]
 また図30のようなライン毎ではなく、図31に示すように4×4画素のバリエーションを用いて露光時間を変化してもよい。図31(a)はG LおよびG Sの画素数が同じときの構成例を示し、図30(b)はG Lの画素数がG Sの画素数よりも多いときの構成例を示す。図31(b)(i)~(iii)はそれぞれ、G LおよびG Sの画素数の比が3:1、11:5、5:3の構成例を示す。また、図30や図31に示すバリエーションだけでなく、図32(a)~(c)のそれぞれに示すように、RやBを主として含む各カラーフィルター中にG Sのカラーフィルターが含まれていてもよい。図32(a)~(c)はそれぞれ、R、G L、G SおよびBの画素数の比が1:2:2:1、3:4:2:3および4:4:1:3の構成例を示す。
[0254]
 単板の撮像素子、および、3板の撮像素子のいずれをも含む意図で、本明細書では「撮像部」と呼ぶことがある。単板の撮像素子を用いる実施形態では、撮像部は当該撮像素子自体を意味する。一方、3板の撮像素子を用いる実施形態では、撮像部は3板の撮像素子を総称する。
[0255]
 なお、上述の各実施形態において、RとBの空間加算やGの長時間露光は、RGB全画素を短時間露光で読み出し、画像処理前に信号処理で行ってもよい。前記信号処理の計算は、画素値の加算もしくは平均が挙げられるが、これに限るものではなく、画素値の値によって値の変わる係数を用いて四則演算を組み合わせて行ってもよい。この構成では、従来の撮像素子を利用でき、画像処理によって、S/Nを向上することができる。
[0256]
 なお、上述の各実施形態において、RとBとG Sは空間加算せずに、G Lのみ時間加算してもよい。G Lのみ時間加算する場合、RとBとG Sの画像処理が不要であるため、計算量を削減できる。
[0257]
 <フィルターの分光特性>
 上述のとおり、本発明においては、単板式および3板式のいずれの撮像素子を用いることができる。ただし、3板式の撮像素子用に用いられる薄膜光学フィルターと、単板用に用いられる染料フィルターとではその分光特性が異なることが知られていることに留意されたい。
[0258]
 図33(a)は、3板用の薄膜光学フィルターの分光特性を示す。図33(b)は、単板用の染料フィルターの分光特性を示す。
[0259]
 図33(a)に示される薄膜光学フィルターは分光特性の透過率の立ち上がりが、染料フィルターのそれと比べて急峻であり、RGB間で透過率の相互の重なりが少ない。これに対して、図33(b)に示される染料フィルターは透過率の立ち上がりが、薄膜光学フィルターのそれと比べて緩やかであり、RGB間で透過率の相互の重なりが多い。
[0260]
 本発明の各実施形態においては、R、Bの動画像から検出した動き情報を用いてGの時間加算動画像を時間的、空間的に分解するため、染料フィルターの様にGの情報がR,Bに含まれている方が、Gの処理にとって好ましい。
[0261]
 <フォーカルプレーン現象の補正>
 上述したいずれの実施形態においても、グローバルシャッタを用いた撮影であるとして説明した。グローバルシャッタとは、1フレームの画像内の色毎の各画素について、露光の開始と終了時間とが同一であるシャッタである。たとえば図34(a)は、グローバルシャッタを用いた露光タイミングを示している。
[0262]
 しかしながら、本発明の適用可能な範囲はこれに限るものではない。たとえば図34(b)に示す様な、CMOS撮像素子での撮影時にしばしば問題となるフォーカルプレーン現象についても、各素子の露光タイミングが異なっていることを定式化することにより、グローバルシャッタを用いて撮影した動画像を復元することができる。
[0263]
 本発明の各実施形態を説明した。上述の実施形態はいずれも一例であり、種々の変形例を考えることができる。以下、実施形態2の変形例を説明する。その後、各実施形態に関する変形例を説明する。
[0264]
 実施形態1では、高画質化部105における処理に、劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。実施形態2では、G sとRとBについて空間的な加算を行わない場合にG簡易復元部1901を利用することによって、実施形態1と比較して、少ない計算量で、高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する方法を説明した。
[0265]
 本変形例では、G sとRとBについて空間的な加算を行わない場合、実施形態1と同様の高画質化部を用いて高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する方法を述べる。
[0266]
 高画質化部における種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。
[0267]
 図35は、動き検出部201を含まない画像処理部105を有する撮像処理装置500の構成を示すブロック図である。画像処理部105の高画質処理部351は、動き拘束を用いることなく、新たな画像を生成する。
[0268]
 図35において、図1、図2および図17と同じ動作をする構成要素には、図1、図2および図17と同一の符号を付し、説明を省略する。
[0269]
 従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。
[0270]
 しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、単板カラー撮像素子102の長時間露光および短時間露光を行うそれぞれの画素に、複数の色成分を検出する画素が混在しているためである。RGBそれぞれの色チャンネルにおいて、短時間露光によって撮影された画素と長時間露光によって撮影された画素とが混在するため、動き拘束を用いずに画像を生成しても、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量を低減することができる。
[0271]
 以下に、高画質処理部351による高画質化処理を説明する。図36は、高画質化部105における高画質化処理の手順を示すフローチャートである。
[0272]
 まず、ステップS361において、高画質処理部351は解像度、フレームレート、色の異なる複数動画像が撮像素子102および時間加算部103から受け取る。
[0273]
 次に、ステップS362において、高画質処理部351は、(数4)においてM=2とし、Qとして(数12)ないし(数13)を用い、これらの式におけるmを2とする。そして、1階微分、2階微分の差分展開として(数14)、(数15)、(数16)のいずれかを用いると、もしくは、(数40)においてP=2とすると、評価式Jはfの2次式となる。評価式を最小化するfの計算は、数57により、fについての連立方程式の計算に帰着する。
[数57]


ここで、解くべき連立方程式を(数58)のようにおく。
[数58]


[0274]
 (数58)において、fは生成する画素数(1フレームの画素数×処理するフレーム数)分の要素を持つため、(数58)の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解fを収束させる方法(繰り返し法)が一般的に用いられる。
[0275]
 動き拘束を用いずにfを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。これを利用すると、連立方程式(数54)の係数行列Aの逆行列をあらかじめ計算でき、これを用いることで直説法により画像処理を行うようにできる。
[0276]
 次に、ステップS363での処理を説明する。(数13)に示す滑らかさ拘束を用いる場合、xおよびyの2階偏微分は、例えば、(数14)に示すように1,-2,1の3つの係数のフィルタとなり、その2乗は1,-4,6,-4,1の5つの係数のフィルタとなる。これらの係数は、水平ならびに垂直方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、高画質処理部351は(数59)のように行列をΛを置くことができる。
[数59]


[0277]
 これにより、一行あたりのノンゼロ係数の数を係数行列Aと比べて低減させることができる。その結果、ステップS364でのΛの逆行列Λ -1の計算が容易になる。ステップS365では、高画質処理部351は(数56)および(数57)に基づいて、fを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。
[数60]



[数61]


[0278]
 ステップS366では、高画質化処理351はこのようにして計算された復元画像fを出力する。
[0279]
 以上述べた構成、ならびに、手順により、本変形例によれば、G sとRとBについて空間的な加算を行わずに、実施形態1と同様の高画質化部を用いて高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する場合に、動き拘束と動き拘束のための動き検出とを行わずに、少ない演算量での実現を可能にする。
[0280]
 上述の実施形態においては、G L、G S、RおよびBの4種類の動画像を利用した処理を説明した。しかしながら、これは一例である。たとえば、撮影対象において緑がほとんどを占めている場合には、G LおよびG Sの2種類の動画像を利用して新たな動画像を生成してもよい。または、B以外またはR以外の色がほとんどを占めている場合には、RまたはBと、G LとG Sという3種類の動画像を利用して新たな動画像を生成してもよい。
[0281]
 なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、GをG LおよびG Sに分けて撮像した。しかしながらこれは例であり、他の例を採用することが可能である。
[0282]
 たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にB成分が強く現れることが事前に分っている場合には、Bを長時間露光および短時間露光で撮像し、RおよびGを低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある動画像を提示することができる。また、Rを長時間露光および短時間露光で撮像してもよい。
[0283]
 上述の各実施形態では、撮像部を設けた撮像処理装置を説明した。しかしながら撮像処理装置が撮像部を有することは必須ではない。たとえば撮像部が別の位置に存在している場合において、撮像結果であるG L、G S、RおよびBを受け取って、処理のみを行ってもよい。
[0284]
 さらに、上述の各実施形態では、撮像部を設けた撮像処理装置を説明した。しかしながら撮像処理装置が撮像部、時間加算部103および空間加算部104を有することは必須ではない。
[0285]
 たとえばこれらの構成要素が離間した位置に存在している場合において、高画質化部105が撮像結果であるG L、G S、RおよびBの各動画像信号を受け取って、処理のみを行い、高解像度化された各色(R,GおよびB)の動画像信号を出力してもよい。高画質化部105は、記録媒体(図示せず)から読み込まれたG L、G S、RおよびBの各動画像信号を受け取ってもよいし、ネットワークなどを介して受け取ってもよい。また高画質化部105は、処理後の高解像度化された各動画像信号を、映像出力端子から出力し、または、イーサネット(登録商標)端子などのネットワーク端子から、ネットワークを介して他の機器に出力してもよい。
[0286]
 上述の実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、高画質化部105(図1、図2)などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ(DSP)のような1つの半導体チップまたはICによって実現することも可能であるし、たとえばコンピュータとソフトウェア(コンピュータプログラム)とを用いて実現することもできる。

産業上の利用可能性

[0287]
 本発明の撮像処理装置は、低光量時で被写体の動きが大きい場合、高解像度撮影や小型画素による撮像に有用である。また、処理部は装置としての実施に限らず、プログラムとしても適用が可能である。

符号の説明

[0288]
 100 撮像処理装置
 101 光学系
 102 撮像素子
 103 時間加算部
 104 空間加算部
 105 高画質化部
 107 制御部

請求の範囲

[請求項1]
 同一の事象を撮影して得られた第1動画像、第2動画像および第3動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、
 前記新たな動画像の信号を出力する出力端子と
 を備えた画像生成装置であって、
 前記第2動画像の色成分は前記第1動画像の色成分と異なっており、前記第2動画像の各フレームは、前記第1動画像の1フレーム時間よりも長時間の露光によって得られており、
 前記第3動画像の色成分は前記第2動画像の色成分と同じであり、前記第3動画像の各フレームは、前記第2動画像の1フレーム時間よりも短時間の露光によって得られている、画像生成装置。
[請求項2]
 前記高画質処理部は、前記第1動画像、前記第2動画像および前記第3動画像の信号を利用して、前記第1動画像または前記第3動画像のフレームレート以上のフレームレートで、かつ、前記第2動画像または前記第3動画像の解像度以上の解像度の新たな動画像を生成する、請求項1に記載の画像生成装置。
[請求項3]
 前記第2動画像の解像度は前記第3動画像の解像度よりも高く、
 前記高画質処理部は、前記第2動画像の信号および前記第3動画像の信号を利用して、前記第2動画像の解像度以上の解像度を有し、前記第3動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第2動画像および第3動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項1に記載の画像生成装置。
[請求項4]
 前記高画質処理部は、前記新たな動画像を前記第2動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第2動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項3に記載の画像生成装置。
[請求項5]
 前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項3に記載の画像生成装置。
[請求項6]
 前記高画質処理部は、前記新たな動画像を前記第1動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第1動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項3から5のいずれかに記載の画像生成装置。
[請求項7]
 前記第2動画像と前記第3動画像のフレームはフレーム間の開放露光により得られる、請求項1に記載の画像生成装置。
[請求項8]
 前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する、請求項1に記載の画像生成装置
[請求項9]
 前記第1動画像および前記第3動画像の少なくとも1つから対象物の動きを検出する動き検出部をさらに備え、
 前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成する、請求項1に記載の画像生成装置。
[請求項10]
 前記動き検出部は、前記動き検出の信頼度を算出し、
 前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成する、請求項9に記載の画像生成装置。
[請求項11]
 前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の2乗和の符号を逆にした値を前記信頼度として算出し、
 前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する、請求項10に記載の画像生成装置。
[請求項12]
 前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する、請求項9に記載の画像生成装置。
[請求項13]
 前記高画質処理部は、前記第1動画像および前記第3動画像から色差情報を抽出し、前記第1動画像および前記第3動画像から取得された輝度情報と、前記第2動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成する、請求項1に記載の画像生成装置。
[請求項14]
 前記高画質処理部は、前記第1動画像、第2動画像および第3動画像の少なくとも1つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後から新たな動画像の生成を開始する、請求項1に記載の画像生成装置。
[請求項15]
 前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する、請求項1に記載の画像生成装置。
[請求項16]
 単板の撮像素子を利用して、前記第1動画像、第2動画像および第3動画像を生成する撮像部をさらに備えた、請求項1から15のいずれかに記載の画像生成装置。
[請求項17]
 撮影の環境に応じて前記高画質化部の処理を制御する制御部をさらに備えた、請求項16に記載の画像生成装置。
[請求項18]
 前記撮像部は、空間的な画素加算演算を行うことにより、前記第3動画像の解像度よりも高い解像度の前記第2動画像を生成しており、
 前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項17に記載の画像生成装置。
[請求項19]
 前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項18に記載の画像生成装置。
[請求項20]
 前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項18に記載の画像生成装置。
[請求項21]
 前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第1動画像、前記第2動画像および前記3動画像の少なくとも1つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項18に記載の画像生成装置。
[請求項22]
 前記高画質処理部は、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を設定し、
 前記高画質処理部は、前記新たな動画像を前記第2動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第2動画像の各フレームの画素値との誤差が減少するよう、かつ、設定した前記拘束条件が維持されるように前記新たな動画像を生成する、請求項1に記載の画像生成装置。
[請求項23]
 3板の撮像素子を利用して、前記第1動画像、第2動画像および第3動画像を生成する撮像部をさらに備えた、請求項1から15のいずれかに記載の画像生成装置。
[請求項24]
 同一の事象を撮影して得られた第1動画像、第2動画像および第3動画像の信号を受け取るステップであって、前記第2動画像の色成分は前記第1動画像の色成分と異なっており、前記第2動画像の各フレームは、前記第1動画像の1フレーム時間よりも長時間の露光によって得られており、前記第3動画像の色成分は前記第2動画像の色成分と同じであり、前記第3動画像の各フレームは、前記第2動画像の1フレーム時間よりも短時間の露光によって得られている、ステップと、
 前記第1動画像、第2動画像および第3動画像から、前記事象を表す新たな動画像を生成するステップと、
 前記新たな動画像の信号を出力するステップと
 を包含する画像生成方法。
[請求項25]
 複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、請求項22に記載の画像生成方法を実行させる、コンピュータプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]