処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020116196 - 固体撮像装置、固体撮像方法および電子機器

Document

明 細 書

発明の名称 固体撮像装置、固体撮像方法および電子機器

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004  

課題を解決するための手段

0005   0006   0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089  

符号の説明

0090  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

明 細 書

発明の名称 : 固体撮像装置、固体撮像方法および電子機器

技術分野

[0001]
 本開示は、固体撮像装置、固体撮像方法および電子機器に関する。

背景技術

[0002]
 近年、カメラによって撮影される人物(以下、「被写体」とも言う。)のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている(例えば、特許文献1参照)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2015-133624号公報

発明の概要

発明が解決しようとする課題

[0004]
 しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。

課題を解決するための手段

[0005]
 本開示によれば、第1の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
[0006]
 本開示によれば、第1の撮像画像を撮像することと、発光部による発光を制御することと、前記第1の撮像画像から前記発光が検出されるか否かを判定することと、プロセッサが、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御することと、を備える、固体撮像方法が提供される。
[0007]
 本開示によれば、アプリケーションと、第1の撮像画像を撮像する撮像部と、発光部と、前記発光部による発光を制御する発光制御部と、前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、電子機器が提供される。

図面の簡単な説明

[0008]
[図1] 本開示の第1の実施形態に係る固体撮像システムの構成例を示す図である。
[図2] イメージセンサの構造の第1の例を示す図である。
[図3] イメージセンサの構造の第2の例を示す図である。
[図4] 電子機器の外観構成の第1の例を示す図である。
[図5] 電子機器の外観構成の第2の例を示す図である。
[図6] 図4および図5に示されたカメラモジュールおよびLEDモジュールのA-A断面図である。
[図7] イメージセンサによる撮像画像の例を示す図である。
[図8] 本開示の第1の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図9] 信号処理部の詳細構成例を示す図である。
[図10] ローカル認証部の詳細構成例を示す図である。
[図11] データ送信判断部の詳細構成例を示す図である。
[図12] 本開示の第1の実施形態に係るイメージセンサの動作例を示すフローチャートである。
[図13] 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
[図14] 本開示の第2の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図15] 同実施形態に係るイメージセンサの動作例を示すフローチャートである。
[図16] 本開示の第3の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図17] 同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
[図18] 本開示の第4の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図19] 本開示の第5の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図20] 本開示の第6の実施形態に係る固体撮像システムの詳細構成例を示す図である。
[図21] データ送信判断部の詳細構成例を示す図である。
[図22] フラッシュが正常に点灯した場合およびフラッシュが正常に点灯しない場合それぞれの撮像画像の例を示す図である。
[図23] 本開示の第6の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

発明を実施するための形態

[0009]
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[0010]
 また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
[0011]
 なお、説明は以下の順序で行うものとする。
 0.概要
 1.第1の実施形態
  1.1.システム構成例
  1.2.イメージセンサの構成例
  1.3.詳細構成例
 2.第2の実施形態
 3.第3の実施形態
 4.第4の実施形態
 5.第5の実施形態
 6.第6の実施形態
 7.むすび
[0012]
 <0.概要>
 近年、カメラによって撮影される人物(以下、「被写体」とも言う。)のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
[0013]
 より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。
[0014]
 そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。
[0015]
 以上、本開示の実施形態の概要について説明した。
[0016]
 <1.第1の実施形態>
 [1.1.システム構成例]
 続いて、図1を参照しながら、本開示の第1の実施形態に係る固体撮像システムの構成例について説明する。図1を参照すると、本開示の第1の実施形態に係る固体撮像システム1は、電子機器10、サーバ装置40およびネットワーク50を有する。電子機器10およびサーバ装置40は、ネットワーク50を介して通信可能である。なお、図1に示された例では、電子機器10がネットワーク50に接続されているが、複数の電子機器10がネットワーク50に接続されていてよく、複数の電子機器10それぞれが、ネットワーク50を介してサーバ装置40と通信可能であってよい。
[0017]
 電子機器10は、イメージセンサ20、アプリケーション30およびLED(Light Emitting Diode)361を有している。イメージセンサ20は、固体撮像装置の例として機能し、CIS(Contact Image Sensor)210、ロジック回路220、DSP(Digital Signal Processor)230、メモリ240、セレクタ250を有している。
[0018]
 ここで、CIS210は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびA/D変換器などを含んでいる。ロジック回路220は、CIS210からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の第1の実施形態では、電子機器10がカメラである場合を主に想定する。しかし、電子機器10は、イメージセンサ20を有する機器であればカメラに限定されず、他の機器(例えば、スマートフォンおよび携帯電話など)であってもよい。また、アプリケーション30は、電子機器10に内蔵されたプロセッサによって実行される。LED361は、DSP230による制御に従って発光を開始したり発光を停止したりする。なお、LED361は、発光部の一例に過ぎないため、LED361の代わりに他の発光部が用いられてもよい。
[0019]
 本開示の第1の実施形態では、イメージセンサ20によって映像が撮像される。映像は、イメージセンサ20によって、複数のフレーム(撮像画像)が連続的に撮像されることによって得られる。本開示の第1の実施形態では、イメージセンサ20によって撮像されたフレーム(撮像画像)またはフレーム(撮像画像)に基づくデータ(以下、「メタデータ」とも言う。)が、サーバ装置40に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション30であってもよいし、電子機器10の外部の記録媒体であってもよい。
[0020]
 以上、本開示の第1の実施形態に係る固体撮像システム1の構成例について説明した。
[0021]
 [1.2.イメージセンサの構成例]
 続いて、本開示の第1の実施形態に係るイメージセンサ20の構造の例について説明する。図2は、イメージセンサ20の構造の第1の例を示す図である。図3は、イメージセンサ20の構造の第2の例を示す図である。図2を参照すると、イメージセンサ20は、第1の半導体チップL1および第2の半導体チップL2を含んで構成されている。図3を参照すると、イメージセンサ20は、第1の半導体チップL1、第2の半導体チップL2および第3の半導体チップL3を含んで構成されている。
[0022]
 このように、イメージセンサ20は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ20が有する半導体チップの数は、2つおよび3つに限定されず、1つであってもよいし、4つ以上であってもよい。
[0023]
 図2を参照すると、第1の半導体チップL1に、CIS210が含まれている。そして、第2の半導体チップL2に、メモリ240、DSP230、ロジック回路220が含まれている。図3を参照すると、第1の半導体チップL1に、CIS210が含まれている。そして、第2の半導体チップL2に、メモリ240およびDSP230が含まれている。第3の半導体チップL3には、ロジック回路220が含まれている。しかし、CIS210、メモリ240、DSP230、ロジック回路220それぞれは、どの半導体チップに含まれていてもよい。
[0024]
 図2および図3に示された例において、後に説明するローカル認証部231(第1の認証部)は、第2の半導体チップL2に含まれてよい。より詳細には、ローカル認証部231(第1の認証部)は、第2の半導体チップL2に含まれるDSP230によって実現されてよい。後に説明するデータ送信判断部233も、第2の半導体チップL2に含まれてよい。より詳細には、データ送信判断部233は、第2の半導体チップL2に含まれるDSP230によって実現されてよい。
[0025]
 また、図3に示された例において、信号処理部221は、第3の半導体チップL3のロジック回路220に含まれてもよい。あるいは、図2に示された例において、信号処理部221は、第2の半導体チップL2のロジック回路220に含まれてもよい。さらに、図3に示された例において、後に説明するローカル認証用データ記憶部232は、第3の半導体チップL3のメモリ240に含まれてもよい。あるいは、図2に示された例において、ローカル認証用データ記憶部232は、第2の半導体チップL2のメモリ240に含まれてもよい。
[0026]
 以上、イメージセンサ20の構造の例について説明した。
[0027]
 [1.3.詳細構成例]
 続いて、本開示の第1の実施形態に係る固体撮像システム1の詳細構成について説明する。図4は、電子機器の外観構成の第1の例を示す図である。図5は、電子機器の外観構成の第2の例を示す図である。図4および図5に示されるように、電子機器10は、一例として円筒形状の外観を有していてよい。しかし、電子機器10の外観形状は限定されない。
[0028]
 図4を参照すると、第1の例では、カメラモジュール32およびLEDモジュール36が電子機器10-1の側面に設けられている。また、図5を参照すると、第2の例では、カメラモジュール32およびLEDモジュール36が電子機器10-2の上面に設けられている。しかし、カメラモジュール32およびLEDモジュール36が設けられる位置も特に限定されない。
[0029]
 図6は、図4および図5に示されたカメラモジュール32およびLEDモジュール36のA-A断面図である。図6を参照すると、カメラモジュール32およびLEDモジュール36の断面図が示されている。カメラモジュール32は、光学レンズ321、レンズホルダ322、IR(infrared)カットフィルタ323、イメージセンサ20およびモジュール基板324を備える。LEDモジュール36は、LED361、光源用レンズ362およびモジュール基板363を備える。
[0030]
 ここでは、光学レンズ321として広角レンズが用いられる場合が想定されている。そのため、図6に示された例では、LED361によって発せられた光がLED361から直接的にイメージセンサ20に到達している(LED361によって発せられた光が直接的にイメージセンサ20の撮像範囲Raに入り込む)。しかし、LED361によって発せられた光は、所定の反射部材によって反射されてイメージセンサ20に到達してもよい(LED361によって発せられた光が所定の反射部材に反射されて撮像範囲Raに入り込んでもよい)。
[0031]
 図7は、イメージセンサ20による撮像画像の例を示す図である。図7を参照すると、イメージセンサ20による撮像画像IM0が示されている。撮像画像IM0は、有効画素領域IM1とその周辺領域とを含んでいる。有効画素領域IM1の輝度が過剰に高くなってしまうことを防ぐため、LED361によって発せられた光は、有効画素領域にIM1にあまり到達しないのが望ましい。一方、周辺領域には、LED361によって発せられた光が映る光検出領域IM2が存在する。そこで、光検出領域IM2の輝度によってLED361が発光しているか否かが検出され得る。
[0032]
 図8は、本開示の第1の実施形態に係る固体撮像システム1の詳細構成例を示す図である。なお、図8からは、紙面の都合上、アプリケーション30およびネットワーク50が省略されている。図8を参照すると、イメージセンサ20、サーバ装置40およびLED361が示されている。
[0033]
 イメージセンサ20は、撮像素子211、A/D変換器212、信号処理部221、ローカル認証部231、ローカル認証用データ記憶部232、データ送信判断部233、セレクタ250、データ送信部261、データ受信部262および発光制御部271を備える。一方、サーバ装置40は、データ受信部410、サーバ認証部(第2の認証部)420、サーバ認証用データ記憶部430およびデータ送信部440を備える。
[0034]
 撮像素子211は、被写体から受光された光信号を電気信号に変換する。A/D変換器212は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部221は、A/D変換器212からの出力信号(撮像画像)に対して各種の信号処理を行い、処理後の信号(撮像画像)を出力する。ここで、信号処理部221によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部221によって行われる必要はなく、これらの信号処理の一部だけが信号処理部221によって行われてもよいし、これらの信号処理以外の処理が信号処理部221によって行われてもよい。
[0035]
 図9は、信号処理部221の詳細構成例を示す図である。図5に示されるように、信号処理部221は、シェーディング補正を行うシェーディング補正部2211、混色補正を行う混色補正部2212、および、デジタルゲイン調整を行うデジタルゲイン調整部2213を有してよい。また、信号処理部221は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部2214、検波を行う検波部2215、デモザイク処理を行うデモザイク処理部2216、および、γ補正を行うγ補正部2217を有してよい。
[0036]
 図8に戻って説明を続ける。信号処理部221による処理後の信号(撮像画像)は、セレクタ250、データ送信判断部233およびローカル認証部231に出力される。まず、ローカル認証部231の詳細構成例について説明する。図10は、ローカル認証部231の詳細構成例を示す図である。図10に示されるように、ローカル認証部231は、正規化処理部2311およびローカル認証処理部2312を有する。
[0037]
 正規化処理部2311は、ローカル認証処理部2312(例えば、ニューラルネットワーク)による処理に必要の前処理(プリプロセッシング)を行う。例えば、前処理は、第2の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部2312は、第1の撮像画像からLED361による発光が検出された場合に、第2の撮像画像に基づいて第1の認証を行う。例えば、第1の認証によって得られるデータは、第2の撮像画像に基づくデータ(メタデータ)であってよい。かかるメタデータは、第2の撮像画像から識別される被写体(人物)の識別情報であってよい。
[0038]
 なお、ローカル認証部231は、機械学習済みのニューラルネットワーク(第1のニューラルネットワーク)を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部231による第1の認証は、学習を必要としない構成によって行われてもよい。第1の認証の認証結果(成功/失敗)および第1の認証によって得られるデータ(メタデータ)は、セレクタ250に出力される。
[0039]
 続いて、データ送信判断部233の詳細構成例について説明する。図11は、データ送信判断部233の詳細構成例を示す図である。図11に示されるように、データ送信判断部233は、LED点灯判断部2331および送信制御部2333を有する。
[0040]
 本開示の実施形態では、データ送信判断部233が、信号処理部221から入力される映像の毎フレーム(撮像画像)に対して処理を行う場合を主に想定する。しかし、データ送信判断部233による処理対象は、信号処理部221から入力される映像の毎フレーム(撮像画像)に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部233に入力されたフレームを「第1の撮像画像」と言い、第1の撮像画像より後にデータ送信判断部233に入力されたフレームを「第2の撮像画像」と言う。
[0041]
 まず、撮像素子211によって撮像された第1の撮像画像がデータ送信判断部233に入力される。発光制御部271は、LED361による発光を開始させる。なお、発光制御部271は、無条件にLED361による発光を開始させてもよいが、所定の場合にのみLED361による発光を開始させてもよい。例えば、所定の場合は、メタデータに個人情報(例えば、被写体の名前、性別または年齢など)が含まれる場合であってもよい。LED点灯判断部2331は、第1の撮像画像からLED361による発光が検出されるか否かを判定する。特に異常がなければLED361による発光が検出されるが、異常があればLED361による発光が検出されない。異常の原因は特に限定されないが、LED361に覆いが被せられることであってもよいし、LED361が取り外されることであってもよい。
[0042]
 続いて、撮像素子211によって撮像された第2の撮像画像がデータ送信判断部233に入力される。送信制御部2333は、LED点灯判断部2331によってLED361による発光が検出されたことに基づいて、第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)のサーバ装置40への送信を制御する。なお、送信制御部2333は、第2の撮像画像および第2の撮像画像に基づくメタデータのいずれをセレクタ250から出力させるかを制御することによって、いずれかがサーバ装置40に送信されるように制御すればよい。
[0043]
 かかる構成によれば、被写体の撮影によって得られた第2の撮像画像または第2の撮像画像のメタデータのイメージセンサ20の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。一方、送信制御部2333は、LED点灯判断部2331によってLED361による発光が検出されなかったことに基づいて、第2の撮像画像を破棄してよい。
[0044]
 例えば、LED点灯判断部2331は、第1の撮像画像における輝度の領域間差分または第1の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、LED361による発光が検出されるか否かを判定すればよい。例えば、LED点灯判断部2331は、第1の撮像画像における輝度の領域間差分(例えば、光検出領域IM2と他の領域との間の輝度の差分)または複数フレームにおける輝度のフレーム間差分(例えば、複数フレームにおける光検出領域IM2の輝度の差分)が閾値よりも大きい場合に、LED361による発光が検出されたと判定してもよい。
[0045]
 ここでは、第1の撮像画像から発光が検出された場合、第2の撮像画像以降がサーバ装置40に送信される場合を主に想定する。しかし、第2の撮像画像以降に加えて発光が検出された第1の撮像画像もサーバ装置40に送信されてもよい。より具体的に、送信制御部2333は、第1の撮像画像の第1の領域(例えば、光検出領域IM2(図7))から発光が検出されたことに基づいて、第1の撮像画像の第1の領域とは異なる第2の領域(例えば、有効画素領域IM1(図7))または第2の領域に基づくデータの送信を制御してもよい。このとき、撮像画像IM0のうち光検出領域IM2側の行(図7に示された例では、最下行)から順に読み出しが行われれば、撮像画像IM0に対する一度の読み込みでLED361による発光の検出および有効画素領域IM1の送信が実行され得る。
[0046]
 例えば、送信制御部2333は、ローカル認証部231による第1の認証が成功した場合には、第2の撮像画像に基づくデータ(メタデータ)のサーバ装置40への送信を制御すればよい。一方、送信制御部2333は、ローカル認証部231による第1の認証に失敗した場合には、第2の撮像画像のサーバ装置40への送信を制御すればよい。
[0047]
 LED361による発光は、機械学習済みのニューラルネットワーク(第3のニューラルネットワーク)を用いて検出されてもよい。これによって、LED361による発光の検出精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、LED361による発光の検出精度がさらに高まることが想定される。しかし、LED361による発光は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク(第3のニューラルネットワーク)は、データ送信判断部233に含まれ得る。
[0048]
 第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)は、データ送信判断部233による制御に従って、データ送信部261によってサーバ装置40に送信される。サーバ装置40においては、データ受信部410によって、第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)が受信される。サーバ認証部420は、第2の撮像画像に基づく第2の認証を行う。例えば、第2の認証によって得られるデータは、第2の撮像画像に基づくデータ(メタデータ)であってよい。かかるメタデータは、第2の撮像画像から識別される被写体(人物)の識別情報であってよい。
[0049]
 なお、サーバ認証部420は、機械学習済みのニューラルネットワーク(第2のニューラルネットワーク)を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部420による第2の認証は、学習を必要としない構成によって行われてもよい。第2の認証の認証結果(成功/失敗)および第2の認証によって得られるデータ(メタデータ)は、データ送信部440を介して、イメージセンサ20に送信される。
[0050]
 イメージセンサ20においては、データ受信部262によって、第2の認証の認証結果(成功/失敗)および第2の認証によって得られるデータ(メタデータ)が受信される。
[0051]
 第1の認証が成功した場合、第1の認証によって得られたデータ(メタデータ)に基づく処理がイメージセンサ20において実行される。また、第2の認証が成功した場合にも、第2の認証によって得られたデータ(メタデータ)に基づく処理がイメージセンサ20において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。
[0052]
 なお、サーバ認証部420に含まれる第2のニューラルネットワークの第2のパラメータのほうが、ローカル認証部231に含まれる第1のニューラルネットワークの第1のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部420に含まれる第2のニューラルネットワークの第2のパラメータに基づいて、ローカル認証部231に含まれる第1のニューラルネットワークの第1のパラメータが更新されるのが望ましい。
[0053]
 具体的には、サーバ認証部420によって第2の撮像画像に基づく第2の認証が成功した場合、サーバ認証部420に含まれる第2のニューラルネットワークの第2のパラメータが、サーバ認証部420によってサーバ認証用データ記憶部430から取得され、データ送信部440を介してイメージセンサ20に送信されてもよい。このとき、イメージセンサ20においては、データ受信部262によって当該第2のパラメータが受信され、ローカル認証用データ記憶部232に記憶されている、ローカル認証部231に含まれる第1のニューラルネットワークの第1のパラメータが、第2のパラメータに基づいてローカル認証部231によって更新されてもよい。
[0054]
 続いて、本開示の第1の実施形態に係るイメージセンサ20の動作例について説明する。図12は、本開示の第1の実施形態に係るイメージセンサ20の動作例を示すフローチャートである。図12に示されるように、データ送信判断部233は、データ送信可否を判断する(S11)。データ送信可否判断について、図13を参照しながら詳細に説明する。
[0055]
 図13は、本開示の第1の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部271は、撮像開始とともにLED361による発光を開始させる。そして、図13に示されるように、データ送信可否判断S11においては、データ送信判断部233は、撮像画像からLED361によって発せられた光の検出を試みる(S111)。データ送信判断部233は、LED361によって発せられた光の検出がされなかった場合には(S111において「NO」)、データ送信不可であると判断する(S112)。一方、データ送信判断部233は、LED361によって発せられた光の検出がされた場合には(S111において「YES」)、データ送信可能であると判断する(S116)。
[0056]
 図12に戻って説明を続ける。データ送信不可であると判断された場合(S11において「NG」)、データ送信不可となる(S12)。このとき、撮像画像は破棄されてよい。一方、ローカル認証部231は、データ送信可であると判断された場合(S11において「OK」)、ローカル認証を行う(S13)。ローカル認証は、上記した第1の認証に相当し得る。ローカル認証が成功した場合(S13において「OK」)、データ送信部261によってメタデータがサーバ装置40に送信され(S14)、認証成功となる(S15)。一方、ローカル認証が失敗した場合(S13において「NG」)、データ送信部261によって撮像画像がサーバ装置40に送信される。このとき、データ送信状態である旨が通知されてもよい(S16)。
[0057]
 続いて、サーバ装置40におけるサーバ処理が実行される(S17)。具体的には、データ送信部440によって撮像画像が受信され(S18)、撮像画像に基づいてサーバ認証が行われる(S19)。サーバ認証は、上記した第2の認証に相当し得る。サーバ認証が成功した場合(S19において「OK」)、サーバ認証用データによってローカル認証用データが更新され(S21)、認証成功となる(S15)。一方、サーバ認証が失敗した場合(S19において「NG」)、認証失敗となる(S20)。
[0058]
 なお、発光制御部271は、メタデータまたは撮像画像の送信が終わったら、LED361による発光を停止させてよい。これによって、同一人物が撮影されているにも関わらずメタデータまたは撮像画像が連続で送信されてしまうことが避けられる。そして、発光制御部271は、撮像範囲から新たに人が検出された場合に、LED361による発光を再度開始させてもよい。これによって、新たな人の撮影が開始された場合にメタデータまたは撮像画像が再度送信されるようになる。
[0059]
 以上、本開示の第1の実施形態について説明した。
[0060]
 <2.第2の実施形態>
 続いて、本開示の第2の実施形態について説明する。本開示の第2の実施形態に係る固体撮像システム1の詳細構成について説明する。図14は、本開示の第2の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図14に示されるように、本開示の第2の実施形態は、イメージセンサ20がローカル認証部231およびローカル認証用データ記憶部232を有していない点が、本開示の第1の実施形態と異なる。この場合には、イメージセンサ20からメタデータがサーバ装置40に送信されない。
[0061]
 続いて、本開示の第2の実施形態に係るイメージセンサ20の動作例について説明する。図15は、本開示の第2の実施形態に係るイメージセンサ20の動作例を示すフローチャートである。図15に示されるように、図12に示された例と異なり、データ送信可であると判断された場合(S11において「OK」)、データ送信部261によって撮像画像がサーバ装置40に送信される。このとき、データ送信状態である旨が通知されてもよい(S16)。
[0062]
 続いて、サーバ装置40におけるサーバ処理が実行される(S17)。具体的には、データ送信部440によって撮像画像が受信され(S18)、撮像画像に基づいてサーバ認証が行われる(S19)。サーバ認証は、上記した第2の認証に相当し得る。サーバ認証が成功した場合(S19において「OK」)、認証成功となる(S15)。一方、サーバ認証が失敗した場合(S19において「NG」)、認証失敗となる(S20)。
[0063]
 以上、本開示の第2の実施形態について説明した。
[0064]
 <3.第3の実施形態>
 続いて、本開示の第3の実施形態について説明する。本開示の第3の実施形態に係る固体撮像システム1の詳細構成について説明する。図16は、本開示の第3の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図16に示されるように、本開示の第3の実施形態は、固体撮像システム1が、人検出部281および人検出用データ記憶部282を有している点が、本開示の第2の実施形態と異なる。この場合には、信号処理部221による処理後の信号(撮像画像)が、人検出部281にも出力される。なお、固体撮像システム1は、人検出部281および人検出用データ記憶部282の他、第1の実施形態と同様に、人検出部281および人検出用データ記憶部282を有してもよい。
[0065]
 人検出部281は、第1の撮像画像から人の検出を試みる。例えば、人検出部281は、人検出用データ記憶部282によって人の特徴量が記憶されている場合、人検出用データ記憶部282から人の特徴量を取得するとともに、第1の撮像画像から特徴量を抽出する。人検出部281は、両特徴量が一致または類似する場合に、第1の撮像画像に人が存在すると検出してもよい。発光制御部271は、人検出部281によって第1の撮像画像から人が検出された場合に、LED361による発光を開始させる。これによって、LED361の点灯を人が見る可能性があるときにだけLED361が点灯するため、省電力化が図られる。
[0066]
 人検出部281は、第1の撮像画像から人を検出した場合には、送信制御部2333に人検出領域(顔領域)を通知してもよい。そして、送信制御部2333は、第2の撮像画像に対して人検出領域(顔領域)にマスク処理を行ってから、サーバ装置40に第2の撮像画像が送信されるように制御してもよい。これによって、第2の撮像画像に映る人のプライバシー保護が強化され得る。
[0067]
 なお、特徴量は、機械学習済みのニューラルネットワーク(第4のニューラルネットワーク)を用いて第1の撮像画像から抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク(第4のニューラルネットワーク)は、人検出部281に含まれ得る。
[0068]
 続いて、本開示の第3の実施形態に係るデータ送信可否判断について、図17を参照しながら詳細に説明する。図17は、本開示の第3の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、人検出部281は、撮像画像から人が検出されるかを試みる(S113)。データ送信判断部233は、人検出部281によって人が検出されない場合には(S113において「NO」)、データ送信可能であると判断する(S116)。一方、発光制御部271は、人検出部281によって人が検出された場合には(S113において「YES」)、LED361による点灯を開始させることによって、撮影開始を被写体に通知する(S114)。
[0069]
 そして、データ送信判断部233は、撮像画像からLED361によって発せられた光の検出を試みる(S111)。データ送信判断部233は、LED361によって発せられた光の検出がされなかった場合には(S111において「NO」)、データ送信不可であると判断する(S112)。一方、データ送信判断部233は、LED361によって発せられた光の検出がされた場合には(S111において「YES」)、撮像画像の顔領域に対してマスク処理を行って(S115)、データ送信可能であると判断する(S116)。
[0070]
 以上、本開示の第3の実施形態について説明した。
[0071]
 <4.第4の実施形態>
 続いて、本開示の第4の実施形態について説明する。本開示の第4の実施形態に係る固体撮像システム1の詳細構成について説明する。図18は、本開示の第4の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図18に示されるように、本開示の第4の実施形態は、固体撮像システム1が、検出装置60を有している点が、本開示の第1の実施形態と異なる。この場合には、検出装置60によって被写体による撮影許容動作が検出され得る。例えば、検出装置60がマイクロフォンを含む場合、撮影許容動作として、LED361による発光検出の代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置60が入力装置(例えば、タッチパネルなど)を含む場合には、撮影許容動作として、所定の入力操作(例えば、タッチパネルへのタッチ操作など)が用いられてもよい。
[0072]
 以上、本開示の第4の実施形態について説明した。
[0073]
 <5.第5の実施形態>
 続いて、本開示の第5の実施形態について説明する。本開示の第5の実施形態に係る固体撮像システム1の詳細構成について説明する。図19は、本開示の第5の実施形態に係る固体撮像システム1の詳細構成例を示す図である。図19に示されるように、本開示の第5の実施形態は、固体撮像システム1が、サーバ装置40の代わりに外部記録媒体70を有している点が、本開示の第1の実施形態と異なる。この場合には、イメージセンサ20から送信された第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)が外部記録媒体70に記録されてよい。なお、第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)は、イメージセンサ20からアプリケーション30に出力されてもよい。
[0074]
 以上、本開示の第5の実施形態について説明した。
[0075]
 <6.第6の実施形態>
 続いて、本開示の第6の実施形態について説明する。ここで、本開示の第1の実施形態から本開示の第5の実施形態までにおいては、発光部の例としてLED361が用いられる場合について主に説明した。そして、本開示の第1の実施形態から本開示の第5の実施形態までのそれぞれは、LED361の代わりに他の発光部(フラッシュなど)が用いられる場合にも適用され得ることを説明した。本開示の第6の実施形態では、発光部の例としてフラッシュが用いられる場合の例について主に説明する。
[0076]
 図20を参照しながら、本開示の第6の実施形態に係る固体撮像システムの構成例について説明する。図20を参照すると、本開示の第6の実施形態に係る固体撮像システム1は、電子機器10がLED361の代わりにフラッシュ364を有する点において、本開示の第1の実施形態に係る固体撮像システム1と異なっている。フラッシュ364は、DSP230による制御に従ってイメージセンサ20による撮影時に発光する。このとき、イメージセンサ20の内部のフラッシュ364から発せられる光の強度(フラッシュ強度)に応じた露光制御が行われる。
[0077]
 続いて、本開示の第6の実施形態に係る固体撮像システム1の詳細構成例について説明する。図21は、データ送信判断部233の詳細構成例を示す図である。図21に示されるように、データ送信判断部233は、フラッシュ点灯判断部2332および送信制御部2333を有する。本開示の第6の実施形態に係るイメージセンサ20は、データ送信判断部233がLED点灯判断部2331の代わりにフラッシュ点灯判断部2332を有する点において、本開示の第1の実施形態に係るイメージセンサ20と異なっている。
[0078]
 発光制御部271は、フラッシュ点灯前に撮像範囲の輝度に基づいてフラッシュ未点灯時における適正露出値(露光時間およびゲイン)を算出する。そして、発光制御部271は、フラッシュ未点灯時における適正露出値に基づいてフラッシュ点灯時におけるパラメータ(フラッシュ強度、露光時間、ゲイン)を算出する。すなわち、発光制御部271は、フラッシュ364による発光が第1の撮像画像に写った場合に第1の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出する。発光制御部271は、パラメータに基づいてフラッシュ364による発光を制御する。
[0079]
 フラッシュ点灯判断部2332は、第1の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、第1の撮像画像から発光が検出されるか否かを判定する。このとき、特に異常がなければ第1の撮像画像の輝度平均値が適正範囲内に収まる(適正露出となる)。一方、異常があれば第1の撮像画像の輝度平均値が適正範囲内に収まらない(露出アンダーとなる)。異常の原因は特に限定されないが、フラッシュ364に覆いが被せられることであってもよいし、フラッシュ364が取り外されることであってもよい。
[0080]
 図22は、フラッシュ364が正常に点灯した場合およびフラッシュ364が正常に点灯しない場合それぞれの撮像画像の例を示す図である。図22を参照すると、フラッシュ364が正常に点灯した場合における撮像画像IM3と、フラッシュ364が正常に点灯しない場合における撮像画像IM4とが示されている。フラッシュ364が正常に点灯した場合における撮像画像IM3は、輝度平均値が適正範囲内に収まっている。一方、フラッシュ364が正常に点灯しない場合における撮像画像IM4は、輝度平均値が適正範囲内に収まっていない。
[0081]
 送信制御部2333は、フラッシュ点灯判断部2332によってフラッシュ364による発光が検出されたこと(図22に示された例では、輝度平均値が適正範囲内に収まっていること)に基づいて、第2の撮像画像または第2の撮像画像に基づくデータ(メタデータ)のサーバ装置40への送信を制御する。一方、送信制御部2333は、フラッシュ点灯判断部2332によってフラッシュ364による発光が検出されなかったことに基づいて、第2の撮像画像を破棄してよい。
[0082]
 続いて、本開示の第6の実施形態に係るデータ送信可否判断について、図23を参照しながら詳細に説明する。図23は、本開示の第6の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部271は、撮像開始とともにフラッシュ364による発光を開始させる。そして、図23に示されるように、データ送信可否判断S11においては、データ送信判断部233は、撮像画像の輝度平均値からフラッシュ364によって発せられた光の検出を試みる(S117)。データ送信判断部233は、フラッシュ364によって発せられた光の検出がされなかった場合には(S117において「NO」)、データ送信不可であると判断する(S112)。一方、データ送信判断部233は、フラッシュ364によって発せられた光の検出がされた場合には(S117において「YES」)、データ送信可能であると判断する(S116)。
[0083]
 以上、本開示の第6の実施形態について説明した。
[0084]
 <7.むすび>
 以上説明したように、本開示の実施形態によれば、第1の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
[0085]
 かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。
[0086]
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
[0087]
 例えば、上記では、本開示の第1の実施形態から本開示の第6の実施形態までのそれぞれについて説明した。これらの各種実施形態から、適宜にいずれかの構成が選択されて組み合わされてもよい。
[0088]
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
[0089]
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 第1の撮像画像を撮像する撮像部と、
 発光部による発光を制御する発光制御部と、
 前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、
 前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
 を備える、固体撮像装置。
(2)
 前記固体撮像装置は、
 前記発光が検出された場合に、前記第2の撮像画像に基づいて第1の認証を行う第1の認証部を備え、
 前記送信制御部は、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
 前記(1)に記載の固体撮像装置。
(3)
 前記第1の認証部は、機械学習済みの第1のニューラルネットワークを含んで構成される、
 前記(2)に記載の固体撮像装置。
(4)
 前記第2の撮像画像の送信先に、機械学習済みの第2のニューラルネットワークを含んで構成された第2の認証部が存在し、
 前記第1の認証部は、前記第2の認証部によって前記第2の撮像画像に基づく第2の認証が成功した場合、前記第2のニューラルネットワークの第2のパラメータに基づいて前記第1のニューラルネットワークの第1のパラメータを更新する、
 前記(3)に記載の固体撮像装置。
(5)
 前記固体撮像装置は、複数の半導体チップを含んで構成され、
 前記第1の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第1の半導体チップとは異なる第2の半導体チップに含まれる、
 前記(2)~(4)のいずれか一項に記載の固体撮像装置。
(6)
 前記第1の認証部は、前記第2の半導体チップに含まれるDSPによって実現される、
 前記(5)に記載の固体撮像装置。
(7)
 前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
 前記信号処理部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
 前記(5)または(6)に記載の固体撮像装置。
(8)
 前記固体撮像装置は、記憶部を備え、
 前記記憶部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
 前記(5)~(7)のいずれか一項に記載の固体撮像装置。
(9)
 前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
 前記(1)~(8)のいずれか一項に記載の固体撮像装置。
(10)
 前記判定部は、前記第1の撮像画像における輝度の領域間差分または前記第1の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
 前記(1)~(9)のいずれか一項に記載の固体撮像装置。
(11)
 前記発光制御部は、前記第1の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
 前記(1)~(10)のいずれか一項に記載の固体撮像装置。
(12)
 前記送信制御部は、前記第1の撮像画像の第1の領域から前記発光が検出されたことに基づいて、前記第1の撮像画像の前記第1の領域とは異なる第2の領域または前記第2の領域に基づくデータの送信を制御する、
 前記(1)~(11)のいずれか一項に記載の固体撮像装置。
(13)
 前記判定部は、前記第1の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第1の撮像画像から前記発光が検出されるか否かを判定する、
 前記(1)~(11)のいずれか一項に記載の固体撮像装置。
(14)
 前記発光制御部は、前記発光が前記第1の撮像画像に写った場合に前記第1の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
 前記(13)に記載の固体撮像装置。
(15)
 前記送信制御部は、前記第2の撮像画像または前記第2の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
 前記(1)~(14)のいずれか一項に記載の固体撮像装置。
(16)
 前記第1の認証が成功した場合、前記第1の認証によって得られたデータに基づく処理が実行される、
 前記(2)~(8)のいずれか一項に記載の固体撮像装置。
(17)
 前記第1の認証によって得られたデータは、前記第2の撮像画像から識別される被写体の識別情報を含む、
 前記(16)に記載の固体撮像装置。
(18)
 前記第2の認証が成功した場合、前記第2の認証によって得られたデータに基づく処理が実行される、
 前記(4)に記載の固体撮像装置。
(19)
 第1の撮像画像を撮像することと、
 発光部による発光を制御することと、
 前記第1の撮像画像から前記発光が検出されるか否かを判定することと、
 プロセッサが、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御することと、
 を備える、固体撮像方法。
(20)
 アプリケーションと、
 第1の撮像画像を撮像する撮像部と、
 発光部と、
 前記発光部による発光を制御する発光制御部と、
 前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、
 前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
 を備える、電子機器。

符号の説明

[0090]
 1   固体撮像システム
 10  電子機器
 20  イメージセンサ
 210 CIS
 211 撮像素子
 212 A/D変換器
 220 ロジック回路
 221 信号処理部
 2211 シェーディング補正部
 2212 混色補正部
 2213 デジタルゲイン調整部
 2214 ホワイトバランスゲイン調整部
 2215 検波部
 2216 デモザイク処理部
 2217 γ補正部
 230 DSP
 231 ローカル認証部
 2311 正規化処理部
 2312 ローカル認証処理部
 232 ローカル認証用データ記憶部
 233 データ送信判断部
 2331 LED点灯判断部
 2332 フラッシュ点灯判断部
 2333 送信制御部
 240 メモリ
 250 セレクタ
 261 データ送信部
 262 データ受信部
 271 発光制御部
 281 人検出部
 282 人検出用データ記憶部
 30  アプリケーション
 32  カメラモジュール
 321 光学レンズ
 322 レンズホルダ
 323 カットフィルタ
 324 モジュール基板
 36  LEDモジュール
 361 LED
 362 光源用レンズ
 363 モジュール基板
 364 フラッシュ
 40  サーバ装置
 410 データ受信部
 420 サーバ認証部
 430 サーバ認証用データ記憶部
 440 データ送信部
 50  ネットワーク
 60  検出装置
 70  外部記録媒体
 L1  第1の半導体チップ
 L2  第2の半導体チップ
 L3  第3の半導体チップ

請求の範囲

[請求項1]
 第1の撮像画像を撮像する撮像部と、
 発光部による発光を制御する発光制御部と、
 前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、
 前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
 を備える、固体撮像装置。
[請求項2]
 前記固体撮像装置は、
 前記発光が検出された場合に、前記第2の撮像画像に基づいて第1の認証を行う第1の認証部を備え、
 前記送信制御部は、前記第1の認証が成功した場合には、前記第2の撮像画像に基づくデータの送信を制御し、前記第1の認証に失敗した場合には、前記第2の撮像画像の送信を制御する、
 請求項1に記載の固体撮像装置。
[請求項3]
 前記第1の認証部は、機械学習済みの第1のニューラルネットワークを含んで構成される、
 請求項2に記載の固体撮像装置。
[請求項4]
 前記第2の撮像画像の送信先に、機械学習済みの第2のニューラルネットワークを含んで構成された第2の認証部が存在し、
 前記第1の認証部は、前記第2の認証部によって前記第2の撮像画像に基づく第2の認証が成功した場合、前記第2のニューラルネットワークの第2のパラメータに基づいて前記第1のニューラルネットワークの第1のパラメータを更新する、
 請求項3に記載の固体撮像装置。
[請求項5]
 前記固体撮像装置は、複数の半導体チップを含んで構成され、
 前記第1の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第1の半導体チップとは異なる第2の半導体チップに含まれる、
 請求項2に記載の固体撮像装置。
[請求項6]
 前記第1の認証部は、前記第2の半導体チップに含まれるDSPによって実現される、
 請求項5に記載の固体撮像装置。
[請求項7]
 前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
 前記信号処理部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
 請求項5に記載の固体撮像装置。
[請求項8]
 前記固体撮像装置は、記憶部を備え、
 前記記憶部は、前記複数の半導体チップのうち、前記第1の半導体チップおよび前記第2の半導体チップとは異なる第3の半導体チップ、または、前記第2の半導体チップに含まれる、
 請求項5に記載の固体撮像装置。
[請求項9]
 前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
 請求項1に記載の固体撮像装置。
[請求項10]
 前記判定部は、前記第1の撮像画像における輝度の領域間差分または前記第1の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
 請求項1に記載の固体撮像装置。
[請求項11]
 前記発光制御部は、前記第1の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
 請求項1に記載の固体撮像装置。
[請求項12]
 前記送信制御部は、前記第1の撮像画像の第1の領域から前記発光が検出されたことに基づいて、前記第1の撮像画像の前記第1の領域とは異なる第2の領域または前記第2の領域に基づくデータの送信を制御する、
 請求項1に記載の固体撮像装置。
[請求項13]
 前記判定部は、前記第1の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第1の撮像画像から前記発光が検出されるか否かを判定する、
 請求項1に記載の固体撮像装置。
[請求項14]
 前記発光制御部は、前記発光が前記第1の撮像画像に写った場合に前記第1の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
 請求項13に記載の固体撮像装置。
[請求項15]
 前記送信制御部は、前記第2の撮像画像または前記第2の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
 請求項1に記載の固体撮像装置。
[請求項16]
 前記第1の認証が成功した場合、前記第1の認証によって得られたデータに基づく処理が実行される、
 請求項2に記載の固体撮像装置。
[請求項17]
 前記第1の認証によって得られたデータは、前記第2の撮像画像から識別される被写体の識別情報を含む、
 請求項16に記載の固体撮像装置。
[請求項18]
 前記第2の認証が成功した場合、前記第2の認証によって得られたデータに基づく処理が実行される、
 請求項4に記載の固体撮像装置。
[請求項19]
 第1の撮像画像を撮像することと、
 発光部による発光を制御することと、
 前記第1の撮像画像から前記発光が検出されるか否かを判定することと、
 プロセッサが、前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御することと、
 を備える、固体撮像方法。
[請求項20]
 アプリケーションと、
 第1の撮像画像を撮像する撮像部と、
 発光部と、
 前記発光部による発光を制御する発光制御部と、
 前記第1の撮像画像から前記発光が検出されるか否かを判定する判定部と、
 前記発光が検出されたことに基づいて、第2の撮像画像または前記第2の撮像画像に基づくデータの送信を制御する送信制御部と、
 を備える、電子機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]