Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020116177 - IMAGE CAPTURING ELEMENT, IMAGE CAPTURING DEVICE AND METHOD

Document

明 細 書

発明の名称 撮像素子、撮像装置および方法

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

非特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010   0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133  

符号の説明

0134  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 撮像素子、撮像装置および方法

技術分野

[0001]
 本開示は、撮像素子、撮像装置および方法に関し、特に、通信の安全性の低減を抑制することができるようにした撮像素子、撮像装置および方法に関する。

背景技術

[0002]
 従来、病室や家庭内の見守りサービス等のためのシステムとして、遠隔地の対象の安否を確認するシステムがあった。このようなシステムの場合、例えば、端末装置のイメージセンサにより対象を撮像し、その撮像画像をネットワーク経由でクラウドに伝送し、クラウド側でその撮像画像から特徴量を抽出し、解析することにより、安否判定が行われていた。
[0003]
 しかしながら、このように撮像画像を端末装置からクラウドに伝送する場合、その撮像画像が第3者に漏洩することにより、個人情報が漏洩してしまうおそれがあった。
[0004]
 ところで、画像から特徴量を抽出し、抽出した特徴量をクラウドに送信する方法が考えられた(例えば、非特許文献1参照)。

先行技術文献

非特許文献

[0005]
非特許文献1 : "Information technology - Multimedia content description interface - Part 13: Compact descriptors for visual search", ISO/IEC DIS 15938-13, 2014-04-04, ISO/IEC JTC1/SC29/WG11

発明の概要

発明が解決しようとする課題

[0006]
 しかしながら、非特許文献1には、特徴量を抽出する画像の生成について明らかにされていなかった。例えば、撮像装置において得られた撮像画像を、他の装置において特徴量を抽出する場合、やはり、撮像装置と他の装置との間の通信において、個人情報が漏洩してしまうおそれがあった。
[0007]
 本開示は、このような状況に鑑みてなされたものであり、通信の安全性の低減を抑制することができるようにするものである。

課題を解決するための手段

[0008]
 本技術の一側面の撮像素子は、被写体を撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備える撮像素子である。
[0009]
 本技術の一側面の撮像装置は、被写体を撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備える撮像装置である。
[0010]
 本技術の一側面の撮像方法は、被写体を撮像し、撮像画像を生成し、生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する撮像方法である。
[0011]
 本技術の一側面の撮像素子、撮像装置および方法においては、被写体が撮像され、撮像画像が生成され、その生成された撮像画像より、外部に出力する所定の特徴量が抽出される。

図面の簡単な説明

[0012]
[図1] 本技術を適用した撮像方式等の一覧を示す図である。
[図2] 方法1を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
[図3] 特徴量抽出符号化部の主な構成例を示すブロック図である。
[図4] 撮像処理の流れの例を説明するフローチャートである。
[図5] 方法1-1を実現する撮像素子の主な構成例を示すブロック図である。
[図6] 半導体基板の構成について説明する図である。
[図7] 方法1-1を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
[図8] 撮像処理の流れの例を説明するフローチャートである。
[図9] 方法1-1-1を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
[図10] 撮像処理の流れの例を説明するフローチャートである。
[図11] 方法1-1-1-1を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
[図12] 撮像処理の流れの例を説明するフローチャートである。
[図13] 方法1-1-2を実現する撮像装置・撮像素子の主な構成例を示すブロック図である。
[図14] 撮像処理の流れの例を説明するフローチャートである。
[図15] コンピュータの主な構成例を示すブロック図である。

発明を実施するための形態

[0013]
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.画像認識を伴う通信サービス
2.コンセプト
3.第1の実施の形態(方法1詳細)
4.第2の実施の形態(方法1-1詳細)
5.第3の実施の形態(方法1-1-1詳細)
6.第4の実施の形態(方法1-1-1-1詳細)
7.第5の実施の形態(方法1-1-2詳細)
8.付記
[0014]
 <1.画像認識を伴う通信サービス>
  <技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。つまり、この文献に記載されている内容もサポート要件を判断する際の根拠となる。
[0015]
 特許文献1:上述
[0016]
  <画像認識を伴うサービス>
 従来、画像認識を伴うサービスとして、例えば、病室や家庭内の見守りサービス等のためのシステム等があった。このようなシステムにおいては、例えば、端末装置のイメージセンサにより対象を撮像し、その撮像画像をネットワーク経由でクラウドに伝送し、クラウド側でその撮像画像から特徴量を抽出し、解析することにより画像認識が行われ、その認識結果に基づいて安否判定が行われていた。
[0017]
 そのため、クラウドのデータベースを利用する等して高度な画像認識を実現することができ、より多様な状況下においてより正確な安否判定を実現することができた。そのため、このようなシステムを適用することにより、より高度なサービスの提供を実現することができた。
[0018]
 しかしながら、この方法の場合、端末装置からクラウドに撮像画像を伝送する必要があった。この撮像画像には、例えばユーザの顔や部屋の状況等の個人情報(プライバシーに関する情報)が含まれる可能性がある。そのため、通信中に撮像画像が第3者に漏洩すると、個人情報まで漏洩してしまうおそれがあった。つまり、通信により撮像画像を伝送することにより、通信の安全性が低減するおそれがあった。
[0019]
 これに対して個人情報保護を優先させ、例えば、焦電センサ等のようにイメージセンサ以外のセンサを用いて対象を監視し、そのセンシング結果を用いて安否確認を行うようにする方法も考えらえた。しかしながら、例えば焦電センサの場合、位置関係を詳細に識別することができず、姿勢の変化の検出や人物の特定が困難であった。このように、イメージセンサ以外のセンサを用いる場合、イメージセンサを用いる場合よりも、画像認識の性能が低減し、その画像認識結果に基づいて提供するサービスの質が低減するおそれがあった。
[0020]
 <2.コンセプト>
 そこで、イメージセンサにおいて、撮像画像から特徴量抽出・符号化を行い、その特徴量の符号化データを出力するようにする(図1の表の方法1)。つまり、被写体を撮像し、撮像画像を生成し、その生成された撮像画像より、外部に出力する所定の特徴量を抽出するようにする。例えば、撮像素子または撮像装置において、被写体を撮像し、撮像画像を生成する撮像部と、その撮像部により生成された撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部とを備えるようにする。
[0021]
 このようにすることにより、撮像素子または撮像装置が、撮像画像を出力せず、その撮像画像の特徴量を出力するようにすることができる。したがって、通信の安全性の低減を抑制し、プライバシーを保護することができる。さらに、画像認識による安否検出を行うことができるので、より多様な状況下においてより正確な安否判定を実現することができる。したがって、より高度なサービスの提供が可能になる。
[0022]
 また、撮像画像に対して、特徴量の抽出のための信号処理を行うようにしてもよい。例えば、撮像素子・撮像装置において、撮像部により生成された撮像画像に対して、特徴量の抽出のための信号処理を行う信号処理部をさらに備え、特徴量抽出部は、その信号処理部により信号処理が施された撮像画像より、特徴量を抽出するようにしてもよい。このような信号処理によって撮像画像からの特徴量の抽出をより容易化したり、より正確化したりすることができる。また、撮像画像が出力されないので、信号処理は、特徴量抽出に関するもののみとすることができる。例えば、画像の解像度、フレーム周波数、デモザイクや色変換処理の内容等を、特徴量抽出に必要なレベルにすることができる。したがって、信号処理の負荷の増大を抑制することができる。つまり、信号処理の処理時間や消費電力の増大を抑制することができる。
[0023]
 また、抽出した特徴量を符号化するようにしてもよい。例えば、撮像素子・撮像装置において、特徴量抽出部が、抽出した特徴量を符号化するようにしてもよい。このようにすることにより、出力する情報のデータ量の増大を抑制することができる。また、符号化データを伝送することにより、第3者に漏洩した場合であっても、その第3者が元の特徴量を得ることが困難であるので、通信の安全性の低減を抑制することができる。
[0024]
 また、撮像素子・撮像装置が、抽出した特徴量(またはその符号化データ)を送信する送信部を備えるようにしてもよい。つまり、送信部は、撮像素子・撮像装置内に形成することもできるし、それらの外部(他の装置)に形成することもできる。
[0025]
 さらに、ヘッダを生成し、付加するようにしてもよい。例えば、撮像素子・撮像装置において、特徴量のヘッダ情報を生成するヘッダ生成部と、そのヘッダ生成部により生成されたヘッダ情報を、特徴量抽出部により抽出された特徴量に付加する付加部とが設けられるようにしてもよい。このようにすることにより、伝送する情報(例えば特徴量)に関する様々な情報をヘッダに格納し、その特徴量に関連付けて伝送することができる。したがって、クラウドは、そのヘッダに含まれる情報に基づいて、例えば、より多様なサービスを提供することができる。
[0026]
 また、撮像素子において、上述の撮像部および特徴量抽出部が、パッケージ化され、かつ、互いに異なる基板に形成されるようにしてもよい。つまり、パッケージ化し、ロジック層において特徴量抽出・符号化を行うようにしてもよい(図1の表の方法1-1)。このようにすることにより、撮像画像を撮像素子外に出力することを抑制することができるので、撮像画像の漏洩をより抑制することができる。
[0027]
 なお、撮像部と特徴量抽出部の基板を分けることにより、それらの基板を積層することができる。つまり、撮像素子において、撮像部が形成される基板と、特徴量抽出部が形成される基板とが互いに重畳されるようにしてもよい。このようにすることにより、撮像素子をより小型化することができる。またこれにより撮像素子のコストの増大を抑制することができる。
[0028]
 また、動作モードを選択する機能を有するようにしてもよい(図1の表の方法1-1-1)。例えば、撮像素子または撮像装置において、撮像画像を出力するか、特徴量を出力するかを選択することができるようにしてもよい。つまり、撮像素子または撮像装置において、その選択を行う選択部を設けるようにしてもよい。このようにすることにより、特徴量だけでなく、撮像画像を出力することもできるようになる。したがって、利便性を向上させることができる。
[0029]
 なお、その選択が、撮像素子の外部からの要求に基づいて行われるようにしてもよい。このようにすることにより、例えば、画像と特徴量のいずれを出力するかを、クラウドから要求することができ、より多様なサービスの提供を実現することができる。
[0030]
 また、その要求元の認証機能を有するようにしてもよい(図1の表の方法1-1-1-1)。例えば、撮像素子・撮像装置において、外部からの要求の要求元を認証する認証部を設け、選択部が、その認証部により要求元が認証された場合、その要求に基づいて、出力する情報の選択を行うようにしてもよい。このようにすることにより、不正な要求元からの要求を拒否することができる。つまり、より安全に、外部からの要求を受け付けることができる。
[0031]
 さらに、撮像素子・撮像装置が、撮像部により生成された撮像画像に対して、所定の信号処理を行う画像用信号処理部と、その画像用信号処理部により信号処理が施された撮像画像を符号化する符号化部とを備えるようにしてもよい。すなわち、出力する撮像画像に対して、信号処理や符号化が行われるようにしてもよい。このように信号処理を行うことにより、画質の低減を抑制することができる。また、符号化することにより、出力する情報のデータ量の増大を抑制することができる。
[0032]
 なお、画像出力モードの場合、出力する画像は、画素領域(光電変換領域)の一部(部分領域)を用いて生成されるようにしてもよい。つまり、特徴量を抽出する撮像画像よりも低解像度の撮像画像を出力するようにしてもよい。例えば、撮像素子・撮像装置において、撮像部が、選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成するようにしてもよい。このようにすることにより、出力する情報のデータ量の増大を抑制することができる。また、低解像度化することにより、画像が第3者に漏洩した場合に漏洩する個人情報の量を低減させることができる。
[0033]
 また、出力する画像の領域を特徴量に基づいて限定する機能を有するようにしてもよい(図1の表の方法1-1-2)。例えば、撮像素子・撮像装置において、撮像部が、光電変換領域の、特徴量抽出部により抽出された特徴量に基づく範囲内の部分を用いて、撮像画像を生成するようにしてもよい。このようにすることにより、例えば特徴量を解析することにより特定される注視すべき領域の撮像画像を出力することができる。したがって、より重要であり、かつ、不要なデータ量の増大を抑制した撮像画像を出力することができる。
[0034]
 <3.第1の実施の形態(方法1の詳細)>
  <通信システム>
 図2は、本技術を適用した通信システムの構成の一例を示すブロック図である。図2に示される通信システム100は、撮像装置101およびクラウド102を有し、それらが通信を行うシステムである。撮像装置101は、被写体を撮像して撮像画像を生成し、その撮像画像の特徴量を抽出し、クラウド102に提供する。クラウド102は、撮像装置101から供給される特徴量を解析し、その解析結果に基づくサービスを行う。
[0035]
 例えば、通信システム100は、このような処理により、病室や家庭内の見守りサービスを実現する。例えば、撮像装置101は、観察対象(見守り対象)の部屋等に設置され、その位置において、定期的に、または所定のイベントをトリガとして、観察対象を撮像する。そして、撮像装置101は、その撮像画像の特徴量を抽出し、クラウド102に送信する。クラウド102は、その特徴量を受信して、解析し、観察対象の安否確認等を行う。また、クラウド102は、その確認結果に基づいた所定のサービス(例えば通知等)を行う。
[0036]
 つまり、クラウド102は、撮像画像に基づく安否確認を行うことができる。したがって、クラウド102は、より多様な状況下においてより正確な安否判定を実現することができる。したがって、より高度なサービスの提供が可能になる。
[0037]
 また、撮像装置101が、撮像画像ではなく特徴量をクラウド102に送信するため、仮に第3者が不正にその特徴量を取得できたとしても、単に撮像画像のデータとしての特徴量が得られるのみであり、撮像画像を復元することはできない。したがって、このような仕組みとすることにより、通信システム100は、観察対象の情報の漏洩を抑制することができる。
[0038]
 さらに、撮像画像を撮像装置101からクラウド102に伝送する場合、十分な通信の安全性を確保し、個人情報の漏洩を防ぐためには、強固な暗号化等、複雑かつ高価な仕組みが必要になり、コストが増大するおそれがある。それに対して、本手法は、上述のように特徴量を伝送させるのみであり、容易に実現することができ、コストの増大を抑制することができる。
[0039]
 また、一般的に特徴量は、その撮像画像に比べて情報量が少ない。したがって、本手法のように特徴量を伝送するようにすることにより、撮像画像を伝送する場合に比べて、伝送する情報量を低減させることができる。これにより、通信の負荷の増大を抑制することができる。したがって、通信システム100(撮像装置101やクラウド102等)のコストの増大を抑制することができる。
[0040]
 図2に示されるように、撮像装置101は、光学系111および撮像素子112を有する。光学系111は、例えばレンズや絞り等により構成され、自身を透過する光に対して光学的影響を及ぼす。例えば、被写体からの光は、この光学系111を介して撮像素子112(受光部121)に入射する。光学系111は、この光に対して光学的影響を及ぼす。
[0041]
 撮像素子112は、撮像に関する処理を行う。図2に示されるように、撮像素子112は、受光部121、ADC(Analog Digital Converter)122、特徴量抽出用信号処理部123、特徴量抽出符号化部124、および送信部125を有する。
[0042]
 受光部121は、被写体(例えば観察対象)からの光を受光し、光電変換して、電気信号としての撮像画像を生成する。受光部121は、その撮像画像の電気信号をADC122に供給する。ADC122は、その撮像画像の電気信号を取得し、それをA/D変換して、撮像画像のデジタルデータ(撮像画像データとも称する)を生成する。ADC122は、その撮像画像データを特徴量抽出用信号処理部123に供給する。
[0043]
 特徴量抽出用信号処理部123は、ADC122から供給される撮像画像データを取得すると、それに対して、特徴量抽出に関する信号処理を行う。特徴量抽出用信号処理部123は、信号処理を施した撮像画像データを特徴量抽出符号化部124に供給する。
[0044]
 なお、撮像画像は、特徴量の抽出に用いられるので(観賞用等には使用されないので)、この特徴量抽出用信号処理部123による撮像画像に対する信号処理も、特徴量抽出に関係のあるもののみでよい。例えば、解像度変換、フレーム周波数変換、デモザイク、色変換処理等、比較的負荷の軽い処理であってもよい。このように、撮像画像を出力せずに特徴量抽出にのみ利用することにより、信号処理の負荷の増大を抑制することができる。これにより、処理時間や消費電力の増大を抑制することができる。もちろん、この信号処理の内容は、特徴量抽出に関係のあるものであれば任意である。
[0045]
 また、撮像画像は、特徴量の抽出に十分な情報量があればよい。したがって、例えば、特徴量抽出用信号処理部123は、この信号処理により、十分な精度で特徴量抽出を行うことができる範囲で、撮像画像の解像度やフレーム周波数を落とすことができる(つまり、特徴量抽出精度が低減しないように、撮像画像の情報量を低減させることができる)。これにより、特徴量抽出の処理時間や消費電力の増大を抑制することができる。
[0046]
 特徴量抽出符号化部124は、特徴量抽出用信号処理部123から供給される撮像画像データを取得し、その撮像画像の所定の特徴量を抽出する。また、特徴量抽出符号化部124は、抽出した特徴量を符号化し、符号化データを生成する。この抽出する特徴量や符号化方式は、任意である。このように特徴量を符号化することにより、伝送する情報量をさらに低減させることができる。さらに、特徴量抽出符号化部124は、生成した符号化データを送信部125に供給する。
[0047]
 送信部125は、特徴量抽出符号化部124から供給される符号化データを取得し、それを、例えばインターネット等の任意のネットワーク(通信媒体)を介して、クラウド102(受信部131)に送信する。
[0048]
 クラウド102は、特徴量の解析に関する処理を行う。図2に示されるように、クラウド102は、受信部131およびデータ解析処理部132を有する。受信部131は、撮像装置101(撮像素子112(送信部125))から送信された符号化データを受信し、それをデータ解析処理部132に供給する。
[0049]
 データ解析処理部132は、受信部131から供給される符号化データを取得し、それを復号して撮像画像の特徴量のデータを復元する。また、データ解析処理部132は、復元した特徴量を解析することにより撮像画像の画像解析を行い、その解析結果に基づいて、観察対象の安否確認等を行う。さらに、データ解析処理部132が、その安否確認結果に応じて、所定のサービス(例えば、通知等)を行うようにしてもよい。
[0050]
  <特徴量抽出符号化部>
 図3は、特徴量抽出符号化部124の主な構成例を示すブロック図である。図3の例において、特徴量抽出符号化部124は、非特許文献1に記載のMPEG CDVS(Moving Picture Experts Group Compact Descriptors for Visual Search)を適用する。このMPEG CDVSは、入力画像から特徴量を抽出・圧縮する方式を規定する、MPEGで標準化された技術(ISO/IEC 15938-13:2015)である。特徴量抽出符号化部124は、SIFTと同様な手法で、キーポイント、局所特徴量、および全体特徴量を算出し、それらを圧縮する。
[0051]
 図3に示されるように、この場合の特徴量抽出符号化部124は、キーポイント検出部151、ローカル特徴選択部152、ローカル記述計算部153、ローカル記述圧縮部154、座標符号化部155、およびグローバル記述集計部156を有する。キーポイント検出部151は、入力された画像データからキーポイント(keypoint)を検出する。ローカル特徴選択部152は、画像データから局所特徴量(Local Feature)を導出する。ローカル記述計算部153は、ローカル記述(Local descriptor)を計算する。ローカル記述圧縮部154は、ローカル記述を圧縮する。座標符号化部155は、座標を符号化する。グローバル記述集計部156は、グローバル記述(global descriptor)を集計する。
[0052]
  <撮像処理の流れ>
 この撮像装置101により実行される撮像処理の流れの例を、図4のフローチャートを参照して説明する。
[0053]
 撮像処理が開始されると、受光部121は、ステップS101において、被写体を撮像し、撮像画像の電気信号を生成する。ステップS102において、ADC122は、ステップS101において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。
[0054]
 ステップS103において、特徴量抽出用信号処理部123は、ステップS102において生成された撮像画像データに対して、特徴量抽出のための信号処理を行う。
[0055]
 ステップS104において、特徴量抽出符号化部124は、ステップS103において信号処理が適宜施された撮像画像データから、その撮像画像の特徴量を抽出して符号化し、その特徴量の符号化データを生成する。
[0056]
 ステップS105において、送信部125は、ステップS104において生成された符号化データを(クラウド102に)送信する。
[0057]
 ステップS105の処理が終了すると、撮像処理が終了する。
[0058]
 以上のように撮像処理を行うことにより、撮像装置101は、より安全に情報をクラウド102に提供することができる。つまり、通信の安全性の低減を抑制することができる。
[0059]
 <4.第2の実施の形態(方法1-1の詳細)>
  <撮像素子>
 図2を参照して説明した撮像素子112は、受光部121乃至送信部125の各処理部を複数に分け、複数のデバイスとして構成するようにしてもよいし、受光部121乃至送信部125の各処理部を1つにパッケージ化して、単数のデバイスとして構成するようにしてもよい。撮像素子112の構成をパッケージ化することにより、撮像画像の漏洩をより抑制することができる。つまり、より強固なプライバシー保護を実現することができる。
[0060]
 図5は、受光部121乃至送信部125の各処理部を1つにパッケージ化する場合の、撮像素子112の主な構成例を示すブロック図である。この場合、パッケージ化された撮像素子112は、複数の半導体基板(半導体基板171および半導体基板172)を有する。受光部121およびADC122は、そのパッケージ内の半導体基板171に形成され、特徴量抽出用信号処理部123、特徴量抽出符号化部124、および送信部125は、そのパッケージ内の半導体基板172に形成される。つまり、受光部121および特徴量抽出符号化部124は、互いに異なる半導体基板に形成される。
[0061]
 この半導体基板171および半導体基板172は、平面上に並べて配置するようにしてもよいが、図6のAの例のように互いに重畳させて、図6のBに示されるような積層構造とするようにしてもよい。このような構造とすることにより、パッケージ化された撮像素子112の面積を低減させ、小型化することができる。これにより、回路規模の増大を抑制し、コストの増大を抑制することができる。
[0062]
  <撮像装置>
 なお、送信部は、パッケージ化された撮像素子112の外部に設ける(他のチップに設ける)ようにしてもよい。例えば、図7に示される撮像装置180は、撮像装置101(図2)と同様の装置である。ただし、撮像装置180は、パッケージ化された撮像素子112、ヘッダ生成部181、加算部182、および送信部183を有する。
[0063]
 この場合のパッケージ化された撮像素子112は、基本的に図5に示される例と同様の構成を有するが、送信部125を含まない点が図5の例と異なる。つまり、半導体基板171には、受光部121およびADC122が形成され、半導体基板172には、特徴量抽出用信号処理部123および特徴量抽出符号化部124が形成される。したがって、パッケージ化された撮像素子112からは、特徴量の符号化データが出力される。
[0064]
 ヘッダ生成部181は、パッケージ化された撮像素子112から出力される符号化データに関する情報(すなわち、撮像画像の特徴量に関する情報)を含むヘッダ情報を生成し、それを加算部182に供給する。加算部182は、ヘッダ生成部181から供給されるヘッダ情報を、パッケージ化された撮像素子112(特徴量抽出符号化部124)から出力される符号化データに付加する。加算部182は、ヘッダ情報が付加された符号化データを送信部183に供給する。
[0065]
 送信部183は、送信部125と同様の処理部であり、加算部182から供給される、ヘッダ情報が付加された符号化データを取得し、それを(クラウド102に)送信する。
[0066]
 つまり、撮像装置180は、ヘッダ情報の生成、そのヘッダ情報と特徴量の符号化データとの結合、およびヘッダ情報が付加された符号化データの送信を、パッケージ化された撮像素子112の外部において行う。このようにすることにより、全体としてのハードウエア規模と消費電力の増大を抑制することができる。
[0067]
  <撮像処理の流れ>
 この場合の撮像処理の流れの例を、図8のフローチャートを参照して説明する。撮像処理が開始されると、ステップS121乃至ステップS124の各処理は、ステップS101乃至ステップS104の各処理(図4)と同様に実行される。
[0068]
 ステップS125において、ヘッダ生成部181はヘッダ情報を生成し、加算部182はそのヘッダ情報を特徴量の符号化データに付加する。
[0069]
 ステップS126において、送信部183は、ステップS125においてヘッダが付加された特徴量の符号化データを送信する。ステップS126の処理が終了すると、撮像処理が終了する。
[0070]
 以上のように撮像処理を行うことにより、撮像装置180は、より安全に情報をクラウド102に提供することができる。つまり、通信の安全性の低減を抑制することができる。
[0071]
 <5.第3の実施の形態(方法1-1-1の詳細)>
  <通信システム>
 撮像素子または撮像装置が、動作モードを選択する機能を有するようにしてもよい。例えば、撮像素子または撮像装置において、撮像画像を出力するか、特徴量を出力するかを選択することができるようにしてもよい。
[0072]
 図9は、その場合の通信システム100の主な構成例を示すブロック図である。図9に示されるように、この場合、撮像素子112は、図2に示される構成に加え、制御部211、選択部212、信号処理部213、符号化部214、および選択部215を有する。
[0073]
 制御部211は、撮像装置101の外部からの動作モードに関する要求を受け付け、その要求に基づいて動作モードの制御を行う。より具体的には、制御部211は、選択部212および選択部215を制御して動作モードの選択(切り替え)を行う。
[0074]
 この場合の撮像素子112には、動作モードとして、特徴量(の符号化データ)を出力するモードと、撮像画像(の符号化データ)を出力するモードとが用意されている。制御部211は、選択部212および選択部215を制御することにより、いずれか一方のモードを選択することができる。
[0075]
 なお、動作モードに関する要求の要求元は任意である。例えば、撮像装置101のユーザであってもよいし、図9に示されるように、クラウド102(例えばデータ解析処理部132)であってもよい。図9の例の場合、データ解析処理部132が、特徴量の解析結果(安否確認結果)に基づいて動作モードに関する要求を行うようにしてもよい。例えば、安否確認において観察対象に異常が確認された場合、データ解析処理部132が、その確認用として、撮像装置101(撮像素子112)に対し、撮像画像(の符号化データ)を出力するモードで動作するように要求するようにしてもよい。このようにすることにより、クラウド102は、単なる安否確認だけでなく、異常が生じた場合には撮像画像を用いて通知を行う等の高度なサービスを実現することができる。
[0076]
 選択部212は、制御部211の制御に従って、ADC122の接続先を制御する。例えば、選択部212がADC122を信号処理部213に接続することにより、ADC122は、その選択部212を介して撮像画像データを信号処理部213に供給する。つまり、撮像素子112は、撮像画像(の符号化データ)を出力するモードで動作する。また、選択部212がADC122を特徴量抽出用信号処理部123に接続することにより、ADC122は、その選択部212を介して撮像画像データを特徴量抽出用信号処理部123に供給する。つまり、撮像素子112は、特徴量(の符号化データ)を出力するモードで動作する。
[0077]
 信号処理部213は、選択部212を介して供給される撮像画像データを取得し、その撮像画像データに対して所定の信号処理を行う。この信号処理の内容は任意である。信号処理部213は、特徴量抽出用信号処理部123とは独立に信号処理を行うことができる。例えば、信号処理部213が、特徴量抽出用信号処理部123の信号処理よりも、高画質化のための信号処理を行うことにより、撮像装置101は、より高画質な撮像画像(の符号化データ)を出力することができる。信号処理が適宜施された撮像画像データを符号化部214に供給する。符号化部214は、信号処理部213から供給される、信号処理が適宜施された撮像画像データを符号化し、撮像画像の符号化データを生成する。なお、この符号化の方法は任意である。符号化部214は、生成した符号化データを選択部215に供給する。
[0078]
 なお、撮像画像の符号化は、省略するようにしてもよい。すなわち、符号化部214を省略するようにしてもよい。つまり、符号化されていない撮像画像データ(信号処理部213により所定の信号処理が適宜施された撮像画像データ)が、信号処理部213から選択部215を介して送信部125に供給され、送信されるようにしてもよい。
[0079]
 選択部215は、制御部211の制御に従って、送信部125の接続元を制御する。例えば、選択部215が符号化部214を送信部125に接続することにより、符号化部214は、その選択部215を介して撮像画像の符号化データを送信部125に供給する。つまり、撮像素子112は、撮像画像(の符号化データ)を出力するモードで動作する。また、選択部215が特徴量抽出符号化部124を送信部125に接続することにより、特徴量抽出符号化部124は、その選択部215を介して特徴量の符号化データを送信部125に供給する。つまり、撮像素子112は、特徴量(の符号化データ)を出力するモードで動作する。
[0080]
 このようにすることにより、撮像装置101は、特徴量だけでなく、撮像画像を出力することもできるようになる。したがって、利便性を向上させることができる。
[0081]
  <撮像処理の流れ>
 この場合の撮像処理の流れの例を、図10のフローチャートを参照して説明する。撮像処理が開始されると、制御部211は、ステップS201において、動作モードに関する要求を受け付ける。
[0082]
 ステップS202において、制御部211は、撮像素子112の動作モードを、ステップS201において受け付けた要求に対応するモード(すなわち、要求されたモード)に設定する。
[0083]
 ステップS203において、選択部212および選択部215は、ステップS202における制御部211の制御に従って、撮像画像を出力するか否かを判定する。特徴量を出力するモードが選択されたと判定された場合、選択部212はADC122を特徴量抽出用信号処理部123に接続し、選択部215は特徴量抽出符号化部124を送信部125に接続し、処理をステップS204に進める。
[0084]
 ステップS204において、受光部121は、被写体を撮像し、撮像画像の電気信号を生成する。ステップS205において、ADC122は、ステップS204において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。ステップS206において、特徴量抽出用信号処理部123は、ステップS205において生成された撮像画像データに対して、特徴量抽出のための信号処理を行う。ステップS207において、特徴量抽出符号化部124は、ステップS206において信号処理が適宜施された撮像画像データから、その撮像画像の特徴量を抽出して符号化し、その特徴量の符号化データを生成する。ステップS208において、送信部125は、ステップS207において生成された符号化データを(クラウド102に)送信する。ステップS208の処理が終了すると、撮像処理が終了する。
[0085]
 また、ステップS203において、撮像画像を出力するモードが選択されたと判定された場合、選択部212はADC122を信号処理部213に接続し、選択部215は符号化部214を送信部125に接続し、処理をステップS209に進める。
[0086]
 ステップS209において、受光部121は、被写体を撮像し、撮像画像の電気信号を生成する。ステップS210において、ADC122は、ステップS209において得られた撮像画像の電気信号をA/D変換し、撮像画像データを生成する。ステップS211において、信号処理部213は、ステップS210において生成された撮像画像データに対して、所定の信号処理を行う。ステップS212において、符号化部214は、ステップS211において信号処理が適宜施された撮像画像データを符号化し、撮像画像の符号化データを生成する。ステップS213において、送信部125は、ステップS212において生成された撮像画像の符号化データを(クラウド102に)送信する。ステップS213の処理が終了すると、撮像処理が終了する。
[0087]
 以上のように撮像処理を行うことにより、撮像装置101は、特徴量だけでなく撮像画像をクラウド102に提供することができる。したがって、利便性を向上させることができる。
[0088]
 <6.第4の実施の形態(方法1-1-1-1の詳細)>
  <通信システム>
 さらに、上述の要求に対して(要求元の)認証を行い、正規の要求であることを確認した後、動作モードを切り替えるようにしてもよい。
[0089]
 図11は、その場合の通信システム100の主な構成例を示すブロック図である。図11に示されるように、この場合、撮像素子112は、図9に示される構成に加え、認証部231を有する。
[0090]
 認証部231は、撮像装置101の外部からの要求について、その要求元の認証を行う。認証方法は任意である。要求元が正規の要求元である(すなわち正規の要求である)ことが確認されると認証部231は、その要求を制御部211に供給する。制御部211は、図9の場合と同様に処理を行う。
[0091]
 このようにすることにより、不正な要求元からの要求を拒否することができる。つまり、撮像装置101は、より安全に、外部からの要求を受け付けることができる。したがって、撮像装置101は、より安全に撮像画像を出力することができる。
[0092]
 なお、以上の認証処理を行うタイミングは任意である。例えば、動作モードの切り替えの度(つまり動作モード変更の要求がある度)に行うようにしてもよいし、初回のみ(例えばログイン時のみ)行うようにしてもよい。また、動作モードを、撮像画像を出力するモードに切り替える場合(そのような要求がある場合)のみ、要求元の認証処理を行うようにしてもよい。
[0093]
  <撮像処理の流れ>
 この場合の撮像処理の流れの例を、図12のフローチャートを参照して説明する。撮像処理が開始されると、認証部231は、ステップS231において、要求元の認証処理を行う。要求元が正規の要求元であることが確認されると処理はステップS232に進む。
[0094]
 ステップS232乃至ステップS244の各処理は、ステップS201乃至ステップS213の各処理(図10)と同様に実行される。そして、ステップS239またはステップS244の処理が終了すると撮像処理が終了する。
[0095]
 以上のように撮像処理を行うことにより、撮像装置101は、より安全に、外部からの要求を受け付けることができ、より安全に撮像画像を出力することができる。
[0096]
 <7.第5の実施の形態(方法1-1-2の詳細)>
  <通信システム>
 さらに、撮像装置101が撮像画像を出力する場合、画素領域(光電変換領域)の一部(部分領域)を用いて生成されるようにしてもよい。つまり、画角を制限し、特徴量を抽出する撮像画像よりも低解像度の撮像画像を出力するようにしてもよい。このようにすることにより、撮像画像データのデータ量を低減させることができるので、撮像素子112内の処理の負荷の増大を抑制することができる。また、撮像素子112から出力する際の出力データレートの増大を抑制することができる。したがって、撮像素子112のコストの増大を抑制することができる。同様に、クラウド102の処理や画像表示側の処理の負荷の増大も抑制することができる。
[0097]
 なお、このような画素領域の限定(画角の限定)は、撮像画像より抽出された特徴量に基づいて設定されるようにしてもよい。つまり、撮像部が、光電変換領域の、特徴量抽出部により抽出された特徴量に基づく範囲内の部分を用いて、撮像画像を生成するようにしてもよい。例えば、特徴量を解析することで行われた撮像画像の画像解析に基づいて、撮像画像内の、異常が発生した場所(部分領域)や観察対象が存在する場所(部分領域)等を、注視すべき領域として特定することができる。このような注視すべき領域の撮像画像(その他の領域を削除した撮像画像)を出力することにより、撮像装置101は、見る価値のより高い撮像画像を出力することができる。換言するに、見る価値の低いその他の部分領域を撮像画像に含めないようにすることにより、撮像画像のデータ量が不要に増大することを抑制することができる(典型的には撮像画像のデータ量を低減させることができる)。
[0098]
 また、このような画素領域の限定の方法は任意である。例えば、一度画角を限定せずに撮像画像を生成し、その撮像画像から注視すべき領域を画像処理により切り出すようにしてもよい。また、例えば、受光部121およびADC122を制御し、注視すべき領域に対応する画素領域およびA/D変換器のみを駆動させ、注視すべき領域の撮像画像を生成するようにしてもよい。後者のように必要な部分のみを駆動させることにより、撮像の負荷の増大を抑制することができる。
[0099]
 図13は、その場合の通信システム100の主な構成例を示すブロック図である。図13に示されるように、この場合、通信システム100は、撮像装置101およびクラウド102の他に、受信装置201および画像表示装置202を有する。受信装置201は、撮像装置101から送信される撮像画像の符号化データを受信し、その受信した符号化データを画像表示装置202に供給する。画像表示装置202は、その受信装置201から供給される符号化データを取得し、それを復号して撮像画像データを生成し、その撮像画像を表示する。
[0100]
 また、撮像素子112は、図11に示される構成に加え、画像駆動制御部261を有する。画像駆動制御部261は、特徴量抽出符号化部124により抽出された撮像画像の特徴量を取得し、その特徴量に基づいて、受光部121およびADC122を制御する。より具体的には、画像駆動制御部261は、受光部121およびADC122を制御し、取得した特徴量により導出される注視すべき領域の撮像画像の生成に必要な部分を駆動させる。
[0101]
 受光部121は、画素領域の、画像駆動制御部261に指定された一部の領域のみを駆動させて撮像画像を生成する。また、ADC122は、画像駆動制御部261の制御に従って必要なA/D変換器のみを駆動させ、注視すべき領域の撮像画像データを生成する。このようにすることにより、不要な部分の駆動を抑制し、負荷の増大を抑制することができる。
[0102]
  <撮像処理の流れ>
 この場合の撮像処理の流れの例を、図14のフローチャートを参照して説明する。撮像処理が開始されると、ステップS261乃至ステップS269の各処理が、ステップS231乃至ステップS239の各処理と同様に実行される。
[0103]
 また、ステップS264において、撮像画像を出力すると判定された場合、処理はステップS270に進む。
[0104]
 ステップS270において、画像駆動制御部261は、過去に抽出した特徴量に基づいて注視すべき領域(注視領域とも称する)を設定する。
[0105]
 ステップS271において、受光部121は、ステップS270における画像駆動制御部261の制御に従って、被写体を撮像し、注視領域の撮像画像を生成する。ステップS272において、ADC122は、ステップS270における画像駆動制御部261の制御に従って、その注視領域の撮像画像をA/D変換する。
[0106]
 ステップS273乃至ステップS275の各処理は、ステップS242乃至ステップS244の各処理(図12)と同様に実行される。
[0107]
 ステップS269またはステップS275の処理が終了すると、撮像処理が終了する。
[0108]
 以上のように撮像処理を行うことにより、撮像装置101は、負荷の増大を抑制することができる。
[0109]
 <8.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
[0110]
 図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
[0111]
 図15に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
[0112]
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
[0113]
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
[0114]
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
[0115]
 コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
[0116]
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
[0117]
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
[0118]
  <本技術の適用対象>
 本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。
[0119]
 また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置(電子機器)に適用することができる。例えば、他の撮像装置において生成された撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。
[0120]
 また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
[0121]
 さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスに適用することもできる。
[0122]
  <その他>
 また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
[0123]
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
[0124]
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0125]
 また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
[0126]
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0127]
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
[0128]
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0129]
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
[0130]
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
[0131]
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
[0132]
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
[0133]
 なお、本技術は以下のような構成も取ることができる。
 (1) 被写体を撮像し、撮像画像を生成する撮像部と、
 前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
 を備える撮像素子。
 (2) 前記撮像部および前記特徴量抽出部は、互いに異なる基板に形成される
 (1)に記載の撮像素子。
 (3) 前記撮像部が形成される基板と、前記特徴量抽出部が形成される基板とが、互いに重畳される
 (2)に記載の撮像素子。
 (4) 前記撮像部により生成された前記撮像画像に対して、前記特徴量の抽出のための信号処理を行う信号処理部をさらに備え、
 前記特徴量抽出部は、前記信号処理部により前記信号処理が施された前記撮像画像より、前記特徴量を抽出する
 (1)乃至(3)のいずれかに記載の撮像素子。
 (5) 前記特徴量抽出部は、抽出した前記特徴量を符号化する
 (1)乃至(4)のいずれかに記載の撮像素子。
 (6) 前記特徴量抽出部により抽出された前記特徴量を送信する送信部
 をさらに備える(1)乃至(5)のいずれかに記載の撮像素子。
 (7) 前記撮像画像を出力するか、前記特徴量を出力するかを選択する選択部
 をさらに備える(1)乃至(6)のいずれかに記載の撮像素子。
 (8) 前記選択部は、撮像素子の外部からの要求に基づいて選択する
 (7)に記載の撮像素子。
 (9) 前記要求の要求元を認証する認証部をさらに備え、
 前記選択部は、前記認証部により前記要求元が認証された場合、前記要求に基づいて選択する
 (8)に記載の撮像素子。
 (10) 前記撮像部により生成された前記撮像画像に対して、所定の信号処理を行う画像用信号処理部と、
 前記画像用信号処理部により信号処理が施された前記撮像画像を符号化する符号化部と
 をさらに備える(7)乃至(9)のいずれかに記載の撮像素子。
 (11) 前記撮像部は、前記選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成する
 (7)乃至(10)のいずれかに記載の撮像素子。
 (12) 前記撮像部は、前記光電変換領域の、前記特徴量抽出部により抽出された前記特徴量に基づく範囲内の部分を用いて、前記撮像画像を生成する
 (11)に記載の撮像素子。
 (13) 被写体を撮像し、撮像画像を生成する撮像部と、
 前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
 を備える撮像装置。
 (14) 前記特徴量抽出部により抽出された前記特徴量を外部に送信する送信部
 をさらに備える(13)に記載の撮像装置。
 (15) 前記特徴量のヘッダ情報を生成するヘッダ生成部と、
 前記ヘッダ生成部により生成された前記ヘッダ情報を、前記特徴量抽出部により抽出された前記特徴量に付加する付加部と
 をさらに備える(14)に記載の撮像装置。
 (16) 被写体を撮像し、撮像画像を生成し、
 生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する
 撮像方法。

符号の説明

[0134]
 100 通信システム, 101 撮像装置, 102 クラウド, 111 光学系, 112 撮像素子, 121 受光部, 122 ADC, 123 特徴量抽出用信号処理部, 124 特徴量抽出符号化部, 125 送信部, 131 受信部, 132 データ解析処理部, 171および172 半導体基板, 180 撮像装置, 181 ヘッダ生成部, 182 加算部, 183 送信部, 201 受信装置, 202 画像表示装置, 211 制御部, 212 選択部, 213 信号処理部, 214 符号化部, 215 選択部, 231 認証部, 261 画像駆動制御部

請求の範囲

[請求項1]
 被写体を撮像し、撮像画像を生成する撮像部と、
 前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
 を備える撮像素子。
[請求項2]
 前記撮像部および前記特徴量抽出部は、パッケージ化され、かつ、互いに異なる基板に形成される
 請求項1に記載の撮像素子。
[請求項3]
 前記撮像部が形成される基板と、前記特徴量抽出部が形成される基板とが、互いに重畳される
 請求項2に記載の撮像素子。
[請求項4]
 前記撮像部により生成された前記撮像画像に対して、前記特徴量の抽出のための信号処理を行う信号処理部をさらに備え、
 前記特徴量抽出部は、前記信号処理部により前記信号処理が施された前記撮像画像より、前記特徴量を抽出する
 請求項1に記載の撮像素子。
[請求項5]
 前記特徴量抽出部は、抽出した前記特徴量を符号化する
 請求項1に記載の撮像素子。
[請求項6]
 前記特徴量抽出部により抽出された前記特徴量を送信する送信部
 をさらに備える請求項1に記載の撮像素子。
[請求項7]
 前記撮像画像を出力するか、前記特徴量を出力するかを選択する選択部
 をさらに備える請求項1に記載の撮像素子。
[請求項8]
 前記選択部は、撮像素子の外部からの要求に基づいて選択する
 請求項7に記載の撮像素子。
[請求項9]
 前記要求の要求元を認証する認証部をさらに備え、
 前記選択部は、前記認証部により前記要求元が認証された場合、前記要求に基づいて選択する
 請求項8に記載の撮像素子。
[請求項10]
 前記撮像部により生成された前記撮像画像に対して、所定の信号処理を行う画像用信号処理部と、
 前記画像用信号処理部により信号処理が施された前記撮像画像を符号化する符号化部と
 をさらに備える請求項7に記載の撮像素子。
[請求項11]
 前記撮像部は、前記選択部により撮像画像の出力が選択された場合、光電変換領域の一部を用いて撮像画像を生成する
 請求項7に記載の撮像素子。
[請求項12]
 前記撮像部は、前記光電変換領域の、前記特徴量抽出部により抽出された前記特徴量に基づく範囲内の部分を用いて、前記撮像画像を生成する
 請求項11に記載の撮像素子。
[請求項13]
 被写体を撮像し、撮像画像を生成する撮像部と、
 前記撮像部により生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する特徴量抽出部と
 を備える撮像装置。
[請求項14]
 前記特徴量抽出部により抽出された前記特徴量を外部に送信する送信部
 をさらに備える請求項13に記載の撮像装置。
[請求項15]
 前記特徴量のヘッダ情報を生成するヘッダ生成部と、
 前記ヘッダ生成部により生成された前記ヘッダ情報を、前記特徴量抽出部により抽出された前記特徴量に付加する付加部と
 をさらに備える請求項14に記載の撮像装置。
[請求項16]
 被写体を撮像し、撮像画像を生成し、
 生成された前記撮像画像より、外部に出力する所定の特徴量を抽出する
 撮像方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]