PATENTSCOPE sera indisponible durant quelques heures pour des raisons de maintenance le lundi 03.02.2020 à 10:00 AM CET
Recherche dans les collections de brevets nationales et internationales
Une partie du contenu de cette demande n'est pas disponible pour le moment.
Si cette situation persiste, contactez-nous auObservations et contact
1. (WO2015170720) DISPOSITIF DE RECONNAISSANCE D’IMAGE ET PROCÉDÉ DE RECONNAISSANCE D’IMAGE
Document

明 細 書

発明の名称 画像認識装置および画像認識方法

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008  

発明の効果

0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102  

産業上の利用可能性

0103  

符号の説明

0104  

請求の範囲

1   2   3   4   5   6   7  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

明 細 書

発明の名称 : 画像認識装置および画像認識方法

技術分野

[0001]
 本発明は、画像認識を行う画像認識装置及び画像認識方法に関する。

背景技術

[0002]
 従来、リモコン信号を変調した信号に基づいて例えばLEDを点滅させることにより、当該リモコン信号を送信するリモコンが知られている。具体的には、リモコンは、デジタル信号であるリモコン信号をパルス位置変調(PPM;Pulse Position Modulation)し、さらに各パルスのHIGH状態(ON状態ともいう)を例えば38kHzのキャリア周波数で振幅変調(AM;Amplitude Modulation)する。そして、リモコンは、振幅変調したパルス信号に基づいてLEDを点滅させる。
[0003]
 また、従来、リモコン信号を認識するリモコン信号認識機として、リモコン信号解析機が知られている。リモコン信号解析機は、LEDからの光(赤外線)を赤外線受光素子で受光し、受光による検出信号を復調して正規のリモコン信号であるか否かを解析する(例えば特許文献1を参照。)。

先行技術文献

特許文献

[0004]
特許文献1 : 日本国特開2007-194949号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかし、特許文献1では、リモコン信号を認識する旨の構成しか開示されていない。
[0006]
 本発明の目的は、撮影した画像から様々な情報を認識する画像認識装置及び画像認識方法を提供することである。

課題を解決するための手段

[0007]
 本発明の画像認識装置は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、
を備えたことを特徴とする。
[0008]
 本発明の画像認識方法は、
 連続して複数の画像を撮像する撮像ステップと、
 前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
 前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
を備えたことを特徴とする。

発明の効果

[0009]
 本発明の画像認識装置及び画像認識方法は、撮影した画像から様々な情報を認識することができる。

図面の簡単な説明

[0010]
[図1] 実施形態1に係るリモコン信号認識システムの概要を説明するための設置図である。
[図2] リモコン信号認識機の構成の一部を示すブロック図である。
[図3] リモコン信号認識機の機能ブロック図である。
[図4] (A)及び(B)は、それぞれ撮像画像であり、(C)は、差分画像である。
[図5] (A)は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図であり、(B)は、選択領域の平均画素値の時間変化を示す模式図であり、(C)は、パルス波形の模式図である。
[図6] フォーマットDBの例を示す図である。
[図7] 実施形態2に係るリモコン信号認識システムの機能ブロック図である。
[図8] 実施形態3に係るAVシステムの機能ブロック図である。
[図9] AVシステムの設置例を示す図である。
[図10] 実施形態4に係る画像認識システムの概略図である。
[図11] (A)~(C)は、スマートフォンの構成を示す図である。
[図12] 制御部の機能的ブロック図である。
[図13] スマートフォンの動作を示すフローチャートである。
[図14] (A)~(C)は、目の画像を特定の画像として認識する例を示す図である。
[図15] 首筋の血管の画像を特定の画像として認識する例を示す図である。

発明を実施するための形態

[0011]
 まず、本発明の画像認識装置を備えたリモコン信号認識システム1を示す。図1は、リモコン信号認識システム1の概要を説明するための設置図である。図2は、リモコン信号認識機10の構成の一部を示すブロック図である。図3は、リモコン信号認識機10の機能ブロック図である。図3において、点線は、撮像画像データの経路を示し、実線は、撮像画像データ以外のデータの経路を示している。
[0012]
 図1に示すように、リモコン信号認識システム1は、テレビ900、バースピーカ800、リモコン910、及びリモコン信号認識機10を備えている。
[0013]
 バースピーカ800は、直方体形状であり、テレビ900から出力される音声信号に基づいて放音する。バースピーカ800は、テレビ900の前方(テレビの表示面側の方向)に配置されている。これにより、リモコン910が出力する光(例えば赤外線)は、バースピーカ800に阻害されるため、テレビ900の受光部(不図示)に届かない。そこで、リモコン信号認識システム1では、リモコン信号認識機10がリモコン910から送信されたリモコン信号を認識し、認識したリモコン信号をテレビ900に出力することで、リモコン910によるテレビ900の動作を実現する。
[0014]
 リモコン信号認識機10は、本発明の画像認識装置の一例である。リモコン信号認識機10は、バースピーカ800の前方に設置されている。リモコン信号認識機10は、MHL(;Mobile High-definition Link)ケーブル801により、テレビ900に接続されている。ただし、リモコン信号認識機10は、テレビ900の前方に限らず、リモコン910からの光を撮影できる範囲に設置されればよい。
[0015]
 図2に示すように、リモコン信号認識機10は、CPU100、FROM101、RAM102、イメージセンサ103、及びMHLI/F104を備えている。CPU100、FROM101、RAM102、イメージセンサ103、及びMHLI/F104は、バスを介して互いに接続されている。
[0016]
 FROM101は、不揮発性のメモリであり、プログラム、及びリモコン信号のフォーマット情報が記憶されている。RAM102は、FROM101に比べて高速に読み書き可能なメモリであり、CPU100のワークエリアとして用いられる。
[0017]
 イメージセンサ103は、例えばCCD(;Charge Coupled Device)イメージセンサである。イメージセンサ103は、検出した光に基づいた電気的信号を出力する。イメージセンサ103は、リモコン910のボタン912が押下されることでLED911から出力される光を検出する。イメージセンサ103としては、CCDイメージセンサに限らず、CMOS等の一般的なものを用いることができる。一般的なイメージセンサであっても、例えば赤外線(波長940nm)の光を検出する。
[0018]
 MHLI/F104は、MHL規格で情報の送受信、及びMHL親機(テレビ900)からMHL子機(リモコン信号認識機10)への電力供給を同時に行うインターフェースである。MHLI/F104は、テレビ900のMHLI/F901にMHLケーブル801を介して接続されている。これにより、リモコン信号認識機10は、MHLケーブル801を介して、テレビ900から電力供給を受けて動作する。また、リモコン信号認識機10は、MHLケーブル801を介して各種情報をテレビ900に出力する。本実施形態では、リモコン信号認識機10は、認識したリモコン信号をテレビ900に出力する。
[0019]
 CPU100は、リモコン信号認識機10の各構成を統括的に制御する。CPU100は、FROM101からプログラムを読み出してRAM102に展開することにより、各機能部の機能を実現する。
[0020]
 図3に示すように、リモコン信号認識機10は、撮像部11、第1記憶部12A、領域選択部13、発光パターン抽出部14、量子化部15、解析部16、第2記憶部12B、及び出力部17の各機能を実現している。
[0021]
 撮像部11は、イメージセンサ103が出力する電気的信号を画素値に変換することにより、連続して複数の画像を撮像して、複数の撮像画像(例えばRGB画像)のデータを第1記憶部12A(RAM102により実現される)に記憶させる。撮像部11は、例えば2kHzのフレームレートで撮像する。
[0022]
 領域選択部13は、第1記憶部12Aから複数の撮像画像データを読み出して、以下の解析処理を行った後に、選択情報を第1記憶部12Aに記憶させる。選択情報とは、画素値が周期的に変化する画素を含む領域を選択する情報である。
[0023]
 領域選択部13の処理例について図4(A)~図4(C)を用いて説明する。図4(A)及び図4(B)は、それぞれ撮像画像であり、図4(C)は、差分画像である。図4(C)の差分画像は、図4(A)に示す撮像画像と図4(B)に示す撮像画像との差分を示している。また、図4(A)に示す撮像画像は、時刻tで撮像され、図4(B)に示す撮像画像は、時刻t+1で撮像されたものである。時刻t+1は、時刻tから0.5ms(フレームレート2kHzに対応する)経過後のタイミングである。
[0024]
 図4(A)に示すように、撮像画像920(t)には、利用者922、リモコン910のLED911、及び家具923が含まれている。同様に、撮像画像(t+1)にも、利用者922、リモコン910のLED911、及び家具923が含まれている。
[0025]
 領域選択部13は、撮像画像920の各画素について、時刻t+1の画素値から時刻tの画素値の差分を算出し、図4(C)に示す差分画像930(t+1)を求める。すると、差分画像930(t+1)において、時刻tから時刻t+1までの0.5ms間で画素値が変化した画素以外は、画素値が0となる。領域選択部13は、時刻t毎に差分画像930(t)を求める。
[0026]
 領域選択部13は、周期的に変化する画素値を含む領域をリモコン910のLED911が含まれる領域として選択する。図4(C)に示す例において、領域選択部13は、選択領域931(t+1)のみをリモコン910のLED911が含まれる領域として選択する。領域選択部13は、選択領域931の情報(例えば位置および大きさ)を第1記憶部12Aに記憶させる。
[0027]
 なお、領域選択部13は、差分画像930(t+1)に生じるノイズの影響を減らすために、例えば撮像画像920(t)及び撮像画像920(t+1)を平滑処理(例えばメディアンフィルタによる処理)した後、画素値の差分を算出してもよい。
[0028]
 ここで、撮像部11のフレームレートと、リモコン910のLED911の発光パターンとの関係について図5(A)を参照して説明する。図5(A)は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図である。
[0029]
 まず、リモコン信号の送信について説明する。送信されるべきリモコン信号(デジタル信号)は、送信前の変調処理として、パルス位置変調(PPM;Pulse Position Modulation)された後、振幅変調(AM;Amplitude Modulation)される。
[0030]
 例えば、パルス位置変調では、パルス信号において、0.56msでHIGH状態とした後に、0.56ms又は1.69msのどちらか一方の時間でLOW状態にすることにより、bit0又はbit1を示す。すなわち、パルス位置変調では、0.56msのHIGHT状態の位置がずれることにより、リモコン信号を変調する。例えば、振幅変調では、パルス位置変調後のパルス信号のHIGH状態をデューティ比1/3、かつ周波数38kHzのパルスに置き換えて変調する。この周波数38kHzは、振幅変調のキャリア周波数である。リモコン910は、パルス位置変調及び振幅変調されたリモコン信号に基づいてLED911を点滅させる。すなわち、リモコン910は、振幅変調後のパルス信号のHIGH状態でLED911を点灯させ、LOW状態でLED911を消灯させる。
[0031]
 図5(A)に示すように、振幅変調後のパルス信号は、例えば周波数38kHzのパルス940(t)~パルス940(t+7)が連続した後、LOW状態となる。撮像部11は、振幅変調のキャリア周波数より低く、かつパルス位置変調周波数より高いフレームレートで撮像する。パルス位置変調周波数とは、パルス位置変調後のパルス信号において、のHIGH状態の時間(0.56ms)に対応する周波数1,786Hzである。図5(A)に示す例では、撮像部11は、0.5ms(フレームレート2kHzに対応する)の時間間隔で撮像を繰りかえす。
[0032]
 図5(A)に示す例において、イメージセンサ103は、0.5msの露光間隔941(s)において露光すると、パルス940(t)からパルス940(t+7)までの8個のパルス分のLED911の点滅を蓄光する。すなわち、撮像部11は、露光間隔941(s)において、8個のパルス分のLEDの点滅を積分して撮像する。撮像部11は、露光間隔941(s+1)において、0個のパルス分のLED911の点滅を積分して撮像する。これにより、撮像部11は、露光間隔941(s)において、LED911が点灯しているように撮像し、露光間隔941(s+1)において、LED911が消灯しているように撮像する。その結果、露光間隔941(s)に対応する撮像画像では、LED911の位置に対応する画素値(例えば赤色成分)が多くなり、露光間隔941(s+1)に対応する撮像画像では、LED911の位置に対応する画素値が少なくなる。
[0033]
 撮像部11は、積分して撮像するため、例えば振幅変調のキャリア周波数が40kHzの場合であっても、イメージセンサ103にLED911の点滅を蓄光させることが可能である。
[0034]
 また、撮像部11は、LED911からの光の波長によらず、イメージセンサ103の検出可能範囲(例えば可視光の波長から赤外線の波長(940nm)までの範囲)で、LED911の点滅を撮像することが可能である。
[0035]
 図3に戻り、発光パターン抽出部14は、第1記憶部12Aを参照して、複数の撮像画像データを読み出して、リモコン910のLED911の発光パターンを抽出する。発光パターン抽出部14は、処理負荷の軽減のために、領域選択部13が設定した選択領域931のみについて、撮像画像データを読み出す。
[0036]
 発光パターン抽出部14は、選択領域における画素値の時間変化を求める。例えば、発光パターン抽出部14は、100枚の撮像画像において、例えば、選択領域931の赤色成分(R)の平均画素値の時間変化を求める。選択領域931の赤色成分(R)の平均画素値の時間変化は、LED911の発光パターンに対応する。
[0037]
 ただし、発光パターン抽出部14は、平均画素値に限らず、選択領域931における最大画素値の時間変化を発光パターンとして求めてもよい。また、発光パターン抽出部14は、赤色成分の平均画素値に限らず、RGBデータに応じた輝度の時間変化を発光パターンとして求めてもよい。ただし、リモコン信号認識機10は、赤色成分のみで発光パターンを求めることにより、計算処理をより少なくすることができる。
[0038]
 量子化部15は、発光パターン抽出部14が抽出した発光パターンに示す各平均画素値を量子化してパルス状の波形データを生成する。例えば、量子化部15は、画素値の閾値を用いて、各平均画素値を2分して量子化する。すると、各平均画素値は、2値(HIGH状態/LOW状態)に分けられる。そして、量子化部15は、2値に分けられた各画素点を繋ぐことにより、パルス波形を生成する。
[0039]
 発光パターン抽出部14及び量子化部15の処理例について、図5(B)及び図5(C)を用いて説明する。図5(B)は、選択領域の平均画素値の時間変化を示す模式図であり、図5(C)は、パルス波形の模式図である。
[0040]
 図5(B)に示すように、選択領域931において、赤色成分(R)の平均画素値は、画素点945(t)~画素点945(t+6)に示す高い値が続いた後、画素点945(t+7)、画素点945(t+8)、及び画素点945(t+9)のそれぞれに示す低い値が続いている。高い平均画素値が続いている部分は、積分して撮像した結果、リモコンのLED911が点灯している状態を示す。発光パターン抽出部14は、このように、平均画素値の時間変化を求める。
[0041]
 そして、量子化部15は、閾値(例えば8bit階調において画素値100)を用いて、各平均画素値を2値に量子化し、各画素点を繋ぐ。すると、図5(C)に示すように、パルス波形は、1msから10msまでHIGH状態となり、10msから14.5msまでLOW状態となる。このパルス波形は、リモコン信号をパルス位置変調したパルス信号に相当する。従って、図5(C)に示すパルス波形に対して、パルス位置変調に対応する復調を行うことにより、リモコン信号が抽出される。ただし、本実施形態に係るリモコン信号認識機10は、リーダーパルス、及びストップビット、等のパルス位置変調に従わないパルスが波形データに含まれるため、まず、以下のようにフォーマットを特定する。
[0042]
 図3に戻り、量子化部15が作成したパルス波形データは、解析部16に出力される。解析部16は、入力されたパルス波形データがリモコン信号のフォーマットに適合するか否かを判断する。解析部16は、入力された波形データがリモコン信号のフォーマットに適合する場合、適合したフォーマットに基づいて波形データからリモコン信号を抽出する。
[0043]
 解析部16は、第2記憶部12B(FROM101によって実現される)を参照して、リモコン信号のフォーマットDBを読み出し、入力されたリモコン信号がリモコン信号のフォーマットに適合するか否かを判断する。
[0044]
 図6は、フォーマットDBに記憶されるリモコン信号のフォーマットの例を示す図である。フォーマットDBは、図6に示すように、それぞれフォーマット名とパルスの数やパルス幅等の規定(判断条件)を対応付けている。フォーマットDBは、リモコン信号として用いられる全種類フォーマットを定義するが、説明を容易にするため、FMT_A、FMT_B、及びFMT_Cの3種類を代表して示す。例えば、フォーマットFMT_Aでは、パルス数が34個で、パルス幅(HIGH状態の幅)が0.56ms~9.0msと定義されている。
[0045]
 図5(C)に示す波形データは、9msのHIGH状態が続いた後、4.5msのLOW状態が続いている。従って、解析部16は、図5(C)に示す波形データが、リーダーパルスの特徴から、図6に示すFMT_Aに定義されるフォーマットに適合すると判断する。そして、解析部16は、FMT_Aが定義するように、リーダーパルスに続く34個のパルスについて、パルス位置変調に対応した復調を行い、リモコン信号を抽出する。
[0046]
 解析部16は、量子化部15が生成したパルス波形データがフォーマットDBに定義するいずれのフォーマットにも適合しない場合、リモコン信号を抽出しない。これにより、リモコン信号認識機10は、不正なリモコン信号を認識することを防ぐことができる。
[0047]
 解析部16が抽出したリモコン信号は、出力部17に出力される。出力部17は、MHL規格に適合させて、抽出されたリモコン信号をテレビ900のMHLI/F901に出力する。すると、テレビ900のCPU902は、MHLI/F901に入力されたリモコン信号に基づいて動作して、例えばディスプレイ903の表示内容を変更する。
[0048]
 以上のように、リモコン信号認識機10は、振幅変調のキャリア周波数(例えば38kHz)に依存することなく、リモコン信号に基づいたLED911の発光パターンを撮像することにより、リモコン信号を抽出することができる。
[0049]
 また、リモコン信号認識機10は、リモコン信号用の赤外線(波長940nm)に限らず、IrDA規格の赤外線(波長850nm~900nm)もイメージセンサ103で検出されるため、キャリアに用いられる光の波長によらず、リモコン信号を抽出することができる。
[0050]
 また、従来技術の赤外線受光素子は、素子構造の為、例えば受光角度が30°と狭いが、リモコン信号認識機10は、広画角のイメージセンサ103を用いることにより、例えば100°の受光角度を実現することができる。
[0051]
 また、量子化部15の量子化において、例えば平均画素値の閾値を小さく設定することにより、LED911の光が弱くても当該光を撮像できるため、リモコン信号を抽出することができる。また、リモコン信号認識機10は、量子化部15において平均画素値の閾値を大きく設定することにより、ノイズとなる点滅光からリモコン信号を抽出することを防止できる。このように、閾値を調整することにより、リモコン信号認識機10の受光感度を調整することができる。
[0052]
 なお、本実施形態において、領域選択部13を実現することは必須ではない。リモコン信号認識機10は、撮像画像においてリモコン910のLED911の領域を選択しない場合、差分画像全体から赤色成分の画素値の最大値の変化を求めて発光パターンを抽出する。
[0053]
 また、領域選択部13は、周期的に変換する画素値の変化パターンに基づいてリモコン910のLED911が含まれる領域を選択してもよい。例えば、領域選択部13は、1.5kHz~2.5kHzで周期的に変化する画素の領域のみを選択する。換言すれば、領域選択部13は、例えば500Hzで点滅する画素(例えば500Hzの高調波成分で点滅する蛍光灯の画素)を選択しない。これにより、領域選択部13は、蛍光灯等のリモコン信号のノイズ源が撮像されても、リモコン910のLED911の領域のみを選択することができる。
[0054]
 なお、本実施形態において、解析部16がリモコン信号のフォーマットに適合するか否かを判断することは必須ではない。解析部16は、例えばFMT_Aのみに対応してパルス位置変調に応じた復調を行うだけでもよい。
[0055]
 次に、実施形態2に係るリモコン信号認識システム100Aについて図を参照して説明する。図7は、リモコン信号認識システム100Aの機能ブロック図である。
[0056]
 リモコン信号認識システム100Aは、実施形態1に係るリモコン信号認識機10の解析部16及び第2記憶部12Bが、別体の情報処理装置(サーバ)20に備えられる点、及びリモコン信号認識機10Aと情報処理装置20とがネットワークを介して接続されている点において、実施形態1に係るリモコン信号認識システム1と相違する。重複する構成の説明は省略する。
[0057]
 図7に示すように、リモコン信号認識機10Aは、送受信部18Aを備えている。情報処理装置20は、送受信部18B、解析部16、及び第2記憶部12Bを備えている。
[0058]
 送受信部18A及び送受信部18Bは、例えばインターネットを介して互いにデータの送受信を行う。
[0059]
 量子化部15が生成したパルス波形データは、送受信部18Aに出力される。送受信部18Aは、当該パルス波形データを情報処理装置20の送受信部18Bに送信する。解析部16は、送受信部18Bからパルス波形データを受け取り、当該パルス波形データからリモコン信号を抽出する。当該リモコン信号は、送受信部18Bから送受信部18Aへの送信を介して、出力部17に入力される。
[0060]
 リモコン信号認識機10Aは、自装置にフォーマットDBを記憶していなくても、撮像したリモコン910のLED911の発光パターンがいずれのリモコン信号のフォーマットに適合するか否かを情報処理装置20に判断させることができる。
[0061]
 なお、情報処理装置20は、解析部16が抽出したリモコン信号をリモコン信号認識機10に返送する例に限らず、返送せずに自装置で用いてもよい。例えば、情報処理装置20は、抽出したリモコン信号に含まれる情報をテレビ900の視聴情報として収集し、視聴率を算出する。
[0062]
 次に、図8は、実施形態3に係るAVシステム100Bの機能ブロック図である。AVシステム100Bは、リモコン信号認識機10、テレビ900B1、及びAVレシーバ900B2を備える点において、実施形態1に係るリモコン信号認識システム1と相違する。重複する構成の説明は省略する。
[0063]
 AVシステム100Bでは、リモコン信号認識機10が抽出したリモコン信号は、テレビ900B1に出力され、さらに、テレビ900B1によってAVレシーバ900B2に転送される。
[0064]
 テレビ900B1は、入力部931B1、制御部932、及び出力部933を備えている。入力部931B1には、リモコン信号認識機10からMHL規格で出力されたリモコン信号が入力される。制御部932は、入力部931B1に入力されたリモコン信号を解析し、自装置用のリモコン信号ではないと判断すると、出力部933を制御して当該リモコン信号を出力させる。ただし、制御部932は、例えばリモコン信号に含まれるカスタマーデータ(パルス位置変調後のカスタマーコードセクションに埋められた情報)に基づいて自装置用のリモコン信号であるか否かを判断する。
[0065]
 出力部933は、例えばHDMI-CEC(;High Definition Multimedia Interface-Consumer Electronics Control。ただしHDMIは登録商標。)規格でHMDIケーブルを介してリモコン信号をAVレシーバ900B2に出力する。AVレシーバ900B2は、入力部931B2に入力されたリモコン信号に基づいて動作する。
[0066]
 図9は、AVシステム100Bの設置例を示す図である。図9に示すように、テレビ900B1の表示面の上方にリモコン信号認識機10が設置されている。AVレシーバ900B2は、テレビ900B1の載置台であるTVラック950の内部に設置されている。これによりAVレシーバ900B2の赤外線受信部は、光が届きにくくなっている。
[0067]
 そこで、AVシステム100Bでは、上述のように、リモコン信号認識機10によって抽出されたリモコン信号をテレビ900B1がAVレシーバ900B2に転送する。従って、利用者は、リモコン信号認識機10のイメージセンサ103が広角に受光可能なため、テレビ900B1の視聴環境のどこからでもリモコン910によってAVレシーバ900B2に動作指示を与えることができる。
[0068]
 次に、図10は、実施形態4に係る画像認識システムの概略図である。実施形態4に係る画像認識システムでは、ユーザが情報処理装置(この例ではスマートフォン6)を用いて特定の撮影対象物(例えば自身の顔)を撮影し、スマートフォン6が撮影した画像から所定の情報を認識するものである。
[0069]
 図11(A)は、スマートフォン6の主要構成を示すブロック図であり、図11(B)は、平面図であり、図11(C)は底面図である。
[0070]
 スマートフォン6は、制御部61、アウトカメラ62、インカメラ63、通信部64、操作部65、および表示部66を備えている。
[0071]
 制御部61は、フラッシュROM(不図示)等の媒体に記憶されている動作用プログラムを読み出し、スマートフォン6の動作を統括的に制御する。制御部61は、当該動作用プログラムにより、本発明の解析部、情報認識部、および領域選択部を構成する。
[0072]
 アウトカメラ62およびインカメラ63は、本発明の撮像部に相当する。アウトカメラ62は、スマートフォン6の背面に設けられ、ユーザが所望する画像を撮像するためのカメラである。インカメラ63は、スマートフォン6の正面に設けられ、ユーザ自身を撮像するためのカメラである。
[0073]
 制御部61は、アウトカメラ62またはインカメラ63で連続して撮像した複数の画像(動画等)から、顔画像を検出し、検出した顔画像の中から目の画像を抽出する。なお、図10および図11の例では、情報処理装置の例としてスマートフォン6について示しているが、情報処理装置は、他にも例えば眼鏡の形状をした装着型の情報処理装置とする態様も可能である。
[0074]
 表示部66は、スマートフォン6の正面に設けられ、各種画像を表示する。ここでは、表示部66は、アウトカメラ62またはインカメラ63で撮像した画像を表示する。ユーザは、表示部66に表示される画像を確認することで、アウトカメラ62またはインカメラ63で撮像した画像を確認することができる。また、表示部66には、タッチパネルが設けられ、ユーザインタフェースである操作部65の機能を兼ねている。例えば、ユーザが表示部66に表示されているアイコン等を指で触ると、制御部61は、所定のアプリケーションプログラムを起動する。ここでは、画像認識プログラムを起動する例を示す。
[0075]
 ユーザは、上記画像認識プログラムを起動した後、スマートフォン6を操作し、アウトカメラ62またはインカメラ63で撮影対象物を撮像する。この例では、ユーザがインカメラ63で自身の顔を撮影する。
[0076]
 図12は、制御部61の機能的ブロック図である。図13は、制御部61の動作を示すフローチャートである。ユーザがインカメラ63で画像を撮影すると(s11)、解析部611は、インカメラ63が撮影した画像データを入力する(s12)。インカメラ63は、連続して複数の画像を撮像する(動画)ため、解析部611には、連続して複数の画像データが入力される。
[0077]
 解析部611は、入力された複数の画像データから、特定の画像を抽出する(s13)。例えば、図14(A)に示すように、解析部611は、目の画像を特定の画像として抽出する。なお、解析部611は、このときに画像の傾きを補正したり、大きさを揃える補正を行ったりする。
[0078]
 そして、解析部611における領域選択部612は、抽出した目の画像の画素を含む領域を選択する(s14)。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。ただし、領域選択部612による領域の選択処理は、本発明において必須の処理ではない。
[0079]
 次に、解析部611は、複数の画像データから、目の画像の時間変化を解析する(s16)。例えば、図14(A)に示すように、瞳が目の画像の中心位置に存在する状態をリファレンス状態である基準(C)として、各画像データにおける基準(C)からの瞳の位置(中心位置からの左右のずれ)を算出する。そして、解析部611は、図14(B)に示すように、瞳の位置(中心位置からの左右のずれ)を時間軸上に表すことで、所定時間あたりの眼球の移動量を算出する。
[0080]
 そして、情報認識部613は、解析部611の解析結果から、目の画像に関係する所定の情報を認識する(s16)。ここでは、情報認識部613は、所定の情報として、眼球の動きが安定しているか、痙攣していないか、等の健康状態を示す情報(人体に係る情報)を認識する。
[0081]
 例えば、図14(B)の例では、眼球の移動量の近似曲線(図中の破線)が、基準(C)と交わる回数が少なく、眼球の動きが安定した状態である。図14(C)の例では、近似曲線(図中の破線)が基準(C)と交わる回数が多く、痙攣した状態である。したがって、情報認識部613は、所定時間あたりの、上記近似曲線と基準(C)とが交わる回数を算出し、当該回数が閾値未満である場合に眼球の動きが安定した状態であると認識し、当該回数が閾値以上である場合に痙攣した状態であると認識する。
[0082]
 その後、情報認識部613が認識した情報は、例えば表示部66に表示される(s17)。このようにして、ユーザは、スマートフォン6で自身の顔を動画撮影するだけで、自身の健康状態を容易に把握することができる。あるいは、ユーザは、スマートフォン6のアウトカメラ62を用いて、例えば自ら言葉を発することができない程の小さな子供の顔を動画撮影するだけで、当該子供の健康状態を把握することもできる。
[0083]
 なお、スマートフォン6は、目の色を解析することでも、健康状態を示す情報を認識することが可能である。この場合、白色をリファレンス状態としてもよいし、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部611は、健康なときの目の色をリファレンス状態としてもよい。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態としてもよい。
[0084]
 目の色を解析する場合、健康状態は、例えばリファレンス状態からの目の色の変化に応じた疲労度として定量化することができる。
[0085]
 また、目に係る健康状態を示す情報としては、例えば、まぶたの開き具合、眼球の色(虹彩)、瞳孔の大きさ、左右の目の状態の差異、等を認識することができる。まぶたの開き具合は、眠気を示す健康状態とすることができる。この場合も、ユーザが、自身が眠気を感じていないと自認している状態において自身の顔を動画撮影、保存し、解析部611は、、自身が眠気を感じていない時の目の画像またその時間変化をリファレンス状態としてもよい。あるいはサーバ等から覚醒状態における目の画像をダウンロードし、リファレンス状態としてもよい。
[0086]
 また、スマートフォン6は、図15に示すように、首筋の血管の拡張および収縮を連続して撮像した複数の画像とその時間間隔から解析することで脈拍数(1分間あたりの脈拍数)を認識することが可能である。脈拍数を認識する場合、制御部61は、当該脈拍数をそのまま表示部66に表示してもよいし、脈拍数に応じた健康状態(正常範囲内、頻脈、徐脈等)を表示してもよい。
[0087]
 健康状態に係る情報は、その他にも胸元の拡張および収縮を解析することで呼吸数を認識することも可能であるし、血圧を認識することも可能である。血圧を認識するためには、まず血圧計を用いて自身の血圧を測定し、その時の自身の顔(特に首筋)をスマートフォン6で撮影する。制御部61は、この時の首筋の血管の最大拡張時の画像を含む連続した画像を測定した血圧と対応づけてリファレンス状態として保存する。その後、リファレンスの状態に対して、撮影した動画の血管の隆起状態を判定することで、血圧を推定・認識することができる。
[0088]
 なお、健康状態を示す情報は、表示部66に表示される例に限らず、例えば通信部64を介して他の装置に送信される態様としてもよい。他装置には、健康状態を示す情報をそのまま送信してもよいが、例えば健康状態を示す情報に関連する他の情報を送信するようにしてもよい。例えば、ユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作、またはその反対に照明を暗くするリモコン信号を送信して、睡眠を促す動作を行う。あるいは、スマートフォン6は、一般的に時計機能を備えているため、ユーザが眠気を感じている状態であるとの情報を認識した場合、例えば午後8時以降である場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行ってもよい。
[0089]
 また、本実施形態4では、ユーザが所持するスマートフォン6を用いて撮影を行う例を示したが、例えば室内に設置された定点カメラ(例えば集中治療室内の監視カメラ)で撮影し、当該定点カメラに接続される情報処理装置で動画像を解析してもよい。この場合、情報処理装置は、連続する複数の画像から患者の動作と患者の顔色を解析することで健康状態に係る情報を認識(例えば、歩行での移動などしていないのに顔色が変化する等)し、例えばリファレンス状態との顔色の差が所定範囲外であり、体調が優れないと判断した場合に、自動的にナースコールを行ってもよい。
[0090]
 また、認識した情報は、表示部66に表示したり、他の装置に送信したりする例に限るものではなく、例えばフラッシュROM(不図示)等の記憶媒体に記憶してログとして保存するだけでもよい。
[0091]
 以下では、実施形態に係る画像認識装置及び画像認識方法についてまとめる。
[0092]
 (1)画像認識装置は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、を備えたことを特徴とする。
[0093]
 特定の画像とは、例えば人の目の画像等である。解析部は、撮影した目の画像の時間変化を解析する。例えば、解析部は、所定時間あたりの眼球の移動量を算出する。情報認識部は、当該眼球の移動量から、所定の情報として眼球の動きが安定しているか(痙攣していないか)、等の健康状態を示す情報(人体に係る情報)を認識する。また、画像認識装置は、例えば目の色の変化を解析することで疲労度を認識する、顔色を解析することで体調を認識する、首筋の血管の拡張収縮を解析することで脈拍数を認識する、等の種々の情報を認識することができる。
[0094]
 これにより、ユーザは、例えばスマートフォン等の情報処理装置で自身の顔を撮影するだけで、自身の健康状態を容易に把握することができる。また、ユーザは、例えば自ら言葉を発することができない程の小さな子供の顔を撮影するだけで、当該子供の健康状態を把握することもできる。
[0095]
 (2)例えば、画像認識装置は、前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析する。
[0096]
 例えば、領域選択部は、上述の人の目に対応する画素を含む領域を選択する。これにより、画像処理に係る画素領域が減少するため、処理負担が軽減される。
[0097]
 (3)例えば、解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、情報認識部は、前記撮像部が撮像した複数の画像における特定の画像と前記リファレンス状態との差に基づいて、前記所定の情報を認識する。
[0098]
 例えば、解析部は、瞳が目の中心位置に存在する状態をリファレンス状態として抽出し、リファレンス状態からの瞳の左右のずれを算出する。あるいは、例えば、ユーザが、自身が健康であると自認している状態において自身の顔を撮影し、解析部は、健康であるときの目の色をリファレンス状態として、リファレンス状態からの目の色の変化を解析することも可能である。あるいはサーバ等から健康状態における目の色を示す情報をダウンロードし、リファレンス状態とすることも可能である。これにより、画像認識装置は、リファレンス状態の比較を行うだけで、容易に健康状態を示す情報(人体に係る情報)を認識することができる。
[0099]
 (4)例えば、画像認識装置は、認識した所定の情報を他の機器に送信する送信部を備える。
 (5)例えば、画像認識装置は、当該所定の情報を表示する表示部を備える。他の機器に送信する場合には、例えばユーザが眠気を感じている状態であるとの情報を認識した場合、照明を明るくするリモコン信号を送信して、ユーザの眠気を覚まさせる動作を行う。あるいは、画像認識装置は、時計機能を備えている場合、例えば午後8時以降であると判断した場合には照明を暗くするリモコン信号を送信して、ユーザの就寝を促進する動作を行う。
[0100]
 (6)例えば、前記所定の情報は、人体に係る情報を含む。
[0101]
 画像認識方法は、
 連続して複数の画像を撮像する撮像ステップと、
 前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
 前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
 を備えたことを特徴とする。
[0102]
 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2014年5月7日出願の日本特許出願(特願2014-095814)及び2015年4月2日出願の日本特許出願(特願2015-076276)に基づくものであり、その内容はここに参照として取り込まれる。

産業上の利用可能性

[0103]
 本発明によれば、撮影した画像から様々な情報を認識可能な画像認識装置及び画像認識方法を提供することができる。

符号の説明

[0104]
 10,10A…リモコン信号認識機
 11…撮像部
 12A…第1記憶部
 12B…第2記憶部
 13…領域選択部
 14…発光パターン抽出部
 15…量子化部
 16…解析部
 17…出力部
 18A,18B…送受信部
 20…情報処理装置
 1,100A…リモコン信号認識システム
 100B…AVシステム
 100…CPU
 101…FROM
 102…RAM
 103…イメージセンサ
 104…MHLI/F
 800…バースピーカ
 801…MHLケーブル
 900,900B1…テレビ
 900B2…AVレシーバ
 901…MHLI/F
 902…CPU
 903…ディスプレイ
 910…リモコン
 911…LED
 912…ボタン
 931B1…入力部
 931B2…入力部
 932…制御部
 933…出力部
 6…スマートフォン
 61…制御部
 62…アウトカメラ
 63…インカメラ
 64…通信部
 65…操作部
 66…表示部
 611…解析部
 612…領域選択部
 613…情報認識部

請求の範囲

[請求項1]
 連続して複数の画像を撮像する撮像部と、
 前記撮像部が撮像した複数の画像のうち、特定の画像の時間変化を解析する解析部と、
 前記解析部が解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識部と、
 を備えた画像認識装置。
[請求項2]
 前記撮像部が撮像した複数の画像における前記特定の画像の領域を選択する領域選択部、を備え、
 前記解析部は、前記領域選択部が選択した領域における前記特定の画像の時間変化を解析する請求項1に記載の画像認識装置。
[請求項3]
 前記解析部は、前記特定の画像のリファレンス状態を抽出し、前記撮像部が撮像した複数の画像における特定の画像と、前記リファレンス状態との差を解析し、
 前記情報認識部は、前記撮像部が撮像した複数の画像における特定の画像と前記リファレンス状態との差に基づいて、前記所定の情報を認識する請求項1または請求項2に記載の画像認識装置。
[請求項4]
 前記所定の情報を他の機器に送信する送信部を備えた請求項1乃至請求項3のいずれかに記載の画像認識装置。
[請求項5]
 前記所定の情報を表示する表示部を備えた請求項1乃至請求項4のいずれかに記載の画像認識装置。
[請求項6]
 前記所定の情報は、人体に係る情報を含む請求項1乃至請求項5のいずれかに記載の画像認識装置。
[請求項7]
 連続して複数の画像を撮像する撮像ステップと、
 前記撮像ステップで撮像した複数の画像のうち、特定の画像の時間変化を解析する解析ステップと、
 前記解析ステップで解析した結果から、前記特定の画像に関係する所定の情報を認識する情報認識ステップと、
 を備えた画像認識方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]