WIPO logo
Mobile | Deutsch | English | Español | Français | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

国際・国内特許データベース検索
World Intellectual Property Organization
検索
 
閲覧
 
翻訳
 
オプション
 
最新情報
 
ログイン
 
ヘルプ
 
maximize
自動翻訳
1. (WO2018037891) 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体

明 細 書

発明の名称

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007   0008   0009   0010  

課題を解決するための手段

0011   0012   0013   0014   0015  

発明の効果

0016  

図面の簡単な説明

0017  

発明を実施するための形態

0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111  

符号の説明

0112  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25  

明 細 書

発明の名称 : 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体

技術分野

[0001]
 本発明は、運動中の物体を撮影し当該物体の動きを画像処理により検知(観察)する技術に関する。

背景技術

[0002]
 工場ライン、ベルトコンベア、回転運動するアンテナなどには周期性をもって運動する可動部がある。また、入退場ゲートなどには開閉運動する可動部がある。これら可動部は、同じ位置で運動する、繰り返し同じ姿勢を取る、又は、同じ変形を繰り返すというような動きをする。このような動きをする可動部を、運動を止めることなく、点検する技術が求められている。
[0003]
 例えば、カメラで撮影された可動部の画像を画像処理し当該画像処理により得られた情報を解析することにより、可動部を点検することが考えられる。このような画像処理を利用した可動部の点検を実現するためには、例えば可動部が回転体である場合には、回転中の可動部を撮影し、1回転目の運動時と2回転目の運動時のように異なるタイミングで撮影された可動部の画像同士を比較して解析をする必要がある。そのように点検のために可動部の画像を比較するためには、予め定められた動作タイミング毎の可動部の画像同士を比較・解析する必要がある。
[0004]
 物体の動作タイミングに合わせた画像を得る技術が、例えば、特許文献1(特開平02-284267号公報)や、特許文献2(特公平07-31249号公報)に提案されている。これらの先行技術では、運動する物体を検知するセンサがカメラや光源と並べられて配置されている。当該センサが観察対象となる物体を検知した際に、センサから出力されるトリガ信号が処理装置に取り込まれる。そして、処理装置は、カメラの画角内に観察対象の物体が入ったタイミングでカメラもしくは光源を動作させるために、トリガ信号を受信したタイミングでディレイを付与して、カメラおよび光源に向けて制御信号を送る。処理装置は、このようにしてカメラおよび光源を制御している。

先行技術文献

特許文献

[0005]
特許文献1 : 特開平02-284267号公報
特許文献2 : 特公平07-31249号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかしながら、上述した先行技術では、運動する物体をセンサおよびカメラを利用して撮影する場合には、撮影タイミングのばらつきが問題になる。通常、運動する物体を検知するセンサは、物体を検知してから信号を出力するまでに、数十us(マイクロ秒)~数十ms(ミリ秒)の時間(応答時間)が掛かる。一般的には、このようなセンサの応答時間は、主に、内部処理に起因する“遅延”と、“出力タイミングのばらつき”とに因る。
[0007]
 “遅延”の時間はほぼ一定で推測可能な時間であるので、センサからのトリガ信号を処理装置が取り込んだ後に、処理装置がその遅延時間を考慮した制御信号をカメラや光源に向けて送ることにより、“遅延”の解消を図ることができる。一方、“出力タイミングのばらつき”の時間は変動し、かつ、推測が難しいことから、処理装置がセンサの“出力タイミングのばらつき”を解消すべくセンサからのトリガ信号を出力することは難しい。したがって、センサの“出力タイミングのばらつき”は、カメラの撮影タイミングのばらつきの要因の一つとなる。
[0008]
 さらに、カメラも、トリガ信号(カメラ制御信号)を受信してから撮影が実行されるまでに、数十us(マイクロ秒)~数十ms(ミリ秒)の時間(応答時間)が掛かる。このカメラの応答時間の要因にも、内部処理に起因する“遅延”と、“実行タイミングのばらつき”とがある。カメラの“遅延”に関しても、センサの“遅延”と同様に、処理装置により解消することが可能であるが、カメラの“実行タイミングのばらつき”は、センサの“出力タイミングのばらつき”と同様に、解消することが難しい。このため、カメラの“実行タイミングのばらつき”もカメラの撮影タイミングのばらつきの要因の一つとなる。
[0009]
 カメラの撮影タイミングがばらつくと、被写体である物体が運動している場合には、画像における物体の位置や姿勢などがばらつく事態が発生する。ここで、運動中の物体(可動部)の画像に基づいて可動部の様子を観察・解析することにより可動部を点検したい場合に、可動部における観察対象部分の挙動の大きさよりも、画像における可動部の位置や姿勢のばらつきが大きくなってしまったとする。この場合には、そのばらつきのために、可動部における観察対象部分の挙動を画像処理により検知することが難しいという課題が生じる。
[0010]
 本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知(観察)する技術を提供することにある。

課題を解決するための手段

[0011]
 上記目的を達成するために、本発明の画像処理装置は、
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する代表選択部と、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析部と、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択部とを備える。
[0012]
 本発明の画像処理システムは、
 検知対象の物体を撮影する撮影装置と、
 本発明の画像処理装置と
を備える。
[0013]
 本発明の画像処理方法は、
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択し、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
 選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する。
[0014]
 本発明のプログラム記憶媒体は、
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する処理と、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
 選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
[0015]
 なお、本発明の上記主な目的は、本発明の画像処理装置に対応する本発明の画像処理方法によっても達成される。また、本発明の上記主な目的は、本発明の画像処理装置、画像処理方法に対応する本発明のコンピュータプログラムおよびそれを格納するプログラム記憶媒体によっても達成される。

発明の効果

[0016]
 本発明によれば、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知(観察)できる。

図面の簡単な説明

[0017]
[図1] 本発明に係る第1実施形態の画像処理装置の構成を簡略化して表すブロック図である。
[図2] 本発明に係る第1実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。
[図3] 本発明に係る第2実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。
[図4] 本発明に係る第2実施形態の画像処理装置の構成を簡略化して表すブロック図である。
[図5] 第2実施形態における記憶装置に登録される情報の一例を説明する図である。
[図6] 第2実施形態の画像処理装置のハードウェア構成を説明する図である。
[図7] 第2実施形態の画像処理装置の動作例を説明するフローチャートである。
[図8] 第2実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。
[図9] 第2実施形態の画像処理装置の動作の変形例を説明するフローチャートである。
[図10] 第2実施形態の画像処理装置の動作のさらに別の変形例を説明するフローチャートである。
[図11] 変位量と出現頻度の関係例を表すグラフである。
[図12] 第2実施形態における記憶装置に登録される情報の変形例を説明する図である。
[図13] 第2実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。
[図14] 第2実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。
[図15] 第2実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。
[図16] 本発明に係る第3実施形態の画像処理装置の構成を簡略化して表すブロック図である。
[図17] 第3実施形態の画像処理装置の動作例を説明するフローチャートである。
[図18] 第3実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。
[図19] 本発明に係る第4実施形態の画像処理システムの構成を簡略化して表すブロック図である。
[図20] 第4実施形態における記憶装置に登録される情報の具体例を説明する図である。
[図21] 第4実施形態の画像処理装置の動作により得られる情報(データ)の具体例を表す図である。
[図22] 第4実施形態の画像処理装置による解析結果の具体的な表示例を表す図である。
[図23] 第4実施形態の画像処理装置による別の解析結果の具体的な表示例を表す図である。
[図24] 第4実施形態の画像処理装置によるさらに別の解析結果の具体的な表示例を表す図である。
[図25] 第4実施形態の画像処理装置によるさらにまた別の解析結果の具体的な表示例を表す図である。

発明を実施するための形態

[0018]
 以下に、本発明に係る実施形態を図面を参照しつつ説明する。
[0019]
 <第1実施形態>
 図1は、本発明に係る第1実施形態の画像処理装置の構成例を簡略化して表すブロック図である。この第1実施形態の画像処理装置1は、図2に表されるように、撮影装置7と共に画像処理システム6を構成する。
[0020]
 撮影装置7は、検知対象の物体を撮影する機能を備える。
[0021]
 画像処理装置1は、代表選択部2と、変位解析部3と、参照選択部4とを備える。代表選択部2は、検知対象の物体を撮影した撮影画像から、処理の基準となる代表画像を選択する機能を備える。
[0022]
 変位解析部3は、代表画像が選択されている状態で、代表画像と、当該代表画像とは異なる撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する機能を備える。ここでの変位量とは、画像全体の変位量(あるいはその総和)であっても、画像の中の特定領域(ROI(Region Of Interest))における変位量(あるいはその総和)であってもよい。変位解析部3は、そのような変位量のうちの予め定められた変位量を算出する。
[0023]
 参照選択部4は、参照画像として定められた撮影画像の中から、検知対象の物体の動きを解析する処理で使用する参照画像を、変位解析部3により算出された変位量に基づいて選択する機能を備える。
[0024]
 この第1実施形態の画像処理装置1は、過去に同じ条件で撮影された撮影画像である代表画像と、撮影画像との変位量に基づいて、検知対象の物体の動きを解析する処理で使用する画像(参照画像)を選択する構成を備えている。このように選択された参照画像を利用して、検知対象の物体の動きを解析することにより、画像処理装置1は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知可能となる。
[0025]
 <第2実施形態>
 以下に、本発明に係る第2実施形態を説明する。
[0026]
 図3は、本発明に係る第2実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。図4は、第2実施形態の画像処理装置の構成を簡略化して表すブロック図である。
[0027]
 第2実施形態では、画像処理システム20は、物体を撮影した画像を利用して物体の動きを検知(観察)するシステム(例えば、工場ラインや施設設備などにおける回転可動する部材の異常検知処理を行うシステム)に適用される。この画像処理システム20は、画像処理装置21と、記憶装置22と、検知装置23と、撮影装置24とを備えている。画像処理装置21は、記憶装置22と検知装置23と撮影装置24にそれぞれ通信可能に接続されている。検知装置23と撮影装置24は、物体の動きを検知もしくは撮影可能な状態で配置されている。
[0028]
 撮影装置24は、画像センサ、カメラ、ビデオカメラ等により構成される。撮影装置24は、画像処理装置21から供給される撮影制御信号に応じて撮影動作を実行し、撮影した画像を画像処理装置21に向けて出力する構成を備える。
[0029]
 検知装置23は、検知対象の物体の状態をセンシングして、物体の運動や変形が所定の状態(位置・姿勢・形状)であることを検知すると、それを知らせる信号を同期信号として、画像処理装置21に向けて出力する構成を備えている。
[0030]
 例えば、検知装置23は、近接センサ、静電容量センサ、接触検知センサ、曲げセンサ、歪みセンサなどのセンサデバイスやセンサアレイ装置により構成される。あるいは、検知装置23は、光電センサ、距離センサ、エンコーダーなどのセンサデバイスと、当該センサデバイスから出力されるセンシング情報を処理する処理装置とにより構成されてもよい。また、検知対象の物体から運動や変形の状態に応じた信号が出力される場合には、検知装置23は、その出力信号を利用して検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらに、検知装置23は、同期信号だけでなく、各種センサ値やその演算値などのデータをも出力する構成を備えていてもよい。
[0031]
 さらに、検知装置23は、画像センサで撮影した画像を利用した画像処理により検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらにまた、検知装置23は、検知対象の物体の画像と、その物体の運動の状態を表す参照画像(例えば、後述する代表画像)との類似度を算出し、当該類似度が閾値よりも高くなった場合に同期信号を出力する構成を備えていてもよい。さらに、検知装置23は、同期信号だけでなく、画像の類似度のように画像処理により算出された値やデータをも出力する構成を備えていてもよい。このように検知装置23は、検知対象の物体の画像を利用した構成を備えていてもよい。この場合には、検知装置23は、撮影装置24に組み込まれていてもよい。
[0032]
 記憶装置22は、情報(データ)を記憶する装置である。第2実施形態では、記憶装置22は、画像処理装置21が用いる画像データ等を記憶している。
[0033]
 画像処理装置21は、図4に表されるように、撮影制御部211と代表選択部212と変位解析部213と参照選択部214と画像解析部215と書き込み部216を備える。変位解析部213は、撮影制御部211と代表選択部212と参照選択部214にそれぞれ接続されている。画像解析部215は、撮影制御部211と参照選択部214にそれぞれ接続されている。
[0034]
 撮影制御部211は、検知装置23と撮影装置24にそれぞれ接続されている。撮影制御部211は、検知装置23から同期信号(観察対象の物体の運動や変形の状態に応じた信号)を受け取り、同期信号に基づいて撮影を指示する撮影制御信号を撮影装置24に出力する機能を備えている。撮影制御部211は、例えば、検知装置23から同期信号を受け取ってから予め設定された遅延時間が経過した後に撮影制御信号を撮影装置24に出力するというように、撮影制御信号の出力タイミングを調整する機能を備えていてもよい。その遅延時間は、例えば撮影制御部211が同期信号を受けて直ちに撮影制御信号を出力する場合における応答処理に要する時間(応答時間)よりも長い時間とする。これにより、撮影制御部211は、その応答時間のばらつき等の影響を抑制し撮影装置24により撮影される観察対象の物体の運動や変形の状態を揃えることができるように、撮影装置24の撮影タイミングを制御できる。
[0035]
 また、撮影制御部211は、撮影装置24から取得した画像(撮影画像)を代表選択部212に出力し、また、当該撮影画像を処理対象画像として変位解析部213と画像解析部215に出力する機能を備えている。
[0036]
 代表選択部212は、撮影装置24により撮影された画像(撮影画像)を撮影制御部211を通して受け取った場合に、変位解析部213の処理で基準の画像として使用する画像(代表画像)が記憶装置22に登録されているか否かを判断する機能を備えている。そして、代表選択部212は、代表画像が記憶装置22に登録されていない場合には、撮影制御部211を通して受け取った撮影装置24の撮影画像を代表画像として記憶装置22に登録する機能を備えている。あるいは、代表選択部212は、撮影装置24の撮影画像を順次受け取り、予め設定された複数枚の撮影画像の中から、変位解析部213の処理で基準の画像として使用する代表画像を予め定められた選択手法により選択する機能を備えている。代表画像を選択する手法には、様々な手法が考えられ、何れの手法を採用してもよいが、その一例を次に述べる。例えば、代表選択部212は、撮影装置24により撮影された複数の撮影画像の中から例えば無作為に選択した画像を一次的な代表画像とし、当該一次的な代表画像と他の撮影画像との変位を解析して変位量を算出する。その後、代表選択部212は、その変位量を統計的に評価しその中央値を取る画像を代表画像として選択する。このような手法により代表画像を選択することは、変位解析部213による処理における変位の探索領域を狭くすることができる。
[0037]
 書き込み部216は、画像等の情報(データ)を記憶装置22に書き込む機能を備えている。代表選択部212により選択された代表画像は、書き込み部216の機能によって記憶装置22に書き込まれる。
[0038]
 変位解析部213は、撮影制御部211から受け取った処理対象画像の中の物体が撮影されている点もしくは領域が、記憶装置22から読み出した代表画像に対してどの程度ずれているかを解析する変位解析を行う機能を備えている。この第2実施形態では、変位解析部213は、主に大局的なずれを扱うこととする。変位解析部213は、処理対象画像の中の物体の位置が、代表画像に対してどの程度ずれているかを示す値として変位量を算出する。また、変位解析部213は、算出した変位量を参照選択部214に出力する機能を備えている。
[0039]
 変位解析部213が実行する変位の解析には、例えば、特開2006-33142号公報に開示されている勾配法による並進ずれ量算出の手法や、特開2009-77363号公報に開示されているオプティカルフローによる動き量の算出手法を利用できる。また、変位の解析には、さらに、テンプレートマッチングによる移動量の追跡手法や、画像相関法による変位量の算出手法や、SIFT(Scale Invariant Feature Transform)特徴量などに代表される局所画像特徴の動き解析手法などの手法も有る。変位解析部213は、そのような様々な手法の中から適宜選択された手法によって、変位の解析を行う。
[0040]
 参照選択部214は、記憶装置22に記憶されている複数の参照画像の中から、変位解析部213から得た変位量に基づいて参照画像を選択する。参照画像は、観察対象の物体を撮影するタイミングと同じタイミング(周期タイミング)で撮影装置24によって予め撮影された観察対象の物体を含む画像である。例えば、代表選択部212により代表画像が選択されると、当該代表画像と、各参照画像との変位量が変位解析部213により算出される。記憶装置22は、図5に表されるように画像記憶部221を有し、当該画像記憶部221には、代表選択部212により選択された代表画像と、参照画像と、当該参照画像と代表画像との変位量とが関連付けられた状態で記憶されている。
[0041]
 参照選択部214は、例えば、記憶装置22の画像記憶部221から、変位解析部213により算出された処理対象画像と代表画像間の変位量に最も近い変位量に関連付けられている参照画像を選択する。あるいは、参照選択部214は、参照画像を1つ選択するのではなく、変位解析部213により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択してもよい。
[0042]
 画像解析部215は、撮影制御部211を通して受け取った処理対象画像と、参照選択部214により選択された参照画像とを用いて、観察対象の物体の動き等を画像解析によって検知(観察)する機能を備えている。画像解析部215は、例えば、前述したような変位の解析手法により、画像における観察対象の物体の局所的な変位を解析する。あるいは、画像解析部215は、画像全体の変位を解析してもよい。また、画像解析部215は、画像間の差分を取ってもよい。さらに、画像解析部215は、観察対象の物体のエッジを抽出し、その角度や長さなどを評価してもよい。さらにまた、画像処理装置21は、検知装置23が出力する同期信号に基づき、撮影時に得られる情報をも画像と共に取得する機能を備えていてもよい。そして、画像解析部215は、その撮影時に得られる情報をも考慮して、観察対象の物体の動き等を解析してもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報(撮影時の照度、風向き、風速など)や、検知装置23から得た情報(画像の類似度など)がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ(光電センサ、距離センサ、加速度センサ、ジャイロなど)から撮影時に得られるセンサ値やその演算値であってもよい。画像処理装置21と画像解析部215が用いる撮影時に得られる情報は、上記のような情報のうちの一つに限定されず、撮影時に得られる複数の情報を利用してもよい。
[0043]
 上記のような画像解析部215により解析された例えば物体の動きの変化に基づき、例えば、工場ラインや施設設備などにおける回転可動する部材に異常が有るか否かが判断される。なお、画像解析部215により画像解析された結果がどのように処理されるかは、第2実施形態の画像処理システムが適用されるシステムに応じて定まるものであり、上記のような部材の異常検知に限定されない。
[0044]
 第2実施形態における画像処理装置21およびそれを備える画像処理システム20は、上記のように構成されている。なお、図6は、画像処理装置21のハードウェア構成を簡略化して表すブロック図である。画像処理装置21は、例えば、CPU(Central Processing Unit)15と、通信ユニット16と、メモリ17と、入出力IF(Interface)18とを有する。さらに、画像処理装置21には、表示装置(図示せず)が接続されていてもよい。
[0045]
 通信ユニット16は、例えば、情報通信網(図示せず)を介してシステムのユーザが所有する情報処理装置(図示せず)等に接続され、当該情報処理装置等との通信を実現する機能を備えている。入出力IF18は、例えば、検知装置23、撮影装置24、記憶装置22、さらに、装置の操作者(ユーザ)が情報を入力するキーボード等の入力装置(図示せず)等に接続し、これら装置との情報(信号)の通信を実現する機能を備えている。メモリ17は、データやコンピュータプログラム(プログラム)を格納する記憶装置(記憶媒体)である。記憶装置には、例えば、ハードディスク装置、SSD(Solid State Drive)、RAM(Random Access Memory)というように様々な種類が有り、1つの装置に複数種の記憶装置が搭載されることがあるが、ここでは、包括的に1つのメモリとして表す。CPU15は、演算回路であり、メモリ17に格納されているプログラムを読み出し当該プログラムを実行することにより、画像処理装置21の動作を制御する機能を備える。例えば、CPU15がプログラムを実行することによって、機能部である撮影制御部211と代表選択部212と変位解析部213と参照選択部214と画像解析部215と書き込み部216が実現される。
[0046]
 次に、画像処理装置21の動作例を図7のフローチャートに基づいて説明する。なお、図7のフローチャートは、例えば、画像処理装置21のCPU15が実行する処理手順を表している。
[0047]
 例えば、撮影制御部211は、検知装置23から同期信号を受け取ると(ステップS1)、撮影制御信号を撮影装置24に向けて出力する(ステップS2)。また、撮影制御部211は、撮影装置24から画像を取得すると(ステップS3)、代表選択部212に供給し、また、処理対象画像として変位解析部213と画像解析部215に出力する。
[0048]
 代表選択部212は、撮影制御部211から画像を受け取ると、記憶装置22に代表画像が存在しているか(登録されているか)否かを判定する(ステップS4)。存在していない場合には、代表選択部212は、受け取った画像を代表画像として書き込み部216によって記憶装置22の画像記憶部221に書き込む(登録する)(ステップS5)。そして、画像処理装置21は、次の同期信号に備え、待機する。
[0049]
 一方、記憶装置22の画像記憶部221に代表画像が存在している場合には、予め定められた選択手法に基づいて代表画像を選択する(ステップS6)。
[0050]
 その後、変位解析部213は、撮影制御部211から受け取った処理対象画像と、代表選択部212により選択された代表画像との間の変位を解析し、変位量を算出する(ステップS7)。そして、参照選択部214は、画像記憶部221において、代表選択部212により選択された代表画像に関連付けられている参照画像の中に、算出された変位量と同じあるいは予め定められたずれ許容範囲内の変位量に関連付けられている参照画像があるか否かを判定する(ステップS8)。該当する参照画像が画像記憶部221に無い場合には、参照選択部214は、変位解析部213の処理対象であった撮影装置24による撮影画像を参照画像とする。そして、参照選択部214は、その参照画像を変位解析部213により算出された変位量と関連付けられた状態で参照画像記憶部122に書き込み部216によって登録する(ステップS9)。そして、画像処理装置21は、次の同期信号に備え、待機する。
[0051]
 一方、変位解析部213により算出された変位量に応じた参照画像が画像記憶部221に存在する場合には、参照選択部214は、対応する参照画像を選択し(ステップS10)、選択した参照画像を画像記憶部221から読み出す。
[0052]
 然る後に、画像解析部215は、撮影制御部211から受け取った処理対象画像と、参照選択部214により選択された参照画像とを用いて、画像を解析する(ステップS11)。そして、画像解析部215は、この解析により得られた結果、例えば、観察対象の物体の動き等の観察結果を図示しない出力装置に向けて出力する(ステップS12)。
[0053]
 画像処理装置21は、上記のような画像処理を含む一連の動作によって観察対象の物体の動き等を観察し、観察結果を表示装置(図示せず)に出力することができる。
[0054]
 第2実施形態の画像処理装置21およびそれを備えた画像処理システム20は、次のような効果を得ることができる。すなわち、第2実施形態では、図5に表されるように、1枚の代表画像に複数の参照画像が関連付けられ、さらに、代表画像に対する各参照画像の変位量が計算され、算出された各変位量が参照画像に関連付けられている。このような状態で、代表画像と参照画像と変位量が画像記憶部221に格納されている。代表画像も参照画像も、撮影装置24から出力される解析対象の撮影画像と同じ条件で観察対象の物体を撮影した画像である。このため、画像記憶部221に格納されている参照画像の中から、基準となる代表画像と解析対象の撮影画像(処理対象画像)との変位量に基づいて参照選択部214により選択される参照画像は、処理対象画像と比較し易い画像である。換言すれば、変位解析部213は、処理対象画像と代表画像との撮影タイミングのばらつきによる成分を変位量というパラメータとして抽出することができる。そして、参照選択部214は、同じ代表画像との撮影タイミングのばらつき成分を示す変位量に関連付けられている画像記憶部221の参照画像の中から、変位量が近い参照画像を選択することが可能となる。その変位量が近い参照画像とは、すなわち、処理対象画像との撮影タイミングのばらつき成分が小さく、処理対象画像との比較が容易な参照画像である。このような参照画像が選択される結果、撮影タイミングのばらつきにより画像中の物体の位置がばらつくような場合であっても、画像解析部215は、処理対象画像中における観察対象の物体と、当該物体と同様な位置や姿勢の参照画像における観察対象の物体とを比較できる。これにより、参照画像中の観察対象の物体に対する処理対象画像中の観察対象の物体の位置や姿勢等のずれが小さく、画像解析部215が観察対象の物体における観察したい挙動を抽出し易くなる。
[0055]
 また、撮影タイミングのばらつきではなく、物体の運動速度が変化した際に、画像中の物体の撮影される位置がずれるという場合もある。その場合においても、参照選択部214は、処理対象画像における観察対象の物体との比較が容易な観察対象の物体が含まれている参照画像を適切に選択できる。このため、物体の運動速度が変化した場合においても、画像解析部215は、処理対象画像と参照画像の比較に基づいた画像解析により観察対象の物体における観察したい挙動を容易に抽出できる。
[0056]
 このため、画像処理装置21およびそれを備えた画像処理システム20は、簡単な構成で、撮影タイミングのばらつきの悪影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の挙動を画像解析により精度良く検知(観察)できる。
[0057]
 <第2実施形態における変形例>
 ・変形例1
 図8は、第2実施形態における画像処理装置21の変形例の構成を簡略化して表すブロック図である。なお、図8では、図4に表されている画像処理装置21を構成する構成部分と同一名称部分には同一符号を付し、その機能における共通部分の重複説明は省略する。
[0058]
 この変形例では、図4に表される画像処理装置21の構成に加えて、例えばCPU15により実現される機能部である画像整列部217が備えられている。この変形例では、例えば、参照選択部214は、変位解析部213により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択する。そして、画像整列部217は、その選択された複数の参照画像を予め定められたルールに従って整列する機能を有する。画像解析部215は、画像整列部217により整列された参照画像と、処理対象画像とに基づいて、観察対象の物体の挙動等を画像解析により抽出する。
[0059]
 図8に表される画像処理装置21の上記以外の構成は、図4における画像処理装置21の構成と同様である。
[0060]
 ・変形例2
 図9は、画像処理装置21における図8の動作例の変形例を表すフローチャートである。この図9に表される画像処理装置21の動作例では、ステップS1~ステップS12までの動作は、図7におけるステップS1~ステップS12の動作と同様であるが、ステップS12の動作の後に、参照画像を記憶装置22に登録する動作を行う(ステップS13)。すなわち、ステップS13において、画像解析部215が解析結果を出力した後に、参照選択部214が、処理対象画像を新たな参照画像として、変位解析部213により算出された変位量と関連付けられた状態で書き込み部216に出力する。これにより、新たな参照画像と、当該参照画像と代表画像との変位量との情報が書き込み部216によって記憶装置22の画像記憶部221に書き込まれる(更新される)。
[0061]
 このような動作を行う(機能を持つ)ことによって、画像処理装置21は、参照画像を適宜蓄積していくことができる。
[0062]
 ・変形例3
 図10は、画像処理装置21におけるさらに別の動作の変形例を表すフローチャートである。この図10の例では、変位解析部213が代表画像に対する処理対象画像の変位量を算出した動作(ステップS7)の後に、例えば参照選択部214がその算出した変位量が予め設定された処理範囲内か否かを判断する動作(ステップS14)を行う。そして、画像処理装置21は、変位量が処理範囲内である場合には、ステップS8以降の動作を実行し、変位量が処理範囲を超えて大きい場合には、次の同期信号の受け取りに備えて待機する。図10に表されている動作例では、上記以外の動作は、図7あるいは図9に表されている動作と同様であり、同様な動作部分には同一のステップ番号を付し、また、適宜その図示を省略し、さらに、その共通部分の重複説明は省略する。
[0063]
 この動作例では、参照選択部214が処理対象画像を選択することが可能となり、変位解析部213により算出された変位量が適切な処理範囲内の処理対象画像が後段の処理に回される。したがって、画像解析部215は、参照画像との比較がより容易となり、画像解析の精度を高めることができる。また、図9の動作例のように、画像記憶部221に参照画像を蓄積していくことができる場合には、適切な変位量を持つ処理対象画像が参照画像として蓄積されていくこととなる。さらに、この場合には、処理対象画像が選択されない場合に比べて、画像記憶部221における参照画像の蓄積のスピードが遅くなる。このため、RAM(Random Access Memory)などの小さな記憶容量の記憶装置22を用いた場合でも、参照画像を蓄積していく構成が適用可能となる。
[0064]
 図11は、代表画像に対する処理対象画像の変位量と、当該変位量に対応する処理対象画像の出現頻度との関係例が棒グラフにより表されている。なお、変位量は予め定められた変位量ずつ区分されており、図11では、区分毎における処理対象画像の出現頻度が表されている。
[0065]
 例えば、図10の動作例のように処理対象画像を選択する場合に、変位量が図11における“-2”から“2”までの範囲を処理範囲とした場合には、図11において斜線を付した出現頻度に応じた分の処理対象画像が選択される。この図に表されているように、処理対象画像が選択されない場合に比べて、処理対象画像を選択することにより、参照選択部214や画像解析部215により処理される処理対象画像の数が削減される。これにより、画像解析部215により処理された処理対象画像を参照画像として記憶装置22に格納する場合に、処理対象画像を選択する構成は、参照画像の蓄積量を抑制できる。
[0066]
 なお、処理対象画像を選択する処理で用いる処理範囲を十分に小さくした場合には、ステップS8やステップS9の処理を不要にすることも可能となる。この場合、画像処理装置21は、さらに高速に処理でき、画像記憶部221に記録する参照画像を減らすことができるため、さらに小さな記憶容量の記憶装置22を用いた場合でも適用可能となる。
[0067]
 ・変形例4
 第2実施形態では、代表選択部212は、撮影制御部211を通して受け取った撮影画像の中から代表画像を設定(選択)する構成であることを説明している。これに代えて、代表選択部212は、記憶装置22に参照画像が記憶されている場合には、記憶装置22の参照画像から代表画像を設定(選択)してもよい。
[0068]
 ・変形例5
 また、第2実施形態の構成(機能)に加えて、画像処理装置21は、代表画像を予め設定されたタイミングで更新する構成を備えていてもよい。更新する代表画像を設定(選択)する手法としては、例えば次のような手法が考えられる。例えば、記憶装置22の画像記憶部221に登録されている代表画像に対する各参照画像の変位量のうちの中央値あるいは平均値に対応する参照画像を代表画像として選択する手法が考えられる。このように代表画像を選択することによって代表画像と処理対象画像とのずれが小さくなるので、そのような代表画像の選択構成は、代表画像と処理対象画像との変位量を算出する処理の負荷を軽減することができ、処理の高速化を図ることができる。
[0069]
 なお、代表画像を更新する場合には、更新後の代表画像に対する参照画像の変位量を算出し、更新後の代表画像に、参照画像と、算出した変位量とを関連付けた情報(データ)を記憶装置22の画像記憶部221に登録し直す必要がある。
[0070]
 ・変形例6
 さらに、画像記憶部221には、複数の代表画像がそれぞれ参照画像および変位量に関連付けられた状態で登録されていてもよい。この場合には、変位解析部213は、複数の代表画像のそれぞれと、処理対象画像との変位量を算出してもよい。さらに、参照選択部214は、変位量を算出した各代表画像に関連付けられている参照画像の中から、算出された変位量に対応する参照画像を選択してもよい。このような場合には、画像解析部215は、1枚の処理対象画像に、異なるタイミングで撮影された複数の参照画像を比較して画像解析することができる。
[0071]
 ・変形例7
 さらに、参照選択部214は、画像記憶部121から複数枚の参照画像を参照画像群として選択してもよい。例えば、参照選択部214は、代表画像に対する処理対象画像の変位量を中心にした予め設定された幅の範囲(例えば、変位量Pから所定値βを差し引いた値(P-β)から変位量Pに所定値βを加算した値(P+β)までの範囲)を算出する。そして、参照選択部214は、その範囲内の変位量に関連付けられている参照画像を参照画像群として選択する。
[0072]
 ・変形例8
 さらに、変位量を複数の階級に区分し、代表画像に対する参照画像の変位量に基づいて参照画像がそれら階級の何れかに分類されてもよい。この場合には、図12に表されるように、画像記憶部221に登録されている参照画像には、そのように分類された階級の情報も関連付けられる。また、参照選択部214は、変位解析部213により算出された変位量に基づいて処理対象画像がどの階級に属するかを判定し、処理対象画像が属すると判定された階級と同じ階級に属する参照画像の全てを選択してもよい。
[0073]
 変形例7や変形例8のような処理によって参照選択部214が参照画像群を選択することにより、処理対象画像に近い複数の参照画像が得られるので、画像解析部215によって、より精密な画像解析結果を得ることができる。
[0074]
 なお、変形例7における所定値βや、変形例8における変位量の各階級の範囲は、観察したい挙動の大きさに応じて設定してもよい。例えば、変形例8において、各変位量の階級の範囲をαとし、観察したい挙動の大きさをγとしたとき、γ>αとなるように階級の範囲を設定してもよい。この場合には、観察したい挙動の大きさγよりも、画像解析部215で処理に用いられる複数の参照画像間のずれ幅が小さいので、複数の参照画像間のずれ幅の影響が小さく、画像解析部215は、観察したい動きγを容易に検知(観察)できる。
[0075]
 ・変形例9
 また、記憶装置22の画像記憶部221に登録される参照画像に関連付けられる変位量の情報は、例えば、“物体の運動方向の変位量”と、“物体の運動に垂直な方向の変位量”というように、互いに異なる複数の変位量の情報が含まれていてもよい。例えば、観察対象の物体の運動方向をX方向とし、その運動方向に垂直な方向をY方向とした場合には、図13のイメージ図に表されるように、参照画像に関連付けられる変位量の情報は、X方向変位量の情報と、Y方向変位量の情報とを含む。
[0076]
 このような場合には、例えば、変位解析部213は、代表画像に対する処理対象画像のX方向の変位量と、Y方向の変位量とを求め、参照選択部214は、それら算出されたX方向とY方向の変位量に基づいて参照画像を選択する。画像解析部215は、そのように選択された参照画像と、処理対象画像とに基づいた画像解析によって、より精度の良い観察対象の物体の動き(挙動)等の検知(観察)を行うことができる。
[0077]
 また、一般的に、物体が運動している状態で画像を撮影する場合には、“物体の運動方向の変位量の成分”が“物体の運動に垂直な方向の変位量の成分”よりも大きくなる傾向がある。このため、例えば、変位解析部213は、“物体の運動方向の変位量の成分”に着目して変位量を算出し、その他の影響を切り分けることで、参照選択部214は、物体の運動方向に着目して処理対象画像に合う参照画像を選択できる。
[0078]
 ・変形例10
 また、記憶装置22の画像記憶部221に登録される参照画像には、代表画像に対する変位量の情報が関連付けられるだけでなく、例えば、図14に表されるように、参照画像の撮影時に得られる情報である撮影時刻の情報が関連付けられていてもよい。さらに、参照画像には、変位量算出に失敗したというような画像処理装置21の処理に関わる情報が撮影時に得られる情報として関連付けられていてもよい。
[0079]
 さらに、記憶装置22の画像記憶部221に登録される参照画像には、図15のイメージ図に表されるように、撮影時に得られる情報としてのデータが関連付けられていてもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報(撮影時の照度、風向き、風速など)や、検知装置23から得た情報(画像の類似度など)がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ(光電センサ、距離センサ、加速度センサ、ジャイロなど)から撮影時に得られるセンサ値やその演算値であってもよい。
[0080]
 上記のような撮影時に得られる一つあるいは複数の情報がデータとして参照画像に関連付けられる場合には、参照選択部214で処理される処理対象画像にも同様なデータが関連付けられている構成とする。そして、参照選択部214は、変位量だけでなく、そのようなデータをも利用して参照画像を選択する。これにより、参照選択部214は、より処理対象画像に合う参照画像を選択できる。画像解析部215は、処理対象画像に関連付けられているそのようなデータを利用して、処理対象画像を並べて解析することにより、例えば時系列変化の影響や、照度変化の影響などを検知(観察)できる。より具体的に述べれば、例えば、画像解析部215は、撮影時刻が近い処理対象画像同士、参照画像同士の比較により、観察対象の物体のより詳細な挙動の変化を解析することが可能となる。また、画像解析部215は、撮影の照度が同様な画像同士を比較することにより、照度の違いの影響が軽減された状態で観察対象の物体の挙動を解析することが可能となる。画像解析部215は、撮影時に得られる情報を考慮して画像解析することにより、観察対象の物体における観察したい事項が発生する要因を解析することも可能になる。
[0081]
 さらに、画像解析部215は、撮影時刻が近く、かつ、撮影の照度が同様な処理対象画像同士を比較するというように、撮影時に得られる複数の情報に基づいて選択された複数の処理対象画像に基づいて、観察対象の物体の挙動を解析することも可能となる。このように、撮影時に得られる情報をも考慮して選択された処理対象画像と参照画像(つまり、撮影状況が近い画像)に基づき画像解析することにより、画像解析部215は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。
[0082]
 <第3実施形態>
 以下に、本発明に係る第3実施形態を説明する。なお、第3実施形態の説明において、第2実施形態の画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
[0083]
 図16は、第3実施形態の画像処理装置の構成を簡略化して表すブロック図である。第3実施形態の画像処理装置21は、第2実施形態における参照選択部214に代えて、分類部230と参照部231を備える。
[0084]
 分類部230は、変位解析部213から得た変位量に基づいて、撮影制御部211を通して受け取った撮影画像である処理対象画像を分類する機能を備えている。例えば、前述したように、変位量が階級に区分されており、分類部230は、代表画像に対する処理対象画像の変位量に基づいて、処理対象画像を何れかの階級に分類する。
[0085]
 分類部230は、さらに、処理対象画像と、分類された階級の情報とを書き込み部216に出力し、書き込み部216によって、処理対象画像を参照画像とし、代表画像と階級情報に関連付けられた状態で記憶装置22に書き込ませる機能を備えている。
[0086]
 参照部231は、記憶装置22に接続されており、例えば、参照の要求をシステムのユーザから受けた場合に、予め設定された選択手法に基づいて変位量の階級を選択する機能を備える。その選択手法には様々な手法が考えられる。例えば、参照部231は、変位解析部213により算出された直近の変位量に対応する変位量の階級を選択する。あるいは、参照部231は、最も出現頻度が高い参照画像群を選択する。
[0087]
 さらに、参照部231は、そのように選択された階級に属している複数の参照画像を記憶装置22から取得する機能を備える。
[0088]
 画像解析部215は、参照部231が取得した複数の参照画像を解析することにより、観察対象の物体の動き(挙動)等を検知(観察)する。
[0089]
 第3実施形態における画像処理装置21の上記以外の構成は、第2実施形態の画像処理装置の構成と同様である。
[0090]
 次に、第3実施形態の画像処理装置21の動作例を図17のフローチャートに基づいて説明する。なお、図17においては、図7、図9や図10のフローチャートにおいて説明される動作と同様な動作のステップには、同一のステップ番号を付し、その共通部分の重複説明は省略する。
[0091]
 この例では、画像処理装置21の動作が、第2実施形態における画像処理装置21の動作と次の点で異なる。すなわち、第3実施形態では、画像処理装置21は、撮影装置24により撮影された観察対象の物体の映像(処理対象画像)を参照画像あるいは代表画像として記憶装置22に順次、登録していく。そして、画像処理装置21は、参照の要求が有った場合(ステップS21、S22、S23の動作を参照)に、参照画像を利用した画像解析の処理を実行する。
[0092]
 また、ステップS22において、画像処理装置21(参照部231)は、予め設定された選択手法に基づいて変位量の階級を選択し、選択した階級に分類されている複数の参照画像を参照画像群として記憶装置22から読み出す。
[0093]
 さらにまた、ステップS23において、画像解析部215は、その読み出した参照画像群における複数の参照画像について、各参照画像間の変位量を画像解析により算出し、この変位量を利用して観察対象の物体の動き(挙動)等を観察(検知)する。
[0094]
 第3実施形態における画像処理装置21の上記以外の動作は、第2実施形態の画像処理装置21の動作と同様である。
[0095]
 第3実施形態の画像処理装置21とそれを備える画像処理システム20は、上記のような構成を備えることにより、第2実施形態で述べた効果を得ることができ、また、次のような効果を得ることもできる。すなわち、第3実施形態の画像処理装置21は、観察対象の物体の動き等を観察(検知)する画像解析において利用する参照画像として、変位量が同じ階級に属する複数の参照画像を利用する。つまり、画像処理装置21は、撮影タイミングのばらつき成分が小さい参照画像間で画像を解析するので、撮影タイミングのばらつきの影響が小さい状態で観察対象の物体の動きを観察することができる。
[0096]
 また、第3実施形態の画像処理装置21における参照部231は、適宜に選択した階級の参照画像群を選択できるので、例えば、最も出現頻度が高い参照画像群を選択することにより、撮影タイミングのばらつき成分が小さい多くの参照画像を得ることができる。このように取得された多くの参照画像を利用することにより、画像解析部215は、観察対象の物体における観察したい挙動を高い確率で検知することができる。
[0097]
 <第3実施形態における変形例>
 なお、上述した第3実施形態の画像処理装置21の構成に加えて、図18に表されるように、画像整列部217がさらに画像処理装置21に備えられてもよい。その画像整列部217は、第2実施形態における変形例1にて説明した画像整列部217と同様に、参照部231により選択され取得された参照画像群に属する複数の参照画像を予め定められたルールに従って整列(ソート)する機能を有する。
[0098]
 この第3実施形態では、多くの参照画像が解析されることも想定されることから、画像整列部217によって多数の参照画像を整列(ソート)できる構成は、参照画像の煩雑化を抑制することができる。また、整列(ソート)するルール(条件)を適宜設定することにより、画像解析部25は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。
[0099]
 さらに、観察対象の物体の運動方向とは異なる方向(例えば運動方向に垂直な方向)の変位量に基づいて複数の画像(参照画像や処理対象画像)を整列する機能を持つ画像整列部が設けられてもよい。そのように整列された画像と、画像解析部215により得られた変位量分布とを利用することにより、観察対象の物体の挙動の変化や、その変化のプロセスを精度良く検知することや、人間が見た目で分かり易くする可視化することが容易となる。
[0100]
 <第4実施形態>
 以下に、本発明に係る第4実施形態を説明する。なお、第4実施形態の説明において、第2と第3の各実施形態における画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
[0101]
 図19は、第4実施形態の画像処理装置21を備える画像処理システム20の構成を簡略化して表すブロック図である。この第4実施形態では、画像処理システム20は、第2又は第3の実施形態と同様の構成を備えるが、検知装置23として運動検知装置33が設けられている。画像処理システム20におけるそれ以外の構成は、第2又は第3の実施形態の画像処理システム20の構成と同様である。
[0102]
 図20は、記憶装置22における画像記憶部221に登録される情報(データ)の具体例を表している。
[0103]
 第4実施形態では、検知装置としての運動検知装置33は、観察対象の物体40(図19参照)の回転を監視し、当該物体40が予め定められた回転状態になったことを検知すると、それを知らせる同期信号を出力する機能を備えている。
[0104]
 画像記憶部221には、1つの代表画像に対して複数の参照画像と、その変位量、当該変位量の階級、撮影時刻等が関連付けられて記憶されている。なお、代表画像は1つに限定されず、複数であってもよい。また、記憶装置22は、ハードディスク装置やSSD(Solid State Drive)により構成される。あるいは、例えば、記憶する容量が少ない場合や、リアルタイムで情報(データ)を処理する場合は、記憶装置22は、RAM等のメモリにより構成されていてもよい。
[0105]
 第4実施形態の画像処理装置21およびそれを備える画像処理システム20は、第2又は第3の実施形態と同様の構成を備えているので、第2又は第3の実施形態と同様の効果を得ることができる。
[0106]
 ここで、図21を利用して、第4実施形態の画像処理装置21の具体的な動作例を説明する。なお、この説明における動作例は、第2実施形態に基づいた動作例である。
[0107]
 例えば、観察対象の物体がX周期目の動作の際に運動検知装置33によって得られた信号を基に、撮影装置24が作動してX周期目の観察対象の画像が撮影されたとする。画像処理装置21の撮影制御部211は、その撮影画像を受け取ると、当該撮影画像をX周期目の処理対象画像とする。また、記憶装置22の画像記憶部221には、複数の代表画像が登録されており、代表選択部212は、それら代表画像の中から、X周期目の処理対象画像に関連付ける代表画像としての代表画像を選択する。そして、変位解析部213は、X周期目の処理対象画像と代表画像との間の変位量を算出し、例えば、-0.6[pixel]を得る。
[0108]
 参照選択部214は、算出した変位量-0.6[pixel]に最も近い参照画像として、参照画像を選択する。さらに、画像解析部215は、X周期目の処理対象画像と、選択された参照画像との間の変位分布を解析し、変位分布画像を得る。例えば、画像処理装置21は、その得られた変位分布画像を解析結果として表示装置に出力する。図22は、上記のようにして得られた複数の変位分布画像がまとめて表示されている表示例が表されている。その変位分布画像と共に、変位解析部213の処理により得られる図23に表されるような変位量(階級)とその変位量の出現回数との関係データも表示してもよい。
[0109]
 さらに、画像整列部217が備えられている場合には、図24のように選択・整列処理が行われた後の変位分布画像や、図25に表されるような変位量(階級)とその変位量の出現回数との関係データが切り替え表示されてもよい。
[0110]
 以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
[0111]
 この出願は、2016年8月25日に出願された日本出願特願2016-164719を基礎とする優先権を主張し、その開示の全てをここに取り込む。

符号の説明

[0112]
 1,21 画像処理装置
 2,212 代表選択部
 3,213 変位解析部
 4,214 参照選択部
 7,24 撮影装置
 215 画像解析部
 217 画像整列部

請求の範囲

[請求項1]
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する代表選択手段と、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析手段と、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択手段とを備える画像処理装置。
[請求項2]
 前記参照画像には、前記代表画像との間の変位量の情報が関連付けられており、
 前記参照選択手段は、前記変位解析手段により算出された変位量を含む予め設定された範囲内の変位量に関連付けられている前記参照画像を選択する請求項1に記載の画像処理装置。
[請求項3]
 前記参照画像には、前記代表画像との間の変位量に基づいて分類された変位量の階級の情報が関連付けられており、
 前記参照選択手段は、前記変位解析手段により算出された変位量の前記階級を判定し、判定された前記階級に属する前記参照画像を選択する請求項1に記載の画像処理装置。
[請求項4]
 前記変位解析手段は、前記検知対象の物体の予め定められた運動方向の変位量を算出し、
 前記参照画像には、前記代表画像との間における前記運動方向の変位量が関連付けられており、
 前記参照選択手段は、前記算出された運動方向の変位量に基づいて前記参照画像を選択する請求項1に記載の画像処理装置。
[請求項5]
 前記撮影画像には前記検知対象の物体の撮影時に得られる情報が関連付けられ、また、前記参照画像にも、前記検知対象の物体の撮影時に得られる情報が関連付けられており、
 前記参照選択手段は、前記変位量と前記撮影時に得られる情報に基づいて前記参照画像を選択する請求項1乃至請求項4の何れか一つに記載の画像処理装置。
[請求項6]
 前記参照選択手段により選択された前記参照画像と、前記撮影画像とを比較することにより、前記検知対象の物体の動きを解析する画像解析手段をさらに備える請求項1乃至請求項5の何れか一つに記載の画像処理装置。
[請求項7]
 前記参照画像に関連付けられている情報に基づいて前記参照画像を予め与えられたルールに従って整列する画像整列手段をさらに備える請求項1乃至請求項6の何れか一つに記載の画像処理装置。
[請求項8]
 検知対象の物体を撮影する撮影装置と、
 請求項1乃至請求項7の何れか一つに記載の画像処理装置と
を備える画像処理システム。
[請求項9]
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択し、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
 選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する画像処理方法。
[請求項10]
 検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する処理と、
 前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
 参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
 選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]