Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020116170 - DISPOSITIF DE TRAITEMENT D'INFORMATIONS, PROCÉDÉ DE COMMANDE ET PROGRAMME

Document

明 細 書

発明の名称 情報処理装置、制御方法、及びプログラム

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

非特許文献

0006  

発明の概要

発明が解決しようとする課題

0007   0008  

課題を解決するための手段

0009   0010   0011  

発明の効果

0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116  

符号の説明

0117  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

図面

1   2   3   4   5   6   7   8  

明 細 書

発明の名称 : 情報処理装置、制御方法、及びプログラム

技術分野

[0001]
 本発明は、画像解析に関する。

背景技術

[0002]
 カメラによって生成される撮像画像を用いて対象物を認識するシステムが開発されている。撮像画像を用いた対象物の認識は、撮像画像から物体を表す画像領域の特徴を抽出し、その特徴を解析することで行われる。物体の特徴とは、例えば、色、エッジ(輪郭)、又は表面テクスチャなどである。
[0003]
 撮像画像から物体の特徴を精度良く抽出できるようにするためには、撮像画像に物体の特徴が十分に表れている必要がある。撮像画像に物体の特徴が十分に表れるようにする方法の一つとして、照明や背景などの撮像環境を適切に設定するという方法がある。例えば、表面に凹凸を持つ白色の物体に対して強い照明を当ててしまうと、撮像画像上で物体の表面が白飛びし、その表面の凹凸が撮像画像上に表れなくなってしまう。そのため、その物体の特徴を撮像画像から抽出することが難しくなってしまう。
[0004]
 撮像環境の適切な設定について言及する先行技術文献として、特許文献1と非特許文献1が挙げられる。特許文献1では、検査ステーション内を通過する製品の複数の特徴を識別して不良品を仕分けるために、複数の照明装置及び検出装置を所定順序で選択的に駆動し、時系列的に得られた複数の画像信号を融合したマルチモーダル画像に対して識別処理を行う仕組みが開示されている。非特許文献1では、調理支援システムにおける食材認識のために、ディスプレイを背景(調理台)として用いて、前景(食材)周辺の背景の色相及び明度を一定範囲で変更しながら、食材の輪郭が最もよく見える背景色、及び食材の色が最も正確に抽出できる背景色を探索する方法を開示している。

先行技術文献

特許文献

[0005]
特許文献1 : 特開2017-518164号公報

非特許文献

[0006]
非特許文献1 : 川西康友、山肩洋子、角所考、及び美濃導彦、「D-12-75 適応的背景変更による食材の領域と色の抽出」、電子情報通信学会総合大会講演論文集 2006年、情報・システム(2)、207、2006年

発明の概要

発明が解決しようとする課題

[0007]
 1つの撮像画像に複数の物体が含まれることがある。この場合、撮像画像から各物体の特徴を精度良く抽出できるようにすることが望ましい。しかしながら、いずれか1つの物体の特徴に合わせて撮像環境を設定してしまうと、それ以外の物体の特徴が撮像画像上に十分に表れなくなるおそれがある。特許文献1や非特許文献1は、このように1つの撮像画像に含まれる複数の物体それぞれについての特徴を精度良く抽出できるようにする方法については言及していない。
[0008]
 本発明は、上記課題に鑑みてなされたものであり、その目的の一つは、1つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術を提供することである。

課題を解決するための手段

[0009]
 本発明の情報処理装置は、1)撮像装置によって生成される撮像画像から物体を検出する検出部と、2)撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第1決定部と、3)検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第2決定部と、4)出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御部と、を有する。
[0010]
 本発明の制御方法はコンピュータによって実行される。当該制御方法は、1)撮像装置によって生成される撮像画像から物体を検出する検出ステップと、2)撮像画像において物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、物体に対応する部分範囲を決定する第1決定ステップと、3)検出された物体を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する第2決定ステップと、4)出力装置に対し、物体について決定した部分範囲に対する出力設定を適用する制御ステップと、を有する。
[0011]
 本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

発明の効果

[0012]
 本発明によれば、1つの撮像画像から複数の物体それぞれの特徴を精度良く抽出できるように撮像環境を適切に設定する技術が提供される。

図面の簡単な説明

[0013]
[図1] 本実施形態の情報処理装置の動作を概念的に例示する図である。
[図2] 情報処理装置による照明設定の変更の結果を例示する図である。
[図3] 情報処理装置の機能構成を例示するブロック図である。
[図4] 情報処理装置を実現するための計算機を例示する図である。
[図5] 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。
[図6] 実施形態2の情報処理装置の動作を概念的に例示する図である。
[図7] 情報処理装置による背景設定の変更の結果を例示する図である。
[図8] 実施形態2の情報処理装置によって実行される処理の流れを例示するフローチャートである。

発明を実施するための形態

[0014]
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
[0015]
[実施形態1]
<概要>
 図1は、本実施形態の情報処理装置2000の動作を概念的に例示する図である。なお、図1は、情報処理装置2000に対する理解を容易にするための例示であり、情報処理装置2000の機能は図1に表されているものに限定されない。
[0016]
 撮像装置10は、撮像を行い、その結果として、撮像画像20を生成する。情報処理装置2000は、撮像画像20を画像解析することで、撮像画像20に含まれる1つ以上の物体30を検出する。物体30は、その位置が変化する任意の物体である。なお、物体30は、その位置を変化させる機構を持つ物体(車両など)であってもよいし、その位置を変化させる機構を持たない物体(ベルトコンベアに乗せられて移動する製品など)であってもよい。
[0017]
 ここで、撮像画像20を用いて把握することができる物体30の特徴は、物体30の撮像環境によって変化する。撮像環境としては、例えば、照明や背景などがある。例えば、黒色でなおかつ凹凸を持つ物体30を、撮像装置10で撮像するとする。この場合、照明の強度が弱いと、撮像画像20において、物体30を表す画像領域のコントラストが小さくなる。そのため、撮像画像20を画像解析しても、物体30が持つ凹凸を把握することが難しい。これに対し、照明の強度を適度に強くすると、撮像画像20において、物体30を表す画像領域のコントラストが大きくなる。そのため、撮像画像20を画像解析することにより、物体30が持つ凹凸を正確に把握することができる。このように、撮像画像20から物体30の特徴を精度良く抽出するためには、照明などといった撮像環境を適切に設定する必要がある。
[0018]
 また、複数の物体30が存在する場合、適切な撮像環境は、物体30ごとに異なると考えられる。例えば、黒色の物体30の特徴を把握するために必要な強い光を白色の物体30にも照射してしまうと、撮像画像20において、その白色の物体30を表す画像領域が白飛びしてしまい、白色の物体30の特徴を撮像画像20から把握することが難しくなってしまう。そのため、撮像装置10の撮像範囲に複数の物体30が含まれる場合、そのうちの1つの物体30に合わせて撮像装置10の撮像範囲全体の撮像環境を決めてしまうと、その他の物体30の特徴を撮像画像20から抽出することが難しくなってしまう。
[0019]
 そこで情報処理装置2000は、物体30の撮像環境に影響を与える(撮像環境を変化させる)出力装置の設定を、各物体30に影響を与える範囲について個別に決定する。そのために情報処理装置2000は、例えば次のような動作を行う。情報処理装置2000は、撮像画像20から物体30を検出する。情報処理装置2000は、撮像画像20においてその物体30を表す画像領域(以下、物体領域)が占める範囲に基づいて、出力装置の出力範囲のうち、その物体30に対応する(その物体30の撮像環境に影響を与える)部分範囲を決定する。また、情報処理装置2000は、上記物体領域の特徴量に基づいて、上記部分範囲に対する出力装置の出力設定を決定する。そして情報処理装置2000は、出力装置に対し、上記部分範囲について決定した出力設定を適用する。ここで、撮像画像20から複数の物体30が検出される場合、情報処理装置2000は、出力装置に対し、複数の物体30それぞれについて決定される部分範囲ごとに決定した出力設定を適用する。
[0020]
 以下、説明を分かりやすくするため、本実施形態では、出力装置として、光を照射する照明装置(図1の照明装置50)を扱う。その他の出力装置については、他の実施形態で説明する。
[0021]
 出力装置が照明装置50である場合、情報処理装置2000は、照明装置50の出力を制御することにより、照明装置50によって出力される光を制御する。照明装置50によって出力される光は、撮像装置10の撮像範囲の一部又は全部を通過するように照射される。なお、後述するように、照明装置50によって出力される光は可視光に限定されない。
[0022]
 情報処理装置2000は、照明装置50から出力される光の設定を、各物体30に対して照射される範囲について個別に決定する。そのために情報処理装置2000は、例えば次のような動作を行う。情報処理装置2000は、撮像画像20において物体30を表す物体領域が占める範囲に基づいて、照明装置50から出力される光が照射される範囲(以下、照射範囲)のうち、その物体30に光が照射される範囲である部分範囲を決定する。また、情報処理装置2000は、上記物体領域の特徴量に基づいて、上記部分範囲に照射される光の設定(以下、照明設定)を決定する。そして情報処理装置2000は、照明装置50に対し、上記決定した部分範囲について決定した照明設定を適用する。こうすることで、照明装置50から照射される光のうち、決定した部分範囲に照射される光が、決定した照明設定に従った光となる。
[0023]
 図1では、情報処理装置2000の動作例として、製品検査の様子を示している。具体的には、複数の物体が、ベルトコンベア40によって運搬された後、検査エリア(撮像装置10の撮像範囲)を通過するように落下する。図1の例では、物体30-1と30-2が検査エリアを通過している。そのため、これらの物体30が撮像画像20に含まれている。情報処理装置2000は、これら2つの物体30それぞれについて、部分範囲及び照明設定を決定し、照明装置50にその設定を適用する。
[0024]
 図2は、情報処理装置2000による照明設定の変更の結果を例示する図である。図2において、物体30-1と物体30-2に対して照射される光の設定がそれぞれ変更されている。
[0025]
<作用効果>
 本実施形態の情報処理装置2000によれば、撮像画像20から検出される物体30それぞれについて、その物体30に対応する出力装置の出力範囲及び出力設定が決定される。そして、出力装置に対し、各部分範囲について決定された出力設定が適用される。こうすることで、撮像装置10の撮像環境を、撮像範囲に含まれている複数の物体30それぞれについて個別に調整することができる。例えば前述したように、出力装置として照明装置50を利用する場合、照明環境を、複数の物体30それぞれについて個別に調整することができる。よって、撮像画像20に複数の物体30が含まれる場合であっても、撮像画像20から各物体30の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。
[0026]
 情報処理装置2000の活用例としては、例えば、前述した製品検査がある。本実施形態の情報処理装置2000によれば、多品種の製品を扱う工場等において、製品を撮像して画像解析を行うことで製品の検査を行う場合に、一度に複数の製品が撮像されるようにしても、精度の高い製品検査を実現できる。すなわち、精度が高くなおかつ高速な製品検査を実現できる。
[0027]
 その他の活用例としては、ごみ処理場におけるごみの自動分別が考えられる。具体的には、様々な種類のごみを画像認識して自動分別する場合に、一度に複数のごみが撮像されるようにしても、高い精度でごみの分別を行える。そのため、精度が高くなおかつ高速な自動分別を実現できる。
[0028]
 このように、情報処理装置2000によれば、新たな付加価値を持つリアルタイム IoT システムによるファクトリーオートメーションを実現できる。また情報処理装置2000は、上述のようなファクトリーオートメーションに限らず、ロボットビジョン、車載、セキュリティ、エンターテイメントなどの各種の分野において幅広く活用できる。
[0029]
 以下、本実施形態についてさらに詳細を述べる。
[0030]
<機能構成の例>
 図3は、情報処理装置2000の機能構成を例示するブロック図である。情報処理装置2000は、検出部2020、第1決定部2040、第2決定部2060、及び制御部2080を有する。検出部2020は、撮像画像20から物体30を検出する。第1決定部2040は、撮像画像20において物体30を表す画像領域が占める範囲に基づき、撮像画像20に影響を与える出力を行う出力装置の出力範囲のうち、物体30に対応する部分範囲を決定する。第2決定部2060は、物体30を表す画像領域の特徴量に基づき、部分範囲に対する出力装置の出力設定を決定する。制御部2080は、出力装置に対し、物体30について決定した部分範囲の出力設定を適用する。
[0031]
 ここで、撮像画像20から複数の物体30が検出された場合、第1決定部2040は、それら複数の物体30それぞれに対応する出力範囲を決定する。また、第2決定部2060は、それら複数の物体30それぞれに対応する出力設定を決定する。そして、制御部2080は、出力装置に対し、複数の物体30それぞれについての設定を行う。
[0032]
 出力装置として照明装置50を扱う場合、第1決定部2040は、撮像画像20において物体30を表す画像領域が占める範囲に基づき、照明装置50の光の照射範囲のうち、物体30に照射される光の照射範囲を、その物体30についての部分範囲として決定する。また、第2決定部2060は、物体30について決定された部分範囲に照射される光の設定を、その部分範囲に対する出力設定として決定する。そして、制御部2080は、照明装置50に対し、物体30について決定した部分範囲の照明設定を適用する。
[0033]
<情報処理装置2000のハードウエア構成の例>
 情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
[0034]
 図4は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機1000は、スマートフォンやタブレット端末などの可搬型の計算機である。その他にも例えば、計算機1000は、撮像装置10であってもよい。この場合、撮像装置10は、自身で生成した撮像画像20を用いて、自身の撮像環境に影響を与える出力装置の出力を制御する。このように情報処理装置2000の機能を持たせる撮像装置10は、例えば、インテリジェントカメラ、ネットワークカメラ、IP(Internet Protocol)カメラなどと呼ばれるカメラで実現される。なお、計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
[0035]
 計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。
[0036]
 プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
[0037]
 入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース1100には、撮像装置10が接続される。
[0038]
 ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
[0039]
 ストレージデバイス1080は、情報処理装置2000の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
[0040]
<撮像装置10について>
 撮像装置10は、撮像を行い、その結果として撮像画像を生成する任意の装置である。撮像装置10は、静止画像を生成するスチルカメラであってもよいし、動画像を生成するビデオカメラであってもよい。また、撮像装置10には、可視光カメラに限らず、センサの検知結果に基づいて、画像データとして扱えるデータを生成する任意の装置を利用できる。例えば、単一波長の光を撮像するモノクロカメラ、赤外光やその他の波長域の電磁波(テラヘルツ波やミリ波を含む)を撮像するカメラなどであってもよい。
[0041]
 撮像装置10のフレームレートやシャッタースピードは、撮像対象の物体30の大きさや移動速度などに基づいて、適切に設定することが好適である。例えば、30cm 程度の高さから自由落下する物体30を撮像する場合における撮像装置10の好適な設定例は、フレームレートが 1000fps、かつシャッタースピードが 1/4000 である。
[0042]
<照明装置50について>
 照明装置50は、光を照射する装置であり、照射する光の設定をその照射範囲の一部ごとに変更できる機能を有する。例えば照明装置50は、情報処理装置2000からの制御入力に従って逐次的に駆動する複数の指向性光源の組み合わせによって構成される。ここで、制御系の発散を防ぐため、制御入力に対する照明装置50の応答速度は、制御入力が入力される周期(すなわち、情報処理装置2000が照明装置50の設定の変更を行う周期)よりも速くなるように構成されることが好適である。
[0043]
 例えば照明装置50は、姿勢を個別に変更可能な複数の指向性点光源を2次元的にアレイ状に並べることで構成される。ただし、各光源は必ずしもアレイ状に配置される必要はない。また、各光源の姿勢は固定されていてもよい。この場合、各光源に対応づけて、光源から照射された光の方向を変更するための機構(例えばミラー)を設けておき、各ミラーの姿勢を制御することにより、各光源から照射される光の方向を変更する。
[0044]
 その他にも例えば、照明装置50はプロジェクタを用いて構成されてもよい。この場合、プロジェクタに出力させる画像を変更することにより、プロジェクタから出力される光を変更することができる。例えば、プロジェクタにグレースケールの画像を出力させると、白色に近い画素ほど明るい光が出力され、黒色に近い画素ほど暗い光が出力される。
[0045]
 なお、照明装置50から出力される光は、可視光に限定されない。照明装置50から出力する光の種類は、撮像装置10によって感知される光の種類に対応させる。例えば撮像装置10として可視光を感知するカメラを用いる場合、照明装置50として、可視光を出力する装置を用いる。その他にも例えば、撮像装置10として近赤外線を感知するカメラを用いる場合、照明装置50として、近赤外線を出力する装置を用いる。
[0046]
<物体30について>
 物体30は、その位置が変化する任意の物体である。ただし、物体30の位置は常に変化している必要はなく、例えば移動と停止が繰り返されてもよい。物体30は、その位置を変化させる機構を備えていてもよいし、備えていなくてもよい。前者の場合、例えば物体30は、車やバイクなどの車両、又はドローンなどの飛翔体などである。
[0047]
 後者の場合、例えば物体30は、自由落下したり、坂を下ったりするなど、自身が持つ位置エネルギーを運動エネルギーに変えて運動する物体である。その他にも例えば、物体30は、他の物体によって動かされてもよい。例えば物体30を動かす他の物体は、ベルトコンベアや、空気などの気体を噴射する装置である。前者の場合、物体30は、ベルトコンベアに乗って移動する。後者の場合、物体30は、噴射された気体から受けた力で移動する。
[0048]
<処理の流れ>
 図5は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。検出部2020は、撮像画像20を取得する(S102)。検出部2020は、撮像画像20から物体30を検出する(S104)。
[0049]
 S106からS114は、撮像画像20から検出される1つ以上の物体30それぞれについて実行されるループ処理Aである。S106において、情報処理装置2000は、全ての物体30についてループ処理Aを実行したか否かを判定する。既に全ての物体30についてループ処理Aを実行した場合、図5の処理は終了する。一方、まだループ処理Aの対象としていない物体30が存在する場合、図5の処理はS108に進む。この際、情報処理装置2000は、まだループ処理Aの対象としていない物体30の中から1つを選択する。ここで選択される物体30を、物体iと表記する。
[0050]
 第1決定部2040は、撮像画像20において物体iを表す画像領域が占める範囲に基づいて、物体iに対応する部分範囲を決定する(S108)。第2決定部2060は、物体iを表す画像領域の特徴量を算出する(S110)。第2決定部2060は、算出した特徴量に基づいて、物体iに対応する部分範囲の照明設定を決定する(S112)。
[0051]
 S114はループ処理Aの終端であるため、図5の処理はS106に進む。
[0052]
 ループ処理Aが終了した後、制御部2080は、照明装置50に対し、各物体iについて決定された部分範囲についての照明設定を適用する(S116)。
[0053]
 情報処理装置2000は、撮像装置10によって生成される撮像画像20それぞれについて、図5に示す一連の処理を実行する。ただし、図5に示す処理は、撮像装置10によって生成される全ての撮像画像20ではなく、一部の撮像画像20についてのみ実行されてもよい。例えば情報処理装置2000は、所定の時間間隔で図5に示す処理を実行する。この際、検出部2020は、撮像装置10によって生成された最新の撮像画像20を取得するようにする。こうすることで、撮像装置10によって生成される撮像画像20のうち、所定の割合の撮像画像20について、図5に示す処理が実行される。上述した所定の時間間隔は、情報処理装置2000に予め設定しておいてもよいし、情報処理装置2000からアクセス可能な記憶装置に記憶させておいてもよい。
[0054]
<撮像画像20の取得:S102>
 検出部2020は、撮像画像20を取得する(S102)。検出部2020が撮像画像20を取得する方法は様々である。例えば検出部2020は、撮像装置10から送信される撮像画像20を受信することで、撮像画像20を取得する。その他にも例えば、検出部2020は、撮像装置10にアクセスし、撮像装置10に記憶されている撮像画像20を取得する。
[0055]
 なお、撮像装置10は、撮像装置10の外部に設けられている記憶装置に撮像画像20を記憶させてもよい。この場合、検出部2020は、この記憶装置にアクセスして撮像画像20を取得する。
[0056]
 情報処理装置2000の機能が撮像装置10によって実現される場合、検出部2020は、情報処理装置2000の内部で生成された撮像画像20を取得する。この場合、撮像画像20は、例えば情報処理装置2000の内部にある記憶装置(例えばストレージデバイス1080)に記憶されている。
[0057]
 検出部2020が撮像画像20を取得するタイミングは任意である。例えば検出部2020は、撮像装置10によって新たな撮像画像20が生成される度に、その新たに生成された撮像画像20を取得する。その他にも例えば、検出部2020は、定期的に未取得の撮像画像20を取得してもよい。この際、検出部2020は、最新の撮像画像20のみを取得してもよいし、複数の(例えば全ての)撮像画像20を取得してもよい。
[0058]
<物体30の検出:S104>
 検出部2020は、撮像画像20から物体30を検出する(S104)。ここで、撮像画像から物体を検出する処理には、既存の物体検出処理(背景差分など)を利用することができる。
[0059]
 なお、いずれの撮像画像20からも検出されていない新規の物体30を検出する処理は、撮像画像20内の一部の画像領域のみを対象として行われるようにしてもよい。例えば、ベルトコンベアで運ばれる物体を撮像装置10で撮像する場合、新規の物体が出現する撮像画像20上の画像領域は限られている。そこで、そのような新規の物体が出現する画像領域を予め定めておき、検出部2020に、その画像領域を対象として、新規の物体30を検出する処理を行わせる。
[0060]
 既出の物体30を撮像画像20から検出する処理には、トラッキングなどといった既存の技術を利用できる。例えば検出部2020は、或る撮像画像20から新規の物体30を検出したら、その撮像画像20におけるその物体30の代表点(例えば重心位置)やサイズを算出し、算出した代表点やサイズに基づいて、その次の撮像画像20からその物体30を探索する画像領域(以下、探索領域)を設定する。そして検出部2020は、次の撮像画像20を得たら、その撮像画像20内の探索領域について物体検出処理を実行することにより、既出の物体30の検出を行う。
[0061]
 なお、探索領域の設定は、物体30の移動方向や移動速度をさらに考慮して行われてもよい。例えばベルトコンベアに乗せられて物体30が移動している場合、ベルトコンベアが物体を移動させる方向やその移動速度は既知である。また、移動速度や移動方向が既知でなくても、複数の撮像画像から検出される物体30の位置の変化に基づいて、その移動速度や移動方向を算出することができる。
[0062]
 探索領域のサイズは、予め固定で設定されていてもよいし、撮像画像20から検出された物体30のサイズに基づいて決定されてもよい。例えば後者の場合、探索領域のサイズを、撮像画像20から検出された物体30のサイズの定数倍にする。特に 1000fps のような十分に高いフレームレートで撮像が行われる場合、フレーム間で物体位置はほとんど変化しないため、探索領域のサイズを、撮像画像20から検出された物体30のサイズとほぼ同じ程度にまで小さく設定することができる。そのため、物体30同士の近接に対する頑健さを向上させることができる。また、フレーム間で物体位置がほとんど変化しないという高フレームレートでの撮影には、物体の予想外の動きに対して頑健であるというメリットもある。
[0063]
<部分範囲の決定:S108>
 第1決定部2040は、撮像画像20において或る物体30の物体領域が占める範囲に基づいて、その物体30に対応する部分範囲を決定する(S108)。出力装置として照明装置50を扱う場合、物体30に対応する部分範囲は、照明装置50によって光が照射される範囲のうち、その物体30に対して光が照射される範囲を表す。ここで、「その物体30に対して光が照射される範囲」は、例えば、次の撮像画像20からその物体30を探索するために設定される探索範囲(撮像画像20上の領域)を、照明装置50の座標系上の領域に変換することで得られる。
[0064]
 撮像画像20上の領域から照明装置50の座標系上の領域への変換は、撮像装置10と照明装置50のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。
[数1]


 ここで、(u,v) は撮像画像20上の位置を表し、(x,y,z) は撮像装置10の座標系において (u,v) に対応する位置を表し、(x',y',z') は照明装置50の座標系において (u,v) に対応する位置を表す。A は、撮像装置10の座標系から照明装置50の座標系への 4x4 の変換行列を表す。B は、撮像画像20上の位置から撮像装置10の座標計上の位置への 4x3 の変換行列を表す。A と B は、撮像装置10と照明装置50のセッティング位置等に基づいて予め導出しておく。
[0065]
 ここで、撮像画像20から検出された物体30に対して光が照射される範囲は、必ずしも、その次の撮像画像20から物体30を探索する探索範囲に基づいて設定されなくてもよい。例えば、撮像画像20から検出された物体30に対して光が照射される範囲は、その撮像画像20においてその物体30を表す物体領域を照明装置50の座標系上の領域に変換することで求められてもよい。
[0066]
 その他にも例えば、情報処理装置2000による設定が反映された光が照明装置50から照射されるまでに要する時間と撮像装置10のフレームレートに基づき、その設定が反映された光が照射された物体30が含まれる撮像画像20が、x 枚先の撮像画像20であることが分かるとする。この場合、第1決定部2040は、x 枚先の撮像画像20における物体30の探索範囲を予測し、その探索範囲に対応する照明装置50の座標系上の領域を、物体30に対応する部分範囲として決定する。例えばこの探索範囲は、物体30が現在の移動方向及び移動速度で移動し続けると仮定することで予測することができる。
[0067]
<特徴量の算出:S110>
 第2決定部2060は、物体領域の特徴量を算出する(S110)。照明設定を決定するために利用される特徴量には、様々なものを用いることができる。例えば、物体領域のコントラストに関する指標値、画素値のばらつきに関する指標値、又は情報の欠損具合(白飛びや黒飛びなど)を表す指標値などを用いることができる。
[0068]
 物体領域のコントラストを表す指標値としては、例えば、Michelson コントラスト、Weber コントラスト、又はコントラスト比などを用いることができる。これらはそれぞれ、以下の式で定義される。
[数2]


 ここで、Imax と Imin はそれぞれ、物体領域に含まれる輝度の最大値と最小値である。
[0069]
 画素値のばらつきに関する指標値は、輝度値の分散やエントロピーで表すことができる。これらはそれぞれ、以下の数式で表される。
[数3]


 ここで、Ik は、物体領域に含まれる画素 k の輝度値である。Iavg は、物体領域に含まれる全ての画素の輝度値の平均である。N は、物体領域に含まれる画素の総数である。Nj は、階調が j の画素の総数である。
[0070]
 情報の欠損具合を表す指標値は、例えば、白飛びが生じている画素の個数、又は黒潰れが生じている画素の個数で表される。白飛びが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置10のセンサ感度の上限値(例えば、輝度を 0 以上 255 以下の値で表す場合では 255)となっている画素の総数である。黒潰れが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置10のセンサ感度の下限値(例えば、輝度を 0 以上 255 以下の値で表す場合では 0)となっている画素の総数である。
[0071]
<照明設定の決定:S112>
 第2決定部2060は、物体30を表す物体領域の特徴量に基づいて、その物体30に対応する部分範囲の照明設定を決定する。(S112)。物体の特徴量に基いて照明設定を決定する具体的な方法は、利用する特徴量に応じて異なる。以下、利用する特徴量ごとに、照明設定の決定方法を説明する。
[0072]
<<コントラストに関する指標値又は画素値のばらつきに関する指標値>>
 物体領域の特徴量として、コントラストに関する指標値又は画素値のばらつきに関する指標値を用いるとする。この場合、第2決定部2060は、指標値をより大きくするように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、これらの指標値のように。その指標値を大きくするように光の強度を設定することが好適である指標値を総称して、第1指標値と呼ぶ。また、時点 t の物体 i の物体領域を D(i, t) と表記し、D(i,t) について算出された第1指標値を C(i,t) と表記する。
[0073]
 例えば、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、物体iについての第1指標値の前時刻からの変化量ΔC(i,t)(=C(i,t)-C(i,t-1))、及び物体iに対応する部分範囲に照射される光の強度に前回加えた変更の大きさΔT(i,t-1)(=T(i,t-1)-T(i,t-2))に基づいて決定する。
[0074]
 例えば第2決定部2060は、第1指標値の変化量ΔC(i,t) が所定の閾値 Th1 より大きい場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と同符号の変更量で変更する。一方、第2決定部2060は、第1指標値の変化量ΔC(i,t) が所定の閾値 Th1 以下である場合には、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を、前回の変更量ΔT(i,t-1) と逆符号の変更量で変更する。具体的には、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度 T(i,t) を、以下の式(7)及び(8)で決定する。

[数4]


 ここで、αとβはいずれも、任意の正の実数として予め定めておく。ただし、αとβはいずれも、1以下の値とすることが好適である。
[0075]
<<情報の欠損具合に関する指標値>>
 情報の欠損具合に関する指標値を特徴量として利用する場合、第2決定部2060は、指標値を小さくする(すなわち、情報の欠損が少なくなる)ように、物体領域に対応する部分範囲に照射される光の強度を設定することが好適である。以下、情報の欠損具合に関する指標値のように、その指標値を小さくするように光の強度を設定することが好適である指標値を、第2指標値と呼ぶ。また、物体領域 D(i,t) における白飛びの個数を表す指標値を m1(i,t) と表記し、物体領域 D(i,t) における黒潰れの個数を表す指標値を m2(i,t) と表記する。
[0076]
 白飛びの個数 m1(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置10のセンサ感度の上限値となっている画素の数をカウントすることで得られる。m1(i,t) を利用する場合、第2決定部2060は、m1(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m1(i,t)>Th2 であれば、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度の変更量ΔT(i,t) を、所定の負の値 -ΔT0(ΔT0>0)に設定する。
[数5]


[0077]
 黒潰れの個数 m2(i,t) は、物体領域 D(i,t) 内に含まれる画素のうち、その輝度値が撮像装置10のセンサ感度の下限値(例えば、輝度を 0 以上 255 以下の値で表す場合では 0)となっている画素の数をカウントすることで得られる。m2(i,t) を利用する場合、第2決定部2060は、m2(i,t) が閾値 Th2 以下であるか否かを判定する。m1(i,t)≦Th2 であれば、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を変更しない。一方、m2(i,t)>Th2 であれば、第2決定部2060は、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t)を、所定の正の値 +ΔT0 に設定する。すなわち、第2決定部2060は、ΔT(i,t) を前述した式(7)及び以下の式(10)で決定する。
[数6]


[0078]
 ここで、m1(i,t) に関する閾値と m2(i,t) に関する閾値は、互いに異なる値であってもよい。また、m1(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値と、m2(i,t) が閾値以上である場合に光の強度に加える変更量の絶対値も、互いに異なる値であってもよい。
[0079]
 なお、m1 と m2 の双方を利用してもよい。この場合において、m1(i,t) と m2(i,t) の双方が閾値以上であったとする。この場合、第2決定部2060は、白飛びと黒潰れの量を均等にするように、物体領域 D(i,t) に対応する部分範囲に照射する光の強度を設定する。具体的には、第2決定部2060は、m1(i,t)>m2(i,t) であれば光の強度を小さくし(例えば、-ΔT0 の変更を加える)、m1(i,t)<m2(i,t) であれば光の強度を大きくし(例えば、+ΔT0の変更を加える)、m1(i,t)=m2(i,t) であれば光の強度を変更しない。このようにすることで、白飛びと黒つぶれをバランスさせる。
[0080]
<<第1指標値と第2指標値の併用>>
 第2決定部2060は、第1指標値と第2指標値を併用してもよい。例えば第2決定部2060は、第2指標値が閾値以上であれば、第2指標値に基づいて、物体領域 D(i,t) に対応する部分範囲に照射される光の強度の変更量ΔT(i,t) を決定し(式(9)や式(10))、第2指標値が閾値未満であれば、第1指標値に基づいてΔT(i,t)を決定する(式(8))。
[0081]
 具体例として、第2指標値として白飛びの数 m1(i,t) を利用するとする。この場合、まず第2決定部2060は、m1(i,t) が閾値 Th2 以上であるか否かを判定する。m1(i,t)≧Th2 であれば、第2決定部2060は、ΔT(i,t) に -ΔT0 を設定する。一方、m1(i,t)<Th2 であれば、第2決定部2060は、ΔC(i,t) と閾値 Th1 との比較に基づいてΔT(i,t) を決定する。すなわち、第2決定部2060は、以下の式(11)に基づいて量ΔT(i,t) を決定する。
[数7]


[0082]
 なお、物体30が検出されていない範囲に照射される光の強度には、任意の値を設定してよい。例えば、この場合に設定する光の強度は、照明装置50から照射可能な光の強度の最大値に設定する。こうすることで、その範囲に新たな物体が現れた場合に、その物体を撮像画像20から検出しやすくなる。また、同様に、物体30が初めて検出された時にその物体30について決定された部分範囲に照射する光の強度にも、照明装置50から照射可能な光の強度の最大値などといった任意の強度を設定してよい。
[0083]
<設定の適用:S116>
 制御部2080は、各物体30について決定された部分範囲の照明設定を、照明装置50に適用する(S116)。具体的には、制御部2080は、撮像画像20から検出された複数の物体30それぞれについて、その物体30について決定された部分範囲に対し、その物体30について決定した照明設定に従った光が照射されるようにする。その具体的な制御方法は、照明装置50の構成による。
[0084]
 例えば照明装置50が、複数の点光源が並べられた構成を持つとする。この場合、制御部2080は、物体30について決定された部分範囲に対応する1つ以上の点光源を特定し、その点光源から照射される光の設定に、その物体30について決定された照明設定を適用する。例えば制御部2080は、特定した範囲の点光源から照射される光の強度を、第2決定部2060によって決定された光の強度に設定する。なお、点光源の光の強度を所望の強度に設定する技術には、既存の技術を利用することができる。上述の設定は、撮像画像20から検出された物体30それぞれについて実行される。
[0085]
 その他にも例えば、照明装置50がプロジェクタで実現されるとする。この場合、制御部2080は、プロジェクタに対して出力する画像(以下、照明画像)を、各物体30について決定された部分範囲及び照明設定に基づいて生成する。照明画像は、例えば、グレースケールの画像である。より具体的には、制御部2080は、前回プロジェクタに対して出力した照明画像から、物体30について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体30について決定した照明設定に基づいて決定する。例えば照明画像がグレースケース画像である場合、画素の色を白に近づけるほど、その画素に基づいてプロジェクタから照射される光が強くなる。そこで例えば、制御部2080は、第2決定部2060によって決定された光の強度を、照明画像における画素の値として用いる。上述の設定は、撮像画像20から検出された物体30それぞれについて実行される。
[0086]
[実施形態2]
 図6は、実施形態2の情報処理装置の動作を概念的に例示する図である。実施形態2の情報処理装置2000は、出力装置として、物体30の背景を出力する装置(以下、背景出力装置60)を扱う。例えば背景出力装置60は、任意の画像を表示できるディスプテイ装置である。物体30が撮像装置10とこのディスプレイ装置との間に位置することで、このディスプレイ装置に表示される画像が、撮像画像20において物体30の背景となる。その他にも例えば、背景出力装置60は、撮像装置10から見て物体30の背後にある投影面(壁やスクリーンなど)に対して光を照射するプロジェクタなどであってもよい。
[0087]
 ここで、物体30と背景が類似した色であると、撮像画像20から物体30の特徴を抽出することが難しい。例えば、物体30が凹凸を持つ黒色の物体であり、背景の色が黒に近い濃いグレーであるとする。この場合、撮像画像20において物体30と背景との色の差が小さく、物体30が持つ凹凸を把握することが難しい。一方、この物体30の背景を白色にすれば、撮像画像20において物体30と背景との色の差が大きく、物体30が持つ凹凸を精度良く把握できると言える。そのため、背景の色は、物体30の色との差が大きい色にすることが好適である。
[0088]
 そこで情報処理装置2000は、撮像画像20において物体30を表す画像領域(すなわち、物体領域)が占める範囲に基づいて、背景出力装置60が出力する背景の範囲のうち、その物体30及びその周辺の範囲を、背景の設定を行う部分範囲として決定する。さらに情報処理装置2000は、その部分範囲について、背景出力装置60が出力する背景の設定(以下、背景設定)を決定する。部分範囲の背景設定は、物体30を表す画像領域について算出された特徴量に基づいて決定される。そして情報処理装置2000は、背景出力装置60に対し、決定した部分範囲の背景設定を適用する。
[0089]
 図6では、情報処理装置2000の動作例として、図1と同様の製品検査の様子を示している。情報処理装置2000は、物体30-1と物体30-2それぞれについて、背景となる部分範囲及び背景設定を決定し、背景出力装置60にその設定を適用する。
[0090]
 図7は、情報処理装置2000による背景設定の変更の結果を例示する図である。図7では、物体30-1と物体30-2の周辺の背景の設定が変更されている。
[0091]
<作用効果>
 本実施形態の情報処理装置2000によれば、撮像画像20から検出される物体30それぞれについて、その物体30に対応する背景の範囲(部分範囲)及び背景設定が決定される。そして、背景出力装置60に対し、各部分範囲について決定された背景設定が適用される。こうすることで、撮像装置10における物体30の背景を、撮像範囲に含まれている複数の物体30それぞれについて個別に調整することができる。よって、撮像画像20に複数の物体30が含まれる場合であっても、撮像画像20から各物体30の特徴を精度良く抽出できるようになる。その結果、特徴抽出処理の精度や安定性を向上させることができる。
[0092]
 以下、本実施形態の情報処理装置2000についてさらに詳細に説明する。
[0093]
<機能構成について>
 実施形態2の情報処理装置2000の機能構成は、実施形態1の情報処理装置2000と同様に、例えば図3で表される。ただし、実施形態2の第1決定部2040が物体30について決定する部分範囲は、背景出力装置60によって出力される背景の範囲のうち、その物体30及びその周辺の背景となる範囲である。また、実施形態2の第2決定部2060は、上記決定された部分範囲に出力される背景設定を決定する。そして、実施形態2の制御部2080は、背景出力装置60に対し、決定された部分範囲の背景設定を適用する。
[0094]
<ハードウエア構成の例>
 実施形態2の情報処理装置2000のハードウエア構成は、実施形態1の情報処理装置2000のハードウエア構成と同様に、例えば図4で表される。ただし、実施形態2の情報処理装置2000を構成するストレージデバイス1080には、実施形態2の情報処理装置2000の機能を実現する各プログラムモジュールが記憶されている。
[0095]
<処理の流れ>
 図8は、実施形態2の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。図8のフローチャートが示す処理の流れは、図5のフローチャートが示す処理の流れと同様である。
[0096]
<部分範囲の決定:S208>
 第1決定部2040は、撮像画像20において或る物体30の物体領域が占める範囲に基づいて、その物体30に対応する部分範囲を決定する(S208)。出力装置として背景出力装置60を扱う場合、物体30に対応する部分範囲は、背景出力装置60によって背景が出力される範囲のうち、その物体30の周辺の背景が出力される範囲を表す。
[0097]
 背景出力装置60についての部分範囲は、照明装置50についての部分範囲と同様に定めることができる。例えば、背景出力装置60についての部分範囲は、次の撮像画像20からその物体30を探索するために設定される探索範囲(撮像画像20上の領域)を、背景出力装置60の座標系上の領域に変換することで得られる。
[0098]
 撮像画像20上の領域から背景出力装置60の座標系上の領域への変換は、撮像装置10と背景出力装置60のセッティング位置等に基づいて予め定めることができる。例えばこの変換は、以下のような変換式で定めることができる。
[数8]


 ここで、(u,v) と (x,y,z) は撮像画像20上の位置を表し、(x,y,z) は撮像装置10の座標系において (u,v) に対応する位置を表す。これらについては、式(1)と同様である。(x',y',z') は背景出力装置60の座標系において (u,v) に対応する位置を表す。C は、撮像装置10の座標系から背景出力装置60の座標系への 4x4 の変換行列を表す。B は、式(1)と同様に、撮像画像20上の位置から撮像装置10の座標計上の位置への 4x3 の変換行列を表す。B と C は、撮像装置10と背景出力装置60のセッティング位置等に基づいて予め導出しておく。
[0099]
 なお、照明装置50の部分範囲は、対応する物体30のみを含めば十分であるのに対し、背景出力装置60の部分範囲は、対応する物体30だけでなくその周辺も含むことが好ましい。そのため、前述した探索範囲が物体30を表す物体領域のサイズとほぼ同一に設定されている場合、背景出力装置60の部分範囲は、探索範囲よりも広くすることが好適である。そこで例えば、第1決定部2040は、探索範囲のサイズを1より大きい所定倍に拡大した画像領域を算出し、その画像領域を背景出力装置60上の領域に変換することで得られる範囲を、部分範囲としてもよい。
[0100]
<特徴量の算出:S210>
 第2決定部2060は、物体30を表す画像領域である物体領域の特徴量を算出する(S210)。例えば、物体領域の色に関する特徴量が算出される。例えば第2決定部2060は、物体領域の特徴を表す色空間(例えば、HSV 空間)上の代表点を、物体領域の特徴量として算出する。例えばこの代表点は、部分領域の色相の代表値 Hobj、彩度の代表値 Sobj、及び明度の代表値 Vobj で定まる点 (Hobj, Sobj, Vobj) である。ここで、色相等の代表値とは、各画素について色相等の平均や最頻値などといった統計量である。
[0101]
 なお、第2決定部2060は、物体領域の特徴量を複数算出してもよい。例えば第2決定部2060は、物体領域の特徴を表す色空間上の代表点を複数算出し、これらの集合をその物体領域の特徴量とする。具体的には、物体領域に含まれる画素の色の分布が色空間上で複数の領域にばらけている場合、第2決定部2060は、それら複数の領域それぞれについて代表点を算出し、算出した複数の代表点の集合を、物体領域の特徴量とする。ここで、空間上にばらけている点を複数の領域に分ける方法には、例えば、k-means 法などのクラスタリング手法を利用できる。
[0102]
<背景設定の決定:S212>
 第2決定部2060は、物体30を表す物体領域について算出した特徴量を用いて、その物体30について決定された部分範囲の背景設定を決定する(S212)。例えば第2決定部2060は、物体領域の特徴量として算出された色空間上の代表点について、その代表点から十分に離れた点(例えば、最も離れた点)を特定し、その点で表される色を、その物体領域に対応する部分範囲の背景色として決定する。
[0103]
 なお、色空間上の全ての要素ではなく、一部の要素のみに着目して、背景色を決定してもよい。例として、色相に着目するとする。この場合、第2決定部2060は、色相の代表値 Hobj を算出する。そして例えば、第2決定部2060は、背景色の色相 Hb を、Hobj+180°又はHobj-180°に設定する。背景色の彩度と明度は、任意の値とすることができる。例えば第2決定部2060は、背景色を、HSV 表現で (Hobj±180°, Smax, Vmax) と表される色に設定する。ここで、Smax は彩度の最大値を表し、Vmax は明度の最大値を表す。
[0104]
 なお、Hobj に対して加算又は減算する値は、必ずしも 180°である必要はなく、物体領域と背景とを容易に分離できる程度にこれらの色相を色相環上(色空間上)で離すことができる値であればよい。例えば、撮像画像20を色相に基づいて2値化した場合に、Hobj と Hb が互いに異なる値になるようにすればよい。例えば、Hobj±90°の範囲とそれ以外とで値が変わるように2値化するとする。この場合、Hobj に対して 90°よりも大きく 270°より小さい値を加算又は減算することで Hb を算出すればよい。ただし、物体領域と背景とが色相環上で大きく離間している方が物体領域と背景とを分離しやすいと考えられるため、Hobj に加算又は減算する値は、180°又はそれに近い値であることが好適である。
[0105]
 ここで、物体領域の特徴量として複数の代表点を算出する場合、第2決定部2060は、これら複数の代表点に基づいて背景色を決定する。例えば第2決定部2060は、各代表点からの距離の総和が最大となる色空間上の点を特定し、その点で表される色を背景色とする。
[0106]
<<撮像装置10と背景出力装置60の特性を考慮した背景色の調整>>
 ここで、撮像装置10の受光特性や背景出力装置60の発色特性により、背景出力装置60によって出力される背景色と、その背景色を撮像装置10で撮像することで得られた撮像画像20におけるその背景色との間に、差が生じうる。そこで、第2決定部2060は、撮像画像20上に現れる色が、前述した方法で決定した背景色となるように、背景出力装置60に出力させる背景色を調整してもよい。すなわち、第2決定部2060は、前述した方法で決定した背景色に、さらに所定の変換を施すことで得られる色を、背景出力装置60に設定する背景色とする。
[0107]
 上記変換は、例えば以下に示す色空間上のアフィン変換で実現される。
[数9]


 ここで、a_back は背景出力装置60に設定する背景色を表し、a_img は撮像画像20上に現れる背景色を表す。R と t はそれぞれ、色空間上におけるアフィン変換の回転成分と並進成分を表す。
[0108]
 例えば第2決定部2060は、前述した (Hobj±180°, Smax, Vmax) で表される色を式(7)の a_img に代入し、得られた a_back を、背景出力装置60に設定する背景色とする。
[0109]
 上記変換式は予め定めておく。例えば、背景出力装置60から様々な色を出力して撮像装置10で撮像し、撮像画像20に現れた色と背景出力装置60から出力された色の各組み合わせを利用することで、式(13)の変換式を定めることができる。
[0110]
<設定の適用:S216>
 制御部2080は、各物体30について決定された部分範囲の背景設定を、背景出力装置60に適用する(S216)。具体的には、制御部2080は、撮像画像20から検出された複数の物体30それぞれについて、その物体30について決定された部分範囲に対し、その物体30について決定した背景設定に従った背景が出力されるようにする。その具体的な制御方法は、背景出力装置60の構成による。
[0111]
 例えば背景出力装置60がディスプレイ装置やプロジェクタで構成されているとする。この場合、制御部2080は、背景出力装置60に対して出力する画像(以下、背景画像)を、各物体30について決定された部分範囲及び背景設定に基づいて生成する。より具体的には、制御部2080は、前回背景画像から、物体30について決定された部分範囲に対応する画像領域を特定し、特定した画像領域の画素の色を、その物体30について決定した背景色に設定する。この設定は、撮像画像20から検出された物体30それぞれについて実行される。
[0112]
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
[0113]
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
1. 撮像装置によって生成される撮像画像から物体を検出する検出部と、
 前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第1決定部と、
 前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第2決定部と、
 前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
2. 前記第1決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
 前記第2決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
 前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、1.に記載の情報処理装置。
3. 前記出力装置は照明装置であり、
 前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、1.又は2.に記載の情報処理装置。
4. 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
  前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、1.に記載の情報処理装置。
5. 前記第2決定部は、
  或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
  前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
  前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、4.に記載の情報処理装置。
6. 前記第2決定部は、前記物体を表す画像領域において、
  所定個以上の画素の輝度が第1閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
  所定個以上の画素の輝度が第2閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、3.乃至5.いずれか一つに記載の情報処理装置。
7. 前記出力装置は背景を出力する装置であり、
 前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、1.又は2.に記載の情報処理装置。
8. 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
  前記色空間上において前記代表点と所定の関係を満たす点を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、7.に記載の情報処理装置。
9. 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
  前記算出した代表値と色相環上で所定角度離れている色を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、8.に記載の情報処理装置。
10. 前記第1決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、1.乃至9.いずれか一つに記載の情報処理装置。
[0114]
11. コンピュータによって実行される制御方法であって、
 撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
 前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第1決定ステップと、
 前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第2決定ステップと、
 前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
12. 前記第1決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
 前記第2決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
 前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、11.に記載の制御方法。
13. 前記出力装置は照明装置であり、
 前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、11.又は12.に記載の制御方法。
14. 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
  前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、11.に記載の制御方法。
15. 前記第2決定ステップにおいて、
  或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
  前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
  前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、14.に記載の制御方法。
16. 前記第2決定ステップにおいて、前記物体を表す画像領域において、
  所定個以上の画素の輝度が第1閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
  所定個以上の画素の輝度が第2閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、13.乃至15.いずれか一つに記載の制御方法。
17. 前記出力装置は背景を出力する装置であり、
 前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、11.又は12.に記載の制御方法。
18. 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
  前記色空間上において前記代表点と所定の関係を満たす点を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、17.に記載の制御方法。
19. 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
  前記算出した代表値と色相環上で所定角度離れている色を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、18.に記載の制御方法。
20. 前記第1決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、11.乃至19.いずれか一つに記載の制御方法。
[0115]
21. 11.乃至20.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
[0116]
 この出願は、2018年12月5日に出願された日本出願特願2018-228349号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

符号の説明

[0117]
10 撮像装置
20 撮像画像
30 物体
40 ベルトコンベア
50 照明装置
60 背景出力装置
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
2000 情報処理装置
2020 検出部
2040 第1決定部
2060 第2決定部
2080 制御部

請求の範囲

[請求項1]
 撮像装置によって生成される撮像画像から物体を検出する検出部と、
 前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第1決定部と、
 前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第2決定部と、
 前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御部と、を有する情報処理装置。
[請求項2]
 前記第1決定部は、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
 前記第2決定部は、複数の前記物体それぞれに対応する前記出力設定を決定し、
 前記制御部は、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項1に記載の情報処理装置。
[請求項3]
 前記出力装置は照明装置であり、
 前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項1又は2に記載の情報処理装置。
[請求項4]
 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
  前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項1に記載の情報処理装置。
[請求項5]
 前記第2決定部は、
  或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
  前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
  前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項4に記載の情報処理装置。
[請求項6]
 前記第2決定部は、前記物体を表す画像領域において、
  所定個以上の画素の輝度が第1閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
  所定個以上の画素の輝度が第2閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項3乃至5いずれか一項に記載の情報処理装置。
[請求項7]
 前記出力装置は背景を出力する装置であり、
 前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項1又は2に記載の情報処理装置。
[請求項8]
 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
  前記色空間上において前記代表点と所定の関係を満たす点を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項7に記載の情報処理装置。
[請求項9]
 前記第2決定部は、
  前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
  前記算出した代表値と色相環上で所定角度離れている色を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項8に記載の情報処理装置。
[請求項10]
 前記第1決定部は、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項1乃至9いずれか一項に記載の情報処理装置。
[請求項11]
 コンピュータによって実行される制御方法であって、
 撮像装置によって生成される撮像画像から物体を検出する検出ステップと、
 前記撮像画像において前記物体を表す画像領域が占める範囲に基づき、撮像環境に影響を与える出力を行う出力装置の出力範囲のうち、前記物体に対応する部分範囲を決定する第1決定ステップと、
 前記検出された物体を表す画像領域の特徴量に基づき、前記部分範囲に対する前記出力装置の出力設定を決定する第2決定ステップと、
 前記出力装置に対し、前記物体について決定した部分範囲に対する前記出力設定を適用する制御ステップと、を有する制御方法。
[請求項12]
 前記第1決定ステップにおいて、前記撮像画像から検出された複数の前記物体それぞれに対応する前記出力範囲を決定し、
 前記第2決定ステップにおいて、複数の前記物体それぞれに対応する前記出力設定を決定し、
 前記制御ステップにおいて、前記出力装置に対し、複数の前記物体それぞれについての設定を行う、請求項11に記載の制御方法。
[請求項13]
 前記出力装置は照明装置であり、
 前記物体について決定される前記部分範囲は、前記照明装置の光の照射範囲のうち、その物体に照射される光の照射範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に照射される光の設定である、請求項11又は12に記載の制御方法。
[請求項14]
 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域のコントラスト又はその画像領域の画素値のばらつきを表す指標値を算出し、
  前記算出した指標値を用いて、その物体について決定された前記部分範囲に照射される光の強度を、その物体を表す画像領域の前記指標値をより大きくする強度に決定する、請求項11に記載の制御方法。
[請求項15]
 前記第2決定ステップにおいて、
  或る前記撮像画像に含まれる前記物体について算出した前記指標値と、その前記撮像画像よりも前に生成された撮像画像に含まれるその物体について算出した前記指標値との差分を算出し、
  前記算出した差分が閾値よりも大きければ、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と逆符号の変更値を加え、
  前記算出した差分が閾値以下であれば、その物体について決定された前記部分範囲に照射される光の強度に、前回の変更値と同符号の変更値を加える、請求項14に記載の制御方法。
[請求項16]
 前記第2決定ステップにおいて、前記物体を表す画像領域において、
  所定個以上の画素の輝度が第1閾値以上である場合、その物体について決定された前記部分範囲に照射される光の強度をより小さい値に変更し、
  所定個以上の画素の輝度が第2閾値以下である場合、その物体について決定された前記部分範囲に照射される光の強度をより大きい値に変更する、請求項13乃至15いずれか一項に記載の制御方法。
[請求項17]
 前記出力装置は背景を出力する装置であり、
 前記物体について決定される前記部分範囲は、前記出力装置によって出力される背景の範囲のうち、その物体及びその周辺の背景となる範囲であり、
 前記物体について決定される前記出力設定は、その物体について決定された前記部分範囲に出力される背景の色の設定である、請求項11又は12に記載の制御方法。
[請求項18]
 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域の色に関する色空間上の代表点を算出し、
  前記色空間上において前記代表点と所定の関係を満たす点を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した点に対応する色に基づいて決定する、請求項17に記載の制御方法。
[請求項19]
 前記第2決定ステップにおいて、
  前記物体を表す画像領域の特徴量として、その画像領域の色相の代表値を算出し、
  前記算出した代表値と色相環上で所定角度離れている色を特定し、
  その物体について決定された前記部分範囲の背景の色を、前記特定した色に基づいて決定する、請求項18に記載の制御方法。
[請求項20]
 前記第1決定ステップにおいて、前記撮像装置上の位置と前記出力装置の出力位置との対応を表す情報を用いて、前記物体を表す画像領域が示す前記撮像画像上の範囲を、前記出力装置の出力範囲に変換する、請求項11乃至19いずれか一項に記載の制御方法。
[請求項21]
 請求項11乃至20いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]