Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019008735) OBJECT IDENTIFICATION DEVICE, OBJECT IDENTIFICATION METHOD, CALCULATION DEVICE, SYSTEM AND RECORDING MEDIUM
Document

明 細 書

発明の名称 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011  

発明の効果

0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143  

符号の説明

0144  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

明 細 書

発明の名称 : 物品識別装置、物品識別方法、計算装置、システムおよび記録媒体

技術分野

[0001]
 本開示は、物品識別装置、物品識別方法、計算装置、システムおよび記録媒体に関する。

背景技術

[0002]
 認識精度を高める方法として、認識に用いるデータベースの情報量を増やすことが開示されている(例えば、特許文献1)。また、参照用の物体を異なる複数の視点で撮像した画像を用いて作成したデータベースを用いて、二次元画像に基づいて三次元物体の位置・姿勢を推定する技術が開示されている(例えば、特許文献2)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2001-014465号公報
特許文献2 : 特開2007-219765号公報

発明の概要

発明が解決しようとする課題

[0004]
 ところで、物品は、所定数纏めて梱包される場合がある。このように纏められて梱包された物品の識別において、識別用の画像(データベース画像)として、1つの物品が登録されている場合、個々の物品が識別され、この物品がまとめられた物品か否かが正確に把握できない可能性がある。
[0005]
 また、複数纏められた物品の画像をデータベース画像とする場合、纏める単位ごとに準備されたデータベース画像と照合することになるため、纏める単位が増えると照合回数が増えてしまう。そのため、照合処理を行う物品識別装置に負荷が掛かってしまい、現実的ではない。
[0006]
 本開示は上記課題に鑑みてなされたものであり、その目的は、識別対象の物品の梱包単位ごとの個数を精度よく識別することが可能な技術を提供することにある。

課題を解決するための手段

[0007]
 本開示の一態様に係る物品識別装置は、撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、を備える。
[0008]
 また、本開示の一態様に係る物品識別方法は、撮像画像と物品を識別するための識別用画像との照合を行い、前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する。
[0009]
 また、本開示の一態様に係る計算装置は、物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第1位置と、該第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータと共に用いる第1パラメータを計算する計算手段と、を備える。
[0010]
 また、上記物品識別装置および計算装置を含むシステムも本開示の範疇に含まれる。
[0011]
 なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

発明の効果

[0012]
 本開示によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することができる。

図面の簡単な説明

[0013]
[図1] 第1の実施の形態に係るシステムの全体構成の一例を示す図である。
[図2] 第1実施の形態に係るシステムが利用される利用シーンの一例を説明するための図である。
[図3] 第1の実施の形態に係るシステムに含まれる物品識別装置および計算装置の機能構成の一例を示す機能ブロック図である。
[図4] 画像記憶部に格納されたデータベース画像を含む画像情報の一例を示す図である。
[図5] パラメータ計算部によるパラメータの計算を説明するための図である。
[図6] パラメータ記憶部が格納するパラメータ情報の一例を示す図である。
[図7] 判定部が行う判定処理を説明するための図である。
[図8] ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。
[図9] データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。
[図10] 判定部が行う判定処理を更に説明するための図である。
[図11] データベース画像の座標を撮像画像上の座標に変換した場合における変換後の座標によって示される領域の他の例を示す図である。
[図12] 出力装置がディスプレイを有する表示装置または端末装置の場合における、出力装置が出力する画面の一例を示す図である。
[図13] 出力装置が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。
[図14] 計算装置の処理の流れの一例を示すフローチャートである。
[図15] 物品識別装置の処理の流れの一例を示すフローチャートである。
[図16] 物品が4つの場合における、所定の条件の例を示す図である。
[図17] 第2の実施の形態に係る物品識別装置の機能構成の一例を示す機能ブロック図である。
[図18] 第2の実施の形態に係る物品識別装置の処理の流れの一例を示すフローチャートである。
[図19] 第2の実施の形態において、物品識別装置が参照する第1パラメータを計算する計算装置の機能構成の一例を示す機能ブロック図である。
[図20] 第2の実施の形態において、物品識別装置および計算装置を含むシステムの構成の一例を示すブロック図である。
[図21] 各実施の形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。

発明を実施するための形態

[0014]
 <第1の実施の形態>
 本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係るシステム1の全体構成の一例を示す図である。図1に示すシステム1は、物品識別装置100と、計算装置200と、撮像装置300と、出力装置400とを含む。なお、図1は、本開示に特有な構成について示したものであり、システム1が図1に示されていない装置を有していてもよいことは言うまでもない。また、図1に示す各装置は、各々組み合わせて構成されてもよい。例えば、物品識別装置100と計算装置200とが一体となっていてもよいし、物品識別装置100と撮像装置300とが一体となっていてもよい。
[0015]
 物品識別装置100は、計算装置200、撮像装置300および出力装置400と互いに通信可能に接続している。各装置間の通信手段は、有線または無線通信の何れであってもよいし、携帯通信網、公衆回線網、LAN(Local Area Network)、または、WAN(Wide Area Network)の何れを介した通信であってもよい。このように、各装置間の通信方法は、さまざまな方法が考えられる。
[0016]
 撮像装置300は、撮像対象の物品を含む画像を撮像する。撮像装置300は、例えば、レンズおよび撮像素子を含むカメラによって実現される。撮像装置300は、例えば、デジタルカメラやWebカメラ等によって実現される。撮像装置300は、撮像画像を物品識別装置100に供給する。なお、撮像装置300は、撮像画像を撮像装置300の内部または物品識別装置100とは異なる記憶装置に格納してもよい。この場合、物品識別装置100は、撮像画像を該撮像画像が格納された場所から取得すればよい。
[0017]
 出力装置400は、物品識別装置100からの制御信号に基づいた出力を行う。出力装置400は、例えば、ディスプレイなどの表示装置であってもよいし、ディスプレイを有する端末装置であってもよい。また、出力装置400はこれに限定されず、スピーカであってもよいし、プリンタであってもよいし、受け取った信号に含まれる情報をファイル出力する装置であってもよい。
[0018]
 図2は、本実施の形態に係るシステム1が利用される利用シーンの一例を説明するための図である。図2では、物品の例として、所定の容器に梱包された、複数の同種の物品を一纏めにした物品5(ボール品)を撮像可能な位置に設置されたカメラ3を撮像装置300の一例として示している。また、図2では、携帯端末4を出力装置400の一例として示している。なお、上記所定の容器は、複数の物品が纏められていない状態の物品(ピース品)を含んでもよい。
[0019]
 カメラ3によって撮像された、物品5を含む撮像画像は、物品識別装置100に送信される。物品識別装置100は、物品5の識別結果と、計算装置200によって計算されたパラメータとに基づいて、物品5がピース品かボール品かを判定し、更に物品5の梱包単位ごとの個数を判定する。つまり、物品識別装置100は、物品5がピース品の場合、ピース品の個数を判定し、ボール品の場合、ボール品の個数を判定する。そして、物品識別装置100は、判定結果を携帯端末4に出力する。これにより、作業者2は、携帯端末4の画面に表示された判定結果を確認することができる。
[0020]
 次に、図3を参照して、システム1に含まれる物品識別装置100および計算装置200の構成について説明する。物品識別装置100は、撮像装置300によって撮像された撮像画像を受け取り、該撮像画像に含まれる物品を照合し、該物品の梱包単位ごとの個数を判定する。物品識別装置100は、第1特徴抽出部110と、照合部120と、判定部130と、出力制御部140とを備える。
[0021]
 計算装置200は、物品識別装置100が、撮像画像に含まれる物品の照合を行う際に用いる、物品を識別するための識別用画像(データベース画像とも呼ぶ)を格納する。また、計算装置200は、物品識別装置100が物品の梱包単位ごとの個数を判定する際に用いるパラメータを計算する。計算装置200は、画像記憶部210と、第2特徴抽出部220と、パラメータ計算部230と、パラメータ記憶部240とを備える。
[0022]
 まず、計算装置200の各部について説明する。画像記憶部210は、物品を識別するためのデータベース画像を格納する。データベース画像は、撮像画像との間で物品の照合を行う際に用いられる。画像記憶部210が格納するデータベース画像の一例を図4に示す。図4は、画像記憶部210に格納された、データベース画像を含む画像情報41の一例を示す図である。画像情報41は、図4に示す通り、画像番号42、物品名43およびデータベース画像44を含む。画像番号42は、データベース画像44を識別する識別子である。物品名43は、データベース画像44が示す物品の名前である。データベース画像44は、物品名43によって示される物品を撮像した撮像画像である。
[0023]
 図4に示す通り、画像情報41は、物品名43が「XXX」の物品を撮像した撮像画像であるデータベース画像44Aを含む。また、物品名43が「YYY」の物品を撮像した撮像画像であるデータベース画像44Bを含む。なお、本実施の形態では、画像情報41は、1つの物品に対し1つの撮像画像をデータベース画像44として含むとするが、1つの物品に対し複数の撮像画像をデータベース画像44として含んでもよい。
[0024]
 なお、データベース画像44は、実際に撮像した画像ではなく、照合用の画像として作成された画像であってもよい。また、データベース画像44は、撮像装置300によって撮像された画像であってもよいし、その他の方法で取得された画像であってもよい。また、画像記憶部210は、計算装置200とは別個の記憶装置によって実現されてもよい。
[0025]
 第2特徴抽出部220は、画像記憶部210に格納されたデータベース画像44の夫々から特徴量を抽出し、該特徴量を有する特徴点を抽出(検出)する。以降、第2特徴抽出部220が抽出する特徴量および特徴点に関連する情報を、特徴情報と呼ぶ。
[0026]
 第2特徴抽出部220は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第2特徴抽出部220は、物品識別装置100が照合を行う際に使用する特徴情報を抽出すればよい。第2特徴抽出部220は、抽出した特徴情報を抽出元のデータベース画像44を示す情報(例えば、画像番号42)と共に、自身または画像記憶部210等の記憶部に格納する。なお、前述した画像記憶部210はデータベース画像44に加え、または、データベース画像44の代わりに、第2特徴抽出部220が抽出した特徴情報を格納してもよい。また、第2特徴抽出部220は、複数種類の特徴量を特徴情報として抽出してもよい。第2特徴抽出部220は、抽出した特徴情報を、抽出元のデータベース画像44を示す情報(例えば、画像番号42)と共に、パラメータ計算部230に供給する。
[0027]
 パラメータ計算部230は、第2特徴抽出部220が抽出した特徴情報を用いて、データベース画像間の幾何学関係を表すパラメータ(第1パラメータ)を計算する。図5は、パラメータ計算部230によるパラメータの計算を説明するための図である。
[0028]
 図5の上部に示すデータベース画像51は、図4に示す画像番号42が「P401」のデータベース画像44Aである。また、図5の下部には、データベース画像51によって示される物品(ピース品)を4つ纏めたボール品を表すボール品画像52を示す。ボール品は、データベース画像51によって示される物品を同じ向きになるように、且つ、2行2列になるように纏めたものである。このボール品画像52は、データベース画像51に基づいて、仮想的に生成された画像であってもよいし、物品を所定の条件に基づいて纏めたボール品を撮像することによって得られるものであってもよい。なお、後者の場合、第2特徴抽出部220またはその他の部材が、このボール品を撮像した撮像画像から、特徴情報を抽出すればよい。なお、図5に示すボール品画像52によって表されるボール品には、複数の物品(B401A~B401D)が含まれるとする。
[0029]
 パラメータ計算部230は、第2特徴抽出部220がデータベース画像51から抽出した特徴情報を用いて、データベース画像51の画像空間における、各特徴点に対応する、ボール品画像52上の特徴点を特定する。図5における一点鎖線53Aおよび破線53Bは、データベース画像51と、ボール品画像52との間で対応する特徴点同士を結んだ線分の一例である。パラメータ計算部230は、このように対応する特徴点を特定し、データベース画像51と、ボール品画像52との間の特徴点の位置の幾何学関係を表すパラメータを計算する。なお、一点鎖線53Aおよび破線53Bは、説明の便宜上一部のみを示している。つまり、パラメータ計算部230は、データベース画像51と、ボール品画像52の物品B401Cの部分の画像および物品B401Dの部分の画像との間の幾何学関係を表すパラメータも同様に計算する。
[0030]
 以下、データベース画像51の画像空間を、ピース品画像空間(第1空間)と呼ぶ。そして、ピース品画像空間におけるデータベース画像51の特徴点の位置を第1位置とも呼ぶ。また、ボール品画像52の画像空間を、ボール品画像空間(第2空間)と呼ぶ。そして、ボール品画像空間における、データベース画像51の特徴点に対応する特徴点の位置を第2位置とも呼ぶ。つまり、パラメータ計算部230が計算するパラメータは、第1位置と第2位置との幾何学関係を表す。
[0031]
 パラメータを、例えば、ホモグラフィ行列としたとき、パラメータ計算部230は、ピース品画像空間における座標をボール品画像空間の座標に変換するホモグラフィ行列を計算する。パラメータ計算部230は、ボール品画像52が表すボール品に含まれるピース品毎に、ホモグラフィ行列を計算する。つまり、パラメータ計算部230は、ボール品画像52が表すボール品に含まれるピース品の数(図5に示す例では、4つ)分のパラメータを計算する。
[0032]
 なお、本実施の形態では、パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
[0033]
 そして、パラメータ計算部230はパラメータの計算の対象となるデータベース画像を示す情報と、ボール品画像空間におけるピース品を示す情報と、パラメータとを互いに関連付けてパラメータ記憶部240に格納する。
[0034]
 パラメータ記憶部240は、パラメータ計算部230が計算したパラメータをパラメータの計算の対象となるデータベース画像を示す情報およびボール品画像空間におけるピース品を示す情報と共に格納する。パラメータ記憶部240が格納するパラメータを含むパラメータ情報の一例を図6に示す。図6に示す通り、パラメータ記憶部240は、パラメータ情報61を格納する。
[0035]
 パラメータ情報61は、図6に示す通り、変換元画像番号62と、変換先位置番号63と、パラメータ64とを含む。変換元画像番号62は、幾何学変換を行う元となるデータベース画像を表す画像番号であり、変換先位置番号63は、幾何学変換を行う先となる、ボール品におけるピース品の位置を示す番号である。本実施の形態では、ピース品の位置を、図5に示す複数の物品の夫々に付された符号で示している。
[0036]
 例えば、パラメータ情報61の1行目のパラメータ64は、画像番号42が「P401」のデータベース画像44であるデータベース画像44A上の座標を、ボール品画像空間における「B401A」によって示される位置の物品B401Aが占める領域の座標に変換する場合におけるホモグラフィ行列である。以下では、説明の便宜上、この場合におけるパラメータ64をH[P401→B401A]と記載する。上述した通り、変換先位置番号63は、ボール品におけるピース品の位置を示す情報であればよく、例えば「左上」等であってもよい。
[0037]
 同様に、H[P401→B401B]は、画像番号42が「P401」のデータベース画像44A上の座標を、ボール品画像空間における「B401B」によって示される位置の物品B401Bが占める領域の座標に変換する場合におけるホモグラフィ行列であり、図6の2行目に含まれるパラメータ64を示す。
[0038]
 なお、パラメータ記憶部240は、計算装置200とは別個の記憶装置によって実現されてもよい。また、パラメータ記憶部240は、画像記憶部210と一体構成されてもよい。また、パラメータ記憶部240は、物品識別装置100に内蔵されてもよい。
[0039]
 次に、物品識別装置100について説明する。第1特徴抽出部110は、撮像画像から特徴量を抽出し、該特徴量を有する特徴点を抽出する。第1特徴抽出部110は、撮像装置300または撮像画像を格納する記憶装置から撮像画像を取得する。第1特徴抽出部110は、取得した撮像画像から特徴量および特徴点に関する情報である特徴情報を抽出する。第1特徴抽出部110は、任意の方法によって特徴情報を抽出すればよく、その方法は特に限定されない。第1特徴抽出部110は第2特徴抽出部220と同様の方法で特徴情報を抽出してもよい。第2特徴抽出部220が複数種類の特徴量を特徴情報として抽出する場合、第1特徴抽出部110は、その何れかの種類の特徴量を特徴情報として抽出すればよい。そして、第1特徴抽出部110は、抽出した特徴情報を抽出元の撮像画像と共に、照合部120に供給する。
[0040]
 なお、第1特徴抽出部110が取得した撮像画像を、物品識別装置100内の記憶部等に格納する場合、第1特徴抽出部110は、抽出した特徴情報を抽出元の撮像画像を示す情報と共に照合部120に供給してもよい。
[0041]
 照合部120は、第1特徴抽出部110が抽出した特徴情報と、第2特徴抽出部220が抽出した特徴情報とを用いて、撮像画像をデータベース画像と照合する。そして、照合部120は、照合結果を判定部130に供給する。照合結果は、例えば、撮像画像とデータベース画像44との類似の度合い、データベース画像44を示す情報、対応する特徴点を示す情報と、該特徴点の撮像画像上の位置等を含むがこれに限定されるものではない。またデータベース画像44を示す情報は、例えば、画像番号42であってもよいし、その他の情報であってもよい。照合部120が行う照合の方法は特に限定されず、任意の方法を採用してもよい。
[0042]
 判定部130は、照合結果を参照し、該照合結果が撮像画像に複数の物品が含まれることを示すか否かを判定する。判定部130は、照合結果に基づくと、撮像画像に複数の物品が含まれると判定される場合、パラメータ記憶部240に格納されたパラメータ64(第1パラメータ)と、データベース画像44および撮像画像の間の幾何学関係を表す第2パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。
[0043]
 なお、データベース画像44および撮像画像の間の幾何学関係を表す第2パラメータは、上述したパラメータ64と同じであることが好ましい。本実施の形態では、第2パラメータは、ホモグラフィ行列であるとして説明を行うが、これに限定されず、アフィン変換に用いる変換係数であってもよいし、その他の変換式に用いるパラメータであってもよい。
[0044]
 まず、判定部130は、照合部120から照合結果を受け取る。そして、判定部130は、照合結果を参照し、複数の物品が識別され、且つ、識別された複数の物品が同じ物品を示すか否かを判定する。識別された複数の物品が同じ物品を示すことは、例えば、同じ名称(例えば、物品名)を有するか否かを判定することによって判定されてもよい。そして、判定部130は、同じ物品名を有する複数の物品が識別された場合、照合結果に含まれる、撮像画像の物品に対応するデータベース画像44を示す情報を用いて、該データベース画像44に関連するパラメータ64をパラメータ記憶部240から取得する。
[0045]
 判定部130は取得したパラメータ64と、データベース画像44および撮像画像の間の幾何学関係を表す第2パラメータと、に基づいて、識別された複数の物品が所定の条件に基づいて纏められたボール品か否かを判定する。
[0046]
 判定部130が行う判定処理について、図4、図5、図7から図11を参照してさらに説明する。図7は判定部130が行う判定処理を説明するための図である。
[0047]
 図7に示す撮像画像70は、4つの物品(71A~71D)を撮像することによって得られた画像である。4つの物品(71A~71D)は、同じ方向を向くように且つ2行2列になるように纏められた1つのボール品72を成す。図7に示す通り、撮像画像70には1つのボール品72が含まれる。なお、以下において、4つの物品(71A~71D)を区別しない場合、または、総称する場合には、物品71と称す。
[0048]
 照合部120は図7に示す撮像画像70とデータベース画像44とを、データベース画像44から抽出された特徴情報と、撮像画像70から抽出された特徴情報と用いて照合する。これにより、得られる照合結果から、図4に示すデータベース画像44Aが示す物品が4つ撮像画像70に写っているという照合結果を得るとする。つまり、この照合結果からは、4つの物品(ピース品)71が撮像画像70に写っていることがわかる。
[0049]
 この照合結果から、判定部130は、照合部120が照合に用いた、データベース画像44Aの特徴情報と、撮像画像70から抽出された特徴情報とを用いて、データベース画像44Aと撮像画像70との幾何学関係を表すパラメータ(上述した第2パラメータ)を計算する。照合結果から、4つの物品(71A~71D)と、データベース画像44Aとがマッチすることがわかるため、判定部130は、認識された4つの物品(71A~71D)の夫々に対し、データベース画像44上の位置と、該位置に対応する、認識された物品71の撮像画像上の領域内の位置との幾何学関係を表す第2パラメータを計算する。図7に示す撮像画像70の場合、判定部130は、4つの第2パラメータを計算する。
[0050]
 なお、第2パラメータの計算の方法は、パラメータ計算部230が行う方法と同じであってもよい。以下、例えば、データベース画像44上の座標を、撮像画像70における物品71Aの部分の画像の座標に変換する際のホモグラフィ行列を、H[P401→71A]と記載する。以下、データベース画像44の特徴点に対応する撮像画像上の特徴点の位置を第3位置とも呼ぶ。つまり、判定部130が計算する第2パラメータは、第1位置と第3位置との幾何学関係を表す。
[0051]
 同様に、データベース画像44上の座標を、撮像画像70における物品71Bの部分の画像の座標に変換する際のホモグラフィ行列を、H[P401→71B]と記載する。同様に、物品71Cに関するホモグラフィ行列はH[P401→71C]と記載され、物品71Dに関するホモグラフィ行列はH[P401→71D]と記載される。このように、判定部130は、識別された物品の個数分の第2パラメータを計算する。
[0052]
 図7に示す破線の枠73Aは、データベース画像44上の座標を、H[P401→71A]を用いて、撮像画像70上の座標に変換した場合の、該座標によって示される撮像画像70上の領域である。同様に、図7に示す枠73Bは、データベース画像44上の座標を、H[P401→71B]を用いて、撮像画像70上の座標に変換した場合の、該座標によって示される撮像画像70上の領域である。枠73Cは、データベース画像44上の座標を、H[P401→71C]を用いて、撮像画像70上の座標に変換した場合の、該座標によって示される撮像画像70上の領域である。枠73Dは、データベース画像44上の座標を、H[P401→71D]を用いて、撮像画像70上の座標に変換した場合の、該座標によって示される撮像画像70上の領域である。
[0053]
 判定部130は、照合結果に基づいて、データベース画像44Aを示す画像番号42である「P401」に関連付けられたパラメータ64をパラメータ記憶部240から取得する。ここでは、判定部130は、変換元画像番号62が「P401」である図6に示す1から4行目のパラメータ64を、パラメータ記憶部240から取得する。取得したパラメータ64を上述した通り、図6の1行目から順に、H[P401→B401A]、H[P401→B401B]、H[P401→B401C]および、H[P401→B401D]とする。
[0054]
 そして、判定部130は、識別された複数の物品が所定の条件に基づいて纏められた物品であるか否かを判定するために、データベース画像44の座標を、第1パラメータおよび第2パラメータを用いて、撮像画像上の座標に変換する。
[0055]
 ここで、識別された4つの物品(71A~71D)のうち、物品71A(第1物品)を基準とする。なお、基準の物品は任意であり、特に限定されない。また、本例では、基準である物品71Aと他の物品(71B~71D)とがボール品を形成すると仮定した場合において、物品71Aの右隣に位置する物品71B(第2物品)に関して、以下に説明するホモグラフィ変換を行うことにより、判定部130は、判定処理を行う。
[0056]
 まず、判定部130は、データベース画像44の座標を、ピース品画像空間上の座標に変換する。図8は、ボール品画像空間とピース品画像空間との対応関係を概念的に説明する図である。
[0057]
 図8に示すピース品画像空間81は、データベース画像44Aに相当するデータベース画像81aを含む画像空間である。基準である物品71Aがボール品に含まれると仮定した場合における位置(左上)に対応する、ボール品画像空間82における位置(座標)は、図5を用いて説明すると、物品B401Aの位置である。また、基準である物品71Aの位置(左上)に対する第2物品の位置(この場合、右隣)に対応する、ボール品画像空間82における位置は、図5を用いて説明すると、物品B401Aの右隣に位置する物品B401Bの位置に対応する。判定部130は、ピース品画像空間81におけるデータベース画像81aの座標を、H[P401→B401B]を使用して、ボール品画像空間82における座標に変換する(S1)。図8に示す画像82Bは、ボール品画像空間82におけるデータベース画像81aに対応する画像である。
[0058]
 次に、判定部130は、基準である物品71Aがボール品に含まれると仮定した場合における位置(左上)に対応する、ボール品画像空間82における位置(座標)と、データベース画像44Aの座標との間のホモグラフィ行列である、H[P401→B401A]の逆行列を使用して、ボール品画像空間82の座標に変換したデータベース画像81aの座標を、更に、ピース品画像空間81における座標に変換する。
[0059]
 ここで、H[P401→B401A]の逆行列をH -1[P401→B401A]と記載する。判定部130は、ボール品画像空間82の座標に変換したデータベース画像81aの座標(画像82Bの座標に相当)をH -1[P401→B401A]を使用して、ピース品画像空間81における座標に変換する(S2)。図8に示す画像81bは、ピース品画像空間81における、画像82Bに対応する画像である。
[0060]
 そして、判定部130は、基準である、撮像画像70上の物品71Aの領域の座標と、データベース画像44Aの座標との間のホモグラフィ行列であるH[P401→71A]を用いて、S2で変換した座標を、撮像画像70上の座標に変換する。
[0061]
 図9は、データベース画像81aの座標を撮像画像70上の座標に変換した場合における変換後の座標によって示される領域(第1領域)の一例を示す図である。図9に示す撮像画像70は、図7に示す撮像画像70と同様である。
[0062]
 図9に示す一点鎖線の枠91Bは、データベース画像81aの座標を撮像画像70上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠91Bが示す領域は、H[P401→B401B]、H -1[P401→B401A]およびH[P401→71A]を用いて推定された領域である。この推定された領域は、撮像画像70の座標空間における、データベース画像81aによって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される画像81bの座標の領域を示す。
[0063]
 枠73Bによって示される領域(第2領域)と枠91Bによって示される領域とを比較すると、これらは略重なっていることがわかる。判定部130は、この枠73Bの領域と、枠91Bの領域との重なりの度合いを示す値である重複率を計算し、重複率が所定の閾値以上の場合、枠73Bに含まれる物品71Bが、物品71Aと共にボール品を構成する物品であると判定する。判定部130は、同様の判定を、物品71Cおよび物品71Dに対しても行う。これにより、判定部130は、複数の物品が、1つのボール品を構成する物品か否かを判定する。
[0064]
 このように、複数の物品がボール品かピース品か否かの判定に、領域の重複率を用いることにより、判定部130は、少ない計算量で複数の物品がボール品か否かの判定を行うことができる。
[0065]
 なお、判定部130は、一方の領域の面積に対する、該一方の領域と他方の領域との両方に含まれる領域の面積の比を示す重複率に基づいて、領域に関連する物品(図9の場合、物品71B)が、基準である物品71Aと共にボール品を構成する物品か否かを判定してもよい。例えば、判定部130は、枠73Bの領域の面積に対する枠73Bの領域および枠91Bの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部130は、枠91Bの領域の面積に対する枠73Bの領域および枠91Bの領域の両方に含まれる領域の面積の重複率に基づいて、判定を行ってもよい。また、判定部130は、これら2つの重複率を用いて、判定を行ってもよい。また、重複率はこれに限定されず、2つの面積の和に対する、両方に含まれる領域の面積の比であってもよいし、2つの領域の少なくとも何れか一方に含まれる部分の面積に対する、両方に含まれる領域の面積の比であってもよい。
[0066]
 また、判定部130は、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを、領域ではなく、パラメータ間の近さで判定してもよい。例えば、H[P401→71A]×H -1[P401→B401A]×H[P401→B401B]を計算し、計算した結果と、H[P401→71B]との類似度を計算する。この類似度は、どのような指標であってもよい。例えば、行列の各値の近さであってもよいし、行列に基づいて導き出される任意の指標に基づく値の近さであってもよい。そして、類似度が所定の条件を満たす場合、例えば類似度が所定の閾値以上の場合、判定部130は、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。
[0067]
 このように、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かの判定に、行列同士の類似度を用いることにより、領域の重複率を用いる場合に比べ、物品識別装置100は、より正確に、領域に関連する物品が基準である物品と共にボール品を構成する物品か否かの判定を行うことができる。なお、類似度を求める場合、判定部130は、照合結果に基づいて、パラメータ64を取得した後に、該パラメータ64と同じ種類の第2パラメータを、計算してもよい。
[0068]
 また、判定部130は、データベース画像44上の全ての座標ではなく、特徴点を用いて、領域に関連する物品が、基準である物品と共にボール品を構成する物品か否かを判定してもよい。例えば、判定部130は、H[P401→B401B]、H -1[P401→B401A]およびH[P401→71A]を用いて変換した特徴点の座標と、H[P401→71B]を用いて変換した特徴点の座標との距離が所定の閾値以下である場合に、領域に関連する物品が、基準である物品と共にボール品を構成する物品であると判定してもよい。
[0069]
 図10は、判定部130が行う判定処理を説明するための別の図である。図10に示す撮像画像101は、4つの物品(102A~102D)を撮像することによって得られた画像である。4つの物品(102A~102D)は、纏められていないピース品である。図10に示す通り、撮像画像101には4つの物品(102A~102D)が含まれる。照合部120はこのような撮像画像101とデータベース画像44とを、データベース画像44から抽出された特徴情報と、撮像画像101から抽出された特徴情報と用いて照合する。ここでは、4つの物品(102A~102D)が夫々ピース品であり、ボール品ではないと正しく識別される方法について説明する。
[0070]
 判定部130は、照合結果から、照合部120が照合に用いた、データベース画像44Aの特徴情報と、撮像画像101から抽出された特徴情報とを用いて、データベース画像44Aと撮像画像101との幾何学関係を表すパラメータ(上述した第2パラメータ)を計算する。計算した4つの第2パラメータを、H[P401→102A]、H[P401→102B]、H[P401→102C]およびH[P401→102D]とする。なお、H[P401→102A]は、データベース画像44上の座標を、撮像画像101における物品102Aの部分の画像の座標に変換する際のホモグラフィ行列である。
[0071]
 図10に示す破線の枠103A~103Dは、夫々、上述したホモグラフィ行列を用いて、データベース画像44上の座標を、撮像画像101上の座標に変換した場合の、該座標によって示される撮像画像101上の領域を示す。
[0072]
 ここで、基準の物品を物品102Aとする。判定部130は、ピース品画像空間におけるデータベース画像44の座標を、H[P401→B401B]を使用して、ボール品画像空間における座標に変換する。そして、判定部130は、基準である物品がボール品における位置に対応する位置のボール品画像空間における座標と、データベース画像44Aの座標との間のホモグラフィ行列を用いて、座標の変換を行う。基準である物品102Aは、図10に示す通り、4つの物品の左上に位置する物品であるため、判定部130は、H -1[P401→B401A]を使用して、ボール品画像空間の座標に変換したデータベース画像44Aの座標を、更に、ピース品画像空間における座標に変換する。更に、判定部130は、基準である物品102Aの領域の座標と、データベース画像44Aの座標との間のホモグラフィ行列であるH[P401→102A]を用いて、ピース品画像空間における座標に変換した座標を、撮像画像101上の座標に変換する。
[0073]
 図11は、データベース画像44Aの座標を撮像画像101上の座標に変換した場合における変換後の座標によって示される領域の一例を示す図である。図11に示す撮像画像101は、図10に示す撮像画像101と同様である。
[0074]
 図11に示す一点鎖線の枠104Bは、データベース画像44Aの座標を撮像画像101上の座標に変換した場合における変換後の座標によって示される領域の一例を示す。この枠104Bが示す領域は、H[P401→B401B]、H -1[P401→B401A]およびH[P401→102A]を用いて推定された領域である。この推定された領域は、撮像画像101の座標空間における、データベース画像44によって示されるピース品がボール品であると仮定した場合の該ピース品の右隣に位置すると推定される座標の領域を示す。
[0075]
 枠103Bによって示される領域と枠104Bによって示される領域とを比較すると、図9の枠73Bによって示される領域および枠91Bによって示される領域に比べ重複していない箇所が多い。よって、判定部130は、物品102Bが、物品102Aと共にボール品を構成する物品ではないと判定する。つまり、判定部130は、物品102Bおよび物品102Aはそれぞれピース品であると判定する。判定部130は、物品102Cおよび物品102Dに対しても、同様の判定を行うことにより、これらが夫々ピース品であると判定する。これにより、判定部130は、図11に含まれる物品が、「XXX」という物品名の4つのピース品であると判定することができる。
[0076]
 このように本実施の形態に係る物品識別装置100はピース品とボール品とを正しく判定することができる。よって、物品識別装置100は、梱包単位ごとの物品の数を精度よく識別することができる。
[0077]
 判定部130は、物品を示す情報(例えば、物品名)と梱包単位ごとの物品の数とを判定結果として、出力制御部140に供給する。
[0078]
 出力制御部140は、判定部130から供給された判定結果に基づいて、該判定結果を表す情報の出力を制御する。例えば、出力装置400がディスプレイ(表示部)などの表示装置またはディスプレイを有する端末装置の場合、出力制御部140は、判定結果を表す情報を画面表示する制御信号を、出力装置400に出力する。これにより、出力装置400は、判定結果を表す情報を画面表示する。
[0079]
 また、出力装置400が受け取った情報をファイル出力する装置の場合、出力制御部140は、判定結果を表す情報をファイル出力する制御信号を、出力装置400に出力する。これにより、出力装置400は、判定結果を表す情報をファイルとして出力する。
[0080]
 図12は、出力装置400がディスプレイを有する表示装置または端末装置の場合における、出力装置400が出力する表示画面の一例を示す図である。
[0081]
 出力制御部140は、判定結果を示す情報を撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成する。出力装置400は、出力制御部140が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示する。
[0082]
 図12に示す表示画面121は、図7に示す、物品(71A~71D)によって構成されるボール品72を含む撮像画像70を表示部に表示した画面である。出力制御部140は、判定結果を示す情報122を、撮像画像70に重畳した表示画面を生成することにより、出力装置400は、図12に示す表示画面121を表示する。なお、梱包単位の表示方法は特に限定されず、例えば、ピース品の場合は、ピース品であることがわかる情報であればよい。また、ボール品の場合は、纏められる形状や個数であってもよい。
[0083]
 なお、出力制御部140は、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成してもよい。例えば、撮像画像70にある物品のボール品と、他の物品のボール品とが含まれる場合、出力制御部140は、識別された物品(ピース品および/またはボール品)の位置を示す情報と共に判定結果を受け取る。そして、出力制御部140は、受け取った判定結果および位置を示す情報に基づいて、ある物品に関する判定結果を示す情報を、該ある物品のボール品に関連付けた表示画面を生成する。同様に、出力制御部140は、この表示画面において、他の物品に関する判定結果を示す情報を、該他の物品のボール品に関連付ける。このように、出力制御部140が、物品名ごと、物品の梱包単位ごとに、判定結果を示す情報を、関連する物品に関連付けた表示画面を生成することにより、出力装置400は、判定結果が物品に関連付けられた表示画面を表示する。したがって、物品識別装置100は、表示画面を見る作業者2に物品ごとおよび物品の梱包単位ごとの個数を容易に把握させることができる。
[0084]
 また、出力制御部140は、梱包単位がピース品の場合、識別された物品の撮像画像上における位置を示す位置情報を、梱包単位がボール品の場合は、ボール品の部分を示す位置情報を、撮像画像に重畳した表示画面をディスプレイなどの表示部に表示させる制御信号を生成してもよい。例えば、出力制御部140は、ボール品72の撮像画像上における位置を示す位置情報を、撮像画像70に重畳した表示画面を生成してもよい。出力制御部140は、図12に示すように、ボール品72の位置を、ボール品72に含まれる物品(71A~71D)の夫々の領域(枠73A~73Dによって示される領域)をすべて含む枠123を生成し、該枠123を撮像画像70に重畳した表示画面を生成してもよい。
[0085]
 このように、出力装置400は、出力制御部140が生成した制御信号に基づいて、判定結果を示す情報を撮像画像に重畳した表示画面を表示部に表示することにより、表示画面を見る作業者2に物品の梱包単位ごとの個数を容易に把握させることができる。
[0086]
 図13は、出力装置400が受け取った情報をファイル出力する装置の場合における、出力されるファイルの一例を示す図である。図13に示す出力ファイル131は、物品名132の列と、梱包単位133の列と、個数134の列とを含む表データである。出力制御部140は、判定結果に基づいて、このような出力ファイル131を出力装置400が出力するよう制御する制御信号を生成してもよい。これにより、撮像画像に、どの物品がどの梱包単位でいくつ含まれるのかを作業者2は容易に把握することができる。また、出力制御部140は、例えば、撮像画像に含まれるべき物品の一覧と判定結果とを比較し、比較結果を出力装置400に表示するよう制御してもよい。
[0087]
 図14は、本実施の形態に係るシステム1における計算装置200の処理の流れの一例を示すフローチャートである。図14に示す通り、第2特徴抽出部220が、画像記憶部210に格納されたデータベース画像44から特徴情報を抽出する(ステップS141)。
[0088]
 そして、パラメータ計算部230が、抽出された特徴情報に基づいて、ピース品画像空間における第1位置と、ボール品画像空間における第2位置との幾何学関係を表すパラメータを計算する(ステップS142)。
[0089]
 上述した通り、パラメータは、データベース画像44を用いた照合により、撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品(ボール品)であるか否かを判定する際に、第1位置と、該第1位置に対応する、撮像画像上の第3位置との間の幾何学関係を表す第2パラメータと共に用いられるものである。
[0090]
 その後、パラメータ計算部230は、計算したパラメータをパラメータ記憶部240に格納する(ステップS143)。
[0091]
 図15は、本実施の形態に係るシステム1における物品識別装置100の処理の流れの一例を示すフローチャートである。図15に示す通り、物品識別装置100の第1特徴抽出部110は、取得した撮像画像から特徴情報を抽出する(ステップS151)。
[0092]
 そして、照合部120が、撮像画像から抽出された特徴情報と、ステップS141において、データベース画像44から抽出された特徴情報とを用いて、撮像画像とデータベース画像44との照合を行う(ステップS152)。
[0093]
 判定部130は、照合結果を参照し、複数の物品が識別され、且つ、識別された物品が同じ物品名を示すか否かを判定する(ステップS153)。同じ物品名の物品を複数識別していない場合(ステップS153にてNO)、処理はステップS156に進む。
[0094]
 同じ物品名の物品が複数識別された場合(ステップS153にてYES)、判定部130は、識別された物品に対応する(撮像画像とマッチした)データベース画像44と撮像画像との間の幾何学関係を表すパラメータ(第2パラメータ)を計算する(ステップS154)。
[0095]
 そして、ステップS142で計算されたパラメータと、ステップS154で計算されたパラメータとを用いて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する(ステップS155)。
[0096]
 その後、出力制御部140が、出力装置400による情報の出力を制御する制御信号を生成する(ステップS156)。ステップS155が行われた後の場合、出力制御部140は判定結果に基づいて、該判定結果を表す情報の出力を行うための制御信号を生成する。そして、出力制御部140は、生成した制御信号を出力装置400に出力する(ステップS157)。
[0097]
 これにより、出力装置400は、出力制御部140が出力した制御信号に基づいて、例えば、図12に示すような表示画面121を表示部に表示することができる。
[0098]
 なお、本実施の形態では、所定の条件が、以下の(1)~(3)である場合を例に説明を行った。
(1)物品の数が4つ
(2)物品が全て同じ方向を向く
(3)物品が2行2列に並べられている
 しかしながら、所定の条件は、これに限定されない。物品が4つの場合における、所定の条件の例を図16に示す。図16の(a)は、所定の条件が、物品の数が4つ、物品が全て同じ方向を向く、物品が縦1列に並べられている、である場合の一例である。図16の(b)は、所定の条件が、物品の数が4つ、物品が2行2列に並べられている、物品の上部が外側になる、である場合の一例である。図16の(c)は、所定の条件が、物品の数が4つ、物品が全て同じ方向を向く、物品が横1列に並べられている、である場合の一例である。
[0099]
 このように、物品の梱包単位が複数ある場合、パラメータ計算部230は、これらの夫々に対して、パラメータを計算し、パラメータ記憶部240に格納する。このとき、パラメータ計算部230は、所定の条件を表す情報をパラメータと共にパラメータ記憶部240に格納することが好ましい。これにより、物品識別装置100はどのような梱包単位であっても、適切にボール品か否かを判定することができる。なお、ボール品に含まれるピース品の数は特に限定されず、任意の数であってもよい。
[0100]
 以上のように、本実施の形態に係るシステム1の物品識別装置100は、照合部120が撮像画像と物品を識別するためのデータベース画像との照合を行う。そして、判定部130が、照合の結果が撮像画像に複数の物品が含まれる場合、第1パラメータと第2パラメータとを用いて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。第1パラメータは、データベース画像の画像空間における第1位置と、データベース画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間における、第1位置に対応する第2位置との幾何学関係を表す。また、第2パラメータは、第1位置と、第1位置に対応する、撮像画像上の第3位置との間の幾何学関係を表す。
[0101]
 例えば、4つのピース品から構成される1つのボール品が含まれる撮像画像において、撮像画像とデータベース画像との照合を行うと、照合結果からは、該撮像画像に4つのピース品が含まれるとみなされる。本実施の形態によれば、判定部130がこの照合結果に基づいて、データベース画像における位置と物品がボール品である場合のボール品の画像の空間における位置と間の幾何学関係を表すパラメータと、撮像画像とデータベース画像との間の幾何学関係を表すパラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置100は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。
[0102]
 よって、本実施の形態に係る物品識別装置100によれば、複数の物品が、1つのボール品として纏められた物品の場合であっても、複数の物品としてではなく、1つのボール品として正確に判定することができる。
[0103]
 よって、本実施の形態に係る物品識別装置100によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。
[0104]
 なお、本実施の形態に係るシステム1において、撮像装置300と物品識別装置100とは一体となって形成され、例えば、インテリジェンスカメラとして機能してもよい。また、計算装置200の一部の機能が物品識別装置100に組み込まれてもよい。例えば、第1特徴抽出部110と、第2特徴抽出部220とが同じ回路で実現されてもよい。
[0105]
 このように、図1に示すシステム1における各装置は各々組み合わせて構成されてもよい。
[0106]
 <第2の実施の形態>
 本開示の第2の実施の形態について説明する。本実施の形態では、本開示の課題を解決する基本構成について説明する。
[0107]
 図17は、本実施の形態に係る物品識別装置10の機能構成の一例を示す機能ブロック図である。図17に示す通り、本実施の形態に係る物品識別装置10は、照合部12と、判定部13とを備える。
[0108]
 照合部12は、上述した照合部120の機能を有する。照合部12は、撮像画像と物品を識別するための識別用画像との照合を行う。照合部12は、照合結果を判定部13に供給する。照合部12が行う照合の方法は特に限定されず、上述した照合部120と同様の方法を採用してもよい。
[0109]
 判定部13は、上述した判定部130の機能を有する。判定部13は、照合の結果が撮像画像に複数の物品が含まれることを示す場合、第1パラメータと、第2パラメータとに基づいて、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する。ここで、第1パラメータは、識別用画像の画像空間である第1空間における第1位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、第1位置に対応する第2位置との幾何学関係を表す。また、第2パラメータは、第1位置と、第1位置に対応する、撮像画像上の第3位置との間の幾何学関係を表す。
[0110]
 ここで、照合結果に基づくと、複数の物品が識別されることがわかるため、この複数の物品は、第1物品と、第1物品とは異なる第2物品とが含まれるとして説明する。
[0111]
 判定部13は、上述した判定部130と同様に、以下の(1)~(3)を行うことにより変換された座標が示す第1領域と、撮像画像上における第2物品に関連する第2パラメータから得られる、第2物品の前記撮像画像上における第2領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された複数の物品が、纏められた物品であると判定してもよい。
(1)第1物品の位置に対する第2物品の位置に基づいて、第2空間における第2物品に関連する第1パラメータを用いて識別用画像の座標を、第2空間の座標に変換する。
(2)第2空間の座標に変換した座標を、第2空間における第1物品に関連する第1パラメータに基づいて第1空間の座標に変換する。
(3)第1空間の座標に変換した座標を、撮像画像上における第1物品に関連する第2パラメータを用いて撮像画像上の座標に変換する。
[0112]
 図18は、本実施の形態に係る物品識別装置10の処理の流れの一例を示すフローチャートである。図18に示す通り、照合部12が、撮像画像と物品を識別するための識別用画像との照合を行う(ステップS181)。そして、判定部13が、第1パラメータと、第2パラメータとに基づいて、複数の物品が所定の条件に基づいて纏められた物品か否かを判定する(ステップS182)。
[0113]
 図19は、上述した物品識別装置10が参照する第1パラメータを計算する計算装置20の機能構成の一例を示す機能ブロック図である。図19に示す通り、計算装置20は、抽出部22と、計算部23とを備える。
[0114]
 抽出部22は、上述した第2特徴抽出部220の機能を有する。物品を識別するための複数の識別用画像の夫々から、物品の特徴を表す特徴情報を抽出する。抽出部22は、抽出した特徴情報を計算部23に供給する。
[0115]
 計算部23は、上述したパラメータ計算部230の機能を有する。計算部23は、抽出された特徴情報に基づいて、識別用画像の画像空間である第1空間における第1位置と、識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、第1位置に対応する第2位置との幾何学関係を表す第1パラメータを計算する。なお、上述した通り、第1パラメータは、物品識別装置10による識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された複数の物品が、所定の条件に基づいて纏められた物品であるか否かを判定する際に、第1位置と、該第1位置に対応する、撮像画像上の第3位置との間の幾何学関係を表す第2パラメータと共に用いられる。
[0116]
 また、本実施の形態において、物品識別装置10および計算装置20は、図20に示すシステム6として構成されてもよい。図20は、物品識別装置10と計算装置20とを含むシステムの構成の一例を示すブロック図である。図20に示す通り、システム6は、物品識別装置10と計算装置20とを含む。物品識別装置10と計算装置20とは互いに通信可能に接続している。
[0117]
 なお、物品識別装置10と計算装置20とは一体となって形成されてもよいし、計算装置20の一部の機能が物品識別装置10に組み込まれてもよい。また、システム6は、上述したシステム1と同様に、撮像装置300および出力装置400を含む構成であってもよい。
[0118]
 例えば、4つの物品(ピース品)から構成される纏められた物品(1つのボール品)が含まれる撮像画像において、撮像画像と識別用画像との照合を行うと、照合結果からは、該撮像画像に4つのピース品が含まれるとみなされる。本実施の形態によれば、判定部13がこの照合結果に基づいて、第1パラメータと、第2パラメータとに基づいて、識別用画像における位置と物品がボール品である場合のボール品の画像の空間における位置との間の幾何学関係を表す第1パラメータと、撮像画像と識別用画像との間の幾何学関係を表す第2パラメータとに基づいて、あるピース品に対し、他のピース品が、ボール品を形成する位置に位置しているか否かを判定することにより、識別された複数の物品がボール品か否かを判定する。これにより、物品識別装置10は、撮像画像に含まれる複数の物品が、所定の条件に基づいて纏められた物品か、個別の物品かを判定することができる。
[0119]
 よって、本実施の形態に係る物品識別装置10によれば、複数の物品が、所定の条件に基づいて纏められた物品の場合に、個々の物品としてではなく、纏められた物品として正確に判定することができる。
[0120]
 よって、本実施の形態に係る物品識別装置10によれば、識別対象の物品の梱包単位ごとの個数を精度よく識別することできる。
[0121]
 (ハードウェア構成について)
 本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば、図21に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図21は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
[0122]
  ・CPU(Central Processing Unit)901
  ・ROM(Read Only Memory)902
  ・RAM(Random Access Memory)903
  ・RAM903にロードされるプログラム904
  ・プログラム904を格納する記憶装置905
  ・記録媒体906の読み書きを行うドライブ装置907
  ・通信ネットワーク909と接続する通信インタフェース908
  ・データの入出力を行う入出力インタフェース910
  ・各構成要素を接続するバス911
 各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
[0123]
 各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。
[0124]
 また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
[0125]
 各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
[0126]
 各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
[0127]
 なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
[0128]
 例えば、本開示における物品識別装置(10、100)は、POS(Point Of Sales)レジスタ等のキャッシュレジスタの近傍に設置されたカメラを含むシステムにも好適に利用できる。この場合、上述した物品識別装置(10、100)は、POSレジスタに内蔵されることによって実現されてもよい。なお、該POSレジスタは、更に計算装置(20、200)の機能を備えてもよい。また、物品識別装置(10、100)は、POSレジスタに、出力装置400と同様の出力を行わせてもよい。この場合であっても、物品識別装置(10、100)は、カメラが商品を撮像することによって得られた撮像画像から、認識された複数の物体が同一物体か否かを判定することにより、該識別対象の物体の個数を精度よく識別することできる。
[0129]
 また、本開示における物品識別装置(10、100)および計算装置(20、200)は、POSレジスタと通信可能なサーバ装置で実現されてもよい。そして、物品識別装置(10、100)は、POSレジスタに、出力装置400と同様の出力を行わせてもよい。このように、既に店舗に設置されているPOSレジスタを利用した構成にも、本開示の物品識別装置(10、100)および計算装置(20、200)を好適に適用することができる。
[0130]
 なお、上述したPOSレジスタとは、店員が操作するキャッシュレジスタに限定されず、精算を顧客が行う分担型のキャッシュレジスタ(セミセルフレジスタ)、レジスタの通過時に店員が介在しない(精算までの一連の作業を顧客のみで行う)キャッシュレジスタ(セルフレジスタ)の何れであってもよい。
[0131]
 上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[0132]
 (付記1)
 撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
 を備える物品識別装置。
[0133]
 (付記2)
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 前記判定手段は、識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、
 前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
 付記1に記載の物品識別装置。
[0134]
 (付記3)
 識別された複数の物品は、第1物品と、該第1物品とは異なる第2物品とを含み、
 前記判定手段は、(i)前記第1物品の位置に対する第2物品の位置に基づいて、前記第2空間における前記第2物品に関連する前記第1パラメータを用いて前記識別用画像の座標を、前記第2空間の座標に変換し、(ii)前記変換した座標を、前記第2空間における前記第1物品に関連する前記第1パラメータに基づいて前記第1空間の座標に変換し、(iii)前記第1空間の座標に変換した座標を、前記撮像画像上における前記第1物品に関連する前記第2パラメータを用いて前記撮像画像上の座標に変換し、
 該撮像画像上の座標に変換された座標が示す第1領域と、前記撮像画像上における前記第2物品に関連する前記第2パラメータから得られる、前記第2物品の前記撮像画像上における第2領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
 付記2に記載の物品識別装置。
[0135]
 (付記4)
 識別された複数の物品は、第1物品と、該第1物品とは異なる第2物品とを含み、
 前記判定手段は、前記第2空間における前記第2物品に関連する前記第1パラメータ、前記第2空間における前記第1物品に関連する前記第1パラメータ、および、前記撮像画像上における前記第1物品に関連する前記第2パラメータから得られる値と、前記撮像画像上における前記第2物品に関連する前記第2パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
 付記2に記載の物品識別装置。
[0136]
 (付記5)
 前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
 前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
 付記1から4の何れか1つに記載の物品識別装置。
[0137]
 (付記6)
 前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
 付記5に記載の物品識別装置。
[0138]
 (付記7)
 撮像画像と物品を識別するための識別用画像との照合を行い、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
 物品識別方法。
[0139]
 (付記8)
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、 付記7に記載の物品識別方法。
[0140]
 (付記9)
 撮像画像と物品を識別するための識別用画像との照合を行う処理と、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
 をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
[0141]
 (付記10)
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 前記判定する処理は、識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
 付記9に記載の記録媒体。
[0142]
 (付記11)
 物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
 前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第1位置と、該第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータと共に用いる第1パラメータを計算する計算手段と、を備える計算装置。
[0143]
 (付記12)
 付記1から6の何れか1つに記載の物品識別装置と、
 付記11に記載の計算装置と、
を備えるシステム。

符号の説明

[0144]
 1  システム
 6  システム
 10  物品識別装置
 12  照合部
 13  判定部
 20  計算装置
 22  抽出部
 23  計算部
 100  物品識別装置
 110  第1特徴抽出部
 120  照合部
 130  判定部
 140  出力制御部
 200  計算装置
 210  画像記憶部
 220  第2特徴抽出部
 230  パラメータ計算部
 240  パラメータ記憶部
 300  撮像装置
 400  出力装置

請求の範囲

[請求項1]
 撮像画像と物品を識別するための識別用画像との照合を行う照合手段と、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する判定手段と、
 を備える物品識別装置。
[請求項2]
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 前記判定手段は、識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、
 前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
 請求項1に記載の物品識別装置。
[請求項3]
 識別された複数の物品は、第1物品と、該第1物品とは異なる第2物品とを含み、
 前記判定手段は、(i)前記第1物品の位置に対する第2物品の位置に基づいて、前記第2空間における前記第2物品に関連する前記第1パラメータを用いて前記識別用画像の座標を、前記第2空間の座標に変換し、(ii)前記変換した座標を、前記第2空間における前記第1物品に関連する前記第1パラメータに基づいて前記第1空間の座標に変換し、(iii)前記第1空間の座標に変換した座標を、前記撮像画像上における前記第1物品に関連する前記第2パラメータを用いて前記撮像画像上の座標に変換し、
 該撮像画像上の座標に変換された座標が示す第1領域と、前記撮像画像上における前記第2物品に関連する前記第2パラメータから得られる、前記第2物品の前記撮像画像上における第2領域との重複の度合いを示す重複率が所定の閾値以上の場合、識別された前記複数の物品が、前記纏められた物品であると判定する、
 請求項2に記載の物品識別装置。
[請求項4]
 識別された複数の物品は、第1物品と、該第1物品とは異なる第2物品とを含み、
 前記判定手段は、前記第2空間における前記第2物品に関連する前記第1パラメータ、前記第2空間における前記第1物品に関連する前記第1パラメータ、および、前記撮像画像上における前記第1物品に関連する前記第2パラメータから得られる値と、前記撮像画像上における前記第2物品に関連する前記第2パラメータとの、所定の指標に基づく類似度に基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
 請求項2に記載の物品識別装置。
[請求項5]
 前記判定手段による判定結果を表す情報の出力を制御する出力制御手段を更に備え、
 前記出力制御手段は、前記判定結果を示す情報を前記撮像画像に重畳した表示画面を表示部に表示させるよう制御する、
 請求項1から4の何れか1項に記載の物品識別装置。
[請求項6]
 前記出力制御手段は、前記判定結果を示す情報を、前記撮像画像における前記纏められた物品または個別の物品に関連付けた前記表示画面を前記表示部に表示させるよう制御する、
 請求項5に記載の物品識別装置。
[請求項7]
 撮像画像と物品を識別するための識別用画像との照合を行い、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する、
 を備える物品識別方法。
[請求項8]
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
 請求項7に記載の物品識別方法。
[請求項9]
 撮像画像と物品を識別するための識別用画像との照合を行う処理と、
 前記撮像画像に複数の物品が含まれると識別されると、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータ、および、前記第1位置と、前記第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータに基づいて、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する処理と、
 をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
[請求項10]
 前記第2位置は、前記纏められた物品に含まれる各物品の位置であり、
 前記判定する処理は、識別された複数の物品の夫々の位置を第3位置として、前記識別された複数の物品の数の前記第2パラメータを計算し、前記纏められた物品に含まれる物品の数の前記第1パラメータと、複数の前記第2パラメータとを用いて、識別された前記複数の物品が、前記纏められた物品であるか否かを判定する、
 請求項9に記載の記録媒体。
[請求項11]
 物品を識別するための識別用画像から、前記物品の特徴を表す特徴情報を抽出する抽出手段と、
 前記抽出された特徴情報に基づいて、前記識別用画像の画像空間である第1空間における第1位置と、前記識別用画像が表す物品が所定の条件に基づいて複数纏められた場合の画像空間を表す第2空間における、前記第1位置に対応する第2位置との幾何学関係を表す第1パラメータであって、前記識別用画像を用いた照合により撮像画像に複数の物品が識別される場合において、識別された前記複数の物品が、前記所定の条件に基づいて纏められた物品であるか否かを判定する際に、前記第1位置と、該第1位置に対応する、前記撮像画像上の第3位置との間の幾何学関係を表す第2パラメータと共に用いる第1パラメータを計算する計算手段と、を備える計算装置。
[請求項12]
 請求項1から6の何れか1項に記載の物品識別装置と、
 請求項11に記載の計算装置と、
を備えるシステム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]