Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. JP2002530970 - 多標的追跡システム

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

[ JA ]
【発明の詳細な説明】
【0001】
(発明の分野)
本発明は、所定の領域内において複数の標的の移動経路を追跡するシステムに関する。
【0002】
(発明の背景)
カメラ、マイクロエレクトロニクスおよびコンピュータシステムの技術が急速に発展するにつれて、従来人間が行ってきたような、良好に規定された反復的視覚/認識タスクに取って代わるものとして意図されている機械的視覚システムがますます多く供給されてきている。初期のシステムは、組立ラインに沿って移動する部品を認識して、製造プロセスを援助するように設計されていた。より最近では、人間およびその移動経路を認識するような発明が多く提案されてきた。人間およびその着衣の変動性ならびに人間が行動(endeavor)する背景の複雑性は、最先端の技術に対して重大な課題を呈してきた。エッジ検出技術を用いて静止状態(すなわち背景)の情報を探し、その情報を除去するような、人間の背景から人間の姿形を識別する(discern)様々な技術に対し、多くの注目が集まっている。これらの様々な技術の成否に影響を与える要素は主に2つある。第1の要素は画像の解像度であり、これは、情報量を駆動し、従って、背景から前景を区別するために、付属のコンピュータシステムにとって利用可能な情報の詳細を駆動する。理想的には、解像度は高ければ高いほど良い。しかし、解像度が上がると、それに応じてカメラおよび付随するコンピュータシステムのコストも上昇する。さらに重要なことには、解像度が上がると、処理時間も顕著に増加し、その上、処理時間が増加すると、これらのシステムがリアルタイムで動作する能力の妨げとなる。
【0003】
以下は、いくつかの様式または他の様式で設計された、所定の領域の中から人間または標的の動きを認識する7つの機械的視覚システムに関する例である。
【0004】
1994年11月に、「Automated Camera−Based Tracking System for Sports Contests」という名称の米国特許第5,363,297号が、Larsonらに対して付与された。このシステムでは、複数のカメラを用いて、進行中のスポーツイベントの領域を継続的にモニタリングする。各カメラは、静止状態の背景から選手を抽出するための情報として自身の情報を付属コンピュータシステムへと供給し、これにより選手のシルエットを追跡する。発明者は、個々の選手が衝突するかまたは別の場合は互いに接触した状態になることで、個々の選手のシルエットが同化した場合の問題を予期していた。また、各選手がシステムの視野内に現れたときに、先ず各選手を識別することによりシステムを初期設定する必要も認識された。Larsonらは、これらの問題に対して2つの解決策を述べている。第1に、Larsonらは、モニタを追跡システムに取りつけて、人間に、初期認識だけではなく、その後、シルエットの同化によってシステムが選手を追跡できなくなった場合に再識別も全て行わせることを提案した。第2に、Larsonらは、個々の選手を識別および追跡するために、電子追跡デバイスを取り付けて、受信した信号の三角測量を用いることを提案した。Larsonの特許には少なくとも4つの大きな問題がある。第1に、リアルタイムで選手を抽出するために必要なデジタル処理量は、今日のコスト効率の良いコンピュータ技術をはるかに越えており、1994年時点ではなおさらである。第2に、この抽出を行うためには、多大な量の詳細情報(detail)が必要となり、そのため、より多くのカメラおよび関連コンピュータシステムが必要となることとなり、システムを構成するためのコストが増大する。また、このさらなる詳細情報によって、システムの応答性が必然的にさらに遅くなる。第3に、1人以上のオペレータによって選手を初期認識して次いで選手を再認識するような要件があると、要件が極めて限定的となり、コストも高くつく。このような要件は、人間のオペレータによる進行コスト等のシステムコストの方がわずかな収入(revenue streams)をはるかに越えるような、アマチュアの若者によるスポーツイベントをモニタリングする場合、この特許をコスト面において実質的に実施不可能なものとする。注目すべきは、このような場合のオペレータは、若者の1人の保護者である場合が多く、これらの保護者は、恐らくは全ての選手を知っているわけではないため、非常に多くの判断をリアルタイムで行うことに多大なストレスを感じることとなることである。このアプローチはまた、オペレータの訓練および再訓練も必要とし、これもまた大きな負担となる。第4に、選手をリアルタイムで追跡するために必要な種類の電子機器を高周波数で動作させる必要があり、これも、コストを上げ、従ってコスト面において欠点があることを意味する。第5の大きな問題は、システムにとって、選手の方向を判定することは困難であり得る点である。例えば、Larsonの発明では個々の選手の動く方向を検出することはできるが、その人物が前方を向いているのかそれとも後方を向いているのかは判定不可能であり、ましてやその人物の頭部が別の方向を向いていた場合はなおさら判定ができなくなる。
【0005】
1995年12月、「Object Tracking Apparatus」という名称の米国特許第5,473,369号がKeiko Abeに付与された。このシステムは、フレーム単位で標的を追尾する(follow)ために用いられる実際の画像処理技術に関する。発明者は、従来技術では、1つのフレームから次のフレームまで画像をブロック単位で比較し、1つのブロックは1つ以上のの画素からなる画像であると見なされていたと述べている。このようなシステムは、時間がかかりかつエラーの起き易い統計的計算に依存しており、視野内の標的のサイズか変わるかまたは標的が全く消えた場合は特に判定を誤り易いことが指摘されている。Abeは、同じ映像フレームを用いるが、先ずこれらのフレームを輝度および色のヒストグラムに分類し、次いでフレーム単位で比較することを提案している。Abeは、比較をブロック単位ではなくヒストグラムで行うことにより、このシステムの方がブロックマッチングシステムよりもより正確かつ効率的であると主張している。しかし、Abeの特許には少なくとも5つの大きな問題がある。第1に、この技術の効果および信頼性は、追跡対象となる視野内の初期/経時的採光条件に大きく左右される。例えば、初期フレームが良好な採光条件下で得られた場合、標的の輝度ヒストグラムは理想的なものとなるが、採光条件が最初から乏しいかまたはさらに悪い状況では(周囲光が突然変化(sudden burst)した場合のように)フレームによって採光条件が異なる場合、輝度ヒストグラムがかなりのエラーに晒される。第2に、色ヒストグラムに依存することも、同様に確実性に欠ける。これは、部分的には、やはりフレーム毎に採光条件が異なり得ると色検出が影響を受け易く、部分的には、色スキーム(schemes)がオーバーラップすると標的および背景がぼやける可能性があるためである。第3の問題は、Abeのシステムは、類似または同一の輝度/色情報を有し得、フレーム単位でオーバーラップする複数の標的を追跡する場合には有用でない点である。第4の問題は、Abeの明細書にも記載されているが、追跡対象の標的を含む映像画像の一部(Abeの明細書では領域指定フレームと呼ばれている)を選択することによりシステムを初期化する人間のオペレータが必要である点である。この要件は、互いに一時的にオーバーラップする視野において複数の標的が入出する場合にこれらの標的を追跡するを考えると、さらに限定的なものとなる。そして最後に、第5の問題が同明細書において言及されており、同明細書では、この第5の問題は、システムがカメラのパン、傾斜およびズームを自動制御する機会であると述べている。そうすると、システムは、「標的のいかなるサイズ変化も複写(copy)することができ、かつ目標の標的の写真を常時所望のサイズでとることができ、これによって装置と共に用いられ得る設備の面において実質的な向上を達成することができる」とAbeは述べている。したがって、同特許のこの方法/装置も、同特許が先んじようとするブロックによる方法と同様に、解像度に大きく依存していることが認識される。
【0006】
1997年4月、「System for and Method of Recognizing and Tracking Target Mark」という名称の米国特許第5,617,335号が、Hashimaらに付与された。この発明は、追跡を行うカメラおよび処理メカニズム(例えば、1つの2次元画像からのロボットアーム等)に対して、標的の3次元座標を決定する問題に対処している。Hashimaは、これらの座標を、追跡対象の標的上に配置されているターゲット印のアティチュードおよび位置として示している。Hashimaによる従来技術の考察において、Hashimaは、いくつかの既存の方法を挙げており、これらの方法の多くは、非常に多大な量の計算を必要とし、または、標的が複数である場合および背景画像にノイズがある場合に問題を有する。Hashimaは、黒円の内側にある白色の三角形を用いて追跡したい標的に印を付ける技術を開示している。これらの特殊な印を取り込んだ(capture)後、重心ならびにXおよびY方向の最大ヒストグラム値も判定し、その後、これらの印を、三角形の印の画像のXおよびY方向の射影(projected)ヒストグラムに急速変換する。次いで、これらの情報をまとめて、「重心位置と、最大ヒストグラム値と、X軸およびY軸の値と、上記ターゲット印の公知の幾何学的データとに基づいて、上記ターゲット印の三角形のアティチュードが、どの分類/プレセットアティチュードパターンに属するのかを判定する」ために用いる。Hashimaは効率および正確度が向上すると断言しているが、Hashimaの技術には、少なくとも3つの大きな制約がある。第1に、追跡対象の標的を非常に正確な様式で印付けしなければならず、しかも、この印を、追跡を行うカメラから常時見える状態にしておかなければならない。これらの印が追跡を行うカメラの視野から一時的にブロックされた場合に標的を追跡する方法については、なんの記載も開示されていない。第2に、1つの2次元画像から3次元情報を判定しようとすることにより、Hashimaは、パースペクティブ(perspective)カメラを追加することができない状況に解決策を絞っている。このようなカメラを追加すれば、3次元をもっと効率的かつ正確に判定する方法ができる。第3に、この発明は、「画像が多くの標的を含むときまたはノイズを多く有するときのいずれの場合にでも」良好に機能するシステムを教示している。しかし、これらの複数の標的のそれぞれを同じ画像内で追跡しなければならない場合、いかなる所与の時間においても、3次元内に散らばった複数の標的について、カメラと標的との間との間の好適な方向関係を同時に保持することは不可能であるため、Hashimaの発明は、最良の結果を出せない。
【0007】
1998年3月、「System and Method for Locating Objects Including an Inhibiting Feature」という名称の米国特許第5,731,785号が、Lemelsonらに付与された。この発明は、「携帯ハウジング中の標的によって搬送される、電子コード発生システムまたはデバイス」による標的の追跡を教示している。この「システムまたはデバイス」は、測位(locating)信号(例えば、GPSの衛星群(constellation)または地上ベースの三角測量設定からの測位信号等)を受信するように指定される。次いで、この「システムまたはデバイス」は、これらの信号を用いて自身の位置を判定する。Lemelsonは、リモート追跡システムのオペレータは、何らかの時点において、このような追跡デバイスを収容する多数の標的の中の1つの標的の正確な所在に興味を有し得ると予期している。標的の位置を判定するために、この追跡システムでは、先ず、1つの特定の標的内の1つの特定のデバイスについてコード化された、一意に定まる「照会信号」を送信する。次いで、個々の追跡デバイスは全てこの信号を受信するが、識別コードがこの「照会信号」にマッチングするデバイスのみが応答する。この応答は、現在位置を測定している追跡デバイスを含む伝送の形態である。次いで、追跡システムは、この信号を受信し、識別された/測位された標的に関する関連情報をコンピュータシステムモニタに表示する。Lemelsonらの発明は、主に、任意の適度な大きさのカメラ追跡システムの領域範囲から多くの標的が外れるほど大きな領域では、多くの標的の追跡に適用可能である。カメラネットワークに適切な範囲内の標的を追跡する装置および方法として、この発明は、少なくとも3つの大きな問題を有する。第1に、各標的が、自身の位置を常時モニタリングおよび追跡する能力を有することを必要とする。このような要件があると、GPSまたは他の追跡信号を受信し、かつ測位信号も送信するように設定されなければならない演算デバイスを用いる必要が出てくる。このようなデバイスは典型的には、標的上に配置して次いでカメラで追跡することのできる印または表示(indicia)よりも、スペースを多くとる。その上、このデバイスはパワーも必要とする。第2に、Lemelsonらの発明は、リモート追跡ステーションは、所与の時間における潜在的標的の1つまたは1つよりも小さな部分にのみ興味を有することを前提としている。しかし、追跡対象の標的が所定の領域内を移動する場合に、全標的の正確かつ連続的な移動経路を追尾することが望ましい状況が多く存在する。この発明が、全標的に対して「照会信号」を常時送信し、測位信号応答を常時受信することができることは考えられるが、このような量の情報は、システムの移動分解能(movement resolution)を受容不可能に限定することが予想される。第3に、このような電子的システムは、標的の移動経路に対する標的の方向を理解していない。そのため、追跡対象の車両または人物が移動する方向を判定することは可能であるが、同じ車両または人物が現在の移動方向に向いているかまたは現在の移動方向からそむいているかをシステムがどのように決定し得るのかという記載は無い。
【0008】
1998年6月、「System for Determining the Trajectory of an Object in a Sports Simulator」という名称の米国特許第5,768,151号が、Loweryらに付与された。この発明は、限定された視野に向けられた立体カメラを用いて、標的の予想される軌跡を追尾することを教示している。標的が視野を横切るにつれて、カメラは、標的が移動する際にぼやけるように、適度に低速な速度で画像を取り込む。次いで、このぼやけた経路を解析し、視野内における標的の軌跡ベクトルに変換する。Loweryらの装置の別の主要手段として、追跡を開始するタイミングを判定する能力がある。このような音声検出デバイスは、視野内の標的の存在を感知した後すぐに画像取込システムを起動するように規定されているため、Loweryらの発明には少なくとも4つの大きな制約があり、これらの制約は、その広範な適用可能性を妨げる。第1に、この発明は、非常に狭い範囲の標的の動きを想定しているため、有意に限定された視野を有する。この考え方を大きな領域に適用すると、複数のパースペクティブカメラを用いる必要が出てくる。また、このシステムは、標的が追跡領域内を移動しているのを検出した後に、起動すべきカメラを決定することも必要とする。しかし、(例えば、標的によって発せられる音声の三角測量による測量を試みるなどして)実際に標的位置をまず判定しなければ、このシステムは、どのカメラを起動すべきか判定する材料を持たない。従って、全カメラが画像を取り込まなければならず、これにより、標的の位置を判定するために、非常に大量のセットデータを作成し、そのデータを、追跡を行うコンピュータによって解析する必要が出てくる。第2の制約は、このシステムは、感知対象の各標的を一意的に識別しようとしない点である。そのため、このシステムは、個々の標的の軌跡ベクトルを判定する能力は有するが、各標的が通過する際に各標的の一意に定まる識別子を判定する方法の必要性を予想していないし、開示もしていない。第3の制約は、同じ視野内で複数の標的を同時に追跡する能力に関する。この発明は、一度に1つの標的のみを予想しているため、軌跡ベクトルを判定するだけで、標的は識別しない。そのため、2つ以上の標的が追跡領域中を移動し、互いの移動経路に影響を与えるような様式で衝突すると、この同化イベントが起こった後に、このシステムは、どの標的をどの経路で継続させるのかを判定する必要に迫られる。第4の制約は、標的と背景との間の色および/または輝度の差が不十分である場合、このシステムは背景から標的を取り出すことができない点に関する。
【0009】
上記で挙げた従来技術は全て、1つの様式または別の様式で、所定の領域において少なくとも1つの標的の移動経路を追跡しようとする。これらを組合わせて考え、解消しなければならない上記従来技術の制約をまとめると、以下のようになる。
【0010】
1−Larsonらの場合のように、追跡システムが画素単位の比較のみに基づいて標的を背景から区別しようとすると、映像画像は、正確となるよう高い解像度を持たなければならず、その結果、コンピュータ処理時間はリアルタイムの動作を妨げる。
【0011】
2−Abeの場合のように、追跡システムが、色情報および輝度情報を分けることに基づいて平均化技術を行うことにより、処理時間を削減しようとすると、特に複数の標的間で色が同化した場合および色の背景条件または採光条件が画像フレーム間で実質的に変動する場合に正確性が損なわれる。このような削減技術は、標的サイズが減少し、これにより背景情報に対する標的量が実質的に削減されると、さらに阻害を受け、これにより「ノイズ」が増加する。唯一の解決策は、追跡中の標的をズームインして、標的と背景情報との間の適切な比率を保持することであるが、そうすると、この追跡中の各標的に対して1つずつ専用カメラを設けなければならず、これにより、より多くの標的および/またはより大きな視野のいずれかを追跡するこれらの技術の効率性が大幅に低下する。
【0012】
3−Loweryらによる追跡システムのような追跡システムが、2つのパースペクティブカメラおよび画像ぼやかし技術(image blurring technique)を用いて3次元軌跡情報を取り込もうとすると、画像処理要件は減少するが、重要な映像画像の詳細が不正確(looses)となる。
【0013】
4−Hashimaらによる追跡システムのような追跡システムが、追跡対象の標的上に配置された詳細な表示を用いると、画像の処理量を削減するためには効果的であり得るが、Hashimaは、(彼が必須要件とするものの1つである)1つの2次元画像からの3次元情報の判定を行おうとすると、重大な問題に直面する。その結果、複数の高速移動する標的の表示が、時々視野からブロックされ、または少なくとも追跡を行うカメラの視野から顕著に移動する(at least be at significantly changing perspectives)場合、Hashimaの技術は、複数の高速移動する標的を広範な視野において追跡することを妨げる。
【0014】
5−映像/カメラのみを用いた技術(例えば、Larson、Abe、HashimaおよびLowery等の技術)は全て、経路が交差し、かつ/または衝突する複数の標的を追跡する場合、エラーを発生し易い。Larsonだけは、この種類の複数の標的の追跡について具体的に予想し、人間のオペレータを用いて標的のオーバーラップを解消することを提案している。このようなオペレータは、コスト負担を大きくし、複数の高速移動する標的をリアルタイムで追尾する能力も限られている。Larsonが提案するように、システムが標的の識別が失われたと判定した後に、受動型の電子機器を用いて標的を識別することを支援することは可能であるが、これらのデバイスのそれぞれの解像度/速度には、価格によって左右される応答制約がある。
【0015】
6−その上、LarsonおよびAbeの映像/カメラ解決策は両方とも、システムを初期化する際に人間オペレータが必要であることを想定している。Larsonは、オペレータがシステムについて各標的を識別することを要求する。次いで、これらの標的は、何らかの様式で別の標的と同化するまで自動的に追跡され、同化が発生すると、オペレータは、追跡システムの初期化を再度行わなければならない。Abeは、オペレータが初期画像をクロップして「領域指定フレーム」にすることを要求する。この「領域指定フレーム」は、処理要件を実質的に低減し、少なくとも、この標的も追跡しないかどうかを発見する。いかなるオペレータの介入も、コスト負担を増大させ、同時にリアルタイムの応答を限定する。
【0016】
7−Loweryの映像/カメラの解決策は、音声によって視野内の標的の存在を検出することに基づく自動追跡の起動を予想する。この技術は本来、識別音声を作成する標的に限定される。この技術はまた、所与の視野において複数の標的が類似のノイズを同時に作成する場合、追跡を行うことができない。
【0017】
8−追跡システムが、起動電子追跡デバイス(例えば、Lemelsonらによるデバイス等)を用いることによって画像処理要件を無くそうとする場合、標的は、測位信号および照会信号の両方を受信および処理することのできる、動力供給状態の(powered)デバイスを収容しなければならない。このようなデバイスは、埋めこまれているコンピューティングデバイスの実施可能度およびコストに基いて追跡可能な標的の範囲および種類を限定する。電子機器のみを用いた、Lemelsonのシステムのようなシステムの場合、画像データから利用可能な豊富な情報が失われる。その上、このようなシステムは、位置を追跡することはできるが、標的の方向を追跡すること(例えば、標的の移動方向は前方か後方かを判定すること等)はできない。
【0018】
9−Hashimaの表示技術を除いて、これらの解決策は全て、標的の方向情報を取り込むことができないでいる。このような情報は、標的の今後の移動経路を予想するために大変重要であり得る。
【0019】
10−これらの映像/カメラを用いた全ての解決策では、どんな技術を用いても、色情報および/または輝度情報が別の追跡対象標的または画像背景に密接に類似する高速移動する標的を取り出すことは困難である。映像を用いない解決策は全て、価値のある画像情報を諦めることになる。
【0020】
(発明の要旨)
上述してきたような、複数の標的を追跡する1つの特定の例を参照して本発明を説明するが、本明細書は、本発明の範囲を限定するものではなく、本発明の好適な実施形態の例示として解釈されるべきである。発明者は、本明細書中に開示されている装置および方法の多様な関連用途を想像するが、これらの用途のうちほんの一部について、本出願の明細書の結論として言及する。本発明の新規な局面を教示する目的のため、多標的追跡の実施例を、ホッケー等のスポーツイベントとする。ホッケーの特定の局面は、一連のイベントを追跡するのを困難にするため、本発明の従来技術に対して持つ利点を示す良い例であり、以下は、これらの利点を示す。
【0021】
1−本発明者が知る中で、人間が行う活動であって、標的としての人間が、高速で移動し、高速で方向および方向付けを変更し得る活動は、ホッケーをおいて他にない。滑走中、選手の速度は、25マイル/時間近くになり、この速度は、何らかの種類の車の助けなく未だ地上で行われている、歩行および走行を伴う任意の活動よりもずっと高速である。これらの高速の移動経路を追跡すると、特に人間の形態が変動し得る場合には、システムのリアルタイム性能局面において課題が出てくる。
【0022】
2−選手が競っている標的(すなわち、パック(puck))は、最大100マイル/時間の速度で移動し得、突然かつ急速に方向を転換する。これらの速度および方向転換の組み合わせは、追跡に対して困難な問題を呈し、運動競技に特有である。パックは、その形態を変化させず、しかも選手が移動する速度の約4倍で移動し、大きさが選手の100分の1であり、かつ3次元で移動することを鑑みると、パックを追跡する方が、選手を追跡するよりも容易である。
【0023】
3−個々の選手は、追跡視野を出入りし、追跡視野内に存在するため、リアルタイム性能を得るためには、追跡システムを用いて個々の選手を効率的かつ自動的に識別する必要がある。
【0024】
4−視野内にいる間、パックおよび選手は両方とも、他の選手の経路と同化した場合、通常、ビューから全体的または部分的に隠蔽され、これは、画像データが限られているかまたは画像データを持たないことが多い移動経路を追尾する際に問題となる。
【0025】
5−氷表面は高反射性の背景を生じ、これによりカメラのCCD要素の飽和に繋がり、領域そのものも、観客のカメラのフラッシュまたは屋内採光システムのいずれかからの光の突然変化に晒され得るため、採光条件の取り扱いが困難となっている。これは、輝度を用いた追跡に制約を課す。
【0026】
6−同じチームの選手の色は、同じであり、氷表面上の印および周囲のリンク坂塀(board)としばしばマッチングし得る。これは、色を用いた追跡技術に制約を課す。
【0027】
7−特定のレベルの霧がアリーナ内にあるときにホッケーゲームを行うことは珍しいことではない。これは、選手およびパックの視認性を著しく損ねるため、あらゆるカメラを用いたシステムに対して問題を呈する。
【0028】
8−ホッケーは、撮影されるイベントであるため、複数の標的の移動経路を追跡する機会だけではなく、常に変化しかつ突然変化する興味の中心を判定する機会も提供する。この中心を一旦決定できると、放送局のカメラを自動的に傾斜、パンおよびズームさせて、パースペクティブビューからのアクションをリアルタイムで追尾できるというさらなる利点が得られる。パースペクティブビュー用に配置されているカメラを自動的に方向付けることは、パースペクティブビューが要求するような3次元中の標的をリアルタイムで追尾することはかなり困難であるため、機械的視覚システムに対して困難な問題を呈する。
【0029】
9−試合中、各個々の選手およびコーチは、いつでも、自分自身、選手集団、選手のチーム全体および/または相手チームに関する情報を入手することを所望し得る。この情報はさらに、開始から現時点までの活動の継続時間の全体またはその一部に関し得る。このような要件は、多くのビューポイントから情報を容易に呼び出すことができるような様式で、情報を高速かつ効率的に格納することを追跡システムに要求する。
【0030】
10−埋設されている金属およびセメント製のブロックアリーナは、GPSの使用を妨げ、屋内の三角測量信号は反射する可能性が高いため、受動型電子追跡デバイスの使用を困難にする。選手自身およびゲームの性質ならびに選手が大きな衝撃で衝突する可能性のため、能動型電子デバイスを選手の器具内に取り付けることのできる可能性が限定される。これらのデバイスは、電源と共に用いなければならないため、実際は、選手になんらかの危害となり得るようなスペースをとる。その上、このようなデバイスは、ローカルリンクのレベルでは、文字通り何百人の子供が毎週試合を行い、これらの子供にそれぞれ自分専用のデバイスを持たせるかまたはデバイスを共有させる必要のあるため、コスト負担が大き過ぎる。
【0031】
11−選手の方向付けおよび身体に対する手足の位置は、追跡を行う際に非常に重要な情報である。選手は、前方を向きながら移動している最中に、頭部を横に向けて試合の展開を見ようとし得る。頭部を横に向けることは、選手が氷上で何かに気付いたことを示すため、コーチによる解析にとって重要な情報となる。その上、選手は、選手が前方ではなく後方に移動するように、同じ方向に進んでいる間、自身の方向付けをいつでも転換し得る。これも非常に重要な情報である。選手は頭部を氷にむかって傾斜し得、これは、長時間続く場合または繰返し行われる場合は望ましくない。これらの情報は全て、追跡を行う際に重要であるが、選手全体のみを単に追跡する際等に問題を呈する。
【0032】
12−追跡対象領域のサイズを限定することは、少数の選手と共に、個々の人間が一度に、氷の限定された一部分上で練習を行う練習時間の間は好適である。この条件のもとにおいて、システムの視野内のシステムの追跡領域を容易に限定することが好ましい。
【0033】
13−選手が変化し、衝突する回数および速度は大変多大であるため、人間による介入を用いて選手を識別および再識別することは、実際に可能であったとしても、有意にストレスを引き起こし、エラーを引き起こし易くなる(特にローカルリンクレベルではなおさらである)。
【0034】
カメラシステム、非可視エネルギー源およびフィルタ、デジタル画像処理ならびに自動化カメラ操作の分野の現状を鑑みれば、所定の領域内で動作し、視野内の各標的の一定の位置、方向付けおよび移動経路方向を追跡する、完全に自動化された多標的追跡システムを作成することは可能である。このようなシステムは、参加者の能力および観客の所与の活動を理解し、分析し、楽しむ能力を大幅に増加させる。
【0035】
したがって、本発明の目的および利点は、所定の領域内で複数の標的を追跡する、以下の能力を有するシステムを提供することである。
【0036】
1−複数の、高速移動する、様々な形態の標的(例えば、人間)を、オペレータの介入による支援無しにリアルタイムで追跡して、追跡期間中に標的を初期識別するかまたは条件的に再識別するシステムを提供すること。
【0037】
2−先ず最初に、標的に取り付けられている特殊な表示を個別追跡し、その後、その表示の位置を、方向、加速および速度のベクトルと共に用いて、標的の背景から標的を効率的に抽出することにより、画像データを処理するために必要な時間を削減すること。
【0038】
3−標的内の色の区別に頼らないシステムを提供すること。
【0039】
4−受動型または能動型の電子追跡デバイスに頼らないシステムを提供すること。
【0040】
5−標的について、標的の全体および標的の個々の部分の潜在的な方向付け情報を判定するシステムを提供すること。
【0041】
6−可視光に基づいた認識技術にとっては最適ではない場合がある、様々な採光条件および湿度条件下で良好に機能することのできるシステムを提供すること。
【0042】
7−追跡フィールドをシステム視野内で容易に圧縮(constricted)できるシステムを提供すること。
【0043】
8−時間および/または標的(単数または複数)の識別のいずれかによってアクセス可能な移動経路データベースをリアルタイムで作成および保持することが可能なシステムを提供すること。
【0044】
9−取り込んだデータの全体または一部を、氷アリーナ内において即座に、またはイベントが終わった後に、インターネット等の通信ネットワークを介して1つ以上のリモートコンピュータに出力することのできるシステムを提供すること。
【0045】
10−リモート通信(例えば、インターネット)を介した、リモートコンピュータシステムへの情報出力を用いて、イベント再生を操作し、重要な解析を行うことのできるシステムを提供すること。
【0046】
さらなる目的および利点としては、構築コストの効率が良いシステムを提供し、一定の範囲の温度条件下で動作可能な可動部分を最小限に抑えて取り付けおよび保持することである。本発明のさらに別の目的および利点は、図面および以下の説明から明らかである。
【0047】
(好適な実施例の詳細な説明)
図1を参照して、多標的追跡システム100の好適な実施形態の上面図が示されている。システム100は、オーバーヘッドx−yカメラアセンブリ20cのアレイを含み,このオーバーヘッドx−yカメラアセンブリ20cはそれぞれ、固定領域(例えば、20v)内の全標的の移動経路を追跡する。オーバーヘッドアセンブリ20cのアレイは、全部で、氷上競技場表面2、チームボックス2fおよび2g、ペナルティボックス2hならびに入場路2eの一部における移動経路を全て追跡する。アセンブリ20cは、撮影カメラ25、エネルギー源23、エネルギーフィルタ24fが取り付けられた追跡カメラ24をさらに含み、これらは全て、アセンブリケーシング21中に収容され、アセンブリプレキシグラス21aを通じて、下にある氷表面2への視野を得ている。エネルギー源23は、選択エネルギー23aを発し、この選択エネルギー23aは、表面2上に発散および降下され、表面2上を移動する標的(例えば、選手10およびパック3)から離隔する。選択エネルギー23aは、通常の雰囲気光の範囲外であるだけではなく霧等の湿度条件に影響を受けない周波数となるように特別に選択されている点に留意されたい。特別に配置されたオーバーヘッドアセンブリ20c1は、氷表面2の入場路2eを被覆するように示されている。このアセンブリ20c1は、20cと構造が同じであり、重要なものである。追跡対象の標的は全て、このカメラの視野を入出させる必要があるため、アセンブリ20c1については、具体的な参照を用いて後に説明する。また、氷2の両端に1対として配置されているパースペクティブz追跡カメラセット30も、氷表面2の選択部分上で移動経路を追跡する。最後に、パック3を現在操っている選手10によって表されるような、常時競技の中心部分の方向に向いている自動撮影カメラ40がある。自動撮影カメラ40は、映像処理および解析を行うローカルコンピュータシステム60と継続的に通信状態にあり、このシステム60から方向指示(directions)を受信する。また、システム60そのものも、オーバーヘッドx−y追跡カメラアセンブリ20cのアレイおよびパースペクティブz追跡カメラセット30と継続的な通信状態にある。ローカルシステム60は、さらに、オプションで、シーン28を表示する視聴モニタ27を取り付けている、取り込まれたイベント70を閲覧するためのリモートコンピュータシステムとも通信をとる。ローカルシステム60はまた、オプションで、チーム結果(output)ステーション80とも通信をとり、このチーム結果ステーション80は、イベントの開始から現時点までの追跡対象の標的の移動経路に関する情報を提供する。
【0048】
ここで図2aを参照して、典型的な選手のジャージ5および選手の肩パッド6が示されている。パッド6には、右肩チームパッチ7rおよび左肩選手パッチ7lが取り付けられている。パッチ7rは、方向付け印7r1を含み、この方向付け印7r1は、頭部から腕部およびチーム表示7r2にかけての部分からの方向を指す矢印であり、一意に定まるバーコードである。パッチ7lは方向付け印7l1を含み、この方向付け印7l1も、頭部から腕部および選手表示7l2にかけての部分の方向を指す矢印であり、一意に定まる番号である。パッチ7rおよび7l上の表示は、周波数選択型(selective)反射材料(好適にはインク)から作成される点に留意されたい。図2aを再度参照して、パッド6上に配置されるジャージ5が示されている。ジャージ5も、その下にある選手パッチ7lの全体像について省略されて図示されている点に留意されたい。
【0049】
図2aにはまた、透過性ジャージ5を通じて放射される様子が示されている反射エネルギー7mも図示されている。このような衣服をパースペクティブする技術は新しいものではなく、Sony Corporationによって実証されており、Sony Corporationは、ライセンスプレート上にシャツを配置し、2つの写真を、1つはフィルタ無しでもう1つは可視光フィルタを用いて撮影した。衣服は可視スペクトル中の光を強烈に反射するため、プレートは、画像をフィルタリングしないと見ることができない。しかし、赤外線パスフィルタを用いると、赤外線光のみを取り込んで、ライセンスプレート上の番号および文字が可視状態となる。本発明は、所望の画像のコントラスト(すなわち、信号/ノイズ比)を、Sonyが論じているフィルタリング技術よりも良好にさらに向上させる特殊な周波数選択型反射性材料の使用について教示する点に留意されたい。
【0050】
ここで図2bを参照して、典型的なホッケーパック3が図示されており、パック3の上部表面(実際は外側表面全て)には、パッチ7rおよび7lにおいて用いられる周波数選択型反射性材料に類似する反射性インク3aが塗布されている。インク3aは、例えばエネルギー源23によって発せられるエネルギーの特定の周波数に応答して、反射エネルギー3bを生じる。典型的なホッケースティック4も図示されており、スティック4の刃部は、同じ特殊反射性インクを含有するように製造された特殊反射性ホッケーテープ4aで被覆されている。反射性テープ4aは、例えばエネルギー源23が発するようなエネルギーの特定の周波数に応答して、反射エネルギー4bを生じる。
【0051】
ここで図2cを参照して、典型的なホッケー選手のヘルメット8の上面図および透視図の両方が示されており、反射性ステッカー9が、ヘルメット8の上部表面に添付され、同じ特殊反射性インクを含有するように製造されている。ステッカー9は、例えばエネルギー源23が発するようなエネルギーの特定の周波数に応答して、反射エネルギー9aを生じる。
【0052】
ここで図3aを参照して、オーバーヘッドx−y追跡カメラアセンブリ20aの第1の実施形態が示されている。この実施形態において、アセンブリ20aは、アセンブリケーシング21に収容されている追跡カメラ24(エネルギーフィルタ24fは無し)に限定され、アセンブリプレキシグラス21aを通じて、アセンブリ20aの下にある氷表面2への視野を得る。アセンブリ20aの下には、無印選手10、無印スティック4および無印パック3が図示されている。アセンブリ20aを、ローカルコンピュータシステム60(図示せず)と、リモートコンピュータ70(これも図示せず)およびゆえにシーン28を表示する視聴モニタ27とに取りつけるケーブル26も図示されている。
【0053】
ここで図3bを参照して、オーバーヘッドx−y追跡カメラアセンブリ20bの第2の実施形態が示されている。この実施形態において、アセンブリ20bは、エネルギー源23を含むように強化されており、このエネルギー源23は、氷表面を移動する標的(例えば、選手10、パック3およびスティック4)上に自身の選択エネルギー23aを放射し、降下させる。選手10のパッド6は、右肩チームパッチ7rおよび左肩選手パッチ7lを含むように強化されている点に留意されたい。これによってパック3は反射性インク3aを含み、スティック4は特殊な反射性ホッケーテープ4aで被覆されている点にも留意されたい。これにより、シーン28は、ずっと少量の解析/追跡対象情報セットを表示する。
【0054】
ここで図4aを参照して、オーバーヘッドx−y追跡カメラアセンブリ20cの第3の好適な実施形態が示されている。この実施形態において、アセンブリ20cは、撮影カメラ25を含むように強化されており、この撮影カメラ25は、アセンブリ20c下の氷表面上の全移動経路の未フィルタリング画像を取り込む。図4bは、追跡対象の標的の映像画像を効率的に抽出するための、本発明の新規なプロセスの主要要素を示し、この新規なプロセスでは、先ず最初に、添付されている表示の場所を特定し、この表示からの多方向において画像の各画素と既知の背景2rとを比較して処理を行う。背景画素に到達したことが判定された後、限定された経路が完成するまで、画像追跡経路10pが標的を取り囲み続ける。この限定された経路10pの周囲において、追跡対象の標的を含む映像画像部分を短時間で抽出するために、最小境界矩形10rを計算する。図4cも参照して、好適なアセンブリ20cを用いた、氷表面2上の選手10の動きの処理が示されている。選手10が、計算対象のショット三角形2c内のゴール2bに向かってショットする経路に沿って、パック3を操りながら4つの移動経路ポイント10a1、10a2、10a3および10a4を通過する様子が示されている。ポイント2aは、氷表面2の中心を示し、ポイント2aからの第1の移動経路角度10a1oおよび移動経路半径10a1rを計算して、ポイント10a1に対する選手10の第1の移動経路を表す。ポイント10a1に対するパック3の初期移動経路を示す、移動経路角度31oおよび移動経路半径31rも計算する。中心ポイント2aの周囲には、最大境界円10bが示されており、最大境界円10b内において、分かっている標的の最新位置(この場合はポイント2a)およびこの標的の方向、加速および速度のベクトルに関する最新計算結果に基づいて、標的の次の存在位置を計算する。そして最後に、視野の最大部分を範囲とする最大初期設定サーチ矩形10eが、入場路2eから氷表面2のみまでにかけて配置されているオーバーヘッドアセンブリ20c1によって追跡されている様子が示されている。
【0055】
ここで図5を参照して、オーバーヘッド取り付けフレーム50が示されており、このオーバーヘッド取り付けフレーム50は、リンクガーダー2dの構造が異なっても、変更してガーダー2dに取り付け可能である。フレーム50にはまた、オーバーヘッドx−y追跡カメラアセンブリ(例えば、23c)のアレイがさらに取りつけられ、このオーバーヘッドx−y追跡カメラアセンブリは、自身の下にある氷表面2上に選択エネルギー23aを発散して降下させる。アセンブリ23cは、映像処理/解析60を行うローカルコンピュータシステムに接続される。
【0056】
ここで図6を参照して、氷表面2が示されており、この氷表面2の追跡領域は、反射性インク11aを塗布した、4つの典型的円錐11を配置することにより、限定されている。例えばエネルギー源23が発するエネルギーの特定の周波数に応答して、インク11aは、反射エネルギー11bを生じる。限定領域2t内に1人の選手10が示されており、選手10が領域2t内に留まっている間、選手10の現在の動きを追跡する。領域2tの外部には、複数の選手(例えば、10i)が示されており、これらの選手の移動経路は追跡しない。ショット時計91および携帯型追跡操作デバイス90も図示されており、これらの機器はどちらとも、ローカルコンピュータシステム60と随時通信できる状態にある。
【0057】
ここで図7を参照して、チーム結果ステーション80の詳細が示されており、このチーム結果ステーション80は、図示のチームボックス2f(図示する)および2gおよびペナルティボックス2hに取り付けられる。
【0058】
ここで図8を参照して、システム全体のブロック図が示されている。オーバーヘッドx−y追跡カメラアセンブリ30cについて、さらなるオプションのrfモデム25mが示されており、このモデム25mは、ワイヤ26(図示せず)の代わりに用いて、撮影カメラ25とローカルコンピュータシステム60との間をリンクさせることができる。また、さらなるオプションのRFモデム24mも示されており、このモデム24mは、ワイヤ26(図示せず)の代わりに用いて、追跡カメラ24とローカルコンピュータシステム60との間をリンクさせることができる。パースペクティブz追跡カメラセット30についても、同等の追加が示されている。ローカルシステム60をその構成ブロック毎に分類すると、先ず、追跡カメラ(単数または複数)ユニット61の映像取込から始まり、このユニット61は、オーバーヘッドアセンブリ30cまたはパースペクティブセット30内に取りつけられた全追跡カメラ(単数または複数)24からの入力を受け取る。その後、取込ユニット61は、自身のデータストリームを表示/標的追跡解析ユニット62に供給する。時間的に並行する動作において、撮影カメラ(単数または複数)ユニット63の映像取込が示されており、このユニット63は、オーバーヘッドアセンブリ30cまたはパースペクティブセット30内に取り付けられている全撮影カメラ25(単数または複数)からの入力を受け取る。その後、取込ユニット63は、自身のデータストリームを標的/シーン抽出解析ユニット64に供給する。また、ユニット64は、同時に、表示/標的追跡解析ユニット62からの入力も受け取る。抽出解析ユニット64および追跡解析ユニット62はどちらとも、同時に自身のデータストリームを複数のオーバーラップ画像の構成物に提供して、ビューフレームユニット65の全体をそれぞれ作成する。ユニット65も、携帯型追跡操作デバイス90から条件的入力を受け取り、自身のデータストリームを、競技の中心/ビュー選択解析ユニット66と、追跡フレームおよび映像フレームを標的番号およびフレーム番号/時間シーケンス別に格納するユニット67との両方に提供する。次いで、ビュー選択解析ユニット66は、従来のワイヤまたはオプションのRFモデム45mを通じて、リアルタイム指令を自動撮影カメラ40に提供する。その後、このような指令は、コンピュータ指令イベント撮影カメラ45に入力される。その後、撮影カメラ45は、従来のワイヤまたはオプションのRFモデムを介して、自身のデータストリームを格納/追跡ユニット67に返送する。その結果、ユニット67は、自身のデータストリームを、クロスリンクされているデータベースユニット68中に格納されている、標的移動経路の定量化および解析に提供する。ユニット68は、オプションとして、携帯型追跡操作デバイス90と、チーム結果ステーション80と、取り込んだイベント70を閲覧するためのリモートコンピュータシステムとの双方向通信を行う。デバイス90とのオプションリンクは、Rf接続部(図示せず)を介して為され、リモートシステム70とのリンクは、リモート通信デバイス69および79を介して為される。ローカルシステム60からリモートシステム70へと提供された情報は、リモートアクセスを介して、追跡フレームおよび撮影フレームの格納データベースならびに標的移動経路の定量化/解析ユニット7lを通過して、エンドユーザへと提供される。
【0059】
(動作)
最初に図1および5を参照して、システム100を氷アリーナ(例えば、2)に適切に取り付けた後に、好適な実施形態の通常の動作を開始する。取り付け時に重要な局面の1つとしては、オーバーヘッドx−y追跡カメラアセンブリ30cのアレイをアリーナ2の屋根部に取り付けることが重要である。取付けフレーム50は、リンクガーダー2dに様々な様式で取り付けられるように設計されており、これにより、取り付けられたオーバーヘッドアセンブリ30cのアレイは、アレイ下の氷表面2にわたってオーバーラップ視野を形成する。各アセンブリ30cは、表面2に対して垂直位置を保持することが好ましい。事前選択された深さの視野を有する固定したレンズまたは電子的に操作可能なズーミング可能レンズのいずれかを用いて、オーバーラップフィールドを適切に確立することが予想される。このオーバーラップは、あらゆる追跡対象標的が所定の領域内を移動する際に、各カメラが追跡対象標的を追尾できることを確実にするために重要である。システム100の初期取付けおよび設定の一部として、各撮影カメラ25および追跡カメラ24の視野の限界を規定するために、キャリブレーション手順を行う。視野の限界が分かった後、本システムは、重複処理を最小限にするために、自身のサーチ対象を非オーバーラップ領域に限定する。アセンブリ30cは全て、ケーブル(例えば、26)またはオプションのRFモデム(例えば、25mおよび24m)のいずれかを介して、ローカルシステム60と通信を行う。
【0060】
ここで図2a、2bおよび2cを参照して、この好適な実施形態は、追跡対象標的を、特別に選択した周波数選択型反射性材料(例えば、インク)で印付けする様々な方法を提供する。続いて、このインクを用いて、反射性インク3aとしてパック3内に付着させ、反射性テープ4aを作成し、パッチ7rおよび7lの印に付着させ、ヘルメット8の反射性ステッカー9を製造する。また、このインクは、図6に示すような反射性インク11aを用いた円錐11を作成するためにも用いられる。このインクは、エネルギー23aをエネルギー源23による出力として反射するように明確に選択されている点に留意することは、本発明の新規性にとって重要である。この反射を3b、4b、7m、9aおよび11bとして示し、この反射は、エネルギーフィルタ24fを通じて追跡カメラ24によって受け取られる。特別にマッチングさせたエネルギーフィルタ24fを各カメラ24上で用いることにより、全標的の動きを追尾するためにするために必要な情報の処理量が最小限となり、これにより、標的位置を判定する速度を大幅に高速化する。
【0061】
このポイントの新規性についてさらに説明する。図3a、3bおよび4aは、この追跡インクを追加することにより得られる効果を分かり易く示したものである。図3aは、従来の雰囲気光を取り込むためのカメラシステムを示し、同システムの対応する視野を、モニタ27上のシーン28として示す。このビュー中には、標的(例えば、選手10)および背景(例えば、氷表面2)等の、処理が必要な情報がかなり多い点に留意されたい。上述したような反射性材料を3a、4a、7r、7lおよび9の形態で追加することにより、図3bは、シーン28においてずっと少量の情報を示す。また、このことは、エネルギー源23が選択エネルギー23aとして発する狭帯域の周波数を通過させるように特別に選択されたエネルギーフィルタ24fを追跡カメラ24に取り付けることにより、さらなるコンピュータ処理を要することなくリアルタイムで達成される。エネルギー23aは、所定の領域(例えば、氷表面2)を通じて放散され、3b、4b、7mおよび9aとして反射される。方向付け印7r1および7l1、チーム表示7r2、選手表示7l2ならびに反射性ステッカー9は、表示/標的追跡解析ユニット62にとって容易に識別可能な特殊な印を含むように作成される。これらの印の大きさは、オーバーヘッドアセンブリ30c内の追跡カメラ24のターゲット解像度にマッチングさせられる。従って、視野に対して解像度が低いほど、認識を容易にするために、印を大きくする必要がある。この好適な実施形態はまた、非フィルタリグ撮影カメラ25も含み、この非フィルタリグ撮影カメラ25は、図4aに示すように、全ての周囲光の周波数を取り込む。しかし、後述するように、追跡解析により提供される情報の、関連する標的情報を全て抽出するためには、このデータのほんの一部のみを通過させなければならない。
【0062】
システム100を動作させる前に、パースペクティブz追跡カメラセット30を取り付けることも必要である。1つのセットを氷表面2の各端部に取り付けて、これにより、各ゴール2bのすぐ周囲を取り囲む領域のビュー内に1つのセットが常時存在するようにする。これらのセット30をこのような配置にしたのは、パック3がゴール2bに向かうとき、表面2から離れて、Z方向に移動する移動経路を予想してのことである。アセンブリ30cは、そのオーバーヘッド特性のため、いずれのZ次元の標的移動経路も取り出すことができず、これは、全標的を追跡するために必要な処理量を低減するため、受容可能であり、望ましくさえある点に留意されたい。しかし、ゴール2bの最近隣にある限定領域(すなわち、三角領域2cによって規定される領域)の場合、パック3の移動経路のZ要素を追跡することは、非常に有用であり得る。セット30およびセット30が収集する情報は、本発明者が本発明に関して新規性があると考える主要な局面を可能にするためには不要である点に留意することは重要である。具体的には、以下の特殊に印付けされた標的の移動経路を実施し、この情報を通常の映像画像に適用すれば、標的情報を敏速に抽出できる。
【0063】
オプションであるが本発明にとって新規である別なこととして、氷表面アリーナ2内の任意の位置に自動撮影カメラ40を配置することがある。従来のカメラオペレータは、競技の中心を直観で判定し、放送用のイベント(例えば、ホッケー)の撮影を操作し、自身の撮影カメラのパン、ズーム、および傾斜を自分で方向付けて、限定されたシーンを取り込んでいた。現在は、システム100は、氷表面2上の標的の移動経路に関する全情報を有するため、ローカルコンピュータシステム60は、競技の中心/ビュー選択解析ユニット66を介して、自動撮影カメラ40のパン、ズームおよび傾斜を自動的に方向付けることが企図される。
【0064】
オーバーヘッドx−y追跡カメラアセンブリ30c、パースペクティブz追跡カメラセット30および自動撮影カメラ40を全て正確に取り付けて較正し、全追跡対象標的を印(例えば、3a、4a、7r、7lおよび9)で適切に強化した後、システム100は、動作可能な状態となる。以下の説明では、X−YおよびZ次元内の所定の視野全体にわたるイベントが行われる間、1人の選手10、1つのスティック4および1つのパック3の移動経路をフレーム単位で追跡する方法について説明する。この説明の後、本発明者は、スティック4を持つ他の選手10を同時に追跡する方法と、標的のオーバーラップ、標的のサイズの変化、標的のビューからの消失、周囲光の突然変化および別の場合の霧等による可視性の低下等による問題の処理方法とについて教示する。
【0065】
ここで図1、2、4a、4b、および8を参照して、システムがオンにされ、最初の選手10が入場路2eを進み、オーバーヘッドアセンブリ30cのアレイの視野に入ってきた後、システム100は、複数の標的の追跡を開始する。入場路2eにおいて、選手10は最初に1つのフレーム内に現れ、このフレームは、追跡用映像取込カメラ(単数または複数)ユニット61によって取り込まれる。ユニット61は、アセンブリ20c内の各追跡カメラから1秒あたり全部で40以上のフレーム(40 +fps)を取り込み、各フレームを表示/標的追跡解析ユニット62に供給する。
【0066】
現在の技術の現状を鑑みれば、ユニット61内に必要となるような1つのカメラ制御盤は、最大8個のカメラの制御が可能である点に留意されたい。実際に取り込みが必要な1秒当たりのフレーム数は、所望の移動経路解像度によって決まる。例えば、本発明者の実施例における最高速の標的は、時々最大100mphで移動するパック3である。1秒あたり40個のフレームにおいて、1マイルは5280フィートであり、1時間は60*60=3600秒であり、パック3の1秒あたりの最大移動距離は、:(100マイル/時間*5280フィート/マイル)/(3,600秒/時間)=146.7フィートとなる。速度が40フレーム/秒のとき、フレーム間の最大移動距離は3.7フィートとなる。滑走中の選手(例えば、10)の最大速度は約25mphまたはパック速度の4分の1である点に留意されたい。40フレーム/秒のとき、選手10が移動する最大距離は約0.925フィートである。20フレーム/秒のとき、パック3の移動は最大速度で8フィート以下であり、選手10の移動距離は約2フィートに限定される。選手10およびパック3はどちらとも最大速度で移動することは滅多に発生しないことを考えると、移動経路の解像度は実際はかなり高いものとなる。パック3が最高速度で到達する領域(すなわちゴール2bの周囲)が予想される点にも留意されたい。オーバーヘッドカメラアセンブリ20cおよびパースペクティブカメラセット30は両方とも、これらの特定のゾーンにおける移動経路解像度を向上させるように、高いフレーム取込速度で動作可能である。いかなる場合においても、本発明は、フレーム速度と1つのコンピュータおよび映像取込カードに取り付けられる追跡カメラ24の数とをトレードオフすることにより、演算能力のコストと移動経路解像度とをトレードオフする能力を有する。複数のコンピュータを用いてデータの収集および解析を行うことは、本発明にとって新規ではなく、また限定ともならない点が認識されるべきである。
【0067】
解析ユニット62は、オーバーヘッドアセンブリ20c1の追跡カメラ24から各フレームを受け取ると、各画素のグレースケールと閾値とを比較し、閾値を超える画素は、任意の形態の特殊な印(例えば、3a、4a、7r、7lおよび9)があることを示す。各選手10は、アセンブリ20c1によって常時見られている入場路2eからの氷表面2を出入りしなければならず、また、フレーム間の最大移動経路は、予想最大速度およびフレーム取込速度に基づいて計算可能であるため、新規選手(例えば、10)の存在を最初に検出するために、完全にサーチすることが必要な画素の最小数を計算することが可能である。図4cにおいて、この最小画素数を10eとして示し、これらの最小画素数10eは、アセンブリ20c1の視野外側エッジ部分に並行に沿って、氷表面2の主要部分に向かう複数の列(row)の内部に走る画素からなる。この矩形領域の深さは、ここでも、フレーム取込間に選手10が移動すると予測される最大距離に依存する。バスケットボールまたはサッカー等の他のスポーツイベントにおいても、通常は、各チームが主要アリーナに移動してアクセスするために通り抜けなければならないトンネルがある点に留意されたい。システムの視野を適切に延長して任意のこのようなトンネルにまで延長すると、この最小サーチ技術を用いて、最初に、任意の新規の追跡対象となる選手を検出する。説明するように、これが一旦検出されると、フレーム間の選手の移動経路範囲が限定されるため、追跡を継続するための処理要件が有意に低減する。
【0068】
ここで図4cをさらに参照して、パッド6上のパッチ7rまたは7lであれ、あるいはヘルメット8上の反射性ステッカー9であれ、あるいはパック3上の反射性インク3aであれ、あるいはスティック刃部4周囲を被覆する反射性ホッケーテープ4aであれ、印付けされた標的を検出した後、検出した標的を個別に追跡する。各印の最初に検出した移動経路を、氷表面2の中心ポイント2aに対する極座標として表す。従って、各標的の最初の移動経路は、0°からの角度(angle off)および規定された角度に沿った中心ポイント2aからの距離として表される。これらの計算は、標的追跡解析ユニット62によって頻繁に行われる。ユニット62は、所与の標的を検出した後、最新の既知座標、最新の既知の方向ベクトル、加速ベクトルおよび速度ベクトルならびにフレーム間の最大移動距離の計算値に基づいて、自身の視野においてその標的を継続的に探す。最新の既知座標は、可能な最大移動距離と組み合わさると、図4c中に10bとして示すような、標的の次の位置を発見するためにサーチしなければならない移動経路候補の最大境界円を規定するように機能する。この境界円内における平均サーチ時間を短縮するために、ユニット62は、最新の既知の速度を既知のフレーム速度で除算した(divided)値に等しい距離から得た今までの移動経路に基づいて、先ず最初に最新の既知の移動方向を探す。境界円内のこの最新の最有望ポイントから、ユニット62は、境界円全体が解析されるまで、このポイントを全方向に発展させることによりサーチを継続する。印が発見されず、かつ、入場路2eを範囲に含む視野エッジ部に境界を有する最小画素矩形を標的が完全に通過したことがわかった場合、次のフレーム上において標的をサーチする。この場合、新規の最大境界円の半径は、前回のサーチ結果のものよりも2倍大きい。
【0069】
マークが付けられた標的が検出され、そしてシステム100から見えなくなると、追跡分析ユニット62はまず、標的/場面抽出分析ユニット64と通信して、周囲光に基づく追加情報があれば標的の場所が明らかになるかどうかを判定する。この技術を検討する前に、まず、マークが付けられた標的が一旦検出されると、その種類および場所が、追跡ユニット63から抽出ユニット64に送られることに注目されたい。抽出ユニット64は次いで、同じオーバヘッドアセンブリ20c内に収納される撮影カメラ25によりとらえられた、対応するフィルタ処理されていないビデオフレームを分析する。オーバヘッドアセンブリ20cの追跡カメラ24は現在、場所が特定された標的を見ている。例えばパッチ7rまたは反射性ステッカー9などの、標的の種類を知ることにより、例えばパッド6またはヘルメット8などの実際の標的の最大予想サイズを、抽出ユニット64に示す。この最大サイズが、反射性の印の現在の場所とともに与えられると、ユニット64は、図4bに示されるように、付けられた印の場所を起点とし、そしてその印から外側に向かって、画像の各画素を予め分かっているバックグラウンド2rと比較する。バックグラウンド画素に到達したと判定されると、画像トレース経路10pは、閉路が完成するまで、標的の周りで継続する。ビデオ画像のうちの、追跡標的を含む部分を迅速に抽出するために、この閉路10pの周りで、最小境界矩形10rが計算される。印が見つかった標的の種類(例えば、パッド6またはヘルメット8またはプレーヤ10)に関連する標的の予想最大サイズを知ることにより、このプロセスは、標的の端を見つけるために、最大境界円に限定されてもよい。なお、閉路10pにより規定されたこの標的は、パッチ7r、7lおよびステッカー9などの2つ以上の印を含み得、また、含む場合が多い。次いで、10rで規定されるようなこの抽出表面と、その表面内の各反射性標的の追跡された場所とは、多数の重複画像を複合して個々の完全なビューフレームにするユニット65に送られる。次いで、ユニット65は、3b、4b、7mおよび9aなどのすべての検出された反射性標的と、視野全体にわたって検出された、それらの反射性標的に対応する抽出された標的画素とをカタログ化して、1つの完全な組にする。実際には、抽出された画素は、画素座標のリストではなく、10rで示されるような最小境界矩形として表される。この最小境界矩形内において、すべてのバックグラウンド画素は、後の検査中に前景標的とはっきり区別するために、抽出ユニット64によりヌル値に設定されている。重心およびその中心点に対する極座標もまた、抽出ユニット64により計算され、そして複合ユニット65に送られる。そして最後に、ユニット64は、各標的に関連付けられる開始エッジポイントを決定する。この開始エッジポイントは、標的の最小境界矩形内から標的の輪郭を迅速にトレースして最終抽出を行うために、後のルーチンにより使用され得る。3b、4b、7mおよび9aなどの反射性表面と、パッド6またはヘルメット8またはプレーヤ10などの、これらの反射性表面が取り付けられた標的とをつなぎ合わせることも、複合ユニット65の担当である。これは、別個の撮影カメラ25または追跡カメラ24によりとらえられたフレームを重ね合わせることであり得る。
【0070】
複合ユニット65が、すべての既知の反射性マークおよびそれらに対応する標的についての重心に対する極座標の既知の組を作成し、かつ、最小境界矩形および開始エッジポイントを規定すると、このデータの組全体が、標的およびフレーム番号/時間シーケンスユニット67によりインデックスが付けられた追跡およびビデオフレームの記憶ユニットに送られる。オーバヘッドアセンブリ20cおよびパースペクティブセット30のアレイにより作成された、視野全体のフレームの組全体が、捕捉ユニット61により連続的に入力されると、それらは、追跡ユニット62に送られる。追跡ユニット62は、新しい標的の各々が視野20c1に入り最終的に同じアセンブリ20c1を介して出ていくときに、この標的を追う。発明者らは、インクが付けられた表面またはそれに対応する標的の最初の出現を識別した後は、追跡ユニット62が同じ極座標法を用いてその後の重心を表すことを可能にすることが、より効率的であり得ると予期している。ただしこのとき、中心点は氷の中心2aではなく、インクが付けられた同じ表面またはそれに対応する標的の以前の重心である。この変化する基準中心の方法は、図4cにおいて、シーケンス10a1〜10a4で示される。
【0071】
記憶ユニット67は、インクが付けられた表面およびそれに対応する標的の情報の上記連続フローを取り込み、そして、後の分析のために幾つかのデータベースを作成する。まず、個々の表面および標的の各々について、それが視野に入るポイントから、その後いつか出ていくまでの、独自の動きがカタログ化される。なお、視野は、チームボックス2fおよび2gと、ペナルティボックス2hとをカバーするように広げられる。従って、システム100にとっては、これらの表面および標的が活性である氷表面2上ではなく、現在のイベントにおいては活性でないこれらの領域において、これらの表面および標的を追跡することと全く変わらない。記憶ユニット67はまた、グループ情報の作成および格納も担当する。例えば、ユニット67は、以下の関連性を見つけることを予想している。
【0072】
1.プレーヤ10が、関連する右側パッチ7rおよび左側パッチ7lを有していることは常に真である。
【0073】
2.プレーヤ10が、ステッカー9を貼った関連するヘルメット8、およびテープ4aを貼ったスティック4も有していることは、ほとんどの場合真である。
【0074】
3.プレーヤ10が、その直接の制御半円内にパック3を有していることは真である場合もある。この半円は、プレーヤ10の現在の場所、方向、移動速度、および向きにより規定され、図4cにおいて10sとして示される。
【0075】
4.プレーヤ10が、追加のパッチ、ヘルメット、またはスティックを有しているように見え得ることは真である場合もある。この場合、多数のプレーヤが衝突する可能性がある。
【0076】
検出された関連性は、どんなものであっても、プレーヤグループデータベースの作成に使用される。なお、記憶ユニット67は、プレーヤから離れたスティックまたはヘルメットと、プレーヤとを区別する。従って、プレーヤから離れたスティックまたはヘルメットは、プレーヤグループの別のインスタンスを作らない。従って、固有プレーヤグループの総数まで、フレームごとに数えられる。この総数は、以下のことがない限り、同じままでなければならない。
【0077】
1.新しいプレーヤが視野に入る。
【0078】
2.既存のプレーヤが視野から出ていく。
【0079】
3.プレーヤの姿が一時的に結合するような、1人以上のプレーヤ同士の衝突がある。
【0080】
2つ以上のプレーヤグループを一緒にして、視野内のどこかで1つのグループを作る場合、最終的にはプレーヤ同士が離れることが予期される。このとき、そのグループに入った既知の各プレーヤにグループの動きを割り当てたシステムは次に個々のプレーヤを追跡し始め、そして、グループ総数カウント値は、衝突前のカウント値に戻されている。
【0081】
記憶ユニット67は、その様々なデータベースを連続的に更新すると、この同じ情報は、クロスリンクされたデータベースユニット68に格納された標的の動きの定量化および分析ユニットにリアルタイムで利用可能になる。定量化および分析ユニット68は、追跡データベースに対して実行可能なタスクの可変の組を有する。このタスクの組は、リアルタイム、または、イベント後のいずれかとして可能にされ得る。いずれの場合でも、これらのタスクの幾つかは、以下に示される通りである。
【0082】
1.個々のプレーヤグループのデータを、予め分かっている潜在的プレーヤのリストと相関する。これは、チームの印7r2およびプレーヤの印7l2を、予め分かっている値データベースと比較することにより達成される。
【0083】
2.抽出された標的内でのインクが付けられた表面の場所と、インクが付けられた表面およびそれらに関連する標的の既知の最後の方向、速度、向きとの組み合わせに基づいて、プレーヤの向きを決定する。
したがって、ユニット68は、プレーヤがフォワードに対して後方に滑走していること、または、プレーヤの頭および肩が回転し始めていることを識別することができ、従って、その次の捕捉フレームで、プレーヤの進行方向も同様になると予想される。反射性ステッカー9が、関連ヘルメット8(および従ってプレーヤの頭)が下を向いているのかまたはまっすぐ前を向いているかを判定する際にユニット68も助けるように特に設計されていることにもさらに注目されたい。これは、ヘルメット8の向きによってカウント値が変わる、ステッカー9の交互の白黒の正方形により容易にされる。
【0084】
3.氷表面から出入りした時間(シフトとして既知である)、シフトの所要時間、平均速度、ディフェンスゾーン、ニュートラルゾーンまたはオフェンスゾーンで費やしたシフトのパーセンテージ、パック制御のパーセンテージ、シュート回数、転倒回数、スチール回数、パス回数、などのプレーヤ統計値を更新する。
【0085】
4.シフト回数、平均シフト所要時間、ディフェンスゾーン、ニュートラルゾーン、オフェンスゾーンでのプレーのパーセンテージ、パック制御のパーセンテージ、シュート回数、転倒回数、スチール回数、パス回数、などのチーム統計値を更新する。
【0086】
リアルタイム追跡が予め可能にされたこの情報のいずれかまたは全ては今、問い合わせと、チーム出力ステーション80上の表示とに利用可能である。イベントが終了すると、または、イベント活動の予定された中断の間、定量化および分析ユニット68は、リアルタイムが予め可能にされなかった追加情報を得るために、格納されたデータベースの処理を継続し得る。その他のイベントは、スポーツのものであるかどうかにかかわらず、また、人間の標的を含んでいるかどうかに関係なく、固有に望ましい定量化および分析の要求の独自の組を有する。
【0087】
イベントと、ユニット68によるイベント分析のすべてとが終了した後であればいつでも、選択された個人が、ローカルコンピュータシステム60により追跡および分析された情報について遠隔から問い合わせをすることが望ましい場合がある。図8において69および79として示される従来のリモート通信装置の使用により、70として示される、捕捉されたイベントを見るためのリモートコンピュータシステムは、イベントデータベースにアクセスするために使用され得る。本発明者らは、追跡したい標的に取り付けられている、専用のインクが付けられた表面をまず追跡し、次いでそれらの標的の動きの最小境界領域を抽出する開示された技術が、少なくとも以下の理由で新規であると考えている。
【0088】
1.上記技術は、最小限の時間で動作し、かつ、選択された狭いエネルギー帯を用いて、周囲バックグラウンド反射に関係なく、標的の識別、向き、進行方向および最小速度を少なくとももたらすわずかな情報を照明して捕捉することにより、最低限のコンピュータ処理を必要とする。
【0089】
2.上記技術は、狭いエネルギー帯から迅速に判定された情報を用いて、典型的には周囲光で見られるエネルギー帯全体から、情報のより大きな組を効率的に抽出する。
【0090】
3.上記技術は、予め分かっている氷表面バックグラウンド上に、捕捉されかつ抽出された標的の動きのすべてを再びオーバレイすることにより、イベント終了後に、イベントの1つ以上の部分またはすべてを再構成するために使用され得る、結果として得られる動きのデータベースを作成する。
【0091】
この最後に示した点は特に有益である。なぜなら、実際に、この点により、他の技術では禁止されるであろう量のイベントビデオ情報が、後に通常のシステムを介してインターネットなどのシステム接続に転送され得る動き情報の最小の組として、セーブされることが可能になるからである。従って、イベントに関与する数人が、このデータを各自のリモートシステム70に別個にかつ容易にダウンロードして、独自に選択的に再生および分析することができる。最小境界ボックス内のすべての標的画素ではなく重心だけを送信すればよい場合も想定される。なぜなら、アーケードスタイルのイベントの再生では、プレーヤの身体、ヘルメットおよびスティック、ならびにパックのグラフィックスは、ローカルシステムにより容易に生成され得るからである。
【0092】
システム100の別の新規な局面が、図6に示される。具体的には、反射性インク11aを有する円錐体11などの、予め指定された、マークが付けられた標的の使用により、システム100の追跡範囲を、2tなどの、システム100の視野の幾らかのサブ部分に限定することが可能である。実際に、氷上のコーチなどのオペレータは、追跡制御装置90への専用エントリコード入力を用いて、システム100の、この低減追跡モードを開始する。装置90は、この制御シーケンスを、従来のRFを介してローカルコンピュータシステム60に送信する。この情報は次いで、多数の重複画像を複合するユニット65に提供される。ユニット65は次いで、氷表面2上で、2つ以上の予め指定された標的、例えば、円錐体11を探索する。これらの2つ以上の円錐体11は、ひとまとめにして考えると、2tなどの1つ以上の幾何学的領域を規定する。この領域内では、すべての追跡が可能にされ、領域外では、すべての追跡が不能にされる。円錐体が曖昧な態様で配置されている場合、ユニット65は、検出された現在の円錐体11を考慮して、すべての可能なレイアウトを送信して表示させる。制御装置90のオペレータは、これらのレイアウトから適切なレイアウトを選択する。例えば、コーチは単に、氷表面を2つの部分に分けるレッドラインの両側に1つずつ、2つの円錐体11を氷2上に配置し得る。このとき、ユニット65は、氷の一方側または他方側のいずれかをカバーする2つの可能なレイアウトを表示する。
【0093】
システム100の追跡範囲を制限した後は、その他すべての機能は、以前に説明したものと同じである。さらに、定量化および分析ユニット68は、氷上コーチのリアルタイムの問い合わせに応答して、すべての捕捉情報をポータブル追跡制御装置90に出力することができる。装置90により、ユニット68がゴールへの成功シュートの速度をシュートクロック91に出力することが可能にされてもよい。
【0094】
従って、マルチプルオブジェクト追跡システムが、以下の新規な装置および方法を提供することが分かる。
【0095】
1−オペレータの介入による助けなしに、人間などの多数の高速移動する様々な形状の標的をリアルタイムで追跡し、追跡期間中に標的を最初に識別するかまたは条件付きで識別し直し、
2−まず、標的に付けられている専用の印を別個に追跡することにより、画像データ処理に必要とされる時間を低減し、その後、標的をそのバックグラウンドから効率的に抽出するために、印の場所が、方向、加速度および速度のベクトルとともに使用され得、
3−標的内の色区別とは独立して、認識タスクを実行し、
4−受動または能動電子追跡装置とは独立して、認識タスクを実行し、
5−標的全体、および潜在的には標的の個々の部分、の向き情報を決定し、
6−可視光に基づく認識技術にとって最適ではない場合がある様々な照明および空気湿度条件下で実行し、
7−視野内で追跡範囲を容易に構成し、
8−時間および/または標的(単数または複数)の識別によりアクセス可能な動きデータベースをリアルタイムで作成しかつ維持し、
9−捕捉データのすべてまたは幾らかを、氷上競技場内で即座にまたはイベント後に、インターネットなどの通信ネットワークを介して1つ以上のリモートコンピュータに出力し、そして、
10−制御されたイベントの再生および批評分析に使用され得る情報を、インターネットを介してリモートコンピュータシステムに提供する、装置および方法。
【0096】
上記説明は多くの具体例を含んでいるが、これらの具体例は、本発明の範囲に対する限定としてではなく、本発明の好適な実施形態の例示として解釈されるべきである。システム機能の多くの局面は、その他の局面が無くても、それ自体で有益である。例えば、別個の撮影カメラは、コスト節約および/または速度向上のために削除されてもよい。それでも、このシステムは、追跡される標的に取り付けられた、インクが付けられた表面を追跡することにより、有意かつ新規な利益を提供する。追跡されるイベントの真上に取り付けられる追跡カメラのアレイは、無くてもよい。この構成が不都合であることが分かれば、インク表面を見える状態に維持する可能性が最も高い重複視野をカメラ同士が作り出し得るように、カメラを配置するだけでよい。例えば、映画製作のセットでは、このシステムは、アクションが展開するときに場面の1つ以上の局面を自動的に追うために使用され得る。従って、役者が、パッチに専用インクを付けた大きなマークを衣服の下に隠して着用すれば、この追跡システムは、役者の動きを追い、選択された製作カメラのパン、傾斜、およびズームを自動的に指示し得る。
【0097】
必須ではないが有益である、システムの局面の別の例は、捕捉されたイベントを見るためのリモートコンピュータシステムへのリンクである。発明者らは、リモートダウンロードに特に有益な情報を格納する点でこのシステムが独自であると考えているが、リモートシステムは、システムが新規性および有用性を有するために必要であるわけではない。
【0098】
マルチプルオブジェクト追跡システムの上記説明から、マルチプルオブジェクト追跡システムが、アイスホッケーの試合中のホッケー選手およびパックの動きを追跡する適用可能性を超える適用可能性を有していることは明らかである。例えば、この同じシステムは、オーバヘッドアセンブリを保持するフレーム自体が、プレー領域の上に保持されるようにポストまたはポールに取り付けられれば、屋外ローラーホッケーリンクの上で構成されてもよい。このシステムはまた、アイスホッケーと非常に類似した態様でバスケットボールを追跡するために使用されてもよい。なぜなら、これらの試合は、たいてい屋内競技場で行われるからである。フットボールおよび野球などのその他のスポーツでも、同様のアプローチが使用され得る。ただし、この場合オーバヘッドアセンブリがないため、これは、パースペクティブ追跡カメラで視野が十分にカバーされる場合に限る。システムはまた、大きな会議場または講堂で、セキュリティ関係の場所、補助スタッフの参加者の流れを追跡するために使用されてもよい。これは、同じオーバヘッド追跡カメラを用いることにより達成され得るが、撮影カメラはおそらく不要である。各種類の追跡される人には、専用パッチを身に付けることが要求される。この専用パッチは、イベント主催者により決められる統計学的に関連のある基準に基づいてコード化されてもよい。パッチを付けた個人が移動して異なるブースを訪れると、選択した各ブースで費やした時間を含む彼らの選択は、自動的に追跡され得る。そのようなシステムはまた、大きな列が選択領域の周りにできているとして検出された場合に、群衆を流れさせる助けになり得る。なお、この適用例では、追跡されるすべての人のすべての動きを追うことはあまり重要ではなく、全体として、すべての類似した個人の動きの大部分が決定され、それらの動きから有用な決定および戦略が得られ得ることが決定的に重要である。
【0099】
本発明のマルチプルオブジェクト追跡システムの上記の詳細な説明から、本発明が多くの利点を有していることが明らかである。これらの利点の幾つかは、上で説明されており、それ以外は、本発明に固有のものである。また、本発明の教示から逸脱することなく、マルチプルオブジェクト追跡システムに改変がなされてもよいことも明らかである。従って、本発明の範囲は、前掲の特許請求の範囲によってのみ制限されるものである。
【図面の簡単な説明】
【図1】
図1は、本発明の好適な実施形態の上面図であり、オーバーヘッドX−Y追跡カメラのアレイを示す。これらのオーバーヘッドX−Y追跡カメラは、一緒に用いられると、氷ホッケーアリーナ内の滑走領域およびベンチ領域を包含する視野を形成する。また、各ゴールの後ろにあるパースペクティブZ追跡カメラセット、自動パン、傾斜およびズームを行うパースペクティブ撮影カメラならびに1つの代表的選手およびパックも図示されている。
【図2a】
図2aは、一連の3つの透視図であり、典型的な選手のジャージと、追跡パッチを適所に設けたパッドと、パッド上のジャージをパッチと組合わせた様子とを示している。
【図2b】
図2bは、一連の2つの透視図であり、ホッケーパックおよび典型的な選手のホッケースティックを示し、これらはそれぞれ、少なくとも自身の外側表面の一部上に追跡インクを含むように強化されている。
【図2c】
図2cは、典型的なホッケー選手のヘルメットを示す、一連の2つの透視図であり、このヘルメットは、少なくとも自身の外側表面の一部上に追跡ステッカーを含むように強化されている。
【図3a】
図3aは、典型的なホッケー選手のパッド、ヘルメット、スティックおよびパックの透視図であり、これらの器具は、オーバーヘッドX−Y撮影カメラから取り込まれ、ビュー画面上に表示される。
【図3b】
図3bは、追跡インクをホッケースティックおよびパックに追加し、追跡パッチをパッドに追加し、追跡ステッカーをヘルメットに追加している点以外は図3aに類似する、透視図である。加えて、追跡エネルギー源および周波数マッチングフィルタをオーバーヘッドX−Y撮影カメラに追加して、追跡カメラとしている。
【図4a】
図4aは、さらなる非フィルタリング撮影カメラをオーバーヘッドX−Y追跡カメラに追加して、これにより、両方の情報セットを効率的に組み合わせている点以外は図3bに類似する、透視図である。
【図4b】
図4bは、追跡対象標的の映像画像を効率的に抽出するための、本発明の新規なプロセスの主要要素の上面図であり、このプロセスは、先ず最初に添付されている表示の位置を特定し、次いで、この表示からの多方向において画像の各画素を既知の背景と比較処理し、これによって追跡対象標的の輪郭を効果的に得る。
【図4c】
図4cは、氷アリーナの一部の上面図であり、図4aに示すオーバーヘッドX−Y撮影および追跡カメラによって追跡および探知される、典型的なホッケー選手、スティックおよびパックの一連の動きを示す。
【図5】
図5は、オーバーヘッドX−Y撮影および追跡カメラを有する取り付け可能なカメラアレイフレームを、典型的な氷アリーナの屋根に取り付けた様子を示す透視図である。
【図6】
図6は、氷アリーナの上面図であり、追跡インクを付けた領域限定円錐を、視野全体の一部のみが追跡されるように、オーバーヘッドX−Y追跡カメラに対して示すように配置する。典型的な選手も示されており、1人の選手は追跡ゾーンにおり、他の多くの選手は追跡ゾーンの外部にいる。携帯型デバイスも示されており、この携帯型デバイスは、氷上でコーチ担当者が機能を操作し、本発明により生成される情報を照会し得る。
【図7】
図7は、ホッケー選手ベンチの前面図であり、これは、キーパッドを備える一連の表示デバイスを装備し、ホッケー試合の最中に典型的なホッケー選手が本発明により生成される情報を照会するために用いられ得る。
【図8】
図8は、提案されている本発明の全追跡およびコンピュータ要素を示すブロック図である。