処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020105697 - モーションキャプチャ・カメラシステム及びキャリブレーション方法

Document

明 細 書

発明の名称 モーションキャプチャ・カメラシステム及びキャリブレーション方法

技術分野

0001  

背景技術

0002   0003   0004   0005   0006   0007   0008  

先行技術文献

特許文献

0009  

非特許文献

0010  

発明の開示

発明が解決しようとする課題

0011  

課題を解決するための手段

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025  

発明の効果

0026  

図面の簡単な説明

0027  

発明を実施するための形態

0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

明 細 書

発明の名称 : モーションキャプチャ・カメラシステム及びキャリブレーション方法

技術分野

[0001]
本発明は、モーションキャプチャ用のカメラシステムに関するものである。

背景技術

[0002]
モーションキャプチャ技術は、様々な運動計測に広く利用されている。しかしながら、チームスポーツにおいて、試合中の各選手の運動をキャプチャして動作解析を行うようなことは行われていない。例えば、サッカー、ラグビー、野球、バレーボール、ハンドボール等のスポーツの試合の動画を取得して、取得した動画に基づいて各選手の動作解析を行うことは行われていない。
[0003]
チームスポーツにおいて、試合中の各選手の運動をキャプチャして動作解析を行うためには、(a)モーションキャプチャが選手のパフォーマンスを低下させないこと、(b)モーションキャプチャがサポーティングオペレーション(テレビ放映、チームスタッフ、観客等)の妨げとならないこと、(c)大記憶容量、(d)距離が離れたハイスピードカメラ間の同期、(e)大量のデータをリアルタイムで受信する能力、(f)長時間稼働できる性能を備えた安定的なシステム、(g)正確な3次元再構成のためのカメラキャリブレーション、等の条件をクリアする必要がある。
[0004]
従来の典型的なモーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。これらのモーションキャプチャは、反射マーカや慣性センサを対象の身体に装着するための計測準備に時間を要するという欠点があり、さらに、該マーカや該センサが対象の円滑な動きの妨げになり得ることから試合中の各選手の動作取得に用いることができない。また、これらのモーションキャプチャは計測空間も限定的である。赤外線光源を用いた光学式モーションキャプチャでは、外光の影響を受けないカメラで囲まれた空間で計測を行う必要があり、センサデータを無線で受信する場合には、無線信号が届く限られた空間で計測する必要があった。
[0005]
最近では、いわゆるマーカレスモーションキャプチャ技術が登場している。例えば、ビデオモーションキャプチャ技術(非特許文献1)は、複数台のRGBカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。
[0006]
複数のカメラを用いたモーションキャプチャにおいては、複数のカメラ画像を3次元再構成するためのカメラパラメータを取得する必要がある。カメラパラメータには、レンズの歪みなどの光学的パラメータ、焦点距離や光学的中心等の内部パラメータ、カメラが設置された空間におけるカメラの位置・姿勢を表す外部パラメータがある。従来のカメラキャリブレーションは、これら全てのパラメータのキャリブレーションを、既知の形状や寸法のキャリブレーション器具(チェッカーボードやキャリブレーションワンド等)を1台または複数台のカメラで撮影することで行っている。
[0007]
しかしながら、スポーツフィールドのような広い空間では、動作計測のための3次元再構成を行うためには、対象から遠く離れたカメラの高精度なキャリブレーションが必要となり、従来のモーションキャプチャシステムとは異なるシステム構成や比較的近距離でのカメラキャリブレーションとは異なるキャリブレーション法が必要となる。カメラパラメータのうち、レンズ歪みを含む光学パラメータ及び焦点距離などの内部パラメータのキャリブレーションは、カメラとレンズが確定すれば事前にキャリブレーションを行うことができるが、カメラの空間における位置姿勢に関する外部パラメータのキャリブレーションは、カメラが設置された現場で行う必要がある。
[0008]
スポーツフィールドや屋外における人やロボットの計測は、計測領域が大空間となるという特徴がある。従来のように、キャリブレーション器具(チェッカーボードやキャリブレーションワンド等)を用いてキャリブレーションを行うことは原理的に可能であるが、キャリブレーションの精度は撮像素子画の画素数に依存するため、撮影対象までの距離が数十メートルとなると、キャリブレーション精度が低下し、モーションキャプチャにおける三次元再構成には適しない。従来に比べて大型のキャリブレーション器具(例えば、大型のチェッカーボードや大型のキャリブレーションワンド等)を用意し、これを使用することも考えられるが、カメラの撮影範囲が水平方向及び高さ方向において広範囲に及ぶ場合には、このような広範囲をカバーするように大型のキャリブレーション器具を異なる位置及び姿勢で移動させることは現実的でない。

先行技術文献

特許文献

[0009]
特許文献1 : 米国特許第8625086号
特許文献2 : WO2005/059473
特許文献3 : 特許第3965781号

非特許文献

[0010]
非特許文献1 : T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.
非特許文献2 : ハイブリッドビデオセオドライトシステムの人体の歩行解析への応用 穴井 哲治、近津 博文 写真測量とリモートセンシング40巻(2001)2号

発明の開示

発明が解決しようとする課題

[0011]
 本発明は、モーションキャプチャの撮像空間が大空間であっても簡便かつ高精度にカメラのキャリブレーションを行うことを目的とするものである。

課題を解決するための手段

[0012]
 本発明に係るモーションキャプチャ・カメラシステムは、
 1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 各カメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
 測角機能を備えた1つあるいは複数の測量機と、
 を備え、
 前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
 前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記1つあるいは複数の測量機を用いて取得される。
 1つの態様では、前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている。
 測角機能を備えた測量機としては、セオドライト、トータルステーションを例示することができる。
 測角機能及び測距機能を備えた測量機としては、トータルステーションを例示することができる。
[0013]
 1つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機である。
 1つの態様では、1つのカメラマウンタがトータルステーションから構成され、残りのカメラマウンタがセオドライトから構成される。
 カメラマウンタを構成する測量機は整準されている。
[0014]
 1つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカ(特徴点)を備えている。
 1つの態様では、全てのカメラマウンタが、マーカを備えたカメラマウンタである。
 1つの態様では、前記カメラマウンタは、3つ以上のマーカ(例えば、4つの測量マーカ)を備えた平面を有している。
[0015]
 1つの態様では、前記キャリブレーション手段は、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報(3次元位置情報)と、各カメラ画像での各特徴点の位置情報(2次元位置情報)と、を用いるものであり、
 前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
 1つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点(角部を含む)や交差部や、ゴールポスト上の点(ポストとクロスバーの交差部やポストの下端)を特徴点として利用することができる。
 1つの態様では、前記特徴点の3次元位置情報及び2次元位置情報は、外部パラメータを取得する際の最適化計算に用いられる。
[0016]
 1つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢(例えば、カメラマウントに対するカメラの位置・姿勢が既知の場合)を用いる。
 1つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
 1つの態様では、前記カメラマウンタは前記測量機から構成されており、
 前記カメラマウンタ座標系における前記カメラの位置及び姿勢の取得において、前記測量機が用いられる。
 1つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。
[0017]
 1つの態様では、前記キャリブレーション手段は、最適化計算によって前記外部パラメータを取得する。
 1つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の前記3次元位置情報及び前記2次元位置情報が用いられる。
 1つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。
[0018]
 1つの態様において、前記カメラパラメータは、光学パラメータ、内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ、前記光学パラメータ、内部パラメータの一部あるいは全部を取得する。
 光学パラメータ及び内部パラメータは、従来手法(キャリブレーション器具を用いる)によって取得してもよい。
 例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
 外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。
[0019]
 本発明は、1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 を備えたモーションキャプチャ・カメラシステムにおいて、前記複数のカメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
 前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
 測角機能を備えた1つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
 グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
 を含む。
[0020]
 1つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機であり、複数の計測点(特徴点)の測量データを用いてグローバル座標系における各カメラマウンタの位置及び姿勢を取得する。
 1つの態様では、前記複数の計測点は、各測量機から測量可能な2つの特徴点A、B(間隔が既知、例えば、垂直の測量用ポール上の点Aと点B)と、各カメラマウンタ上の特徴点(例えば、振り子錘の下端)と、を含む。
 測量機で前記2つの特徴点A、Bを測量することで、各カメラマウンタ座標系の原点から点A、点Bまでのベクトルを取得することができる。例えば、該ベクトルの水平角と同じ水平角の水平軸をz軸、垂直軸をx軸とする。
 各測量機で他のカメラマウンタ上の特徴点を測量することで、各マウンタ座標系間の角度を取得することができる。
 グローバル座標系のz軸とx軸を、1つのマウンタの座標系のz軸とx軸に一致させ、点Aと点B間の距離と上記設定情報を用いることで、三角法によって、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。
[0021]
 1つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカ(特徴点)を備えており、複数のマーカの測量データを用いてグローバル座標系におけるカメラマウンタの位置及び姿勢を取得する。
 1つの態様では、前記カメラマウンタは、3つ以上のマーカ(例えば、4つの測量マーカ)を備えた平面を有している。
 1つの態様では、3つ以上のマーカ間の距離が既知であり、かつ、これらのマーカが垂直面上に設けてあり、測量機(例えば、測角機能及び測距機能を備える)で3つのマーカを測量し、測量機の中心を原点としてグローバル座標系を設定することで、測量情報と三角法を用いることで、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。
[0022]
 1つの態様では、前記外部パラメータの取得において、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、が用いられ、
 前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
 1つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点(角部を含む)や交差部や、ゴールポスト上の点(ポストとクロスバーの交差部やポストの下端)を特徴点として利用することができる。
 1つの態様では、前記特徴点の3次元位置情報及び2次元位置情報は最適化計算に用いられる。
[0023]
 1つの態様では、前記外部パラメータの取得において、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる。
 1つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
 1つの態様では、前記カメラマウンタは前記測量機から構成されており、
 前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される。
 1つの態様では、前記測量機を用いてカメラマウンタ座標系の位置が既知な複数の特徴点を設定し(図15参照)、
 各カメラ画像における各特徴点の位置情報を取得し、
 前記特徴点のカメラマウンタ座標系の位置情報とカメラ画像における位置情報を用いて、前記カメラマウンタ座標系における前記カメラの位置及び姿勢を取得する。
 1つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。
[0024]
 1つの態様では、最適化計算によって前記外部パラメータを取得する。
 1つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の3次元位置情報及び2次元位置情報が用いられる。
 1つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。
 1つの態様では、各カメラは同期されており、各カメラで異なる位置・姿勢にあるキャリブレーション器具を撮影し、キャリブレーショ器具上の複数の特徴点の各カメラ画像での位置情報が用いられる。
[0025]
 1つの態様において、前記カメラパラメータは、光学パラメータ、内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ、前記光学パラメータ、内部パラメータの一部あるいは全部を取得する。
 光学パラメータ及び内部パラメータは、従来手法(キャリブレーション器具を用いる)によって取得してもよい。
 例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
 外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。

発明の効果

[0026]
 本発明は、カメラのキャリブレーションにおいて、測量機で計測した高精度の測量データを用いることで、モーションキャプチャの撮像空間が大空間であっても簡便かつ高精度にカメラのキャリブレーションを行うことができる。
 したがって、屋内外スポーツフィールド、屋内外コート、アリーナ、ドーム、体育館等で行われるスポーツの試合を撮影することで、試合中の各選手の運動を3次元再構成してモーションキャプチャを行い、動作解析を行うことができる。

図面の簡単な説明

[0027]
[図1] 本実施形態に係るモーションキャプチャ・カメラシステムをサッカーコートを撮影するように配置した態様を示す概念図である。
[図2] 本実施形態に係るモーションキャプチャ・カメラシステムをバレーボールコートを撮影するように配置した態様を示す概念図である。
[図3] 本実施形態に係るカメラネットワークの概略図である。
[図4] 本実施形態に係るカメラマウンタの一例を示す図であり、カメラマウンタとしてのセオドライトと、セオドライト上に搭載された3つのカメラを示している。
[図5] 本実施形態に係るカメラマウンタの一例を示す図であり、カメラマウンタとしてのフラットプレートと、フラットプレートの四隅に設けた4つのマーカ、フラットプレートの幅方向中央部位下端に搭載した1つのカメラを示している。
[図6] 本実施形態に係る測量機として例示するトータルステーションを示す図である。
[図7] バレーボールコートの周囲に配置した複数個のカメラ及びそれらのFOV、及び、ケーブルの配線を示す図である。
[図8] バレーボールコート上の空間でのターゲットボールの軌道を示し、バンドル調整のためのカメラ画像データの取得に用いられる。
[図9] バレーボールコート上の18個の特徴点を示す図である。
[図10] 測量されたコート上の特徴点及びカメラマウンタの位置を示す図である。
[図11] カメラ座標系とOpenCV上の画像面との関係を示す図である。
[図12] セオドライトを用いた三角測量を示す図である。
[図13] セオドライトを用いた三角側量を示す図である。
[図14] トータルステーションを用いた、マーカ付きカメラマウンタの位置・姿勢を測量を説明する図である。
[図15] 相対外部パラメータのキャリブレーションを説明する図である。
[図16] モーションキャプチャシステムの全体図である。
[図17] モーションキャプチャを用いた動作分析の工程を示すフローチャートである。

発明を実施するための形態

[0028]
[A]モーションキャプチャ・カメラシステム
[A-1]全体構成
本実施形態に係るモーションキャプチャ・カメラシステムは、スポーツフィールドやアリーナ等の大空間で行われるチームスポーツを複数のカメラで撮影するものであり、各カメラで取得された撮影画像を用いて各選手のモーションキャプチャを行うものである。本実施形態で用いるモーションキャプチャは、ビデオモーションキャプチャ技術(非特許文献1)であり、その具体的な内容は後述する。
[0029]
モーションキャプチャ・カメラシステムは、1つあるいは複数のカメラからなる複数のカメラユニットと、各カメラユニットが搭載される複数のカメラマウンタと、を備える。例えば、図1は、サッカーの試合を撮影するモーションキャプチャ・カメラシステムの概念図であり、4台のカメラを備えた4台のカメラユニットがサッカーコートを囲むように配置される。各カメラから対象である選手までの距離は数十メートルとなる。
[0030]
図1に示すモーションキャプチャ・カメラシステムは、4つのカメラユニットCU 1、CU 2、CU 3、CU 4を備え、カメラユニットCU 1は4つのカメラC 11、C 12、C 13、C 14、カメラユニットCU 2は4つのカメラC 21、C 22、C 23、C 24、カメラユニットCU 3は4つのカメラC 31、C 32、C 33、C 34、カメラユニットCU 4は4つのカメラC 41、C 42、C 43、C 44を備えている。カメラユニットCU 1はカメラマウンタCM 1に搭載されており、カメラユニットCU 2はカメラマウンタCM 2に搭載されており、カメラユニットCU 3はカメラマウンタCM 3に搭載されており、カメラユニットCU 4はカメラマウンタCM 4に搭載されている。図1では便宜上、4つのカメラユニットを示したが、実際には、より多くのカメラユニットが配置され得ることになるであろう。なお、1台のカメラユニットに搭載されるカメラの数は限定されない。
[0031]
図2は、バレーボールの試合を撮影するモーションキャプチャ・カメラシステムの概念図であり、1台のカメラを備えた4台のカメラユニットがバレーボールコートを囲むように配置される。図2に示すように、モーションキャプチャ・カメラシステムは、4つのカメラユニットCU 1、CU 2、CU 3、CU 4を備え、カメラユニットCU 1は1つのカメラC 11、カメラユニットCU 2は1つのカメラC 21、カメラユニットCU 3は1つのカメラC 31、カメラユニットCU4は1つのカメラC 41を備えている。カメラユニットCU 1はカメラマウンタCM 1に搭載されており、カメラユニットCU 2はカメラマウンタCM 2に搭載されており、カメラユニットCU 3はカメラマウンタCM 3に搭載されており、カメラユニットCU 4はカメラマウンタCM 4に搭載されている。なお、1台のカメラユニットに搭載されるカメラの数は限定されない。
[0032]
後述する実験例では、図7に示すように、1台のカメラを備えた10台カメラユニットがバレーボールコートを囲むように配置される。バレーボールコートの寸法は18m×9mの長方形であり、その周囲に幅3mのフリーゾーンが設けてある。各カメラは、少なくも、フリーゾーンを含む領域で高さ3mの空間を撮影できるように配置される。各カメラは、所定位置に整準した三脚に搭載したり、手すりに固定することで配置される。各カメラは位置・姿勢を固定した状態で事前にキャリブレーションが行われ、撮影中は位置・姿勢が維持される。
[0033]
図7で示したモーションキャプチャ・カメラシステムのカメラネットワークを図3に示す。カメラネットワークは12台のカメラが接続可能であるが、実施例では10台のカメラが用いている点に留意されたい。本実施形態に係るカメラネットワークは複数台のカメラと、送信ボックスと、カメラハブと、1台あるいは複数台のコンピュータと、電源と、同期信号を生成する波形発生器と、を備えている。各カメラは送信ボックスと電気的に接続されており、送信ボックスとカメラハブは、hybrid copper/fiber cableで電気的に接続されており、カメラハブとコンピュータは電気的に接続されている。各カメラは同期している。
[0034]
各カメラは、120Hzで解像度1920x1200の画像を取得する。各カメラはUSB3.0インターフェースを備えており、画像信号の伝送には、USB3 to Fiber Optic Extenderが用いられる。送信ボックスには、USB3 to Fiber Optic ExtenderのTransmitterが設けられ、カメラハブには、USB3 to Fiber Optic ExtenderのReceiverが設けてあり、画像信号は、USB3 to Fiber Optic Extenderを介してコンピュータに送信される。コンピュータは、データ受信部、処理部、記憶部を備えており、データ受信部で受信された画像データは、処理部で適宜データ圧縮されて、記憶部に格納される。
[0035]
各カメラは、カメラマウンタに搭載されており、カメラマウンタに対して各カメラの位置・姿勢が固定されている。キャリブレーションによって、カメラの内部パラメータ、外部パラメータ、歪み係数が得られており、これらのカメラパラメータはコンピュータの記憶部に格納される。カメラパラメータは、各カメラ画像を用いた対象の運動の3次元再構成に用いられる。
[0036]
本実施形態に係るモーションキャプチャ・カメラシステムは、さらに、キャリブレーション手段と、測角機能を備えた1つあるいは複数の測量機と、を備えている。キャリブレーション手段は、コンピュータ(入力部、演算部、記憶部、出力部等を備える)から構成される。キャリブレーション手段は、各カメラ画像を3次元再構成するためのカメラパラメータを取得する。本実施形態に係るキャリブレーションは、キャリブレーションの計算において、測量機の測量データを用いる点に特徴を備えている。より具体的には、該キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、1つあるいは複数の測量機を用いて取得される。1つの態様では、モーションキャプチャ時には、カメラの位置・姿勢は固定され、測量機は用いない。典型的には、キャリブレーション手段は、最適化計算によってカメラパラメータを取得するものであり、キャリブレーション手段は、最適化計算を実行する最適化計算部を含んでいる。
[0037]
屋外の広い空間における高精度な測量技術として、セオドライトやトータルステーションが知られている。セオドライトは代表的な測角機能を備えた角度測量機であり、水平回動・上下回動可能な可動部(望遠鏡を備える)を備え、水平角・高度角を高精度で計測することができる。トータルステーションは、測角機能を備えたセオドライトに測距機能(レーザ計測)が備わった機器である。後述する実験で用いたトータルステーションは、パン角度(水平角度)及びチルト角度(垂直角度)の精度は、20 secondsであり、レーザレンジファインダの精度は、28.8mにおいて±1mmである。
[0038]
本発明は、大空間における計測に用いるモーションキャプチャ・カメラシステムにおいて、測量機、具体的には、セオドライトやトータルステーション、及び、必要に応じて、これらの計測に用いられる測量器具(反射プリズムや反射マーカ等)、を含むカメラシステムを構成することで、大空間でも簡便かつ高精度にカメラパラメータのキャリブレーションを行うことを可能とする。
[0039]
[A-2]カメラマウンタが測量機から構成される場合
カメラマウンタの第1の実施形態では、1つあるいは複数のカメラからなる各カメラユニットのカメラマウンタは、セオドライトやトータルステーションの測量機から構成される。図1に示す態様では、カメラマウンタCM 1、CM 2、CM 3、CM 4は測量機から構成されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。具体的には、1台あるいは複数のカメラを搭載したカメラ台を、セオドライトやトータルステーションに固定して設置する。セオドライトやトータルステーションは、例えば、整準した三脚に整準して搭載されており、その上にカメラユニットが搭載される(図4参照)。
[0040]
カメラマウンタを測量機から構成することで、測量技術を用いて、カメラマウンタのグローバル座標系における姿勢・位置を取得することができる。各カメラユニット、カメラ台と、カメラ台に搭載された複数個のカメラから構成され、カメラ台が測量機に搭載される。例えば、4台のカメラが、各カメラの光軸が同一平面内に位置し、全てのカメラの光軸が一点で交差するように等角度で放射状に配置される。別の例では、各カメラは正多角錘の側面に配置され、全てのカメラの光軸が正多角錐の軸上の一点で交差する。各カメラユニットのカメラの台数や配置態様は限定されない。複数のカメラマウンタを測量機から構成する場合には、1つの態様では、全てのカメラマウンタが測量機から構成される。他の態様では、複数のカメラマウンタの一部が測量機から構成される。2つ以上のカメラマウンタが測量機から構成される場合に、少なくとも1つのカメラマウンタがトータルステーションから構成されてもよい。
[0041]
ここで、カメラを備えたセオドライトは、例えば、特許文献1-3、非特許文献2に開示されており、また、ビデオセオドライトとして知られている。従来のビデオセオドライトにおけるカメラは、通常の使用時には回動可能な状態にあり、測角部の回動と共にカメラも回動し、測角情報と共にカメラ画像情報を用いるものである。これに対して、本実施形態における測量機をカメラマウンタとしたカメラユニットでは、カメラのキャリブレーションにおいてのみ測量機の測角機能が用いられ、使用時(モーションキャプチャ時)にはカメラの位置が固定され、セオドライトの測角機能は用いられない。なお、本発明において、モーションキャプチャ時に測量機の測角機能を用いることは排除されるものではなく、後述する動的キャリブレーションでは、測角機能を用いてもよい。
[0042]
[A-3]カメラマウンタが測量機により測量可能なマーカを備えている場合
カメラマウンタの第2の実施形態では、カメラマウンタには複数のマーカ(特徴点)が設けてあり、測量機によってマーカが測量可能となっている。より具体的には、カメラマウンタは、所定形状・寸法の平面を有するプレート(例えば、30cm×30cmないし40cm×40cmの正方形)を備え、プレートの平面部には、セオドライトやトータルステーションのターゲットとなる反射マーカを3個以上(例えば4個)設ける。図2に示す態様では、カメラマウンタCM 1、CM 2、CM 3、CM 4は、複数の反射マーカを有する平面を備えたプレートから構成されている。
[0043]
フラットプレートには、相対的な位置を固定したカメラが搭載されている。例えば、各カメラユニットは1個のカメラを備え、正方形状のフラットプレートの下方部位において、幅方向中央に位置してカメラが固定される。3個以上の反射マーカを備え、カメラと相対的な位置を固定した平板は、カメラと共にカメラ台(雲台)に取り付け、カメラ台は三脚等に固定して設置する。なお、複数のマーカを備えたプレートからなるカメラマウンタにおいて、複数個のカメラを搭載してもよい。
[0044]
測量技術を用いることで、カメラマウンタ(フラットプレート)のグローバル座標系における姿勢・位置を取得することができる。カメラマウンタが測量機により測量可能なマーカを備えている場合において、該マーカの測量には、測角機能及び測距機能を備えた測量機(典型的にはトータルステーション)を用いることが有利である。
[0045]
測量機を用いるにあたり、測量技術で用いられているその他の器具、測量手法、計算方法を用い得ることが当業者に理解される。セオドライト、トータルステーション以外の測量器具としては、三脚、アルミスタッフ、アルミロッド、ポール、水準器、オートレベル、反射プリズム、プリズムポールを例示することができる。
[0046]
[B]カメラのキャリブレーション
大空間モーションキャプチャにおける3次元再構成のためのカメラキャリブレーションについて説明する。以下に第1手法、第2手法、第3手法の3つの手法について説明する。第1手法は公知の手法であるが、第3手法は、第1手法と第2手法を組み合わせたものであることから、カメラパラメータの説明と合わせて第1手法についても言及する。
[0047]
[B-1]位置が未知の特徴点群を用いた一般的なバンドル調整(第1手法)
本実施形態で用いるカメラシステムの各カメラのキャリブレーションについて説明する。ここで、バンドル調整とは、3次元特徴点からカメラへの光線の束(bundle)が、3次元特徴点とカメラの位置・姿勢の両方に対して最適に調整される(adjustment)ことをいう。この最適化は一般的に、特徴点の再投影誤差を最小化する非線形最適化問題として解かれる。
[0048]
特徴点の再投影には、最もシンプルなカメラモデルであるピンホールカメラモデルに基づく透視投影変換行列を用いる。この透視投影変換行列は各カメラごとに次のように表せる。


ここで、iはカメラ番号、行列X=(x 1・・・x n)はn個の特徴点のグローバル座標系での位置x i=(x i y i z j 1) T、行列 iY=( iy 1・・・ iy n)はn個の特徴点の画像平面でのピクセル単位の位置 iy j=( iu j iv j 1) T、行列 iS=diag{ is 1,・・・, is n}は画像平面に投影するためのスケール is j=(001) iAiBx jを指す。
[0049]
カメラの内部パラメータ、外部パラメータをそれぞれ表す行列 iA, iBについては、次のように表せる。


ここで、 if xif yは画像平面上のx軸、y軸それぞれのピクセル単位の焦点距離、 ic xic yは画像平面での主点(画像平面と光軸の交点)の位置、行列 iRはカメラ座標系におけるグローバル座標系の姿勢、 itはカメラ座標系におけるグローバル座標系の原点の位置を表す。コンピュータビジョンで一般的に使用される座標軸において、3次元空間から画像平面への投影を図11に示す。これにしたがい、次の式でカメラの内部パラメータ行列Aを定義する。


ここで、行列 iAについては、 if xif yifとし、 ic xic yを画像平面の中心とすることで、最適化変数の数を減らすことができる。受光素子の大きさの縦横比は1:1、かつ、画像平面の中心で光軸と交わっている、と仮定できるからである。行列 iRについては、オイラー角で表記する場合には、 iR( iθ α, iθ β, iθ γ)として3変数として扱える。本明細書では、この回転行列の表記としてZYXオイラー角 iR( iθ α, iθ β, iθ γ)= R Z( iθ α)R Y ( iθ β)R X ( iθ γ) を採用する。
[0050]
カメラ複数台における特徴点の再投影誤差を最小化する非線形最小自乗問題は次のように表せる。


ここで、最適化変数である焦点距離 if x, if yとカメラ位置 itは、片方を固定しなければもう片方が定まらないような関係にある。そのため、片方を固定するか、それぞれに上限・下限を狭く設定するか、どちらかの必要がある。
[0051]
マルチカメラキャリブレーションのために得られるデータが、複数台のカメラにおけるタイポイント(グローバル座標系での位置が未知の特徴点群。例えばカラーボールの中心位置の軌跡など)の画像平面でのピクセル位置 iY tieだけであったとする。このとき、特徴点群のグローバル座標系での位置X tieは、複数台のカメラの位置・姿勢に依存して定まる。このバンドル調整は次のように表せる。


ここで、上記非線形方程式系は、Levenberg-Marquardt法を用いて解くことができる。
[0052]
[B-2]測量機による直接計測に基づくバンドル調整(第2手法)
キャリブレーションのために得られるデータが、コントロールポイント(グローバル座標系での位置が既知の特徴点の特徴点群、例えば測量機で計測したコート上特徴点など)のグローバル座標系での位置 iX controlと、画像平面でのピクセル位置 iY control、そして、カメラのマウンタの位置・姿勢 iB mの3つであったとする。測量機を用いて直接計測を行って、コントロールポイント、及び、カメラのマウンタの位置・姿勢 iB mの値を得た。このとき、カメラ間に拘束がないため、カメラごとに最適化できる。このバンドル調整は次のように表せる。


ここで、上記非線形方程式は、Levenberg-Marquardt法、ないし、Trust-Region-Reflective法を用いて解くことができる。Trust-Region-Reflective法では、最適化変数に対して、


のような範囲制約を設定できる。得られたカメラのマウンタの位置・姿勢 iB mを基準に、最適化変数の初期値と狭い範囲制約を設定することで、前述の焦点距離 if x, if yとカメラ位置 itの関係に対して測量的に妥当な制約を加えることができる。
[0053]
カメラの歪み係数は、格子点の間隔が既知の距離をもつチェッカーボードに対して、様々な距離・角度で撮影した複数枚の画像を用いて、OpenCVの関数cv::calibrateCameraを用いて内部パラメータと共に求める。本実施形態では、内部パラメータもバンドル調整の変数として最適化している。最適化ソルバとして、MATLABのOptimization Toolboxにある、非線形最小二乗問題を解く関数lsqnonlinを用いて最適化を行った。
[0054]
[B-3]位置が未知の特徴点群と測量値を併用したバンドル調整(第3手法)
キャリブレーションのために得られるデータが、タイポイントの画像平面でのピクセル位置 iY tie、コントロールポイントのグローバル座標系での位置 iX control と画像平面でのピクセル位置 iY control、そして、カメラのマウンタの位置・姿勢 iB mの4つであったとする。このバンドル調整は次のように表せる。


ここで、n tie, n controlはそれぞれ、タイポイント、コントロールポイントの個数、k tie, k controlはk tie>0,k control>0となる2種の特徴点群に対する重みを指す。本実施形態では、k tie=k control=0.5とする。上記非線形方程式は、Levenberg-Marquardt法を用いて解くことができる。
[0055]
[B-4]実験例
バレーボールの試合におけるモーションキャプチャについて、以下の3種類のマルチカメラキャリブレーションを行った。
(a)位置が未知の特徴点群を用いた一般的なバンドル調整(第1手法)、
(b)測量機による直接計測に基づくバンドル調整(第2手法)、そして、
(c)位置が未知の特徴点群と測量機による直接計測を併用したバンドル調整(第3手法)。
 これらの計測に用いた複数カメラの配置を図7に示す。実験では、10台のカメラのうち、6台のカメラに対してキャリブレーションを行った。
[0056]
(a)同期済みカメラ複数台でのカラーボールの軌跡の画像位置情報を用いて、カメラ複数台のバンドル調整を行い、カメラの位置・姿勢を求めた。実験では、計測範囲であるバレーボールコート内にて黄色いカラーボールを図8ように動かし、その軌跡を同期済みの複数のカメラにて撮影した。OpenCVを用いてカラーボールの中心の画像平面での位置・半径を算出し、MATLAB上で外れ値を除外する処理を行った。カラーボールの中心位置は外れ値を除いて2223フレーム取得することができた。このデータをタイポイントとする。式(4)を解くことでキャリブレーションを行う。
[0057]
(b)コート上特徴点とカメラマウンタの位置・姿勢を測量機を用いて求め、カメラ1台ずつのバンドル調整を行い、カメラ位置・姿勢を求めた。実験で使用した測量マーカ付きカメラマウンタ、測量機を、それぞれ、図5、図6に示す。測量機は、トータルステーション(角度測量計・レーザ距離計)であり、カメラマウンタは40cm×40cmのフラットプレートであり、4隅に測量マーカが設けてある。図9は、18点のコート上特徴点(白線交点)を示す。これらの特徴点のグローバル座標系における位置情報は、測量機を用いて取得される。
[0058]
グローバル座標系は、コート上特徴点の番号0を原点とし、X軸が原点からコート上特徴点の番号9に向かう方向を正、Z軸がトータルステーションの整準で定められた鉛直上向き方向を正としている。この定義に沿うように、最適化により得られる結果の座標系の軸を回転させ、測量により得られた3次元位置も平行移動・回転させている。これにより、グローバル座標系での位置が既知であるコート上特徴点をコントロールポイントとする。また、測量マーカ付きカメラマウンタのグローバル座標系での位置・姿勢をカメラマウンタのローカル座標系に変換させ、それをカメラの外部パラメータ行列の初期値とする。式(5)を解くことでキャリブレーションを行う。また、測量機による直接計測に基づいて、カメラ毎に最適化を行っているが、測量機による直接計測に基づいて、複数カメラのバンドル調整を行ってもよい。これは、評価関数


を最小化する問題として扱うことができる。
[0059]
(c)カラーボールの軌跡(位置が未知の特徴点群)と、測量機による直接計測と、を併用したバンドル調整を行い、式(6)を解くことで、カメラ位置・姿勢を求めた。
[0060]
本実験では、カメラキャリブレーションデータと、ビデオモーションキャプチャシステム(非特許文献1参照)と、を用いて、バレーボール試合中の12人の選手の全身の動作を再構成した。本実験では、アリーナで行われたバレーボールの試合を撮影して、試合中のバレーボール選手の動きを取得した。本実施形態に係るモーションキャプチャ・カメラシステムは、スポーツの種類、場所に限定されることなく、あらゆる動作計測に適用することができる。対象となるスポーツとして、サッカー、フットサル、ラグビー、野球、バレーボール、ハンドボール、テニス、体操を例示することができる。撮影場所としては、屋外スポーツフィールド、屋内スポーツフィールド、屋外コート、屋内コート、アリーナ、ドーム、体育館を例示することができる。
[0061]
[B-5]動的キャリブレーション
本実施形態に係るキャリブレーションは、カメラマンが焦点距離、パン・チルトなどをマニュアルで操る放送・記録用の複数台のカメラ映像からのビデオモーションキャプチャに適用することができる。この場合は、光学パラメータ(レンズ歪)、内部パラメータ(焦点距離)、外部パラメータがすべて手動により変動することになる。これらのパラメータを、スポーツフィールドないしコートを形成する要素上の不動特徴点(例えば、ライン上の点やゴール上の点)と、位置未知の特徴点(例えば、球技におけるボール)を用いて、各時刻の全てのパラメータを動的に最適化計算により取得する。
[0062]
先ず、モーションキャプチャ前に、測角機能を備えた測量機(測距機能を備えていてもよい)によって複数の不動特徴点のグローバル座標系での位置情報を取得して記憶しておく。不動特徴点は、スポーツフィールドないしコートを形成する要素上の点であり、フィールドないしコート上のラインの交点(角部を含む)や交差部や、ゴールポスト上の点(ポストとクロスバーの交差部やポストの下端)を例示することができる。
[0063]
モーションキャプチャ時に、前記複数の不動特徴点の各カメラ画像での位置情報と、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点の各カメラ画像での位置情報と、を用いて、最適化計算によって、前記カメラパラメータを取得する。グローバル座標系の位置情報が未知の特徴点としては、球技におけるボールを例示することができる。また、選手が着用しているユニフォーム上の特定の位置のマークやシューズの特定点を位置が未知の特徴点として用いてもよい。
[0064]
最適化計算においては、経験則を用いて、一部のパラメータの変動幅を小さく設定したり、一部のパラメータの変化速度を小さく設定したりしてもよい。また、カメラマウンタを、測角機能を備えた測量機から構成し、測量機を用いて取得したカメラマウンタの姿勢情報を最適化計算に用いてもよい。最適化計算では、測量機の計測値(角度)の時系列情報を取得して記憶したものを用いたり、あるいは、測量機の計測値を最適化計算部が実時間で受信して、実時間で最適化計算を行ってもよい。
[0065]
[C]カメラマウンタの位置・姿勢の取得
[C-1]測量機による直接計測
1) 角度測量による測量ポール上の計測点の相対位置・姿勢の定義:
整準されたi番目の角度測量計により、同様に整準された測量ポール上の計測点A、Bと角度測量計の相対位置・姿勢は、図12にしたがって次のように求まる。ここで、点O、A、Bはポール上の計測点(高位、低位)であり、点Oをグローバル座標系の原点(ポールと地面との交点)とする。点T iはi番目の角度測量計のローカル座標系の原点、点Hiはポール上におけるT iからの垂線の足で、軸X Ti、Y Ti、X Tiは角度測量計のローカル座標系の各軸を指す。また、角度θ i Aは角度


角度θ i Bは角度


とする。各線分は次のようになる。


したがって、ベクトル


は、以下のようになる。


レーザ距離計により線分T iA、T iB の実測値がある場合には、その値も考慮して最適化によりベクトル


求める。
[0066]
[C-2]グローバル座標系における角度測量計の位置・姿勢
ベースとなる角度測量計T 0とし、角度測量計T 0のローカル座標系の姿勢をグローバル座標系の姿勢、測量ポール上の原点Oをグローバル座標系の原点とする。このとき、前節で得られたベクトル


を用いて、グローバル座標系に対する角度測量計T 0のローカル座標系の同次変換行列 O 0Hを図13にしたがい次のように定義できる。


また、グローバル座標系における他の角度測量計の位置・姿勢についても、次のように定める。


ここで、角度θ 0 Tiは角度


角度θ i T0は角度


とする。
[0067]
セオドライトをカメラのマウンタとするとき、その位置・姿勢を表す外部パラメータ行列 iB mは、次のように定義できる。


[0068]
[C-3]測量マーカ付きカメラマウンタの位置・姿勢
図14において、測量マーカ付きカメラマウンタのローカル座標系の原点をF iとする。この座標系の、グローバル座標系に対する位置 Op Fiと姿勢 O FiR を最適化により次のように求める。


ここで、 Op iPj は各測量マーカの点(j=1,…,4)である。
w frillはマーカ間距離の設計値、 iL slopejiL horizontaljiL verticaljは、レーザ距離計で測ったマーカへの斜距離・水平距離・高低差である。また、角度 iθ horizontaljiθ verticaljは、角度距離計で測ったマーカへの方向角・高度角を指す。測量マーカ付きカメラマウンタトをカメラのマウンタとするとき、前節と同様に外部バラメータ iB mは次のように定義される。


[0069]
[C-4]相対外部パラメータの定義と最適化:
カメラの外部パラメータ行列 iBに対して、カメラマウンタの外部パラメータ行列 iB mのみが測量機で直接計測をすることができる。それらは相対外部パラメ―タ行列


を用いて次のように変換できる。


相対外部パラメ―タ行列を第2手法で最適化すると、次の問題になる。


[0070]
現場での計測だけではなく、相対外部パラメータ行列だけを求めるための事前のキャリブレーションを行えるのであれば、カメラの焦点距離とカメラ-マウンタ間の相対外部パラメータ行列を最適化によって求めるのが好ましい。焦点距離を事前に求めて固定する方が、現場で妥当なカメラ位置を求めることができる。このとき、カメラマウンタとして角度測量計を用いるならば、より厳密にカメラの焦点距離を求めることができる。具体的にその手順について述べる。まず、整準された測量ポールに対して、整準された角度測量計を用いて、前述のようにグローバル座標系を定義する。次に、一定間隔(1°ずつ、±10°の範囲)で動かし、測量ポールを撮影する。そのことで、測量ポール上にコントロールポイントを定義することができる(図15参照)。セオドライトの精度に保証されたコントロールポイントの位置を得ることができる。
[0071]
[D]測量機をカメラマウンタに用いたカメラシステムにおけるカメラキャリブレーション
測量機をカメラマウンタに用いた実施形態におけるキャリブレーションについて詳細に説明する。カメラシステムは、複数個(例えば、4個ないし2個)のカメラからなるカメラユニットを備え、各カメラユニットは測量機(セオドライトないしトータルステーション)に搭載されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。1つの態様では、1つのカメラユニットがトータルステーションに搭載されており、他のカメラユニットがセオドライトに搭載されている。もちろん、複数のカメラユニットが複数のトータルステーションに搭載されていてもよい。本セクションの説明において、iはセオドライトの通し番号を示し、jはi番目のセオドライトに搭載されたj番目のカメラを示す。上記セクション[C]では、iはカメラの通し番号を示し、カメラのマウンタ(セオドライトである場合も含む)には、カメラの通し番号が割り当てある点に留意されたい。
[0072]
[D-1]ワールド座標系におけるセオドライト座標系
ワールド座標系からのセオドライト座標系への同次変換行列の取得について説明する。先ず、セオドライト及びトータルステーションを三脚に搭載する。各三脚を、各カメラの視野に計測範囲が含まれるように立てる。セオドライト及びトータルステーションを、水準器を用いて整準する。計測範囲の中心に測量用ポールを立てる。測量用ポールは、測量で一般に用いられる周知のポールであり、例えば、赤と白のストライプが10cm幅で形成されている。ポール上の上側の計測点をA、下側の計測点をBとする。
[0073]
各セオドライトないし各トータルステーションにおいて、ポール上の計測点Aを視準し、Yaw A及びPitch Aを読む。Yawをロックして計測点Bを視準し、Pitch Bを読む。Yaw Aをセオドライトやトータルステーションの初期Yaw角度として設定する。すなわち、Yaw AでYawをリセットする。
[0074]
各セオドライトないし各トータルステーションにおいて、以下のように座標系を設定する。各セオドライトないし各トータルステーションの中心を原点とし、z軸を、Yaw=Yaw A及びPitch=0(水平)にとり、x軸をPitch=90°の方向(垂直)にとる。
[0075]
トータルステーションの座標系を座標系{0}とする。セオドライトの座標系を基準に反時計回りに座標系{1},{2},..,{M}とする。ここで、Mはセオドライトの番号である。M=3である。
[0076]
ポールの計測点Bにおいて、グローバル座標{a}を設定する。z軸とx軸はトータルステーションの座標系{0}のz軸とx軸に一致させる。
[0077]
カメラマウンタ(例えば、1つのトータルステーションと複数のセオドライト)間のYaw角度をセオドライトないし各トータルステーションを用いて計測する。例えば、座標系{0}から座標系{1}のYaw角度をα 01によって表す。この測定においては、ターゲットとなるセオドライトないしトータルステーションの振り子錘の先端をターゲット(特徴点)とする。複数のカメラマウンタ間のYaw角度を計測することで、角度α ij(i=0,…,M;J=0,…M;i≠j)を取得する。
[0078]
計測点Aと計測点Bの距離が既知であることを用いて、三角法によってワールド座標系からのセオドライト座標系への同次変換行列


を取得する
[0079]
[D-2]カメラの内部パラメータ
カメラの内部パラメータの取得について説明する。各カメラユニットは、セオドライトないしトータルステーションのYaw回転と一体で回転可能な水平面上の固定された4つのカメラを備えている。カメラは、セクター角度22.5°で扇形状に軸


でセットされており、軸はz-x平面に対して対称である。各軸を軸


回りに9.65°で回転させる。
[0080]
カメラは、各トータルステーション及びセオドライトをi=0,…,Mとし、各トータルステーション及びセオドライト上の各カメラをYaw軸時計回りにj=0,1,2,3として、カメラ(i,j)のようにインデックスされる。
[0081]
カメラはしぼり開放とし、∞にフォーカスする。光量はシャッタースピードでコントロールする。チェッカーボードを15の異なる位置及び向きでカメラに見せる。OpenCVのcvCalibrateCamera2を用いて、カメラの内部パラメータP ij(i=1,…,M;J=1,2,3,4)を取得する。
[0082]
カメラ座標系における3次元位置


は、カメラ画像I ijにおいて、以下の形式で現れる。


歪みフリー画像I ij *は、P ijを用いてI ijから以下のような形式で生成され、


歪みフリー画像は、カメラ座標系の3次元位置





で示す。
[0083]
[D-3]セオドライト/トータルステーション座標系におけるカメラ座標系
セオドライト座標系からのカメラ座標系への同次変換行列の取得について説明する。水準器を用いてポールを垂直に立てる。セオドライト/トータルステーション(i=0,…,M)について、座標系{i}のセオドライトないしトータルステーションを、水準器を用いて垂直に立てる。カメラの高さを水平面から例えば1.7mとし、ポールからカメラまでの距離を例えば10mとする。セオドライト/トータルステーションのpitch角度を0°(水平)に設定する。そして、Yawを調整してポールの中心を視準し、Yaw角度(0°)をリセットする。
[0084]
ポールの軸上に2つの点A、Bを決定し、点A、Bの3次元位置を


として三角法で計算する。セオドライトないしトータルステーションの回転角度を、β 0=-33.75°、β 1=-11.25°、β 2=11.25°、β 3=33.75°、に設定する。カメラ(j=0,…,M)、及び、角度(k=0,…,20)について、座標系{i}のYawをγ jkに設定し、ここで、


である。そして、角度(k=0,…,20)を変化させて、カメラ(i,j)の画像I ijkを取得する。


上記2つの式を満たすように最適化計算を行って、セオドライト座標系からのカメラ座標系への同次変換行列


を取得する。同様に、次のカメラjについて同時変換行列を取得し、次のセオドライトについて同様に計算を行って同時変換行列を取得する。
[0085]
本実施形態に係るキャリブレーションの結果は以下の3つの式で表される。


[0086]
[E]モーションキャプチャシステム
図16を参照しつつ、本実施形態に係るモーションキャプチャシステムについて説明する。モーションキャプチャシステムは、いわゆるビデオモーションキャプチャシステム(非特許文献1参照)であり、モーションキャプチャ・カメラシステムで取得された複数のカメラの映像から深層学習を用いて推定した関節位置から3次元再構成を行うものであり、対象は、いかなるマーカやセンサを装着する必要がなく、計測空間も限定されない。複数台のRGBカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。以下に述べるモーションキャプチャシステムは、例示であり、本発明に係るモーションキャプチャ・カメラシステムと共に用いるモーションキャプチャを限定するものではなく、他の手法を採用してもよい。
[0087]
1枚の画像に含まれる対象の数は限定されない。例えば、競技スポーツでは、カメラによって複数人の人間の動作を撮影することで、各画像には、複数の人間が含まれることになる。各画像において、前記複数の人間から選択された1人あるいは任意数の複数の人間の関節位置を取得する。1枚の画像に複数人が含まれている場合に、例えば、PAFとPCM(Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2017, 2017.)を用いれば、各人毎に関節位置を同時に取得することができる。また、計測初期時に各人毎に関節位置を識別すれば、その後はフレーム間の連続性で関節位置を追跡することで、各人を識別することができる。モーションキャプチャシステムによる動作取得において、対象はリンク構造ないし多関節構造を備えている。典型的には対象は骨格構造を備えた人間であるが、対象はロボットであってもよい。
[0088]
ビデオモーションキャプチャシステムは、対象の動作を取得するモーションキャプチャ・カメラシステムと、カメラシステムで取得された画像に基づいて、関節位置を含む特徴点(Keypoints)の位置の確からしさの程度を色強度で表示するヒートマップ情報を取得するヒートマップ取得部と、ヒートマップ取得部で取得されたヒートマップ情報を用いて対象の関節位置を取得する関節位置取得部と、関節位置取得部で取得された関節位置を平滑化する平滑化処理部と、対象の身体の骨格構造、ビデオシステムで取得された画像の時系列データ、関節位置取得部で取得された関節位置の時系列データ等を記憶する記憶部と、カメラシステムで取得された対象の画像や対象のポーズに対応する骨格構造等を表示するディスプレイと、を備えている。
[0089]
モーションキャプチャ・カメラシステムは複数のカメラを備え、複数の同期したカメラによって対象者の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。同時刻で取得された複数枚のカメラ画像がヒートマップ取得部に送信される。ヒートマップ取得部は、RGB画像に基づいてヒートマップを生成する。ヒートマップは、身体上の特徴点の位置の確からしさの尤度の空間分布を表す。ヒートマップ取得部は、入力画像に基づいて、各関節位置を含む身体上の特徴点(keypoints)の位置の確からしさの尤度の2次元あるいは3次元の空間分布を生成し、前記尤度の空間分布をヒートマップ形式で表示する。ヒートマップ取得部は、典型的には、畳み込みニューラルネットワーク(CNN)を用いて、入力された単一の画像から対象の身体上の特徴点の位置(典型的には関節位置)を、ヒートマップとして推定する。
[0090]
生成されたヒートマップ情報は関節位置取得部に送信され、関節位置取得部によって関節位置が取得される。関節位置取得部は、ヒートマップ取得部から取得されたヒートマップ情報を用いて関節位置候補を推定し、当該関節位置候補を用いて逆運動学に基づく最適化計算を実行することで骨格モデルの関節角、関節位置を更新する。関節位置取得部は、ヒートマップデータに基づいて関節位置候補を推定する関節位置候補取得部と、関節位置候補を用いて逆運動学に基づく最適化計算を実行して関節角を算出する逆運動学計算部と、算出された関節角を用いて順運動学計算を実行して関節位置を算出する順運動学計算部と、を備えている。取得された関節位置データは、関節位置の時系列データとして記憶部に格納される。
[0091]
取得された関節位置データは、平滑化処理部に送信され、平滑化関節位置、関節角が取得される。平滑化処理部の平滑化関節位置取得部では、取得された関節位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。平滑化された関節位置ないし関節角、及び、対象の身体の骨格構造によって対象のポーズが決定され、ポーズの時系列データからなる対象の動作をディスプレイに表示する。
[0092]
図17にモーションキャプチャを用いた動作解析の処理工程を例示する。本実施形態に係るモーションキャプチャにより対象の動作を取得する。取得した関節角及び関節位置の時系列データを取得する。さらにこれに基づいて、逆動力学計算により関節トルクを取得し、前記関節トルクを用いて、筋を模倣したワイヤーを備えた筋骨格モデルにおけるワイヤー張力を最適化計算(2次計画法や線形計画法)により取得し、前記ワイヤー張力を用いて筋活動度を算出し、筋活動度の程度に応じた色が割り当てられた筋骨格画像を生成し、視覚化された筋活動度を伴う筋骨格画像を所定のフレームレートで出力して動画としてディスプレイに表示する。このように、対象の運動の撮影から、運動時の対象の3次元ポーズの取得、運動に必要な筋活動の推定と可視化までを、自動的に効率的に行うことができる。

請求の範囲

[請求項1]
 1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 各カメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
 測角機能を備えた1つあるいは複数の測量機と、
 を備えたモーションキャプチャ・カメラシステムであって、
 前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
 前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記1つあるいは複数の測量機を用いて取得される、
 モーションキャプチャ・カメラシステム。
[請求項2]
 前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている、請求項1のモーションキャプチャ・カメラシステム。
[請求項3]
 前記複数のカメラマウンタの一部あるいは全部は、前記測量機である、請求項1、2いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項4]
 前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えている、請求項1、2いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項5]
 前記カメラマウンタは、3つ以上のマーカを備えた平面を有している、請求項4に記載のモーションキャプチャ・カメラシステム。
[請求項6]
 前記キャリブレーション手段は、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、を用いるものであり、
 前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
 請求項1~5いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項7]
 前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
 請求項1~6いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項8]
 前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える、
 請求項7に記載のモーションキャプチャ・カメラシステム。
[請求項9]
 前記カメラマウンタは前記測量機から構成されており、
 前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される、
 請求項8に記載のモーションキャプチャ・カメラシステム。
[請求項10]
 前記キャリブレーション手段は、最適化計算によって前記外部パラメータを取得する、請求項1~9いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項11]
 前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
 請求項10に記載のモーションキャプチャ・カメラシステム
[請求項12]
 前記カメラパラメータは、光学パラメータと内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項10、11いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項13]
 1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 を備えたモーションキャプチャ・カメラシステムにおいて、前記複数のカメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
 前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
 測角機能を備えた1つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
 グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
 を含むキャリブレーション方法。
[請求項14]
 前記1つあるいは複数の測量機のうちの1つあるいは複数の測量機は、測距機能を備えている、請求項13に記載のモーションキャプチャ・カメラシステム。
[請求項15]
 前記複数のカメラマウンタの一部あるいは全部は、前記測量機であり、複数の測定点の測量データを用いてグローバル座標系における各カメラマウンタの位置及び姿勢を取得する、請求項13、14いずれか1項に記載のキャリブレーション方法。
[請求項16]
 前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えており、複数のマーカの測量データを用いてグローバル座標系における当該カメラマウンタの位置及び姿勢を取得する、請求項13、14いずれか1項に記載のキャリブレーション方法。
[請求項17]
 前記カメラマウンタは、3つ以上のマーカを備えた平面を有している、請求項16に記載のキャリブレーション方法。
[請求項18]
 前記外部パラメータの取得において、各カメラの撮像空間に位置する複数の複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、が用いられ、
 前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
 請求項13~17いずれか1項に記載のキャリブレーション方法。
[請求項19]
 前記外部パラメータの取得において、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
 請求項13~18いずれか1項に記載のキャリブレーション方法。
[請求項20]
 各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得することを含む、
 請求項19に記載のキャリブレーション方法。
[請求項21]
 前記カメラマウンタは前記測量機から構成されており、
 前記カメラマウンタ座標系における前記カメラの位置及び姿勢を、前記測量機を用いて取得する、
 請求項20に記載のキャリブレーション方法。
[請求項22]
 最適化計算によって前記外部パラメータを取得する、請求項13~21いずれか1項に記載のキャリブレーション方法。
[請求項23]
 前記最適化計算において、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
 請求項22に記載のキャリブレーション方法。
[請求項24]
 前記カメラパラメータは、光学パラメータと内部パラメータを含み、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項22、23いずれか1項に記載のキャリブレーション方法。
[請求項25]
 1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 各カメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
 測角機能を備えた1つあるいは複数の測量機と、
 を備えたモーションキャプチャ・カメラシステムであって、
 前記キャリブレーション手段は、
 前記測量機を用いてグローバル座標系での位置情報が得られている複数の不動特徴点の各カメラ画像での位置情報と、
 グローバル座標系の位置情報が未知の1つあるいは複数の特徴点の各カメラ画像での位置情報と、
 を用いて、最適化計算によって、前記カメラパラメータを取得する、モーションキャプチャ・カメラシステム。
[請求項26]
 前記不動特徴点は、スポーツフィールドないしコートを形成する要素上の点である、請求項25に記載のモーションキャプチャ・カメラシステム。
[請求項27]
 前記グローバル座標系の位置情報が未知の特徴点は、球技におけるボールである、請求項25、26いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項28]
 前記複数のカメラマウンタの一部あるいは全部は、前記測量機である、請求項25~27いずれか1項に記載のモーションキャプチャ・カメラシステム。
[請求項29]
 1つあるいは複数のカメラからなる複数のカメラユニットと、
 各カメラユニットが搭載される複数のカメラマウンタと、
 を備えたモーションキャプチャ・カメラシステムにおいて、前記複数のカメラ画像を3次元再構成するためのカメラパラメータを取得するキャリブレーション方法は、
 モーションキャプチャ前に、測角機能を備えた測量機によって複数の不動特徴点のグローバル座標系での位置情報を取得し、
 モーションキャプチャ時に、前記複数の不動特徴点の各カメラ画像での位置情報と、グローバル座標系の位置情報が未知の1つあるいは複数の特徴点の各カメラ画像での位置情報と、を用いて、最適化計算によって、前記カメラパラメータを取得する、キャリブレーション方法。
[請求項30]
 前記不動特徴点は、スポーツフィールドないしコートを形成する要素上の点である、請求項29に記載のキャリブレーション方法。
[請求項31]
 前記グローバル座標系の位置情報が未知の特徴点は、球技におけるボールである、請求項29、30いずれか1項に記載のキャリブレーション方法。
[請求項32]
 前記複数のカメラマウンタの一部あるいは全部は、測角機能を備えた測量機であり、最適化計算において、カメラマウンタの姿勢情報が用いられる、請求項29~31いずれか1項に記載のキャリブレーション方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]