処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020166351 - 情報処理装置、情報処理方法、および記録媒体

Document

明 細 書

発明の名称 情報処理装置、情報処理方法、および記録媒体

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010  

発明の効果

0011   0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207  

符号の説明

0208  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22  

明 細 書

発明の名称 : 情報処理装置、情報処理方法、および記録媒体

技術分野

[0001]
 本開示は、情報処理装置、情報処理方法、および記録媒体に関し、特に、より自然な操作を実現することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。

背景技術

[0002]
 近年、テーブルの天面や天井、壁など、スクリーン以外の面に画像を投影し、表示された表示情報(仮想物体)をユーザが操作することが可能な表示システムが普及しつつある。
[0003]
 このような表示システムとして、例えば、特許文献1には、テーブルの天面にコップや皿などの実物体が置かれた場合、実物体との位置関係に応じて、表示されている仮想物体の移動を制御するシステムが開示されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2016-51436号公報

発明の概要

発明が解決しようとする課題

[0005]
 上述したような仮想物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。
[0006]
 本開示は、このような状況に鑑みてなされたものであり、より自然な操作を実現することができるようにするものである。

課題を解決するための手段

[0007]
 本開示の情報処理装置は、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部を備える情報処理装置である。
[0008]
 本開示の情報処理方法は、情報処理装置が、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する情報処理方法である。
[0009]
 本開示の記録媒体は、コンピュータに、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する処理を実行させるためのプログラムが記録された記録媒体である。
[0010]
 本開示においては、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータが設定される。

発明の効果

[0011]
 本開示によれば、より自然な操作を実現することが可能となる。
[0012]
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図面の簡単な説明

[0013]
[図1] 本開示の実施の形態に係る情報処理装置の概観を示す図である。
[図2] 操作面に対する操作の例を示す図である。
[図3] 情報処理装置の構成例を示すブロック図である。
[図4] 制御部の機能構成例を示すブロック図である。
[図5] 操作制御処理の流れについて説明するフローチャートである。
[図6] タッチ操作制御処理の流れについて説明するフローチャートである。
[図7] 手形状によるタッチ点とタッチ有効範囲の例を示す図である。
[図8] 手形状と手指の姿勢によるタッチ点とタッチ有効範囲の例を示す図である。
[図9] タッチ操作制御処理の流れについて説明するフローチャートである。
[図10] 手形状によるタッチ閾値の例を示す図である。
[図11] ドラッグ操作制御処理の流れについて説明するフローチャートである。
[図12] 手形状によるドラッグ点とドラッグ閾値の例を示す図である。
[図13] 手形状毎のドラッグ操作に応じた表示の例を示す図である。
[図14] 回転操作制御処理の流れについて説明するフローチャートである。
[図15] 手形状による回転角取得点の例を示す図である。
[図16] 回転操作制御処理の流れについて説明するフローチャートである。
[図17] 手形状による回転角取得点と回転角倍数の例を示す図である。
[図18] 手形状毎の回転角倍数と回転可動域について説明する図である。
[図19] 操作制御処理の全体の流れについて説明するフローチャートである。
[図20] タッチ操作の変形例について説明する図である。
[図21] タッチ操作の変形例について説明する図である。
[図22] コンピュータの構成例を示すブロック図である。

発明を実施するための形態

[0014]
 以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
[0015]
 1.本開示の実施の形態に係る情報処理装置の構成と動作
 2.タッチ操作の例
 3.ドラッグ操作の例
 4.回転操作の例
 5.その他
[0016]
<1.本開示の実施の形態に係る情報処理装置の構成と動作>
 まず、本開示の実施の形態に係る情報処理装置の構成と動作について説明する。
[0017]
(情報処理装置の概観)
 図1は、本開示の実施の形態に係る情報処理装置の概観を示す図である。
[0018]
 図1に示されるように、情報処理装置10は、テーブル20の上方に、例えばテーブル20の一部から延在するアーム部材で支持され、テーブル20の天面21とは離隔した状態で設けられる。
[0019]
 情報処理装置10は、テーブル20の天面21を操作面として、天面21に画像を投影し、天面21に表示された投影画像(以下、表示物体ともいう)をユーザに操作させる。
[0020]
 具体的には、情報処理装置10は、小型のプロジェクタやカメラ、画像認識機能を備え、天面21に表示物体を投影するとともに、その表示物体を操作するユーザの手指の動きや傾きの角度からタッチやジェスチャを認識して、表示物体に反映させる。
[0021]
 例えば、図2に示されるように、操作面である天面21に対するユーザの手H1によるジェスチャが認識されることで、指の軌跡に対応した曲線31が天面21上に描かれる。また、天面21に対するユーザの手H2によるタッチとジェスチャが認識されることで、天面21に表示されたオブジェクト32が、指の動きに合わせて天面21上を移動する。
[0022]
 このような表示物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる(反映させる)箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。
[0023]
 そこで、本開示の実施の形態に係る情報処理装置10は、手指や腕などの操作体の形状や姿勢に基づいて、操作体において操作を作用させる箇所(指先や手全体など)とともに、その箇所による操作の判定基準(有効範囲や閾値など)を設定できるようにする。
[0024]
(情報処理装置の構成)
 図3は、情報処理装置10の構成例を示すブロック図である。
[0025]
 図3に示されるように、情報処理装置10は、制御部51、撮影部52、入力部53、記憶部54、表示部55、および出力部56を備えている。
[0026]
 制御部51は、CPU(Central Processing Unit)などにより構成され、情報処理装置10の各部を制御する。制御部51の構成の詳細については後述する。
[0027]
 撮影部52は、単眼カメラやステレオカメラ、距離センサなどで構成される。撮影部52は、制御部51の制御の下、操作面(天面21)に対するユーザの手指や腕などの操作体を撮影する。撮影により取得された撮影画像は、制御部51に供給される。撮影部52は、例えばステレオカメラやデプスセンサなどとして構成される場合、制御部51の制御の下、撮影画像として、画素毎に撮影部52との距離情報を有する距離画像を取得し、制御部51に供給する。
[0028]
 入力部53は、例えばマイクロフォン、物理的なボタンやスイッチなどを含むように構成される。入力部53は、マイクロフォンにより収音されたユーザが発する音声や周囲の環境音などの音声情報、ボタンやスイッチなどが操作されることで発生する電気信号を、入力情報として制御部51に供給する。
[0029]
 記憶部54は、ROM(Read Only Memory)やRAM(Random Access Memory)などにより構成され、例えば、手指や腕などの操作体による操作の種類などを判定するための情報やパラメータ(以下、判定情報ともいう)を記憶する。
[0030]
 表示部55は、例えばプロジェクタとして構成され、制御部51の制御の下、天面21に表示物体(投影画像)を投影する。表示部55は、プロジェクタとして構成される以外にも、天面21などの上に設けられるディスプレイとして構成されてもよい。この場合、表示部55には、投影画像に相当する画像が表示される。
[0031]
 出力部56は、例えばスピーカなどとして構成され、制御部51の制御の下、音声や効果音などを出力する。
[0032]
(制御部の構成)
 図4は、制御部51の機能構成例を示すブロック図である。
[0033]
 制御部51は、撮影制御部71、画像処理部72、操作体検出部73、操作認識部74、および実行制御部75から構成される。
[0034]
 撮影制御部71は、撮影部52を制御することで撮影画像を取得し、画像処理部72に供給する。
[0035]
 画像処理部72は、撮影制御部71からの撮影画像に対して画像処理を施し、その画像処理の結果を、操作体検出部73に供給する。例えば、画像処理部72は、撮影画像において背景を除去したり、距離画像から操作体との距離を表す距離情報を生成する。
[0036]
 操作体検出部73は、画像処理部72からの画像処理後の撮影画像において、操作体(ユーザの身体の部位(例えばユーザの手指や腕など))を検出する。
[0037]
 具体的には、操作体検出部73は、画像処理後の撮影画像において操作体の骨格を検出することで、操作体の特徴点(骨格情報、関節情報)を取得する。操作体の検出には、マーカ方式の他、パターンマッチング方式やディープラーニングなどが用いられてもよい。
[0038]
 操作体検出部73は、抽出した操作体の特徴点に基づいて、操作面(天面21)に対する操作体の形状を表す形状情報と、操作面に対して操作を行う操作体の姿勢を表す姿勢情報を生成し、操作認識部74に供給する。
[0039]
 操作認識部74は、操作体検出部73からの操作体の検出結果(形状情報、姿勢情報)に基づいて、記憶部54に記憶されている判定情報を用いて、操作体による操作の種類を認識する。
[0040]
 操作認識部74は、設定部81を備えている。
[0041]
 設定部81は、撮影画像から取得された形状情報や姿勢情報に基づいて、操作認識部74により認識された種類の操作について、操作体による操作を操作面(天面21)に作用させる箇所(指先、手全体など)を設定(決定)する。以下、操作体において、その操作を作用させる箇所を作用領域という。作用領域は、撮影画像において面積を有する領域の他、点、2点を結ぶ線分を含むものとする。
[0042]
 また、設定部81は、形状情報や姿勢情報に基づいて、設定した作用領域における操作の判定に用いられるパラメータ(操作が有効であるか否かの判定基準となる有効範囲や閾値など)を設定する。
[0043]
 設定部81により設定される作用領域とパラメータは、判定情報として記憶部54に記憶されており、形状情報や姿勢情報に応じて、記憶部54から読み出される。
[0044]
 操作認識部74は、設定部81により設定されたパラメータに基づいて、操作体(作用領域)における操作が有効であるか否かを判定する。操作が有効であると判定した場合、操作認識部74は、その操作を表す操作情報を、実行制御部75に供給する。
[0045]
 実行制御部75は、設定部81により設定されたパラメータに基づいて、操作認識部74からの操作情報(作用領域における操作)に応じた、出力部56による処理の実行を制御する。例えば、実行制御部75は、パラメータに基づいて、作用領域における操作に応じた、表示部55による表示を制御する。
[0046]
 なお、制御部51の各ブロックは、それぞれ別個に構成される以外にも、少なくともいずれかが一体として構成されてもよいし、少なくともいずれかがネットワーク上に構成され、相互に接続されたり、そのいずれかがインターネット上のクラウドサービスとして構成されてもよい。
[0047]
(操作制御処理の流れ)
 次に、図5のフローチャートを参照して、情報処理装置10による操作制御処理の流れについて説明する。
[0048]
 ステップS11において、撮影制御部71は、撮影部52を制御することで、操作面に対する操作体を撮影した撮影画像を取得する。
[0049]
 ステップS12において、画像処理部72は、撮影制御部71により取得された撮影画像に対して画像処理を施す。
[0050]
 ステップS13において、操作体検出部73は、画像処理部72からの画像処理後の撮影画像において、操作体を検出することで、操作体の形状情報と姿勢情報を生成する。
[0051]
 ステップS14において、操作認識部74は、操作体検出部73からの形状情報と姿勢情報(少なくとも形状情報)に基づいて、操作体による操作の種類を認識する。ここで認識される操作の種類は、操作面に対する操作体のタッチ操作やドラッグ操作、回転操作の他、特定の1種類の操作であればよい。
[0052]
 ステップS15において、設定部81は、操作体検出部73からの形状情報と姿勢情報に基づいて、操作体の作用領域とパラメータを設定する。
[0053]
 ステップS16において、操作認識部74は、パラメータに基づいて、作用領域による操作が有効であるか否かを判定する。
[0054]
 ステップS16において操作が有効であると判定された場合、ステップS17に進み、実行制御部75は、パラメータに基づいて、作用領域による操作に応じた処理を実行する。
[0055]
 一方、ステップS16において操作が有効でないと判定された場合、実行制御部75は何もせず、ステップS11に戻り、以降の処理が繰り返される。
[0056]
 以上の処理によれば、操作体の形状に基づいて、操作体による操作を作用させる作用領域と、作用領域による操作の判定に用いるパラメータが細かく設定されるので、より自然な操作を実現することが可能となる。
[0057]
 以下においては、ユーザの手指による操作として、タッチ操作、ドラッグ操作、および回転操作を認識する例について説明する。
[0058]
<2.タッチ操作の例>
 図6は、タッチ操作制御処理の流れについて説明するフローチャートである。図6の処理は、撮影部52により、例えば天面21に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
[0059]
 ステップS31において、撮影制御部71は、撮影部52を制御することで、天面21に対するユーザの手を撮影した撮影画像を取得する。
[0060]
 ステップS32において、画像処理部72は、撮影制御部71により取得された撮影画像に対して画像処理を施す。
[0061]
 ステップS33において、操作体検出部73は、画像処理部72からの画像処理後の撮影画像において、ユーザの手指を検出することで、手指の形状情報を生成する。
[0062]
 ステップS34において、操作認識部74は、操作体検出部73からの形状情報に基づいて、手指による操作の種類を認識する。
[0063]
 ステップS35において、操作認識部74は、認識された操作の種類がタッチ操作であるか否かを判定する。すなわち、形状情報で表される手形状が、タッチ操作の手形状であるか否かが判定される。
[0064]
 ステップS35において、操作の種類がタッチ操作でないと判定された場合、ステップS31に戻り、以降の処理が繰り返される。
[0065]
 一方、ステップS35において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップS36に進む。
[0066]
 ステップS36において、設定部81は、操作体検出部73からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲(タッチ点を基準とした天面21上での面積範囲)を設定する。
[0067]
 ここで、図7を参照して、形状情報で表される手形状に対応するタッチ点とタッチ有効範囲について説明する。図7に示されるように、形状情報で表される手形状に応じて、タッチ点とタッチ有効範囲が設定される。
[0068]
 具体的には、手形状が、人差し指を1本だけ伸ばした状態の「1本人差し指」である場合、図中、十字マークで示されるタッチ点は、人差し指の先端に設定され、タッチ有効範囲は(相対的に)「狭い」範囲に設定される。
[0069]
 手形状が、手指を開いた状態の「開いた手」である場合、タッチ点は、人差し指の先端に設定され、タッチ有効範囲は「狭い」範囲に設定される。
[0070]
 手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心(中指の第2関節近傍)に設定され、タッチ有効範囲は(相対的に)「広い」範囲に設定される。
[0071]
 手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心(中指の第2関節近傍)に設定され、タッチ有効範囲は「広い」範囲に設定される。
[0072]
 手形状が、手指を握った状態の「握りこぶし」である場合、タッチ点は、手(握りこぶし)全体の重心(手指を握った状態での中指の第1関節近傍)に設定され、タッチ有効範囲は「広い」範囲に設定される。
[0073]
 手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ点は、手(握りこぶし)全体の重心(手指を握った状態での小指の付け根近傍)に設定され、タッチ有効範囲は「広い」範囲に設定される。
[0074]
 このように、手形状に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
[0075]
 図6のフローチャートに戻り、ステップS37において、操作認識部74は、タッチ有効範囲に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面21との距離が、あらかじめ決められた一定距離より近いか否かによって、タッチ操作が有効であるか否かが判定される。タッチ点と天面21との距離は、撮影部52により取得された距離画像、または、撮影部52により取得された撮影画像に基づいて画像処理部72により生成された距離情報から求められる、撮影部52と天面21との距離と、撮影部52とタッチ点(ユーザの手指)との距離を用いて算出することが可能である。
[0076]
 ステップS37においてタッチ操作が有効であると判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面21との距離が一定距離より近い場合、ステップS38に進み、実行制御部75は、タッチ有効範囲に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。このように、タッチ操作は、ユーザの手指が天面21に直接触れている場合はもちろん、直接触れていなくとも有効となる。
[0077]
 例えば、実行制御部75は、タッチ操作に応じたフィードバック表示(例えば、タッチされた表示物体の形状や色の変化など)を表示部55に行わせたり、タッチ操作に応じたコマンド(例えば、効果音の出力など)を出力部56に実行させたりする。
[0078]
 一方、ステップS37においてタッチ操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面21との距離が一定距離より遠い場合、何も実行されずステップS31に戻り、以降の処理が繰り返される。
[0079]
 以上の処理によれば、手形状に基づいて、手指によるタッチ操作を作用させるタッチ点と、タッチ点によるタッチ操作の判定に用いるタッチ有効範囲が細かく設定されるので、より自然で直感的なタッチ操作を実現することが可能となる。
[0080]
 上述した処理においては、手形状を表す形状情報に基づいて、タッチ点とタッチ有効範囲が設定されるものとしたが、その形状情報と、天面21に対する手指の姿勢を表す姿勢情報に基づいて、タッチ点とタッチ有効範囲が設定されるようにしてもよい。
[0081]
 図8は、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に対応するタッチ点とタッチ有効範囲について説明する図である。図8に示されるように、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定される。
[0082]
 具体的には、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を反った「反り」である場合、タッチ点は、親指を除いた指全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
[0083]
 一方、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を伸ばした「水平」である場合、タッチ点は、手全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
[0084]
 このように、手形状と手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手指の姿勢を変えた場合であっても、より自然で負荷の少ないタッチ操作を実現することができる。
[0085]
 また、上述した処理においては、形状情報で表される手形状が、タッチ操作の手形状である場合に、タッチ操作についてのパラメータとして、タッチ有効範囲が設定されるものとした。これに限らず、タッチ操作についてのパラメータとして、タッチ有効範囲に加えて、タッチ点と天面21との距離の閾値であるタッチ閾値が設定されるようにしてもよい。
[0086]
 図9は、タッチ操作についてのパラメータとして、タッチ有効範囲とタッチ閾値を設定するようにしたタッチ操作制御処理の流れについて説明するフローチャートである。
[0087]
 なお、図9のフローチャートのステップS51乃至S55の処理は、図6のフローチャートのステップS31乃至S35の処理と同様であるので、その説明は省略する。
[0088]
 すなわち、ステップS55において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップS56に進む。
[0089]
 ステップS56において、設定部81は、操作体検出部73からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点、タッチ有効範囲、およびタッチ閾値を設定する。
[0090]
 ここで、図10を参照して、形状情報で表される手形状に対応するタッチ閾値について説明する。図10に示されるように、形状情報で表される手形状に応じて、図示せぬタッチ点とタッチ有効範囲に加え、タッチ閾値が設定される。
[0091]
 具体的には、手形状が、人差し指を1本だけ伸ばした状態の「1本人差し指」である場合、タッチ閾値は5mmに設定される。
[0092]
 手形状が、手指を開いた状態の「開いた手」である場合、タッチ閾値は5mmに設定される。
[0093]
 手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ閾値は10mmに設定される。
[0094]
 手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ閾値は10mmに設定される。
[0095]
 手形状が、手指を握った状態の「握りこぶし」である場合、タッチ閾値は20mmに設定される。
[0096]
 手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ閾値は20mmに設定される。
[0097]
 このように、手形状に応じて、タッチ点とタッチ有効範囲に加え、タッチ閾値が設定されるので、ユーザは、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状をより細かく使い分けることができるようになる。
[0098]
 図9のフローチャートに戻り、ステップS57において、操作認識部74は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面21との距離が、上述したタッチ閾値より近いか否かによって、タッチ操作が有効であるか否かが判定される。
[0099]
 ステップS57においてタッチ操作が有効であると判定された場合、すなわちタッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面21との距離がタッチ閾値より近い場合、ステップS58に進み、実行制御部75は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。
[0100]
 一方、ステップS57において操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面21との距離がタッチ閾値より遠い場合、何も実行されずステップS51に戻り、以降の処理が繰り返される。
[0101]
 以上の処理によれば、手形状に基づいて、タッチ点とタッチ有効範囲に加え、タッチ点と天面21との距離範囲の閾値であるタッチ閾値が細かく設定されるので、より自然で微細なタッチ操作を実現することが可能となる。
[0102]
 上述した処理において、手形状だけでなく、手の大きさが判定されるようにしてもよい。手の大きさが一定の大きさより小さいと判定された場合、ユーザが子供である可能性が高い。この場合、手の大きさが一定の大きさ以上ある場合と比較して、タッチ有効範囲やタッチ閾値が大きく設定されるようにする。これにより、子供が雑な操作を行った場合であっても、より確実なタッチ操作を実現することができる。
[0103]
 また、入力部53からの入力情報として、ユーザを特定する特定情報が制御部51に供給されるようにしてもよい。この場合、特定情報によって特定されるユーザ毎に、タッチ点の箇所、タッチ有効範囲やタッチ閾値が設定されるようにしてもよい。
[0104]
 さらに、ユーザの利き手を表す利き手情報が、事前に記憶部54などに登録されるようにしてもよい。この場合、利き手情報に基づいて、利き手であるか否かによって、タッチ点の箇所、タッチ有効範囲やタッチ閾値の値が設定されるようにしてもよい。
[0105]
 以上においては、形状情報で表される手形状が、タッチ操作の手形状であるか否かの判定は、記憶部54にあらかじめ記憶されている判定情報に基づいて行われるものとした。
[0106]
 これ以外にも、例えば、タッチ操作制御処理が開始される前に、ユーザが、タッチ操作の手形状を登録できるようにしてもよい。この場合、形状情報で表される手形状が、登録されたタッチ操作の手形状であるか否かの判定が行われる。
[0107]
 タッチ操作の手形状は、例えば、表示部55により投影される表示物体により提供される、ゲームなどのアプリケーション毎に登録されたり、あらかじめ用意されたメニュー画面などから手形状が選択されることで登録されるようにする。
[0108]
 また、タッチ操作の手形状が、入力部53に対する音声入力などにより登録されてもよいし、事前にユーザにタッチ操作を行わせ、そのときに認識された手形状を記憶することで登録されてもよい。
[0109]
 さらに、例えば、ユーザの手が、タッチ操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、タッチ操作の手形状として登録されてもよい。
[0110]
<3.ドラッグ操作の例>
 図11は、ドラッグ操作制御処理の流れについて説明するフローチャートである。図11の処理は、上述したタッチ操作が行われた状態で実行される。
[0111]
 なお、図11のフローチャートのステップS71乃至S74の処理は、図6のフローチャートのステップS31乃至S34の処理と同様であるので、その説明は省略する。
[0112]
 すなわち、ステップS75において、操作認識部74は、認識された操作の種類がドラッグ操作であるか否かを判定する。具体的には、形状情報で表される手形状が、タッチ操作と同じ手形状であるドラッグ操作の手形状であるか否かが判定される。
[0113]
 ステップS75において、操作の種類がドラッグ操作でないと判定された場合、ステップS71に戻り、以降の処理が繰り返される。
[0114]
 一方、ステップS75において、操作の種類がドラッグ操作であると判定された場合、すなわち、形状情報で表される手形状が、ドラッグ操作の手形状である場合、ステップS76に進む。
[0115]
 ここで、図12を参照して、形状情報で表される手形状によって判定されるドラッグ操作の有効/無効と、タッチ点によるドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値について説明する。図12に示されるように、形状情報で表される手形状に応じて、ドラッグ操作の有効/無効とドラッグ閾値が設定される。
[0116]
 なお、形状情報に応じたドラッグ操作の有効/無効とドラッグ閾値は、例えば、タッチ操作制御処理において、タッチ点とタッチ有効範囲が設定されると同時に設定されるものとする。また、ドラッグ操作においては、タッチ操作において設定されたタッチ点が作用領域となる。
[0117]
 手形状が、人差し指を1本だけ伸ばした状態の「1本人差し指」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は5mmに設定される。
[0118]
 手形状が、手指を開いた状態の「開いた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は5mmに設定される。
[0119]
 手形状が、手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は10mmに設定される。
[0120]
 手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
[0121]
 手形状が、手を握った状態の「握りこぶし」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
[0122]
 手形状が、小指側を下に向けて手を握った状態の「握りこぶし」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は30mmに設定される。
[0123]
 このように、手形状によって、タッチ操作からドラッグ操作へ移行するか否かが設定され、ドラッグ操作が作用し始めるための移動距離であるドラッグ閾値が設定される。
[0124]
 図11のフローチャートに戻り、ステップS76において、操作認識部74は、タッチ点によるドラッグ操作が有効であるか否かを判定する。具体的には、タッチ点の移動距離がドラッグ閾値より大きいか否かによって、ドラッグ操作が有効であるか否かが判定される。
[0125]
 ステップS76においてドラッグ操作が有効であると判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より大きい場合、ステップS77に進み、実行制御部75は、ドラッグ閾値に基づいて、タッチ点によるドラッグ操作に応じた処理を実行する。
[0126]
 具体的には、実行制御部75は、ドラッグ操作に応じて、通常のGUI上のドラッグ操作と同様に、天面21に表示されている表示物体を移動させる。また、例えば、実行制御部75は、手形状毎にドラッグ操作に応じた表示を表示部55に行わせるようにしてもよい。
[0127]
 図13は、手形状毎のドラッグ操作に応じた表示の例を示す図である。
[0128]
 例えば、図13のAに示されるように、天面21に表示されている表示物体が1本指でタッチされている状態でドラッグ操作が行われた場合、実行制御部75は、その表示物体を移動させる。
[0129]
 また、図13のBに示されるように、天面21に表示されている表示物体が小指側を下に向けて手を握った状態(握りこぶし)でタッチされている状態でドラッグ操作が行われた場合、実行制御部75は、その表示物体をドラッグされた方向に引き伸ばす。
[0130]
 さらに、変形例として、図13のCに示されるように、天面21に表示されている表示物体上で、小指側を下に向けて手指を閉じた状態(手刀)でドラッグ操作が行われた場合、実行制御部75は、その表示物体を切断する。
[0131]
 このように、手形状毎にドラッグ操作に応じて異なる表示が行われるようにしてもよい。
[0132]
 一方、ステップS76においてドラッグ操作が有効でないと判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より小さい場合、何も実行されずステップS71に戻り、以降の処理が繰り返される。
[0133]
 以上の処理によれば、手形状に基づいて、ドラッグ操作の有効/無効と、ドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値が細かく設定されるので、より自然で直感的なドラッグ操作を実現することが可能となる。
[0134]
 上述した処理においては、タッチ操作と同じ手形状からドラッグ操作へ移行するものとしたが、タッチ操作の手形状とは異なる手形状に変化しながらドラッグ操作へ移行するようにしてもよい。例えば、「1本人差し指」でのタッチ操作から「開いた手」でのドラッグ操作へ移行するようにしてもよい。
[0135]
<4.回転操作の例>
 図14は、回転操作制御処理の流れについて説明するフローチャートである。図14の処理は、撮影部52により、例えば天面21に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
[0136]
 なお、図14のフローチャートのステップS91乃至S94の処理は、図6のフローチャートのステップS31乃至S34の処理と同様であるので、その説明は省略する。
[0137]
 すなわち、ステップS95において、操作認識部74は、認識された操作の種類が回転操作であるか否かを判定する。具体的には、形状情報で表される手形状が、回転操作の手形状であるか否かが判定される。
[0138]
 ステップS95において、操作の種類が回転操作でないと判定された場合、ステップS91に戻り、以降の処理が繰り返される。
[0139]
 一方、ステップS95において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップS96に進む。
[0140]
 ステップS96において、設定部81は、操作体検出部73からの形状情報に基づいて、回転操作についての手指の作用領域として、手指の所定の2点(具体的には、2点を結ぶ線分)を、回転角取得点として設定する。
[0141]
 ここで、図15を参照して、形状情報で表される手形状に対応する回転角取得点について説明する。図15に示されるように、形状情報で表される手形状に応じて、回転角取得点が設定される。
[0142]
 具体的には、手形状が、例えば人差し指を1本だけ伸ばした状態の「1本指」である場合、回転角取得点は、伸ばした指(人差し指)の付け根と先端を結ぶ線分に設定される。なお、伸ばした指は、人差し指に限られない。
[0143]
 手形状が、例えば親指と人差し指などの2本を伸ばした状態の「2指」である場合、回転角取得点は、2指の先端を結ぶ線分に設定される。なお、伸ばした2指は、親指と人差し指に限られない。
[0144]
 手形状が、手指を開いた状態の「開いた」である場合、回転角取得点は、手首と例えば中指などのいずれか1本の指の先端を結ぶ線分に設定される。
[0145]
 このように、手形状に応じて、回転角取得点が設定されるので、ユーザは、手の形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
[0146]
 図14のフローチャートに戻り、ステップS97において、実行制御部75は、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部75は、設定された回転角取得点(2点を結ぶ線分)の、天面21の法線方向を軸とした回転の回転角に応じた処理を実行する。
[0147]
 例えば、実行制御部75は、回転操作に応じた表示を表示部55に行わせる。実行制御部75は、回転角取得点の回転角に応じて、例えば、表示物体として天面21に表示されている回転つまみを回転させる。
[0148]
 以上の処理によれば、手形状に基づいて、回転角取得点が設定されるので、より自然な回転操作を実現することが可能となる。
[0149]
 上述した処理においては、形状情報で表される手形状が、回転操作の手形状である場合に、回転操作についての手指の作用領域として、回転角取得点が設定されるものとした。これに加えて、回転操作についてのパラメータとして、回転角取得点の回転が作用する際の、回転角取得点の回転角の倍数である回転角倍数が設定されるようにしてもよい。
[0150]
 図16は、回転操作についてのパラメータとして、回転角倍数を設定するようにした回転操作制御処理の流れについて説明するフローチャートである。
[0151]
 なお、図16のフローチャートのステップS111乃至S115の処理は、図14のフローチャートのステップS91乃至S95の処理と同様であるので、その説明は省略する。
[0152]
 すなわち、ステップS115において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップS116に進む。
[0153]
 ステップS116において、設定部81は、操作体検出部73からの形状情報に基づいて、回転操作についての手指の作用領域とパラメータとして、回転角取得点と回転角倍数を設定する。
[0154]
 ここで、図17を参照して、形状情報で表される手形状に対応する回転角倍数について説明する。図17に示されるように、形状情報で表される手形状に応じて、回転角倍数が設定される。
[0155]
 具体的には、手形状が、指を1本だけ伸ばした状態の「1本指」である場合、回転角取得点は、伸ばした指の付け根と先端を結ぶ線分に設定され、回転角倍数は、1.3倍に設定される。
[0156]
 手形状が、2本を伸ばした状態の「2指」である場合、回転角取得点は、2指の先端を結ぶ線分に設定され、回転角倍数は、1.0倍に設定される。
[0157]
 手形状が、手指を開いた状態の「開いた手」である場合、回転角取得点は、手首と例えば中指の先端を結ぶ線分に設定され、回転角倍数は、2.0倍に設定される。
[0158]
 図18は、手形状毎の回転角倍数と回転可動域について説明する図である。ここでは、図中上段に示される、表示物体としての回転つまみ210の操作を例に挙げて説明する。
[0159]
 図18においては、図中下段中央に示されるように、手形状が「2指」である場合の、回転つまみ210を操作するときの回転角倍数が基準(1.0倍)とされる。
[0160]
 手形状が「1本指」である場合、手形状が「2指」である場合と比較して、回転角取得点の回転可動域はやや狭い。そこで、図中下段左側に示されるように、手形状が「1本指」である場合の、回転つまみ210を操作するときの回転角倍数を1.3倍とすることで、やや小さい角度変化であっても、回転つまみ210を少ない負荷で操作することができる。
[0161]
 また、手形状が「開いた手」である場合、手形状が「2指」である場合と比較して、回転角取得点の回転可動域はかなり狭い。そこで、図中下段右側に示されるように、手形状が「開いた手」である場合の、回転つまみ210を操作するときの回転角倍数を2.0倍とすることで、小さい角度変化であっても、回転つまみ210を少ない負荷で操作することができる。
[0162]
 このように、手形状に応じて回転角倍数が設定されるので、ユーザは、それぞれの手形状毎に高い操作性で回転操作を行うことができるようになる。
[0163]
 図16のフローチャートに戻り、ステップS117において、実行制御部75は、回転角倍数に基づいて、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部75は、設定された回転角取得点(2点を結ぶ線分)の回転角倍数に基づいた回転角に応じた処理を実行する。
[0164]
 以上の処理によれば、手形状に基づいて回転角倍数が設定されるので、より自然で少ない負荷の回転操作を実現することが可能となる。
[0165]
<5.その他>
(操作制御処理の全体の流れ)
 以上においては、タッチ操作、ドラッグ操作、および回転操作の各操作についての処理の流れについて説明したが、これらの操作が1つの処理の中で認識されるようにしてもよい。
[0166]
 そこで、図19を参照して、操作制御処理の全体の流れについて説明する。
[0167]
 図19のフローチャートのステップS131乃至S138の処理は、図6のフローチャートのステップS31乃至S38の処理と基本的に同様であるので、その説明は省略する。
[0168]
 ただし、ステップS135において、認識された操作の種類がタッチ操作でないと判定された場合、ステップS139に進む。
[0169]
 また、ステップS136においては、操作体検出部73からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲とともに、ドラッグ操作についてのパラメータとして、ドラッグ閾値が設定される。
[0170]
 ステップS139乃至S141の処理は、図11のフローチャートのステップS75乃至S77の処理と同様であるので、その説明は省略する。
[0171]
 ただし、ステップS139において、認識された操作の種類がドラッグ操作でないと判定された場合、ステップS142に進む。
[0172]
 ステップS142乃至S144の処理は、図14のフローチャートのステップS95乃至S97の処理と同様であるので、その説明は省略する。
[0173]
 このように、タッチ操作、ドラッグ操作、および回転操作の各操作を1つの処理の中で判定することができる。
[0174]
(タッチ操作の変形例)
 形状情報で表される手形状が、タッチ操作の手形状である場合に、手の腹(手のひらの手首側の部分)やひじが操作面(天面21)に接触しているか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手の腹やひじが天面21に接触しているか否かは、手や腕の骨格を検出することで手の腹やひじの位置を認識し、距離画像に基づいて手の腹やひじと天面21との距離を算出することで判定することができる。
[0175]
 また、手の腹やひじが天面21に接触しているか否かに応じて、受け付ける操作(判定される操作)を変えるようにしてもよい。
[0176]
 例えば、図20のAに示されるように、手の腹が天面21に接触している状態では、指でのタッチ操作を受け付けるようにする。
[0177]
 一方、図20のBに示されるように、手の腹が天面21に接触していない状態では、複数の指でのピンチ操作(拡大や縮小、回転)を受け付けるようにする。なお、図20のAのように、手の腹が天面21に接触している状態で、複数の指でのピンチ操作が行われても、そのピンチ操作は受け付けられないものとする。
[0178]
 また、図21のAに示されるように、ひじが天面21に接触している状態では、指でのタッチ操作を受け付けるようにする。
[0179]
 一方、図21のBに示されるように、ひじが天面21に接触していない状態では、指でのタッチ操作を受け付けないようにし、遠方にある表示物体を指す指差し操作を受け付けるようにする。指差し操作によれば、遠方にある表示物体に向けて、例えば指先から直線状の矢印が描かれるようになる。
[0180]
 また、痙攣などにより手指に震えがあることが検知されたか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手指に震えがあることは、タッチ操作制御処理が開始される前に検出されてもよいし、処理中に検知されてもよい。
[0181]
 例えば、手指に震えがあることが検知された場合には、操作がタッチ操作であることが判定されてから、タッチ操作が有効であることが判定されるまでの時間を、通常より長く設定する。これにより、手指に震えがあるユーザが、必要以上にタッチ操作に時間を要した場合であっても、そのタッチ操作を受け付けることができるようになる。
[0182]
 さらに、地域や民族の文化、風習に応じて、タッチ操作であると判定される手形状、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。
[0183]
(全ての操作の変形例)
 手指が通常と異なることが検知されたか否かに応じて、手形状の判定基準を変化させるようにしてもよい。
[0184]
 例えば、ユーザの手に手袋や包袋が装着されている場合には、手指の開き具合についての判定基準を緩和させるようにする。また、指に欠損がある場合には、欠損している指を無視してジェスチャ認識が行われるようにしてもよい。具体的には、欠損している指以外の指が開いている状態で、全ての指が開いていると認識されるようにする。
[0185]
 さらに、ユーザの手指の爪が長い場合や手が汚れている場合には、操作が判定されにくくなることから、操作の判定基準を緩和してもよい。
[0186]
 また、登録されていない手形状が繰り返し検出された場合に、ユーザに対して意図的な操作であることを確認させた上で、その手形状と対応する操作を新たに登録するようにしてもよい。
[0187]
 さらに、ユーザの手が、特定の操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、特定の操作の手形状として登録されてもよい。この場合、その一定範囲内においてのみ、登録された手形状の操作を有効にしてもよいし、その範囲外であっても、登録された手形状の操作を有効にしてもよい。
[0188]
 さらに、手形状や手指の姿勢以外の情報に基づいて、作用領域やパラメータが設定されるようにしてもよい。例えば、ユーザが座っているか(座位)または立っているか(立位)、腕の屈伸状態、操作対象との距離、操作対象の大きさなどに基づいて、作用領域やパラメータが設定されるようにする。
[0189]
(その他の適用例)
 上述した実施の形態では、テーブル20の天面21を操作面として、その面に対する手形状や手指の姿勢に基づいて、作用領域やパラメータが設定されるものとしたが、操作面は、壁や天井などの平面であってもよい。
[0190]
 また、操作体は、手指に限らず、タッチやジェスチャ認識が可能なユーザの身体の部位であればよく、腕や上半身、脚、さらには全身であってもよい。
[0191]
 さらに、ユーザは、人間に限らず、サルやオランウータン、犬や猫などの動物であってもよい。
[0192]
(コンピュータの構成例)
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
[0193]
 図22は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
[0194]
 コンピュータにおいて、CPU1001,ROM1002,RAM1003は、バス1004により相互に接続されている。
[0195]
 バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、およびドライブ1010が接続されている。
[0196]
 入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
[0197]
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005およびバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
[0198]
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディアなどとしてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
[0199]
 コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
[0200]
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
[0201]
 本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
[0202]
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[0203]
 本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
[0204]
 例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
[0205]
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0206]
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
[0207]
(本開示がとり得る他の構成)
 さらに、本開示は以下のような構成をとることができる。
(1)
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
 を備える情報処理装置。
(2)
 前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
 前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
 (1)に記載の情報処理装置。
(3)
 前記操作体は、ユーザの身体の部位である
 (2)に記載の情報処理装置。
(4)
 前記操作体は、ユーザの手であり、
 前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
 前記制御部は、前記手指の一部を前記作用領域に決定する
 (3)に記載の情報処理装置。
(5)
 前記操作は、タッチ操作を含む
 (4)に記載の情報処理装置。
(6)
 前記制御部は、いずれか1本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
 (5)に記載の情報処理装置。
(7)
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
 (6)に記載の情報処理装置。
(8)
 前記有効範囲は、前記操作面上での面積範囲を含む
 (7)に記載の情報処理装置。
(9)
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
 (8)に記載の情報処理装置。
(10)
 前記操作は、ドラッグ操作を含む
 (4)に記載の情報処理装置。
(11)
 前記制御部は、いずれか1本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
 (10)に記載の情報処理装置。
(12)
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
 (11)に記載の情報処理装置。
(13)
 前記操作は、回転操作を含む
 (4)に記載の情報処理装置。
(14)
 前記制御部は、2本の指の先端を結ぶ線分、いずれか1本の指の先端と手首を結ぶ線分、および、いずれか1本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
 (13)に記載の情報処理装置。
(15)
 前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
 (14)に記載の情報処理装置。
(16)
 前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
 (1)乃至(15)のいずれかに記載の情報処理装置。
(17)
 前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
 (1)乃至(16)のいずれかに記載の情報処理装置。
(18)
 前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
 (17)に記載の情報処理装置。
(19)
 情報処理装置が、
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
 情報処理方法。
(20)
 コンピュータに、
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
 処理を実行させるためのプログラムが記録された記録媒体。

符号の説明

[0208]
 10 情報処理装置, 20 テーブル, 21 天面, 51 制御部, 52 撮影部, 53 入力部, 54 記憶部, 55 表示部, 56 出力部, 71 撮影制御部, 72 画像処理部, 73 操作体検出部, 74 操作認識部, 75 実行制御部, 81 設定部

請求の範囲

[請求項1]
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
 を備える情報処理装置。
[請求項2]
 前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
 前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
 請求項1に記載の情報処理装置。
[請求項3]
 前記操作体は、ユーザの身体の部位である
 請求項2に記載の情報処理装置。
[請求項4]
 前記操作体は、ユーザの手であり、
 前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
 前記制御部は、前記手指の少なくとも一部を前記作用領域に決定する
 請求項3に記載の情報処理装置。
[請求項5]
 前記操作は、タッチ操作を含む
 請求項4に記載の情報処理装置。
[請求項6]
 前記制御部は、いずれか1本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
 請求項5に記載の情報処理装置。
[請求項7]
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
 請求項6に記載の情報処理装置。
[請求項8]
 前記有効範囲は、前記操作面上での面積範囲を含む
 請求項7に記載の情報処理装置。
[請求項9]
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
 請求項8に記載の情報処理装置。
[請求項10]
 前記操作は、ドラッグ操作を含む
 請求項4に記載の情報処理装置。
[請求項11]
 前記制御部は、いずれか1本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
 請求項10に記載の情報処理装置。
[請求項12]
 前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
 請求項11に記載の情報処理装置。
[請求項13]
 前記操作は、回転操作を含む
 請求項4に記載の情報処理装置。
[請求項14]
 前記制御部は、2本の指の先端を結ぶ線分、いずれか1本の指の先端と手首を結ぶ線分、および、いずれか1本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
 請求項13に記載の情報処理装置。
[請求項15]
 前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
 請求項14に記載の情報処理装置。
[請求項16]
 前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
 請求項1に記載の情報処理装置。
[請求項17]
 前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
 請求項1に記載の情報処理装置。
[請求項18]
 前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
 請求項17に記載の情報処理装置。
[請求項19]
 情報処理装置が、
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
 情報処理方法。
[請求項20]
 コンピュータに、
 撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
 処理を実行させるためのプログラムが記録された記録媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]