PATENTSCOPE will be unavailable a few hours for maintenance reason on Monday 03.02.2020 at 10:00 AM CET
Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2017094443) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
Document

明 細 書

発明の名称 情報処理装置、情報処理方法及びプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005   0006   0007  

課題を解決するための手段

0008   0009   0010  

発明の効果

0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

符号の説明

0074  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

図面

1   2   3A   3B   3C   3D   4   5   6   7   8   9   10   11   12A   12B   12C   12D   13  

明 細 書

発明の名称 : 情報処理装置、情報処理方法及びプログラム

技術分野

[0001]
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。

背景技術

[0002]
 従来、例えば下記の特許文献1には、ジェスチャの予測情報を用いて、適切なジェス
チャフィードバックを行うことを想定した技術が記載されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2012-8772号公報

発明の概要

発明が解決しようとする課題

[0004]
 腕時計型端末やその他のウェアラブル端末での動き認識ジェスチャは、ユーザーが端末のボタンやタッチパネルを直接操作しなくても操作でき、ユーザーに利便性を提供できる。しかし、ユーザーの動きが想定よりも小さかった場合は、操作できない場合が発生する。一方、ジェスチャ認識の条件を緩くすると、ジェスチャを認識させたくない状況でもジェスチャを認識してしまうケースが増加し、ユーザーにとっての利便性、満足度が低下してしまう問題がある。
[0005]
 また、ユーザーの動きが想定しているジェスチャに類似していたが、ジェスチャと認識されなかった場合、ユーザーはジェスチャ認識を望んだ確率が高いと考えられるが、ジェスチャ認識をさせるためには現状では同じジェスチャを再び試すしか方法がない。
[0006]
 また、ユーザーが端末を使用する状況は様々でありが、ジェスチャ認識の条件を統一的に適用すると、状況に応じたジェスチャ認識が困難となり、ユーザーの利便性が低下する問題がある。
[0007]
 そこで、ユーザーの利用状況に応じてジェスチャを高精度に認識することで、ユーザの利便性を高めることが求められていた。

課題を解決するための手段

[0008]
 本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、前記操作情報に基づいて処理を行うことを判定する判定部と、を備え、前記判定部は、第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理装置が提供される。
[0009]
 また、本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得することと、前記操作情報に基づいて処理を行うことを判定することと、を備え、第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理方法が提供される。
[0010]
  また、本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得する手段、
 前記操作情報に基づいて処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラムであって、第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラムが提供される。

発明の効果

[0011]
 本開示によれば、ユーザーの利便性を損なうことなく、ジェスチャを高精度に認識することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図面の簡単な説明

[0012]
[図1] 本開示の一実施形態に係る端末装置の外観を示す模式図である。
[図2] 端末装置の機能構成を示すブロック図である。
[図3A] 腕を振り上げたときに表示部102の表示画面が点灯する例を示す模式図である。
[図3B] 腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。
[図3C] 腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。
[図3D] 腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。
[図4] ジャスチャ発火のためマイクロコンピュータによって実現される機能構成を示すブロック図である。
[図5] 図3A~図3Dに示す処理を実現するための処理を示すフローチャートである。
[図6] 加速度センサーの検出値と、特徴量vとの関係を示す特性図である。
[図7] ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)が、第1の発火条件は満たさないが、第1の発火条件よりも緩い第2の発火条件を満たす場合は、端末装置にその旨を表示する例を示すフローチャートである。
[図8] 端末装置をタップするジェスチャに適用した例を示す模式図である。
[図9] 端末装置のユーザーの振り上げ動作に応じて発火条件のしきい値を変更する例を示すフローチャートである。
[図10] 本実施形態をヘッドマウントディスプレイ(HMD)に適用した例を示す模式図である。
[図11] テレビ受像機(TV)を操作する際に、TVに設けられたカメラ、またはユーザーが手にするリモートコントローラの加速度センサーを用いたジェスチャ認識を行う例を示す模式図である。
[図12A] 端末装置にメッセージが着信した際の動作を示す模式図である。
[図12B] 端末装置にメッセージが着信した際の動作を示す模式図である。
[図12C] 端末装置にメッセージが着信した際の動作を示す模式図である。
[図12D] 端末装置にメッセージが着信した際の動作を示す模式図である。
[図13] 第2の実施形態における処理を示すフローチャートである。

発明を実施するための形態

[0013]
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[0014]
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態
  1.1.端末装置の外観例
  1.2.端末装置の機能構成
  1.3.ジェスチャ発火の代表的な例
  1.4.ジェスチャ発火の処理
  1.5.ジェスチャ発火の処理の他の例
  1.6.他のデバイスへの適用例
 2.第2の実施形態
  2.1.ユーザーの操作履歴によるジェスチャ認識関数の変更について
  2.2.通知によるジェスチャ認識関数の変更について
  2.3.ユーザーの行動によるLPフィルターの変更について
[0015]
 <1.第1の実施形態>
 [1.1.端末装置の外観例]
 図1は、本開示の一実施形態に係る端末装置100の外観を示す模式図である。この端末装置100は、表示部102(ディスプレイ)と加速度センサー等のセンサーを備えた腕時計型デバイスとして構成されており、スマートフォンやタブレット端末等と同様に、ウェブサイトの閲覧機能、メール機能、音楽や動画等の視聴機能、GPS等による位置検出機能、ナビゲーション機能等を備えている。
[0016]
 端末装置100は、加速度センサー等のセンサーの値を常時センシングしていて、センサーの値をジェスチャ判定関数(ジェスチャ判定条件)に適用し、この結果によりジェスチャの発火、非発火を決定する。ジェスチャとして最も一般的な例として、腕を振り上げたときに画面が点灯するものがあげられる。他にも、腕をひねる、人差し指と中指をタップする等のジェスチャが挙げられる。
[0017]
 [1.2.端末装置の機能構成]
 図2は、端末装置100の機能構成を示すブロック図である。図2に示すように、端末装置100は、表示部(報知部)102に加え、加速度センサー104、ジャイロセンサー106、バイブレータ(報知部)107、マイクロコンピュータ110、RAM120、ストレージ(記憶部)122、無線接続部(無線通信部)124、メインCPU130、を有して構成されている。端末装置100は、無線接続部124により親機のスマートフォンに接続したり、直接インターネットに接続することができる。
[0018]
 加速度センサー104、ジャイロセンサー106は、一旦センサー処理用のマイクロコンピュータ110に接続され、その後メインの処理を行うメインCPU130(アプリケーションプロセッサ)に接続されている。センサー処理用のマイクロコンピュータ110で簡単なジェスチャの判別を行ってもよい。
[0019]
 端末装置100の起動中は、メインCPU130がアプリケーションプロセッサとして機能し、上述したウェブサイトの閲覧機能、メール機能、音楽や動画等の視聴機能、GPS等による位置検出機能、ナビゲーション機能等を実行する。一方、端末装置100は、一定時間ユーザーの操作が無い場合、電源をタイムアップ等によりオフにして、マイクロコンピュータ110により加速度センサー104、ジャイロセンサー106の検出値を常時センシングする。そして、これらのセンサーの検出値をジェスチャ判定関数に適用し、その結果によりジェスチャの発火、非発火を決定する。マイクロコンピュータ110はメインCPU130に比べて大幅に消費電力が小さいため、電源オフ時にメインCPU130を停止させ、マイクロコンピュータ110のみ起動しておくことで、消費電力を大幅に削減することができる。
[0020]
 [1.3.ジェスチャ発火の代表的な例]
 端末装置100の電源オフ時に、センサーの検出値に基づいてジェスチャが発火すると、端末装置100の電源がオンとなり、表示部102の表示画面が点灯する。図3A~図3Dは、ジェスチャの最も一般的な例として、腕を振り上げたときに表示部102の表示画面が点灯する例を示す模式図である。
[0021]
 ここで、基本的な動作として、腕を振り上げたときの加速度センサー104の検出値が、画面を点灯させるためのジェスチャの判定値に比べて大きい場合、表示画面を点灯させる。一方、ユーザーが表示画面を点灯させようとしているにも関わらず、センサーの検出値が判定値に達していない場合、もう一度同じ動作をユーザーに行わせると、ユーザーにとって煩雑な動作が必要となり利便性が低下する。このため、本実施形態では、腕を振り上げたときのセンサーの検出値が、画面を点灯させるジェスチャの判定値に比べて少し小さかった時、ユーザーが手首を少し動かして止めると、画面を点灯させる。この様子を図3A~図3Dに示す。
[0022]
 先ず、図3Aに示すように、ユーザーが端末装置100を振り上げてジェスチャの発火を試したが、振り上げ量が足りず、図3Bに示すように画面が点灯せず、ジェスチャが発火しなかったものとする。この場合、図3Cに示すように、ユーザーがさらに端末装置100をユーザーの側に近づける追加の小さなジェスチャを行うことにより、図3Dに示すように表示部102の表示画面が点灯し、ユーザーはジェスチャによる表示画面の点灯という所望の動作を実現できる。
[0023]
 図3A~図3Dにおいて、第1、第2、第3の判定条件(ジェスチャ発火条件)について説明する。第1の判定条件は腕の振り上げ、第2の判定条件は第1の判定条件よりも緩い条件の腕の振り上げ、第3の判定条件は腕を振り上げた状態で腕の角度を変えたり、腕を軽く振るシェイクを行ったりしたことで発動(発火)する。また指タップ操作においては、第1の判定条件は人差し指と中指をタップさせる操作、第2の判定条件は第1の判定条件よりも緩い条件のタップ操作の検出、第3の判定条件は第2の判定条件よりは厳しいものの、第1の判定条件よりは緩い条件でタップ検出を行うものとする。なお、タップ操作については後述する。
[0024]
 図3A~図3Dに示す処理によれば、ユーザーがジェスチャにより表示画面を点灯しようとした場合に、腕の振り上げ量が少ないためにジェスチャが発火しなかった場合は、追加的な動作を行うことでジェスチャを発火させることができる。これにより、ユーザーは、ジェスチャが発火しなかった場合に、腕の振り上げを再度行うことなく、小さな動作でジェスチャを発火させることができる。
[0025]
 一方、画面を点灯させるためのジェスチャの判定値を小さくすると、腕の振り上げ量が少ない場合であってもジェスチャを発火させることができる。しかし、この場合、例えばユーザーが電車内でつり革を握った場合など、ユーザーがジェスチャの発火を意図していない場合であってもジェスチャが発火してしまうことが想定される。
[0026]
 従って、本実施形態の手法によれば、意図しないジェスチャの発火を確実に抑えるとともに、ジェスチャが発火しなかった場合は追加的な動作で確実にジェスチャを発火させることができる。
[0027]
 [1.4.ジェスチャ発火の処理]
 図4は、ジャスチャ発火のためマイクロコンピュータ110によって実現される機能構成を示すブロック図である。図4に示すように、ジャスチャ発火のための構成として、加速度センサー104、センサー監視モジュール230、ジェスチャ判定モジュール240、表示モジュール(処理部)220を有する。
[0028]
 図4に示す例では、加速度センサー104のセンサー値を、センサー監視モジュール230で処理する。センサー監視モジュール230は比較的簡単な処理のみを行う一方、低消費電力で動作することができる。また、必要に応じてジェスチャ判定モジュール240を起動して処理させる。センサー監視モジュール230で動きが検知された場合は、ジェスチャ判定モジュール240でジェスチャ判定が行われ、ジェスチャと認識された場合は処理部220によって表示モジュールや各種アプリケーションに通知が行われる。
[0029]
 センサー監視モジュール230の処理は、運動ノイズ除去部214、判定関数取得部216、しきい値判定部218に分離できる。先ず、加速度センサー104からの三次元の入力は、運動ノイズ除去部214でノイズ除去が行われ、判定関数取得部216でノルム計算など一次元の値に変換される。さらにしきい値判定部218でしきい値との比較を行い、しきい値の条件を満たす場合はジェスチャ判定モジュール240を起動して詳細な処理を行う。運動ノイズ除去部214としては、低域通過フィルター(ローパスフィルタLPF)が一例として挙げられ、加速度センサー104の検出値からノイズなどの高周波成分(運動ノイズ)を除去する。図4に示す構成要素は、回路(ハードウェア)、またはマイクロコンピュータ110と、これを機能させるためのプログラム(ソフトウェア)によって構成されることができる。運動ノイズ除去部214は、例えばローパスフィルタ(LPF)によって構成され、
[0030]
 図5は、図3A~図3Dに示す処理を実現するための処理を示すフローチャートである。図5に示す処理は、主としてマイクロコンピュータ110において行われる。先ず、ステップS10では、ユーザーにより第1の操作が行われる。ここで、第1の操作は、腕を振り上げる動作に相当する。次に、ステップS11では、加速度センサー104の検出値を取得する。次のステップS12では、第1ジェスチャ判定に用いる特徴量vを算出する。次のステップS14では、特徴量vがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップS16へ進み、ジェスチャを発火させる。
[0031]
 図6は、加速度センサー104の検出値と、特徴量vとの関係を示す特性図である。図6において、2種類の破線で示すそれぞれの特性は、加速度センサー104のセンサー値を示しており、xy軸方向の加速度xyとz軸方向の加速度zをそれぞれ示している。センサー値取得部212は、図5のステップS11において、図6の破線で示す特性を取得する。図6の2つの実線で示すそれぞれの特性(太線、細線)は、運動ノイズ除去部214でノイズを除去した後の加速度センサー104のセンサー値を示しており、細線はxy軸方向のセンサー値LP(xy)、太線はz軸方向のセンサー値LP(z)をそれぞれ示している。判定関数取得部216は、図5のステップS12において、運動ノイズ除去部214によってノイズなどの高周波成分が除去され、一次元の値に変換された、図6に実線で示す特性を取得する。図6に実線で示す特性は、特徴量vに相当する。
[0032]
 また、図6において、2種類の一点鎖線で示すそれぞれの特性は、実線で示す特性を判定するためのしきい値を示しており、xy軸方向の特性を判定するためのしきい値TH_xyと、z軸方向の特性を判定するためのしきい値TH_zを示している。しきい値判定部218は、図5のステップS14において、図6に実線で示す特性LP(xy),LP(z)と各しきい値TH_xy,TH_zを比較し、特性LP(xy),LP(z)の値が各しきい値TH_xy,TH_zを超えているか否かに基づいて、ジェスチャの発火条件を満たすか否かを判定する。しきい値TH_xy,TH_zを予め所望の値に設定し、登録しておくことで、第1の操作(端末装置100を振り上げる操作)がジェスチャの発火条件を満たすか否かを判定することができる。処理部220は、しきい値判定部218によってジェスチャの発火条件が満たされたことが判定されると、ジェスチャを発火する処理を行う。また、処理部220は、ジェスチャの発火条件が満たされると、アプリケーションの状態を変化させたり、発火条件が満たされた旨の情報を出力する処理を行う。
[0033]
 図5のステップS14で特徴量vがジェスチャの発火条件を満たさない場合はステップS18へ進む。ステップS18では、特徴量vが第2の発火条件を満たすか否かを判定し、第2の発火条件を満たす場合はステップS20へ進む。第2の発火条件は、第1の発火条件と類似するジェスチャを検出する条件であり、第1の発火条件よりも緩い条件である。一方、第2の発火条件は、第1の発火条件と異なるジェスチャを検出する条件であっても良い。一方、ステップS18で第2の発火条件を満たさない場合は、処理を終了する。ステップS18では、しきい値判定部218は、しきい値TH_xy,TH_zよりも判定条件の緩いしきい値を用いて判定を行う。
[0034]
 次のステップS20において、ユーザーが第2の操作を行うと、次のステップS21では加速度センサー104の検出値を取得する。ここで、第2の操作は、図3Cに示した端末装置100をユーザーの側に近づけるジェスチャに相当する。ステップS21の後はステップS22へ進み、第2ジェスチャ判定に用いる特徴量uを計算する。特徴量uは、特徴量vと同様に、図6に実線で示す特性LP(xy),LP(z)に相当する。
[0035]
 次のステップS24では、特徴量uが第3の発火条件を満たすか否かを判定し、第3の発火条件を満たす場合はステップS26へ進み、ジェスチャを発火させる。第3の発火条件を満たすジェスチャは、例えば図3Cに示したような、端末装置100をユーザーの側に近づける追加の小さなジェスチャである。一方、ステップS24で第3の発火条件を満たさない場合は、処理を終了する。
[0036]
 ステップS24では、しきい値判定部218は、しきい値TH_xy,TH_zとは異なるしきい値を用いて判定を行う。xy軸方向の特性を判定するためのしきい値TH_xyと、z軸方向の特性を判定するためのしきい値TH_zを予め所望の値に設定し、登録しておくことで、図3Cに示した端末装置100をユーザーの側に近づけるジェスチャを検出することができる。
[0037]
 図5の処理では、第1の操作についてのジェスチャ判定を特徴量vに基づいて用いて行うが、特徴量vが1回目の通常の発火条件(ステップS14)を満たさなかった場合、第2の発火条件をチェックする(ステップS18)。第2の発火条件は第1の発火条件よりも緩い発火条件であり、第1の発火条件で発火するケースであれば第2の発火条件は全て発火する。これに加えて、第1の発火条件に似ている動きであるが第1の発火条件を満たさない動きも第2の発火条件を発火するように構成されている。換言すれば、第2の発火条件は、第1の発火条件を包含するより緩い条件である。特徴量vが第2の発火条件を満たす場合、それ以降の加速度センサー104の値を検知し(ステップS21)、ユーザーが追加のジェスチャを試した場合、第1の発火条件とは異なる第3の発火条件で評価し(ステップS24)、これを満たす場合はジェスチャを発火させる(ステップS26)。
[0038]
 従って、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)が、第1の発火条件は満たさないが、第1の発火条件よりも緩い第2の発火条件を満たす場合は、追加的な簡単なジェスチャが第3の発火条件で評価される。そして、追加的なジェスチャが第3の発火条件を満たす場合は、ジェスチャが発火する。これにより、ユーザーがジェスチャを発火させようとした場合に、腕の振り量が少なくてジェスチャが発火しなかった場合は、追加的なジャスチャを行うことでジャスチャを確実に発火させることができる。なお、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)が第2の発火条件を満たした場合、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)と同時、又はユーザーがジェスチャ発火のために行った動作から所定の時間内に追加的なジェスチャが行われた場合は、ジェスチャが発火する。この場合に、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)を実行してからその動作情報が実際に取得されるまでのタイムラグ、又は追加的なジェスチャを実行してからその動作情報が実際に取得されるまでのタイムラグがあることも想定される。このため、腕の振り上げと追加的なジェスチャの双方の操作情報が同時に取得される場合、異なるタイミングで取得される場合の双方が想定できる。
[0039]
 [1.5.ジェスチャ発火の処理の他の例]
 図7は、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)が、第1の発火条件は満たさないが、第1の発火条件よりも緩い第2の発火条件を満たす場合は、端末装置100にその旨を表示する例を示すフローチャートである。また、図7は、ユーザーがジェスチャ発火のために行った動作(腕の振り上げ)が、第1の発火条件は満たさないが、第1の発火条件よりも緩い第2の発火条件を満たす場合は、ジャイロセンサー106を起動して発火条件を緩める例を示している。
[0040]
 先ず、ステップS30では、ユーザーにより第1の操作が行われる。ここで、第1の操作は、腕を振り上げる動作に相当する。次に、ステップS31では、加速度センサー104の検出値を取得する。次のステップS32では、第1ジェスチャ判定に用いる特徴量vを算出する。次のステップS34では、特徴量vがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップS36へ進み、ジェスチャを発火させる。
[0041]
 一方、ステップS34で特徴量vがジェスチャの発火条件を満たさない場合はステップS38へ進む。ステップS38では、特徴量vが第2の発火条件を満たすか否かを判定し、第2の発火条件を満たす場合はステップS40へ進む。一方、ステップS38で第2の発火条件を満たさない場合は、処理を終了する。
[0042]
 ステップS40では、ユーザーに対し、ジェスチャは認識されたが、ジェスチャ発火のしきい値に足りないことをユーザーに通知する。このユーザーへの通知は、表示部102へ表示する、バイブレータ107を起動する、等の方法により行うことができる。つまり、表示部102、バイブレータ107は、次のステップS43における第2の操作を促すための報知部として機能する。また、ユーザーへの通知は、端末装置100のバックライトを一瞬点灯したり、バイブレータ107を短く振動したりして、ユーザーにジェスチャ発火のしきい値が小さくなることを示してもよい。あるいは、振り上げジェスチャではなく、画面表示中の指タップジェスチャやテレビでのジェスチャ操作の場合は、画面上にユーザーに再操作を促す表示を行ってもよい。
[0043]
 次のステップS42では、端末装置100のセンサーのモードを変更し、ジャイロセンサー106を起動する。次のステップS43では、ステップS40の通知を受けたユーザーが第2の操作を行う。第2の操作は、図3Cに示した端末装置100をユーザーの側に近づけるジェスチャに相当する。
[0044]
 次のステップS44では、加速度センサー104、ジャイロセンサー106の検出値を取得する。
[0045]
 ステップS44の後はステップS46へ進み、第2ジェスチャ判定に用いる特徴量uを計算する。次のステップS47では、特徴量uが第3の発火条件を満たすか否かを判定し、第3の発火条件を満たす場合はステップS48へ進み、ジェスチャを発火させる。第3の発火条件を満たすか否かの判定は、加速度センサー104の検出値に加え、ジャイロセンサー106の検出値を用いて行われる。一方、ステップS46で第3の発火条件を満たさない場合は、処理を終了する。ステップS40の報知を行った場合は、ユーザーが第2の操作を行う可能性が高くなるため、第3の発火条件を満たすか否かの判定条件を通常の条件(図5のステップS24)よりも緩くしても良い。このように、ジェスチャの発火条件は動的に変更することができる。
[0046]
 図7の処理によれば、ユーザーの動作(腕の振り上げ)が、第1の発火条件は満たさないが、第1の発火条件よりも緩い第2の発火条件を満たす場合は、表示部102へ表示を行う、バイブレータ107を駆動する、などの方法で通知を行うことで、ユーザーに発火条件が緩和されることを通知する。従って、ユーザーに対して第1の操作が僅差で第1の発火条件を満たさなかったこと、発火条件が緩和されることを通知することができる。通知を受けたユーザーは、追加的な動作を行うことでジャスチャが発火することを認識することができ、ステップS43で第2の操作を行う。これにより、第2の操作による特徴量uが第3の発火条件を満たすことで、ジェスチャを発火させることができる。
[0047]
 また、図7の処理によれば、通常時は加速度センサー104のみでジェスチャ検知を行っているが、ユーザーの第1の操作が振り上げ動作に類似していた場合、通常は使用していないジャイロセンサー106も起動して次の第2の操作の検出に利用することができる。これにより、第2の操作の検出の精度を高めることができ、結果としてジェスチャ検出の要件を緩和できる。なお、図7では、ジャイロセンサー106を併用して第2の操作を検出する際の発火条件を緩和しているが、第2の操作を検出する際の判定条件のしきい値TH_xy,TH_z自体を緩和しても良い。
[0048]
 また、上述した例では、ユーザーの第1の操作が振り上げ動作に類似していた場合、ジャイロセンサー106も起動して次の第2の操作の検出に利用しているが、加速度センサー104のサンプリング周波数を一時的に上げたり、マイクロコンピュータ110、メインCPU130のクロックを上げるなどして端末装置100、またはセンサーのモードを一時的に変更し、第2の操作を検出する際の認識精度を上げるようにしても良い。加速度センサー104はサンプリング周波数を上げることでより高精度な検出値を得られるが、消費電力も上がってしまう。このため、新たな起動したセンサーや、一度変更したモードについては、一定のタイムアウト時間が経過した場合、又は2回目のジェスチャ検知で発火した場合、新たに起動したセンサーを停止したり、モードを元に戻すものとする。
[0049]
 なお、上述した例では、ユーザーが腕を振り上げるジェスチャを行った場合の適用例について説明したが、腕を振り上げるジェスチャの他に、ユーザーが端末装置100に指をタップしたことを検出するジェスチャにも適用可能である。図8は、端末装置100をタップするジェスチャに適用した例を示す模式図であり、指タップでアラームを止める機能における例を示している。この例では、ユーザーがアラームを止めるために人差し指と中指をタップさせる指タップ操作を行ったが、タップの強さが足りず、アラームを止める動作が実際には行われなかったものとする。
[0050]
 例えば、端末装置100が時刻を知らせるアラームを発生させ、ユーザーがアラームを停止するため指タップ操作を行ったが、タップが弱くて第1の発火条件に反応しなかった場合、システムがこのタップ操作が意図的なものか判断できなかったため、タップが第2の発火条件を満たしていれば、表示部102の画面上にタップが試されたことを示すとともに、且つ再タップを促すアニメーション(Tap Again)を表示する。さらに、アニメーションが表示されている間は、タップを検出するためのしきい値を低くする。これにより、ユーザーが次回のタップを容易に行えるようにするとともに、タップが第3の発火条件を満たしている場合は、次回のタップを容易に検出することができる。
[0051]
 一方、タップが弱くて第1の発火条件に反応しなかった場合であっても、タイムアウトが経過すると、アニメーション(Tap Again)の表示は消えて、一時的に適用されていた第3の判定条件ではなく、第1の判定条件が再び適用されるようになる。
[0052]
 図8のように文字列を表示する他には、端末装置100のボタンの色が変わったり、変形したり、あるいはジェスチャの判定関数自体をゲージとして表示して、ユーザーにもう少し追加が必要であることをビジュアルで示すこともできる。また、テレビや大画面ディスプレイで手のひらを左右に動かすことによって画面上のメニューをめくる操作に適用した場合、メニューが腕を動かした方向に変形しているような表示がされることで、ユーザーにもう一度ジェスチャをすることを促すようにしても良い。タイムアウトが経過すると、メニューの変形は元に戻る。
[0053]
 [1.6.他のデバイスへの適用例]
 上述した例では、端末装置100として腕時計型のデバイスを例示したが、ヘッドマウントディスプレイやワイヤレスレシーバー等、頭部に装着してユーザーの動きを検知して端末を操作するデバイスに適用することもできる。図10は、本実施形態をヘッドマウントディスプレイ(HMD)200に適用した例を示す模式図である。ヘッドマウントディスプレイ200では、内蔵された加速度センサー、カメラ、IR等のセンサーにより、ユーザーの頷きや首振り等のジェスチャを取得することができる。ワイヤレスレシーバーの場合も同様である。このようなジェスチャに対して、上述した腕時計型デバイスと同様の処理を行うことができる。
[0054]
 図11は、テレビ受像機(TV)300(またはプロジェクター等)を操作する際に、TV300に設けられたカメラ310、またはユーザーが手にするリモートコントローラの加速度センサーを用いたジェスチャ認識を行う例を示す模式図である。この例では、ユーザーが腕、頭、その他、体を動かす操作を行うことで、カメラ310または加速度センサーがジェスチャを認識し、TV300を操作できる。カメラ310がジェスチャを認識する場合は、図4の構成において、カメラ310が検出したジェスチャがセンサー監視モジュール230に送られてジェスチャ判定が行われる。ユーザーへのフィードバックはTV300の画面や音、照明で行うことができる。例えば手のひらを上げ下げするジェスチャによってボリュームを上下させたり、手のひらを左右に動かしてメニューを選択したり、画面を指差すことで電源をオン、オフすることができる。また、本実施形態はゲーム内でのジェスチャ操作にも適用が可能である。例えば、リモートコントローラを左右に振って視点を変える操作も、ゲーム内の場面に応じてジェスチャ発火条件を変えることで、快適な操作を実現できる。他のプレーヤーと会話しているときには、視点を代えにくくして、移動中は機敏に変えられるようにするなどの適用も可能である。武器で攻撃する操作も、敵を目の前にした時により簡単に行えるようにすると、快適にプレイすることができる。
[0055]
 <2.第2の実施形態>
 [2.1.ユーザーの操作履歴によるジェスチャ認識関数の変更について]
 次に、本開示の第2の実施形態について説明する。第2の実施形態に係る端末装置100の基本的な構成は、第1の実施形態と同様である。第2の実施形態では、端末装置100の様々な状況に応じてジェスチャ発火条件を変更する。最初に、ユーザーの操作履歴によるジェスチャ認識関数の変更について説明する。
[0056]
 上述した腕を振り上げるジェスチャを行う場合に、振り上げの動作の強弱はユーザーによって個人差がある。つまり、ジェスチャ操作は、動きがはっきりしているユーザーと、動きが弱いユーザーなど個人差がある。しかし、端末装置100を当初から個々のユーザーの違い応じてカスタマイズするのは困難なので、使用中の操作ログをもとにジェスチャの反応関数をユーザーに合うように変えていく。図9は、ジェスチャの反応関数を変更する処理を示すフローチャートである。
[0057]
 先ず、ステップS50では、ユーザーにより第1の操作が行われる。ここで、第1の操作は、腕を振り上げる動作に相当する。次に、ステップS51では、加速度センサー104の検出値を取得する。次のステップS52では、第1ジェスチャ判定に用いる特徴量vを算出する。次のステップS54では、特徴量vがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップS56へ進み、ジェスチャを発火させる。ステップS56でジェスチャが発火した場合でも、ステップS54の条件を大きな余裕を持って満たしていた場合と、わずかな差で満たしていた場合がある。前者の場合はユーザーがはっきりしたジェスチャを行う傾向があると考えられ、後者の場合は弱い動きでジェスチャを行う傾向があると考えられる。そこで、ステップS56の後はステップS57へ進み、ステップS54の条件を大きな余裕を持って満たしていたか、若しくはわずかな差で満たしていたかという情報をもとに、ステップS54で用いる判定関数を更新する。この変更は毎回、または一定回数のログが溜まるごとに行われる。
[0058]
 一方、ステップS54で特徴量vがジェスチャの発火条件を満たさない場合はステップS58へ進む。ステップS58では、特徴量vが第2の発火条件を満たすか否かを判定し、第2の発火条件を満たす場合はステップS60へ進む。第2の発火条件は、第1の発火条件よりも緩い条件である。一方、ステップS58で第2の発火条件を満たさない場合は、処理を終了する。
[0059]
 ステップS60では、ジェスチャが発火しないため、ユーザーが画面タップをしたり、手動で電源ボタンを操作して端末装置100の電源を入れるなどして、ジェスチャで達成しようとしたのと同等な操作を行う。この操作が行われた場合、ステップS50で行われた当初のジェスチャ操作は、ユーザーが意図したもので、それを発火させるべきだったと考えられる。このため、ステップS62では、ステップS54で使用する判定関数を更新し、判定関数を緩くする。次のステップS64では、判定関数が更新されたことを画面表示でユーザーに通知する。
[0060]
 以上のように図9のフローチャートによれば、第1の操作が発火しなかった場合、ユーザーが電源ボタンを押して端末装置100を起動するなどして所望の操作を実現したときは、次回からのジェスチャ発火の判定しきい値を変更することができる。従って、ユーザーの動作の強弱に個人差がある場合であっても、ジェスチャ発火のための判定条件(しきい値)を最適に調整することが可能となる。また、以上のように判定条件を調整した後、判定条件を元の値にリセットすることもできる。判定条件のリセットは、センサー監視モジュール230のしきい値判定部218、ジェスチャ判定モジュール240によって行われる。例えば、ユーザーリセット操作があった場合、アプリケーションの変更があった場合、同じジェスチャに違う意味が設定された場合、持ち主が変わった場合、ジェスチャ発火後に気密性、重要度の高い情報が表示されるようになった場合、等にリセットを行うことができる。
[0061]
 [2.2.通知によるジェスチャ認識関数の変更について]
 次に、通知によるジェスチャ認識関数の変更について説明する。上述したように、端末装置100はメール機能を備えている。メールによりメッセージが着信すると、ユーザーが振り上げ動作により端末装置100を起動させようとする可能性が高くなる。このため、第2の実施形態では、振り上げによるジェスチャ発火において、メッセージの着信の情報を利用してジェスチャ発火の判定関数を変更する。
[0062]
 具体的には、端末装置100にメッセージの着信があり、この着信をユーザーに振動で通知してから一定時間は、腕の振り上げジェスチャの判定条件を緩くして、普段は反応しない動きでも振り上げとして反応するようにしておく。これにより、この一定時間内にユーザーが腕を振り上げてメッセージを確認しようとした場合、容易に画面を点灯することができ、メッセージの閲覧など所望の操作を実現できる。
[0063]
 図12A~図12Dは、端末装置100にメッセージが着信した際の動作を示す模式図である。図12Aは、通常の表示を示しており、この状態では表示部102に時刻が表示されている。端末装置100にメッセージが着信すると、図12Bに示すように、バイブレータ107による振動とともに、表示部102の画面にメッセージの一部が表示され、ユーザーにメッセージが到着したことが通知される。次に、ユーザーが腕を振り上げたり、画面をタップしたりすることで、図12Cに示す状態に移行し、ユーザーはメッセージの詳細を確認することができる。一方、図12Bに示す状態から、ユーザーが腕の振り上げや画面タップを一定時間行わず放置した場合、画面は図12Dの状態に移行して時計表示に戻り、簡単な通知アイコンが表示される。
[0064]
 図13は、第2の実施形態における処理を示すフローチャートである。先ず、ステップS70では、端末装置100のユーザー宛にメッセージが到着する。次のステップS72において、端末装置100のシステムは、メッセージが到着したことをユーザーに知らせるために、画面表示、LED点灯、振動などでユーザーに通知を行う。次のステップS74では、ユーザーが端末装置100を確認するために振り上げジェスチャを行う。次のステップS76では加速度センサー104のセンサー値を取得して、次のステップS77ではジェスチャ判定に用いる特徴量vを計算する。
[0065]
 ステップS78では、直前の未確認通知が来てから一定時間が経過しているか否かを確認し、一定時間内に未確認の通知があった場合はステップS80へ進み、通常より判定条件がゆるい第2判定関数でジェスチャ振り上げを判定する。この結果、ジェスチャと判定されると画面を点灯させる(ステップS84)。この際、無線通信部124からメッセージ着信があったことがマイクロコンピュータ110に伝えられ、マイクロコンピュータ110のセンサー監視モジュール230のしきい値判定部218、ジェスチャ判定モジュール240によって判定条件が変更される。処理部220は、判定条件の変更に応じてジェスチャの発火を行い、表示部202を点灯させる。また、処理部220は、ジェスチャ発火の結果を表示モジュールや各種アプリケーションに出力する。すなわち、処理部220は、ジェスチャの発火の結果を出力する出力部としても機能する。なお、未確認通知を取得した時間とは、未確認通知の取得に関連する時間であり、メッセージ自体の受信時間と、メッセージを受信したあとの通知タイミングの双方を含む。
[0066]
 一方、ステップS78で一定時間が経過していた場合は、ステップS82へ進み、通常の第1判定条件による振り上げ判定を行う。この結果、ジェスチャと判定されると画面を点灯させる(ステップS86)。
[0067]
 これにより、メッセージを通知した後にユーザーがそれを確認しようとした場合、通常より判定条件がゆるい第2判定関数が適用されるため、ユーザーが振り上げに失敗する可能性が下がり、利便性、可用性が向上する。
[0068]
 ステップS78において、判定関数の選択に用いる条件としては、メッセージ着信の他に、以下のような要素が挙げられる。
(1)メッセージ内容:宛先が特定の人の場合は緊急通知として判定関数を緩くする。宣伝メールの場合は判定関数を緩くしない(厳しくする)。
(2)電話着信、アラーム: 電話着信中に腕の振り上げが行われた場合は判定関数を緩くする。アラームが鳴っている時も判定関数を緩くする。
(3)ユーザーの個人的な情報:例えば、年齢、腕の長さに応じて判定関数を変更する。
(4)環境情報:例えば、天候に応じて判定条件を変更する。
(5)スケジュール、位置、行動:スケジュールやGPS、加速度センサー104から判断した行動解析の結果:例えば映画鑑賞中の場合は判定関数を緩くしない(厳しくする)。移動中や予定と予定の間、予定の終わりごろには判定関数を緩くする。深夜は判定関数を緩くしない。朝は判定関数を緩くする。例えば、列車への乗車時刻、会議の開催時刻などが予め端末装置100に登録されていれば、その時刻の前にはユーザーが腕を振り上げて表示部102上の表示画面を見る可能性が高くなる。従って、ジェスチャの判定関数を緩くすることで、ユーザーが乗車時刻、または会議開催時刻の前に腕を振り上げた際に確実に点灯させることが可能となる。
(6)アプリケーションや場面:同じジェスチャであっても、その操作の重要度によって判定関数を変更する。例えばメッセージの送信ボタンを指タップで操作する場合は、誤送信してしまった場合は問題が大きいので、判定関数を厳しくする。メッセージや予定の削除の操作をする場合も、判定関数を厳しくする。一方、通知を既読にする操作は、頻繁に行い重要度も高くないので判定関数を緩くする。また、アプリケーションが動きの激しいゲームの場合、判定関数を厳しくしてジェスチャを発火し難くする。また、ゲームのシチュエーションに応じて判定関数を変更する。
(7)ユーザーの行動履歴、ジェスチャ発火履歴:位置や時間、曜日等に応じて、ユーザーが画面を見た履歴がある場所、時間、曜日では、判定関数を緩くする。
(8)端末装置の諸元:例えば、端末装置100の重さに応じて、軽い端末装置ほど腕を振り上げやすいため、判定関数を厳しくする。
(9)バッテリの状態:バッテリ残量が少ない場合はジェスチャの判定条件を厳しくすることで、表示画面を点灯し難くすることができ、バッテリ残量の低下を抑えることができる。
[0069]
 なお、ステップS72の表示において、ユーザーにジェスチャが認識しやすくなっていることを示すような表示(UI)にしても良い。また、ステップS78の判定からステップS80に進んで第二判定関数が適用されるのは、図12Bの期間に対応していて、ユーザーもこの期間は簡単な振り上げでジェスチャが発動するのを知ることが出来る。
[0070]
 [2.3.ユーザーの行動によるLPフィルターの変更について]
 次に、ユーザーの行動によるLPフィルターの変更について説明する。ジェスチャ判定を高精度に行うためには、ユーザーが意図してジェスチャを行った操作と、それ以外の操作を分離する必要がある。この分離のため、運動ノイズ除去部214を用いることができる。低域通過フィルターは定常的なノイズを吸収できるので、運動時のジェスチャの誤発火を防止できるが、フィルターの適用によって遅延が生じ、操作後すぐに反応させることは比較的難しくなる。例えば、ユーザーが歩行中やランニング中など運動している場合は、運動ノイズ除去部214のフィルターのカットオフ周波数を低くして、座っている時など動きが少ない時にはカットオフ周波数を高くしたり、ローパスフィルターそのものを使用しないようにしたりする。こうすることで、運動時のジェスチャ誤発火を防ぎつつ、停止時は少ないレイテンシでジェスチャを発火させることができる。
[0071]
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
[0072]
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
[0073]
 なお、以下のような構成も本開示の技術的範囲に属する。
(1) ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、
 前記操作情報に基づいて処理を行うことを判定する判定部と、を備え、
 前記判定部は、第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理装置。
(2) 前記第1のユーザー操作と前記第2のユーザー操作は類似する、前記(1)に記載の情報処理装置。
(3) 前記判定部による判定の結果を出力する出力部を備える、前記(1)又は(2)に記載の情報処理装置。
(4) 前記ユーザーの利用情報に基づいて、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、前記(1)~(3)のいずれかに記載の情報処理装置。
(5) 前記ユーザーの利用情報の取得に関連する時間から所定の時間内に、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、前記(4)に記載の情報処理装置。
(6) 受信したメッセージ情報の取得に関連する時間から所定の時間内に、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、前記(4)に記載の情報処理装置。
(7) 前記利用情報は、ユーザー個人に関する情報である、前記(1)~(6)のいずれかに記載の情報処理装置。
(8) 前記利用情報は、通信部が受信したメッセージ情報である、前記(1)~(6)のいずれかに記載の情報処理装置。
(9) 前記利用情報は、ユーザーのスケジュール、ジェスチャ発火履歴、年齢、腕の長さの少なくとも1つを含む、前記(1)~(6)のいずれかに記載の情報処理装置。
(10) 前記利用情報は、ユーザーの使用環境に依存した情報である、前記(1)~(6)のいずれかに記載の情報処理装置。
(11) 前記利用情報は、自装置に依存した情報である、前記(1)~(6)のいずれかに記載の情報処理装置。
(12) 前記利用情報は、ユーザーが使用するアプリケーションに依存した情報である、前記(1)~(6)のいずれかに記載の情報処理装置。
(13) 前記判定部は、前記ユーザーの利用情報の取得に応じて、前記第1のユーザー操作が行われたことを判定するためのしきい値を変更する、前記(1)~(12)のいずれかに記載の情報処理装置。
(14) 前記判定部は、前記利用情報の取得に関連する時間から、所定の時間内に前記第1のユーザー操作が行われた場合に、前記しきい値を変更する、請求項13に記載の情報処理装置。
(15) 前記判定部は、前記第1のユーザー操作が行われたことを判定するためのしきい値を動的に変更する、前記(1)~(14)のいずれかに記載の情報処理装置。
(16) 前記判定部は、前記第1のユーザー操作が行われる度に前記しきい値を変更する、前記(15)に記載の情報処理装置。
(17) 前記ジェスチャ操作は非接触操作である、前記(1)~(16)のいずれかに記載の情報処理装置。
(18) 表示部を備え、
 前記第1の処理は、前記表示部に表示情報を表示させる処理である、前記(1)~(17)のいずれかに記載の情報処理装置。
(19) ユーザーのジェスチャ操作に基づく操作情報を取得することと、
 前記操作情報に基づいて処理を行うことを判定することと、を備え、
 第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理方法。
(20) ユーザーのジェスチャ操作に基づく操作情報を取得する手段、
 前記操作情報に基づいて処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラムであって、
 第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラム。

符号の説明

[0074]
 212  センサー監視モジュール
 218  しきい値判定部
 220  処理部
 240  ジェスチャ判定モジュール

請求の範囲

[請求項1]
 ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、
 前記操作情報に基づいて処理を行うことを判定する判定部と、を備え、
 前記判定部は、第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理装置。
[請求項2]
 前記第1のユーザー操作と前記第2のユーザー操作は類似する、請求項1に記載の情報処理装置。
[請求項3]
 前記判定部による判定の結果を出力する出力部を備える、請求項1に記載の情報処理装置。
[請求項4]
 前記ユーザーの利用情報に基づいて、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、請求項1に記載の情報処理装置。
[請求項5]
 前記ユーザーの利用情報の取得に関連する時間から所定の時間内に、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、請求項4に記載の情報処理装置。
[請求項6]
 受信したメッセージ情報の取得に関連する時間から所定の時間内に、前記第1のユーザー操作が行われたことを判定するための条件を緩和する、請求項4に記載の情報処理装置。
[請求項7]
 前記利用情報は、ユーザー個人に関する情報である、請求項1に記載の情報処理装置。
[請求項8]
 前記利用情報は、通信部が受信したメッセージ情報である、請求項1に記載の情報処理装置。
[請求項9]
 前記利用情報は、ユーザーのスケジュール、ジェスチャ発火履歴、年齢、腕の長さの少なくとも1つを含む、請求項1に記載の情報処理装置。
[請求項10]
 前記利用情報は、ユーザーの使用環境に依存した情報である、請求項1に記載の情報処理装置。
[請求項11]
 前記利用情報は、自装置に依存した情報である、請求項1に記載の情報処理装置。
[請求項12]
 前記利用情報は、ユーザーが使用するアプリケーションに依存した情報である、請求項1に記載の情報処理装置。
[請求項13]
 前記判定部は、前記ユーザーの利用情報の取得に応じて、前記第1のユーザー操作が行われたことを判定するためのしきい値を変更する、請求項1に記載の情報処理装置。
[請求項14]
 前記判定部は、前記利用情報の取得に関連する時間から、所定の時間内に前記第1のユーザー操作が行われた場合に、前記しきい値を変更する、請求項13に記載の情報処理装置。
[請求項15]
 前記判定部は、前記第1のユーザー操作が行われたことを判定するためのしきい値を動的に変更する、請求項1に記載の情報処理装置。
[請求項16]
 前記判定部は、前記第1のユーザー操作が行われる度に前記しきい値を変更する、請求項15に記載の情報処理装置。
[請求項17]
 前記ジェスチャ操作は非接触操作である、請求項1に記載の情報処理装置。
[請求項18]
 表示部を備え、
 前記第1の処理は、前記表示部に表示情報を表示させる処理である、請求項1に記載の情報処理装置。
[請求項19]
 ユーザーのジェスチャ操作に基づく操作情報を取得することと、
 前記操作情報に基づいて処理を行うことを判定することと、を備え、
 第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する、情報処理方法。
[請求項20]
 ユーザーのジェスチャ操作に基づく操作情報を取得する手段、
 前記操作情報に基づいて処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラムであって、
 第1のユーザー操作に基づく第1の操作情報を取得した場合に第1の処理を行い、
 第1のユーザー操作と関連する第2のユーザー操作に基づく第2の操作情報を取得した場合に、取得したユーザーの利用情報に基づいて、前記第1の処理を行うことを判定する手段、としてコンピュータを機能させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3A]

[ 図 3B]

[ 図 3C]

[ 図 3D]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12A]

[ 図 12B]

[ 図 12C]

[ 図 12D]

[ 図 13]