WIPO logo
Mobile | Deutsch | English | Español | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Recherche dans les collections de brevets nationales et internationales
World Intellectual Property Organization
Recherche
 
Options de navigation
 
Traduction
 
Options
 
Quoi de neuf
 
Connexion
 
Aide
 
maximize
Traduction automatique
1. (WO2014003012) DISPOSITIF TERMINAL, PROCÉDÉ DE COMMANDE D'AFFICHAGE ET PROGRAMME

明 細 書

発明の名称

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006   0007  

課題を解決するための手段

0008   0009   0010  

発明の効果

0011  

図面の簡単な説明

0012  

発明を実施するための形態

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065  

産業上の利用可能性

0066  

符号の説明

0067  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1A   1B   2A   2B   3A   3B   3C   4   5   6   7   8  

明 細 書

発明の名称 : 端末装置、表示制御方法およびプログラム

技術分野

[0001]
 本発明は、端末装置、表示制御方法およびプログラムに関する。

背景技術

[0002]
 例えば、モニタの両面上のタッチパネルとして、モニタ上に重ねて設けられ、モニタ画面における操作対象のオブジェクトを選択させる第一のタッチパネルと、モニタの裏側に設けられ、選択されたオブジェクトを移動、拡大、または縮小させる第二のタッチパネルとを備え、第一及び第二のタッチパネルの各操作を統合して一つのモニタ画面に表示するタッチパネル付情報端末装置がある(例えば、特許文献1参照)。
[0003]
 また、機器本体の異なる面にそれぞれ配置される一対のタッチパネルを備え、一対のタッチパネルのそれぞれへの入力の組み合わせに応じて表示制御する情報表示装置がある(例えば、特許文献2参照)。
[0004]
 さらに、保持状態に応じてユーザインタフェースを最適化するため、表示部上及び表示部裏面に設けられている2つの操作部を用いて、端末装置の保持状態を検出し、保持状態に応じて、保持している左手又は右手に適切となるようにユーザインタフェースを変更したり、裏面の操作部における表示面全体との対応付けを変更したりする端末装置がある(例えば、特許文献3参照)。

先行技術文献

特許文献

[0005]
特許文献1 : 日本特開2011-70609号公報
特許文献2 : 日本特開2009-223426号公報
特許文献3 : 日本特開2010-108071号公報

発明の概要

発明が解決しようとする課題

[0006]
 しかしながら、表示画面の大きさは物理的に決まっているため、表示できる情報量は限られる。複数の画像を重畳して表示部に表示すれば、より多くの情報を表示することができる。このように重畳して表示されている画像のそれぞれを操作したい場合、各画像の操作画面に遷移しなければならず、操作性が悪いという問題があった。また、この画像の操作画面に遷移する方法がわかりにくい場合もあり、不便であった。
[0007]
 本発明は、上記の事情を考慮してなされたものであり、上記の課題を解決することができる端末装置、表示制御方法およびプログラムを提供することを目的とする。

課題を解決するための手段

[0008]
 上記課題を解決するため、本発明の端末装置は、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第1表示部と、前記第1表示部の表面側に入力される操作を検知する第1入力部と、前記第1表示部の裏面側に設置され、入力される操作を検知する第2入力部と、前記第2入力部が前記操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する制御部とを備える。
[0009]
 また、本発明の表示制御方法は、メイン情報を第1表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、前記第1表示部の前記表示画面に対して裏面側に設置される第2入力部が入力される操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する。
[0010]
 また、本発明のプログラムは、コンピュータを、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第1表示部、前記第1表示部の表面側に入力される操作を検知する第1入力部、前記第1表示部の裏面側に設置され、入力される操作を検知する第2入力部、および、前記第2入力部が前記操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する制御部として機能させるためのプログラムである。

発明の効果

[0011]
 本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。

図面の簡単な説明

[0012]
[図1A] 本発明に係る端末装置の一実施形態を示すブロック図である。
[図1B] 本発明に係る端末装置の一実施形態を示すブロック図である。
[図2A] 図1Aに示した第1表示部、第1入力部及び第2入力部の配置例を説明するための説明図である。
[図2B] 図1Bに示した第1表示部、第2表示部、第1入力部及び第2入力部の配置例を説明するための説明図である。
[図3A] 図1Aに示した端末装置の外観構成例を示した斜視図である。
[図3B] 図1Bに示した端末装置の外観構成例を示した斜視図である。
[図3C] 図1Bに示した端末装置の外観構成例を示した斜視図である。
[図4] 図1Aおよび図1Bに示した第1表示部における画像表示例を示した図である。
[図5] 図1Aおよび図1Bに示した端末装置における処理の流れの一例を示したフローチャートである。
[図6] 図5に示した画像データのみの切替処理の構成例を示したフローチャートである。
[図7] 図1Aおよび図1Bに示した第1表示部における画像表示例を示した図である。
[図8] 本発明に係る端末装置の実施形態の基本構成を示すブロック図である。

発明を実施するための形態

[0013]
 以下、図面を参照して本発明に係る端末装置の実施形態について説明する。図1Aおよび図1Bは、本発明の一実施形態としての端末装置の2つの回路構成例を、端末装置1a(図1A)及び端末装置1b(図1B)として表したブロック図である。図1Aに示した本実施形態の端末装置1aは、CPU(中央処理装置)10、第1表示部11、第1入力部12、第2入力部13、記憶部14及び報知部15を備えている。図1Bに示した本実施形態の端末装置1bは、端末装置1aが備える構成に、第2表示部20を追加したものである。端末装置1a及び1bは、携帯電話端末、スマートフォン、タブレット端末、電子手帳、電子辞書、パーソナルコンピュータ、その他電子機器として構成することができる。なお、図1Aおよび図1Bは、端末装置1a及び1bにおいて本発明の特徴に係る構成を示したものである。したがって、端末装置1a及び1bは、図1Aおよび図1Bに示した構成のほか、カメラ、通信部、音声入出力部等の構成を備えることができる。
[0014]
 CPU10は、バスを介して装置内の各部と接続され、第1表示部11、第2表示部20(ただし、端末装置1bの場合のみ。以下、同様。)、第1入力部12、第2入力部13等の各部を制御する。このCPU10は、記憶部14に格納されているプログラムを実行することで動作する。本実施形態では、端末装置1a及び1bが、アドレス帳の管理機能や、スケジュール帳の管理機能を有している。アドレス帳の管理機能や、スケジュール帳の管理機能は、CPU10が所定のプログラムを実行することで実現する機能である。ここで、アドレス帳の管理機能は、1又は複数の連絡先を示すデータを登録、編集及び削除可能に記憶する機能である。連絡先を示すデータは、連絡先の氏名や名称、電話番号やメールアドレス等を示す文字データを含んで構成されている。さらに、連絡先を示すデータは、文字データに関連付けて、1又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置1aおよび1bが有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、連絡先を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
 このように、記憶部14には、メイン情報と、メイン情報に関連付けられた付属情報が格納されている。本実施形態において、メイン情報は、文字データであって、付属情報は、この文字データに関連付けられた画像データである。
[0015]
 また、スケジュール帳の管理機能は、1又は複数の予定を示すデータを、日付や時刻に対応付けて登録、編集及び削除可能に記憶する機能である。予定を示すデータは、日時、曜日や時刻、予定の内容を示す文字データを含んで構成されている。さらに、予定を示すデータは、文字データに関連付けて、1又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置1が有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、予定を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
[0016]
 第1表示部11及び第2表示部20は、液晶ディスプレイ、有機EL(電子蛍光)ディスプレイ等の表示装置である。第1表示部11及び第2表示部20は、CPU10から受信した所定の制御信号に応じて画像を表示する。なお、第1表示部11と第2表示部20とは、独立して異なる画像を表示することができる。第1表示部11及び第2表示部20は2値の白黒表示、多階調(グレースケール)表示、およびカラー表示に対応している。
[0017]
 第1入力部12は、第1表示部11の表面側である表示画面に入力される操作を検知する。この第1入力部12は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。すなわち、第1入力部12は、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をCPU10に対して出力する。CPU10は、第1入力部12の検知結果に応じて、ユーザの指の接触を利用した、タッチ(指等で表示画面に軽く触れる入力操作)、ドラッグ(指等で表示画面に触れたままなぞる入力操作)、フリック(指等で表示画面に触れながらはらう入力操作)等の入力操作を認識する。
[0018]
 第2入力部13は、第1表示部11の裏面側に設置される第2表示部20の表示画面に入力される操作を検知する。この第2入力部13は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。第2入力部13は、第1入力部12とは離れて設置されている。第2入力部13は、第1入力部12と同様に、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をCPU10に対して出力する。CPU10は、第2入力部13の検知結果に応じて、ユーザの指の接触を利用した、タッチ、ドラッグ、フリック等の入力操作を認識する。
[0019]
 記憶部14は、不揮発及び揮発の記憶装置を有して構成されていて、CPU10が実行するプログラムやCPU10がプログラムを実行する上で一時的に必要とされるデータを格納する。また、記憶部14は、アドレス帳管理機能やスケジュール帳管理機能において管理されている、文字データあるいは文字データに対して関連付け対象となる画像データを複数、記憶している。
[0020]
 報知部15は、CPU10が制御する音響制御部やスピーカから構成されていて、音響制御部を介してスピーカから音響信号を発生する。報知部15は、デイリーアラームや操作音などを発生する際に使用される。
[0021]
 次に、図2A及び図2B並びに図3A~図3Cを参照して、図1A及び図1Bに示した端末装置1a及び端末装置1bにおける、第1表示部11及び第2表示部20並びに第1入力部12及び第2入力部13の配置例について説明する。なお、図2A及び図2B並びに図3A~図3Cに示した例では、端末装置1aが一つの筐体16aから構成されていて、端末装置1bは2つの筐体16b及び16cから構成されている。
[0022]
 図2Aは、図1Aに示した端末装置1aにおける各部の配置例を示している。また、図2Bは、図1Bに示した端末装置1bの各部の配置例を示している。図2Aに示した端末装置1aの配置例では、第1表示部11が、端末装置1aの筐体16aの表側に配置されている。また、第1入力部12は第1表示部11の表面上に形成されたタッチセンサとして構成されている。また、第2入力部13は、筐体16aの裏側に配置されていて、筐体16aの裏面上に形成されたタッチセンサとして構成されている。
[0023]
 他方、図2Bに示した端末装置1bの配置例では、第1表示部11が、端末装置1bの一方の筐体16bの一表面に配置されている。また、第1入力部12は第1表示部11の表面上に形成されたタッチセンサとして構成されている。また、第2表示部20は、端末装置1bの他方の筐体16cの一表面に配置されている。また、第2入力部13は第2表示部20の表面上に形成されたタッチセンサとして構成されている。
[0024]
 図3Aは、図1A及び図2Aに示した端末装置1aの外観構成例を示している。また、図3B及び図3Cは、図1B及び図2Bに示した端末装置1bの外観構成例を示している。ここで、図3Bは筐体16bと筐体16cとを閉じた状態、図3Cは筐体16bと筐体16cとを開いた状態を示している。
[0025]
 図3Aに示したように、端末装置1aでは、筐体16aの表側に第1表示部11と第1入力部12が配置され、筐体16aの裏側に第2入力部13が配置されている。この場合、第1入力部12と第2入力部13とは例えば、互いに対向し、かつ、同一又はほぼ同一の範囲を検知範囲としている。図3Aに示した構成では、ユーザは、例えば、端末装置1aを片手で保持し、第1入力部12と第2入力部13とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。
[0026]
 他方、図3B及び図3Cに示したように、端末装置1bでは、筐体16bの一方の面に第1表示部11と第1入力部12とが配置され、筐体16cの一方の面に第2表示部20と第2入力部13とが配置されている。第1入力部12及び第1表示部11と第2入力部13及び第2表示部20とは、互いに同一又はほぼ同一の大きさの範囲を検知範囲又は表示範囲としている。また、筐体16bと筐体16cはヒンジ17で組み合わされていて、閉じたり(図3Bの状態)、開いたり(図3Cの状態)することができる。すなわち、端末装置1bは、2つ折り構造を有し、閉じた場合は端末装置1bの表側と裏側の両面が表示部及び入力部になる状態、開いた場合は2画面が横並び(あるいは上下並び)の大画面になる。
[0027]
 図3Bに示した状態では、ユーザは、例えば、端末装置1bを片手で保持し、第1入力部12と第2入力部13とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。また、図3Cに示した状態では、ユーザは、例えば、端末装置1bを両手で保持し、第1入力部12に対して保持した片手の指で、また、第2入力部13に対して保持した他の片手の指で、同時に又は別々に入力操作を行うことができる。
[0028]
 このように、端末装置1bは、図3Bに示す状態から図3Cに示す状態に変形する構成である。言い換えると、端末装置1bは、第2表示部20および第2入力部13が、第1表示部11の表面側で第1入力部12と並べて位置するような状態に変形することができる。
 第2表示部20が第1表示部11の裏面側に配置された場合、つまり、図3Bに示すような状態である場合、CPU10は、第1表示部11にメイン情報および付属情報を表示させる。
 第1表示部11と第2表示部20とが並べて配置される状態である場合、つまり、図3Cに示すような状態である場合、CPU10は、第1表示部11にメイン情報を表示させるとともに、第2表示部20に付属情報を表示させる。
[0029]
 次に、図4及び図5を参照して、図1Aおよび図1Bに示した端末装置1aおよび1bの動作例について説明する。図4は、図2A及び図3A又は図2B及び図3Bに示した第1表示部11上の表示画像の変化を示している。
[0030]
 図4に示した例では、第1表示部11上に、アドレス帳の管理機能で管理されている1つ連絡先を示すデータに含まれる文字データ(メイン情報)を表す第1画像18が表示されている。さらに、第1表示部11上には、第1画像18が表す文字データに関連付けられている又は関連付けの候補となる画像データ(付属情報)を表す第2画像19a又は19bが、第1画像18と重畳して表示されている。この場合、第1画像18と、第2画像19a又は19bとは、第1画像18が上の層に、また第2画像19a又は19bが下の層にというように、2層構造を有して重畳表示されている。
[0031]
 また、図4は、画像データを切り替えるための所定の入力操作(本実施形態において、裏側の第2入力部13に対するフリック操作をいう)を行う前後の第1表示部11上の2つの表示例を示している。所定の入力操作を行う前の表示画像が中央部の矢印左側の表示例であり、その入力操作を行った後の表示画像が矢印右側の表示例である。所定の入力操作を行う前の表示画像は、第1画像18と第2画像19aとを重畳表示する。また、所定の入力操作を行った後の表示画像は、第1画像18と第2画像19bとを重畳表示する。
すなわち、図4は、第1画像18と第2画像19aとが重畳表示されている状態で、画像データを切り替えるための所定の入力操作を行うと、第2画像19aが第2画像19bに変更され、第1画像18と第2画像19bとが重畳表示されている状態に切り替わることを示している。
[0032]
 次に、図5を参照して、図4に示した画像データの切替処理の流れについて説明する。図5は、CPU10が実行するアドレス帳管理機能やスケジュール帳管理機能を構成するプログラムの一部の処理の流れを示したフローチャートである。ただし、ここではアドレス帳管理機能を例にして説明する。この場合、図5に示したフローチャートは、ユーザが行う所定の操作に応じてアドレス帳管理機能を構成するプログラムが呼び出された状態で実行されるプログラム(例えば1つのモジュールやサブルーチン)の流れを表している。
 さらに、図5に示したフローチャートは、1つの連絡先を示すデータを表示している状態で、第1入力部12又は第2入力部13に対してユーザの入力操作が行われた場合(すなわち入力イベントが発生した場合)の処理を示している。1つの連絡先を示すデータの表示は、連絡先データを表示させる際の処理中(以下、表示モードと称する)に行われるものであってもよいし、連絡先のデータが含む文字データに対して関連付けする画像データを新規に登録したりあるいは変更したりする際の処理中(以下、編集モードと称する)に行われるものであってもよい。
[0033]
 まず、CPU10は、図5の処理を呼び出した処理(例えばアドレス帳管理プログラムのメインルーチン)で指示された現在の表示状態が、画像データに対応する第2画像(図4の第2画像19a、19bに対応)を表示するものであるのか否かを判定する(ステップS11)。つまり、CPU10が、複数の画像を重畳して第1表示部11に表示させている状態であるか(言い換えると、第1表示部11に表示されている画像が2層構造のデータであるか)否かを判定する。
 現在の表示状態が画像データに対応する第2画像を表示するものである場合、ステップS11の判定結果はYESとなる。他方、現在の表示状態が画像データに対応する第2画像を表示しないものである場合、ステップS11の判定結果はNOとなる。
[0034]
 現在の表示状態が画像データに対応する第2画像を表示するものである場合(ステップS11でYESの場合)、CPU10は、ユーザの入力操作が、表側のフリック操作であるか否か、つまり、第1入力部12に対する操作であるか否かを判定する(ステップS12)。表側のフリック操作とは、メイン情報に対する操作であって、第1入力部12に対するフリック操作である。
 ユーザの入力操作が表側のフリック操作である場合(ステップS12でYESの場合)、CPU10は、メイン情報の切り替え、つまり、連絡先データの切り替えを行う(ステップS13)。すなわち、ステップS13では、CPU10がアドレス帳に登録されている次の連絡先データを記憶部14から呼び出し、呼び出した連絡先データが含む文字データを表す第1画像を表示する。それとともに、CPU10は、その文字データに関連付けられて記憶されている画像データを表す第2画像を、第1画像と重畳して第1表示部11に表示する。つまり、CPU10は、第1入力部12が画面切替の操作を検知した場合、第1表示部11に表示されているメイン情報および付属情報を他のメイン情報および他のメイン情報に関連付けられた付属情報に切り替える。
 ただし、アドレス帳に次の連絡先データが登録されていない場合にはCPU10は表示画像の切り替えを行わない。ここで、次の連絡先データとは、アドレス帳の他の連絡先データであり、複数の連絡先データの所定の並び順における次の順番の連絡先データである。
[0035]
 なお、ステップS13で呼び出す次の連絡先データが含む文字データに画像データが関連付けられていない場合、CPU10は、第2画像として、関連付けの候補となる画像データや所定の背景画像等を表示させる。ここで、関連付け候補となる画像データは、例えば、記憶部14内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている1つの画像データとすることができる。
 このように、ステップS13の処理では、次の連絡先データがあり、かつ、次の連絡先データが含む文字データに画像データが関連付けられている場合に、CPU10は、上層の文字データを表す第1画像18と、下層の画像データを表す第2画像19a又は19bとを同時に切り替える。
[0036]
 他方、ステップS12でNOの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、CPU10は、ユーザの入力操作が、裏側のフリック操作であるか否か、つまり、第2入力部13に対する操作であるか否かを判定する(ステップS14)。裏側のフリック操作とは、付属情報に対する操作であって、第2入力部13に対するフリック操作である。ユーザの入力操作が裏側のフリック操作である場合(ステップS14でYESの場合)、CPU10は、付属情報の切り替え、つまり、画像データの切り替えを行う(ステップS15)。このステップS15の処理は、表示モードの場合と編集モードの場合とで次のように異なる。
[0037]
 すなわち、表示モードにおいては、ステップS15では、CPU10が第1画像18として表示中の文字データに関連付けられている次の画像データを記憶部14から呼び出す。そして、表示中の第1画像18と、新たに呼び出した画像データを表す第2画像(図4では第2画像19b)とを重畳して第1表示部11に表示する。ただし、アドレス帳中に、表示中の文字データに関連付けられた次の画像データが登録されていない場合、CPU10は表示画像の切り替えを行わない。次の画像データとは、表示中の1つの文字データに複数の画像データが関連付けられている場合に、それらの複数の画像データの所定の並び順における次の順番の画像データである。
[0038]
 他方、編集モードにおいては、ステップS15では、CPU10が第1画像18として表示中の文字データに対して関連付けの対象となる次の画像データを記憶部14から呼び出す。そして、表示中の第1画像18と、新たに呼び出した画像データを表す第2画像(図4では第2画像19b)とを重畳して第1表示部11に表示する。ここで、関連付け候補となる画像データは、例えば、記憶部14内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている1つの画像データとすることができる。ただし、記憶部14中に、表示中の文字データに対して関連付けの対象となる未表示の画像データが残っていない場合にはCPU10は表示画像の切り替えを行わない。
[0039]
 一方、ステップS11でNOの場合、CPU10は、ユーザの入力操作が、表側のフリック操作であるか否かを判定する(ステップS16)。ユーザの入力操作が表側のフリック操作である場合(ステップS16でYESの場合)、CPU10は、メイン情報の切り替え、つまり、連絡先データの切替を行う(ステップS17)。すなわち、ステップS17では、CPU10がアドレス帳に登録されている次の連絡先データを記憶部14から呼び出し、呼び出した連絡先データが含む文字データを表す第1画像を第1表示部11に表示する。この場合、第2画像として無地あるいは所定の背景画像等を表示することができる。
[0040]
 他方、ステップS16でNOの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、CPU10は、表示画像の切り替えを行わない。この場合、第1表示部11の表示画像は変更されない。
[0041]
 なお、上記の説明ではアドレス帳管理機能で記憶されている文字データと、関連付けられている又は関連付けようとする画像データとを切り替える場合の処理について説明した。しかし、スケジュール帳管理機能においても、CPU10は、図5に示したフローチャートに従って、予定データが含む文字データとその文字データに関連付けてられている又は関連付けようとする画像データの切替を同様に行うことができる。また、第1入力部12や第2入力部13に対する入力操作は、上述したようなフリック操作に限定されない。例えば、タッチ操作やドラッグ操作であってもよい。
[0042]
 また、上記の説明では、図2A及び図3Aを参照して説明した表示部を1つ備える端末装置1aを対象にして、端末装置の動作を説明した。これに対して、図2B並びに図3B及び図3Cを参照して説明した表示部を2つ備える端末装置1bでは、次のようにして文字データと画像データとの切替処理を行うことができる。
[0043]
 すなわち、端末装置1bでは、図3Bに示したように筐体16bと筐体16cとを閉じた状態で使用する場合、端末装置1aと同様にして各画像データを表示することができる。つまり、文字データを表す第1画像18とそれに関連付けられている又は関連付けようとする画像データを表す第2画像19a又は19bとを、1つの第1表示部11に重畳表示する。また、第1入力部12と第2入力部13に対する入力操作の仕方は、端末装置1aと同一とすることができる。
[0044]
 他方、図3Cに示したように、筐体16bと筐体16cとを開いた状態で使用する場合、端末装置1bでは、文字データを表す第1画像を第1表示部11に表示し、それに関連付けられている又は関連付けようとする画像データを表す第2画像を第2表示部20に表示する。すなわち、文字データと画像データのそれぞれを表す画像を重畳表示するのではなく、各データを表す画像を別々に異なる表示部(表示画面)に表示するのである。ただし、第1入力部12に対する入力操作に応じて文字データの切り替えを行い、第2入力部13に対する入力操作に応じて画像データの切り替えを行う点は、重畳表示する場合と同様である。
[0045]
 2つ折り構造の端末装置1bでは、閉じた場合は端末装置1aと同様の両面(表面と裏面)がタッチセンサの状態となり、開いた場合は2つの表示画面が横並びの大画面となる。端末装置1bで、アドレス帳やスケジュール帳などのデータを表示する画面は、閉じた場合は重畳表示となる。他方、開いた場合は文字データを表す画像を左側に表示し、関連付けられている又は関連付けようとする画像データを表す画像を右側に表示することができる。これにより、重なって見づらい表示が同サイズにて見やすい表示となることを実現できる。また、開いた状態から閉じた状態としたときに自動的に画像切り替えの編集状態(すなわち編集モード)に遷移してもよい。すなわち、端末装置1bを開いた状態で文字データと(画像データと)を表示中に閉じた状態とした場合、画像データを関連付けるモードに自動的に移行するようにしてもよい。また、裏面に指が当たって誤動作が発生する場合などは、表側の表示に編集ボタン等を配してもよい。すなわち、CPU10は、第1入力部12の検知結果が所定の入力操作に対応する場合に、第2入力部13の検知結果に応じて第2画像が表す画像データを変更するようにすることもできる。
[0046]
 以上説明したように本実施形態では、アドレス帳やスケジュール帳などとして管理されるデータの表示画面において、文字データを表す第1画像とともに画像データを表す第2画像を表示する場合、裏側(あるいは右側)の操作(フリック、タッチ等)で下層(あるいは右側)のデータ(画像データ)のみを切り替えることができる。したがって、直感的かつ簡単な操作で、下層の画像を切り替えることが可能となる。更に本実施形態では、表側操作(フリック、タッチ等)で上層(あるいは左側)のデータ(文字データ)と下層(あるいは右側)のデータ(画像データ)とを同時に切り替えることができる。これにより、表側操作(あるいは左側操作)で文字データと画像データとのデータ全体の切り替え、裏側操作(あるいは右側操作)で下層(右側のデータ(画像データ))のみの切り替えが可能となり、文字データの切替と、関連付けられている又は関連付けようとする画像データの選択とを、ほぼ並行して同時に行うことが可能となる。したがって、例えば、編集モードなどで画像データの関連付けを編集する場合に、複数の文字データに対して連続的に画像データの関連付けを編集する操作が容易になる。
[0047]
 なお、端末装置1bを開いた状態は、図3Cに示したように、2つの表示画面、第1表示部11と第2表示部20とが左右に置かれた状態とすることのほか、第1表示部11と第2表示部20とが上下に置かれた状態として使用することもできる。この場合、手動で又は姿勢検出を行うセンサを用いて自動で端末装置1bの状態を検出し、表示の向きを変更することもできる。
[0048]
 次に、図6を参照して、図5に示した画像データのみの切替処理(S15)内の処理の構成例について説明する。この図6に示した処理では、画像データの切り替え時に切り替える画像データを絞り込んで、更に容易な画像データの切り替えを可能としている。ここでは、アドレス帳管理機能を対象として説明を行う。
[0049]
 CPU10は、まず、表示中の文字データに関連付けられている又は関連付けようとする次の画像データが存在するか否かを判定する(ステップS21)。関連付けられている次の画像データがない場合(ステップS21でNOの場合)、CPU10は、そのまま処理を終了する。
[0050]
 一方、次の画像データがある場合(ステップS21でYESの場合)、CPU10は、次の画像データに対して顔認識処理を行う(ステップS22)。次に、CPU10は、顔認識処理の結果、次の画像データで顔画像が認識されたか否かを判定する(ステップS23)。次の画像に顔画像がある場合は(ステップS23でYESの場合は)、CPU10は、第2画像(すなわち下層画像あるいは右側画像)が表す画像データを次の画像データに切り替える(ステップS24)。そして、CPU10は、処理を終了する。
[0051]
 一方、次の画像データに顔画像がない場合は(ステップS23でNOの場合は)、処理がステップS21へ戻り、表示中の文字データに関連付けられている次の画像データがアドレス帳に登録されているか否かを判定する。
[0052]
 図6に示した処理では、CPU10は、第2入力部13が画面切替の操作を検知した際、第1表示部11に表示されているメイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替えることができる。この場合、メイン情報は、個人を示す情報であることが好ましい。これにより、表示される画像データを顔画像が含まれている画像に絞り込むことができる。したがって、アドレス帳を表示する際には、連絡先の相手の顔を確認したい場合に容易に顔画像を選択することができる。また、アドレス帳を編集あるいは新規に登録する際には、連絡先の文字データに関連付けて登録する画像を、容易に選び出すことができる。
[0053]
 なお、顔画像の有無の判定では、次のような設定を行うこともできる。すなわち、ユーザが指定した特定の顔の有無を判定するようにしてもよい。あるいは、顔が1人分のみの画像の有無を判定するようにしてもよい。あるいは、特定の顔が1人分のみ含まれているか否かを判定するようにしてもよい。
[0054]
 また、図5に示した画像データのみの切替処理(S15)内の処理では、次のような絞り込みを行うこともできる。すなわち、ユーザが予め指定した画像をグループ化して登録しておき、そのグループに属する画像のみに限定して画像を切り替えることも可能である。つまり、第2入力部13に対する操作(フリック、タップ)で画像データを切り替える際に、予めユーザが画像データをグループ化しておいて、指定したグループに属する画像データのみを選択できるようにしてもよい。
 つまり、CPU10は、付属情報が属するグループを示すグループ情報が付属情報に付与されている場合、第2入力部13が画面切替の操作を検知した際、第1表示部11に表示されているメイン情報に関連付けられた付属情報のうち、指定されたグループに応じて、グループに属する付属情報に切り替えることができる。なお、グループの指定は、予め設定されているものであってもよく、ユーザが指定したものであってもよい。
[0055]
 なお、上記のユーザインタフェースは、アドレス帳管理機能やスケジュール帳管理機能のように、文字データと画像データとからなるデータに限らず、ホーム画面のような表示画像が2層構造を構成する画面でも使用することができる。すなわち、図7に示したように、ホーム画面では、第1表示部11は、上層画面にアイコン21やウィジェット22などが並び、下層画面が壁紙23aとなる2層構造で画像が表示される。この場合、裏面操作を行って下層画面を切り替えることができる。すなわち、例えば裏面のフリック操作に応じて、壁紙23aを壁紙23bに切り替えることができる。ホーム画面の場合は、例えばユーザがその日の気分で壁紙を変えたい場合があり、裏面操作だけで「簡単に」かつ「直感的に」下層画面の壁紙のみの切り替えが可能となる。
 つまり、CPU10は、メイン情報として、決められたプログラムの実行を指示する指標(アイコン21やウィジェット22など)を表示させるとともに、付属情報として、壁紙画像を表示させる。
[0056]
 また、下層画面に表示するデータ(画像データ)が端末装置1aまたは1bの画面サイズより大きい場合は、裏面操作で下層画面の切り替えだけでなく、指の動きに合わせた下層画面の移動も可能とすることもできる。また、下層画面に表示するデータ(画像データ)が端末装置1の画面サイズより小さい場合か同サイズの場合も、ピンチアウトを行ってデータ(画像データ)を拡大あるいは縮小し、指の動きに合わせた移動も可能とすることができる。
 つまり、CPU10は、第2入力部13が第1表示部11に表示されている画像データの表示領域の移動あるいは表示されている画像データの縮小もしくは拡大の操作を検知した場合、第1表示部11に表示されている画像データ(付属情報)についてのみ表示領域の移動あるいは表示画像の縮小もしくは拡大を行うことができる。
[0057]
 また、上記実施形態では、裏面操作を行うことで下層画面が切り替えられるが、ユーザの意図とは別に裏面に指が当たって誤動作することも考えられる。この誤動作を回避する為、表面(すなわち第1入力部12)に指を当てた状態で裏面操作(すなわち第2入力部13に対する操作)をした場合のみ画面を切り替える操作も可能とすることができる。
 つまり、CPU10は、第1入力部12が操作を検知している状態において、第2入力部13が操作を検知した場合、第1表示部11に表示されている付属情報を第2入力部13が検知した操作に応じて処理することができる。
[0058]
 また、上記実施形態では、1つの文字データに複数の画像データが関連付けられている場合に、あるいは、1つの文字データに対する関連付け候補の画像データが複数存在する場合に、1つの文字データと、1つの画像データとを表示するようにしているが、画像データの表示数は複数とすることもできる。すなわち、1つの文字データと、それに関連付けられている又は関連づけしようとする複数の画像データのうちの1つの画像データを上記の実施形態のように重畳して、あるいは複数の表示部(表示画面)に分けて表示するとともに、その画像データの前あるいは後続の画像データを同時に表示することもできる。この場合、画像データの前あるいは後続の画像データは、例えば、サイズを小さくしたり、重畳する場合の輝度や透明度を変更したりして表示することができる。
[0059]
 なお、本発明の実施形態の基本構成は図8のように示すことができる。すなわち、本発明の実施形態としての端末装置100は、第1表示部101、第1入力部102、第2入力部103及び制御部104を備えている。
 第1表示部101(例えば、実施形態の第1表示部11に相当する)は、メイン情報を上層に表示するとともに、メイン情報に関連付けられた付属情報をメイン情報の下層に重ねて表示する。
 第1入力部102(例えば、実施形態の第1入力部12に相当する)は、第1表示部101の表面側に入力される操作を検知する。
 第2入力部103(例えば、実施形態の第2入力部13に相当する)は、第1表示部101の裏面側に設置され、入力される操作を検知する。
 制御部104(例えば、実施形態のCPU10に相当する)は、第2入力部103が操作を検知した場合、第1表示部101に表示されている付属情報を第2入力部103が検知した操作に応じて処理する。
[0060]
 また、本発明の実施形態は、上記のものに限定されず、例えば図1Aおよび図1Bや図2Aおよび図2Bに示した各ブロックは、分割したり、統合したり、数を増加させたりする変更を適宜行うことができる。また、CPU10が実行するプログラムの一部又は全部は、コンピュータ読み取り可能な記録媒体や通信回線を介して流通させることができる。
[0061]
 なお、本発明の実施形態に係る端末装置1は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出し実行して、上記処理が行われる。ここでいう「コンピュータシステム」とは、CPU及び各種メモリやOS(オペレーティング・システム)、周辺機器等のハードウェアを含むものである。
 また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
[0062]
 また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ実行して、上記処理を行ってもよい。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD(Compact Disc)-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
[0063]
 さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波を介して他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
 また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、上記プログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
[0064]
 以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。
[0065]
 この出願は、2012年6月29日に出願された日本出願特願2012-146661号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用可能性

[0066]
 本発明は各種の端末装置に適用することができる。本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。

符号の説明

[0067]
1a、1b 端末装置
10 CPU
11 第1表示部
12 第1入力部
13 第2入力部
14 記憶部
15 報知部
18 第1画像
19a、19b 第2画像
20 第2表示部

請求の範囲

[請求項1]
 メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第1表示部と、
 前記第1表示部の表面側に入力される操作を検知する第1入力部と、
 前記第1表示部の裏面側に設置され、入力される操作を検知する第2入力部と、
 前記第2入力部が前記操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する制御部と
 を備える端末装置。
[請求項2]
 前記制御部は、
 前記第2入力部が画面切替の操作を検知した場合、前記第1表示部に表示されている前記付属情報のみを他の付属情報に切り替え、前記第2入力部が表示画像の表示領域の移動あるいは前記表示画像の縮小もしくは拡大の操作を検知した場合、前記第1表示部に表示されている前記付属情報についてのみ前記表示領域の移動あるいは前記表示画像の縮小もしくは拡大を行う請求項1に記載の端末装置。
[請求項3]
 前記制御部は、
 前記第1入力部が画面切替の操作を検知した場合、前記第1表示部に表示されている前記メイン情報および前記付属情報を他のメイン情報および前記他のメイン情報に関連付けられた付属情報に切り替える請求項1または2に記載の端末装置。
[請求項4]
 前記制御部は、
 前記メイン情報が個人を示す情報である場合、前記第2入力部が画面切替の操作を検知した際、前記第1表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替える請求項1から3のうちいずれか一項に記載の端末装置。
[請求項5]
 前記制御部は、
 前記付属情報が属するグループを示すグループ情報が前記付属情報に付与されている場合、前記第2入力部が画面切替の操作を検知した際、前記第1表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、指定された前記グループに応じて、前記グループに属する付属情報に切り替える請求項1から4のうちいずれか一項に記載の端末装置。
[請求項6]
 前記第2入力部に設けられる第2表示部をさらに備え、
 前記第2表示部および前記第2入力部が、前記第1表示部の表面側で前記第1入力部と並べて位置するように前記端末装置が変形する構成である場合、
 前記制御部は、
 前記第1表示部と前記第2表示部とが並べて配置された場合、前記第1表示部に前記メイン情報を表示するとともに、前記第2表示部に前記付属情報を表示し、
 前記第2表示部が前記第1表示部の裏面側に配置された場合、前記第1表示部に前記メイン情報および前記付属情報を表示する請求項1から5のうちいずれか一項に記載の端末装置。
[請求項7]
 前記制御部は、
 前記メイン情報として、決められたプログラムの実行を指示する指標を表示させるとともに、前記付属情報として、壁紙画像を表示させる請求項1から6のうちいずれか一項に記載の端末装置。
[請求項8]
 前記制御部は、
 前記第1入力部が操作を検知している状態において、前記第2入力部が操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する請求項1から7のうちいずれか一項に記載の端末装置。
[請求項9]
 メイン情報を第1表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、
 前記第1表示部の前記表示画面に対して裏面側に設置される第2入力部が入力される操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する表示制御方法。
[請求項10]
 コンピュータを、
 メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第1表示部、
 前記第1表示部の表面側に入力される操作を検知する第1入力部、
 前記第1表示部の裏面側に設置され、入力される操作を検知する第2入力部、および、
 前記第2入力部が前記操作を検知した場合、前記第1表示部に表示されている前記付属情報を前記第2入力部が検知した前記操作に応じて処理する制御部、
 として機能させるためのプログラム。

図面

[ 図 1A]

[ 図 1B]

[ 図 2A]

[ 図 2B]

[ 図 3A]

[ 図 3B]

[ 図 3C]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]