処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020115907 - 入力表示制御装置、入力表示制御方法及び入力表示システム

Document

明 細 書

発明の名称 入力表示制御装置、入力表示制御方法及び入力表示システム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160  

産業上の利用可能性

0161  

符号の説明

0162  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11   12A   12B   12C   12D   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49  

明 細 書

発明の名称 : 入力表示制御装置、入力表示制御方法及び入力表示システム

技術分野

[0001]
 この発明は、文字列を表示するための表示情報を生成する入力表示制御装置、入力表示制御方法及び入力表示システムに関するものである。

背景技術

[0002]
 以下の特許文献1には、曲線などの線に沿って、文字列を表示するための表示情報を生成する入力表示制御装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 国際公開第2017/138076号

発明の概要

発明が解決しようとする課題

[0004]
 特許文献1に開示されている入力表示制御装置は、文字列を表示するための表示情報をディスプレイの表示領域に生成するようにしている。しかしながら、ディスプレイの表示領域にはサイズの制約があるので、文字列の全体を生成しきれないことがあるという課題があった。
[0005]
 この発明は上記のような課題を解決するためになされたもので、文字列の全体を生成しきれない事態を回避することができる入力表示制御装置、入力表示制御方法及び入力表示システムを得ることを目的とする。

課題を解決するための手段

[0006]
 この発明に係る入力表示制御装置は、曲線を示す曲線情報を取得する曲線情報取得部と、文字列を取得する文字列取得部と、曲線情報取得部により取得された曲線情報が示す曲線に沿って、文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、表示制御部が、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するようにしたものである。

発明の効果

[0007]
 この発明によれば、表示制御部が、文字列取得部により取得された文字列の長さが長いために、文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置を構成した。したがって、この発明に係る入力表示制御装置は、文字列の全体を生成しきれない事態を回避することができる。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る入力表示制御装置を含む入力表示システム示す構成図である。
[図2] 実施の形態1に係る入力表示システムのハードウェア構成図である。
[図3] 入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
[図4] 実施の形態1に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである(その1)。
[図5] 実施の形態1に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである(その2)。
[図6] 文字管理DB2に記憶されている文字属性表を示す説明図である。
[図7] 音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。
[図8] 曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
[図9] 図9Aは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字を曲線画像の上に重ねて表示できることを示す説明図、図9Bは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字を曲線画像の上に重ねて表示できないことを示す説明図である。
[図10] 図10Aは、曲線の形状が直線である場合に、曲線の長さLの算出に用いる曲線の先端及び終端の位置座標を示す説明図、図10Bは、曲線の形状が曲がっている場合に、曲線の長さLの算出に用いる曲線の先端、終端及び中間点の位置座標を示す説明図である。
[図11] 表示制御部12の延長曲線形状決定部14の処理内容を示す説明図である。
[図12A] 延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図である。
[図12B] 延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。
[図12C] 延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図である。
[図12D] 延長曲線の形状が円弧形状である例を示す説明図である。
[図13] 表示制御部12の曲線延長部17の処理内容を示す説明図である。
[図14] 表示処理部18が文字列の一部をディスプレイ32に表示させることができない例を示す説明図である。
[図15] ディスプレイ32の表示領域と、表示領域の周囲の領域である仮想領域とを示す説明図である。
[図16] 表示処理部18が、文字列の一部を仮想領域に配置した後の処理を示すフローチャートである。
[図17] 文字列選択部18aにより選択が受け付けられた文字列を示す説明図である。
[図18] 図18Aは、曲線画像の上に重ねて表示させている文字列の移動を示す説明図、図18Bは、曲線画像が文字列の下線として表記されている例を示す説明図である。
[図19] 文字列取得部10により取得された文字列の破棄を示す説明図である。
[図20] ディスプレイ32における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。
[図21] 実施の形態2に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
[図22] ディスプレイ32における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。
[図23] 表示制御部12が、一部が仮想領域に配置されている文字列の全体をディスプレイ32の表示領域に移動させて、当該文字列の全体を表示領域に表示させている例を示す説明図である。
[図24] 実施の形態3に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
[図25] 表示制御部12が、一部が仮想領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列の全体を表示領域に表示させている例を示す説明図である。
[図26] 表示制御部12が、文字列に含まれている文字の文字サイズを小さくして、文字列の全体を表示領域に表示させている例を示す説明図である。
[図27] 実施の形態4に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
[図28] 表示制御部12が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている文字の文字サイズを大きくしている例を示す説明図である。
[図29] 実施の形態5に係る入力表示制御装置を含む入力表示システム示す構成図である。
[図30] 「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。
[図31] 実施の形態5に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
[図32] 表示制御部12が、置換処理後の文字列を表示させている例を示す説明図である。
[図33] 表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
[図34] 実施の形態6に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。
[図35] ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
[図36] ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
[図37] 実施の形態8に係る入力表示制御装置を含む入力表示システム示す構成図である。
[図38] 実施の形態8に係る入力表示システムのハードウェア構成図である。
[図39] 表示制御部51の表示処理部53における表示処理の一例を示す説明図である。
[図40] 表示制御部51の表示処理部53における表示処理の一例を示す説明図である。
[図41] 翻訳結果を示す文字列を表示する例を示す説明図である。
[図42] 翻訳結果を示す文字列を表示する例を示す説明図である。
[図43] ディスプレイ32が対面二画面で構成されている場合の表示処理部53における表示処理の一例を示す説明図である。
[図44] 翻訳結果を示す文字列を表示する例を示す説明図である。
[図45] 実施の形態9に係る入力表示制御装置を含む入力表示システム示す構成図である。
[図46] 実施の形態9に係る入力表示システムのハードウェア構成図である。
[図47] 文字の認識結果を示す文字列の表示処理の一例を示す説明図である。
[図48] 実施の形態10に係る入力表示制御装置を含む入力表示システム示す構成図である。
[図49] 翻訳結果を示す文字列の表示処理の一例を示す説明図である。

発明を実施するための形態

[0009]
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
[0010]
実施の形態1.
 図1は、実施の形態1に係る入力表示制御装置を含む入力表示システム示す構成図であり、図2は、実施の形態1に係る入力表示システムのハードウェア構成図である。
 図1及び図2において、入力表示制御装置100は、ポインティングデバイス21として、タッチパネルを用いるものを想定している。しかし、これは一例に過ぎず、入力表示制御装置100は、ジョイスティック、ポインティング・スティック、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
 操作受付部1は、例えば、図2に示すポインティングデバイス21によって実現される。操作受付部1は、ユーザの操作として、線を描く操作を受け付け、受け付けた操作の内容を軌跡判別部4に出力する。
[0011]
 文字管理DB(DataBase)2は、例えば、図2に示す記憶処理回路22によって実現される。文字管理DB2は、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
 文字管理部3は、例えば、図2に示す文字管理処理回路23によって実現される。文字管理部3は、事前にディスプレイ32に表示する文字のサイズが設定されている。文字管理部3は、文字管理DB2に記憶されている文字属性表を参照して、文字サイズに対応する文字高を示す文字属性情報を軌跡判別部4に出力し、文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置100に出力する。
[0012]
 軌跡判別部4は、例えば、図2に示す画像生成処理回路24によって実現される。軌跡判別部4は、操作受付部1により受け付けられた操作によって描かれた線の軌跡を判別する。軌跡判別部4は、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を入力表示制御装置100に出力する。曲線には、直線又は折れ曲がった線など、あらゆる形状の線が含まれるものとする。
 また、軌跡判別部4は、軌跡を表す曲線の画像である曲線画像を生成し、曲線画像を入力表示制御装置100に出力する。曲線画像は、曲線情報に含められており、軌跡判別部4は、曲線画像を含む曲線情報を入力表示制御装置100に出力している。
 曲線画像の線幅は、文字管理部3から出力された文字属性情報が示す文字高に対応している。
[0013]
 文字列認識部5は、音声検出部6、音声認識辞書DB7及び音声認識部8を備えている。文字列認識部5は、音声の認識結果を示す文字列を表示対象の文字列として入力表示制御装置100に出力する。
 音声検出部6は、例えば、図2に示すマイク25によって実現される。音声検出部6は、ユーザの音声を検出し、検出した音声を音声認識部8に出力する。
 音声認識辞書DB7は、例えば、図2に示す記憶処理回路22によって実現される。音声認識辞書DB7は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とを備えている。
[0014]
 音声認識部8は、例えば、図2に示す音声認識処理回路26によって実現される。音声認識部8は、音声検出部6により検出された音声を認識する音声認識エンジンを搭載している。
 音声認識部8は、音声検出部6により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。音声認識部8は、探索した言葉を示す文字列を音声の認識結果を示す文字列として入力表示制御装置100に出力する。
[0015]
 図1に示す文字列認識部5は、音声認識辞書DB7及び音声認識部8を実装している。しかし、これは一例に過ぎず、音声認識辞書DB7及び音声認識部8の代わりに、データ送受信部が実装されている文字列認識部5であってもよい。
 データ送受信部は、インターネット又はLAN(Local Area Network)などの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器である。データ送受信部は、音声検出部6により検出された音声を示すデータを音声認識サーバに送信する。
 音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、受信したデータが示す音声を認識して、音声の認識結果を示す文字列を当該データ送受信部に送信する。
 データ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、文字列を入力表示制御装置100に出力する。
[0016]
 入力表示制御装置100は、曲線情報取得部9、文字列取得部10、文字属性情報取得部11及び表示制御部12を備えている。
 曲線情報取得部9は、例えば、図2に示す入力インタフェース回路27によって実現される。入力インタフェース回路27は、例えば、LANポート又はUSB(Universal Serial Bus)ポートを有している。
 曲線情報取得部9は、軌跡判別部4から出力された曲線情報を取得し、取得した曲線情報を長さ比較部13、形状決定処理部16、曲線延長部17及び表示処理部18のそれぞれに出力する。
[0017]
 文字列取得部10は、例えば、図2に示す入力インタフェース回路27によって実現される。文字列取得部10は、音声認識部8から出力された文字列を取得し、取得した文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 文字属性情報取得部11は、例えば、図2に示す入力インタフェース回路27によって実現される。文字属性情報取得部11は、文字管理部3から出力された文字属性情報を取得し、取得した文字属性情報を長さ比較部13に出力する。
[0018]
 表示制御部12は、長さ比較部13、延長曲線形状決定部14、曲線延長部17及び表示処理部18を備えている。
 表示制御部12は、軌跡判別部4により取得された曲線情報が示す曲線に沿って、文字列取得部10により取得された文字列をディスプレイ32に表示するための表示情報を生成し、生成した表示情報に従って、文字列を曲線に沿ってディスプレイ32に表示させる。表示制御部12により生成される表示情報は、文字列取得部10により取得された文字列を曲線情報取得部9により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示制御部12は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ32に表示させる。
[0019]
 表示制御部12は、曲線情報取得部9により取得された曲線情報が示す曲線の長さが短いために、文字列取得部10により取得された文字列の一部を曲線に沿って表示することができないと判断した場合、曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長する。表示制御部12は、延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成し、生成した表示情報に従って、文字列の一部を曲線の延長部分に沿ってディスプレイ32に表示させる。
 また、表示制御部12は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうと判断した場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置する。
 例えば、ユーザが、ディスプレイ32の表示領域の右端方向にディスプレイ32をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ32の表示領域の右端よりも、左端側であれば、表示制御部12が、曲線を表示領域の右端方向に延長することができる。
しかし、曲線を表示領域の右端まで延長しても、曲線の長さが文字列の全体の長さよりも短い場合、文字列の一部がディスプレイ32の表示領域からはみ出してしまうことがある。この場合、曲線情報が示す曲線の右端をさらに仮想領域まで延長し、延長した曲線に沿って文字列を配置する。
 さらに、表示制御部12は、文字列を曲線画像の上に重ねて表示した後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従って曲線画像を消去させる。
[0020]
 長さ比較部13は、例えば、図2に示す長さ比較処理回路28によって実現される。長さ比較部13は、曲線情報取得部9により取得された曲線情報が示す曲線の長さと、文字列取得部10により取得された文字列の長さとを比較し、曲線の長さと文字列の長さとの比較結果を形状決定処理部16及び曲線延長部17のそれぞれに出力する。
[0021]
 延長曲線形状決定部14は、例えば、図2に示す形状決定処理回路29によって実現されるものであり、曲線記憶部15及び形状決定処理部16を備えている。延長曲線形状決定部14は、長さ比較部13の比較結果が、曲線の長さが文字列の長さより短い旨を示していれば、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。
[0022]
 曲線記憶部15は、事前に形状が異なる複数の曲線を記憶している。
 形状決定処理部16は、曲線記憶部15に記憶されている複数の曲線の形状と、曲線情報取得部9により取得された曲線情報が示す曲線の形状とを照合して、曲線記憶部15に記憶されている複数の曲線の形状の中から、曲線情報取得部9により取得された曲線情報が示す曲線に対応する曲線の形状を選択する。形状決定処理部16は、選択した曲線の形状から延長曲線の形状を決定し、形状を決定した延長曲線を曲線延長部17に出力する。
[0023]
 曲線延長部17は、例えば、図2に示す曲線延長処理回路30によって実現される。曲線延長部17は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、延長曲線形状決定部14により形状が決定された延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加する。
[0024]
 表示処理部18は、例えば、図2に示す表示処理回路31によって実現される。表示処理部18は、文字列選択部18a、縁付加部18b及び文字列移動部18cを含んでいる。
 表示処理部18は、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、文字列取得部10により取得された文字列をディスプレイ32に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ32に文字列を表示させる。表示処理部18により生成される表示情報は、文字列取得部10により取得された文字列を曲線情報取得部9により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示処理部18は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ32に表示させる。
[0025]
 また、表示処理部18は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部17により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ32に表示するための表示情報を生成する。表示処理部18は、生成した表示情報に従ってディスプレイ32に文字列の一部を表示させる。
 さらに、表示処理部18は、ディスプレイ32に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ32に曲線画像を消去させる。
[0026]
 文字列選択部18aは、例えば、図2に示すポインティングデバイス21によって実現される。文字列選択部18aは、一部が仮想領域に配置されている文字列の選択を受け付ける。文字列選択部18aは、例えば、一部が仮想領域に配置されている文字列に含まれている文字のうち、ディスプレイ32の表示領域に表示されている文字に対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付ける。閾値は、文字列選択部18aの内部メモリに格納されているものであってもよいし、外部から与えられるものであってもよい。
[0027]
 縁付加部18bは、例えば、図2に示す画像生成処理回路24によって実現される。縁付加部18bは、文字列選択部18aにより選択が受け付けられた文字列に含まれている文字の輪郭に、文字と異なる色の縁を付加する。
 文字列移動部18cは、例えば、図2に示すポインティングデバイス21によって実現される。文字列移動部18cは、文字列選択部18aにより選択が受け付けられた文字列の移動を受け付ける。
[0028]
 表示処理部18は、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体をディスプレイ32の表示領域に配置するための移動が受け付けられると、文字列の全体をディスプレイ32の表示領域に表示するための表示情報を生成する。
 また、表示処理部18は、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体をディスプレイ32の表示領域の外側に出すための移動が受け付けられると、文字列取得部10により取得された文字列を破棄する。
[0029]
 文字列一時保存部19は、例えば、図2に示す記憶処理回路22によって実現される。文字列一時保存部19は、文字列取得部10により取得された文字列を一時的に保存する。
[0030]
 図1では、入力表示システムの構成要素である操作受付部1、文字管理DB2、文字管理部3、軌跡判別部4、文字列認識部5、曲線情報取得部9、文字列取得部10、文字属性情報取得部11、長さ比較部13、延長曲線形状決定部14、曲線延長部17、表示処理部18及び文字列一時保存部19のそれぞれが、図2に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス21、記憶処理回路22、文字管理処理回路23、画像生成処理回路24、マイク25、音声認識処理回路26、入力インタフェース回路27、長さ比較処理回路28、形状決定処理回路29、曲線延長処理回路30、表示処理回路31及びディスプレイ32によって実現されるものを想定している。
[0031]
 ここで、記憶処理回路22は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)などが該当する。
 また、文字管理処理回路23、画像生成処理回路24、音声認識処理回路26、長さ比較処理回路28、形状決定処理回路29、曲線延長処理回路30及び表示処理回路31は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate array)、または、これらを組み合わせたものが該当する。
[0032]
 また、入力表示システムの構成要素が専用のハードウェアで実現されるものに限るものではなく、入力表示システムがソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
 ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)などが該当する。
 図3は、入力表示システムがソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
[0033]
 入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部19をコンピュータのメモリ41上に構成する。また、文字管理部3、軌跡判別部4、音声認識部8、曲線情報取得部9、文字列取得部10、文字属性情報取得部11、長さ比較部13、延長曲線形状決定部14、曲線延長部17及び表示処理部18の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納する。そして、プロセッサ42が、メモリ41に格納されているプログラムを実行するようにすればよい。
 図4は、実施の形態1に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである(その1)。図5は、実施の形態1に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである(その2)。
[0034]
 また、図2では、入力表示システムの構成要素のそれぞれが専用のハードウェアで実現される例を示し、図3では、入力表示システムがソフトウェア又はファームウェアなどで実現される例を示している。しかし、これは一例に過ぎず、入力表示システムにおける一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェア又はファームウェアなどで実現されるものであってもよい。
 例えば、操作受付部1及び文字列認識部5を専用のハードウェアで実現し、文字管理DB2、文字管理部3、軌跡判別部4、入力表示制御装置100及び文字列一時保存部19をソフトウェア又はファームウェアなどで実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。
[0035]
 次に、図1に示す入力表示システムの動作について説明する。
 図6は、文字管理DB2に記憶されている文字属性表を示す説明図である。
 図6の文字属性表では、例えば、文字種毎に、文字サイズに対応している文字高と文字幅が記述されている。文字種としては、明朝体、ゴシック体などが考えられる。
 文字管理部3には、ディスプレイ32に表示する文字の文字種及び文字サイズが事前に設定されており、文字管理部3は、文字管理DB2に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高を示す文字属性情報を軌跡判別部4に出力する。また、文字管理部3は、文字管理DB2に記憶されている文字属性表を参照して、文字種及び文字サイズに対応する文字高及び文字幅を示す文字属性情報を入力表示制御装置100の文字属性情報取得部11に出力する(図4のステップST1)。
[0036]
 例えば、事前に設定されている文字の文字種が“A”で、文字サイズが“10”であれば、文字高が“5mm”であることを示す文字属性情報が、文字管理部3から軌跡判別部4に出力される。また、文字高が“5mm”、文字幅が“5mm”であることを示す文字属性情報が、文字管理部3から入力表示制御装置100に出力される。
 また、事前に設定されている文字の文字種が“B”で、文字サイズが“5”であれば、文字高が“2mm”であることを示す文字属性情報が、文字管理部3から軌跡判別部4に出力される。また、文字高が“2mm”、文字幅が“1.25mm”であることを示す文字属性情報が、文字管理部3から入力表示制御装置100に出力される。
[0037]
 軌跡判別部4は、文字管理部3から文字属性情報を受けると、生成する曲線画像の線幅を、文字属性情報が示す文字高に対応する線幅に設定する(図4のステップST2)。
 例えば、文字属性情報が示す文字高が“10mm”であるとき、仮に文字の上部及び下部の余白が“0.5mm”に設定されているとすれば、軌跡判別部4は、10+0.5+0.5=11=(mm)と計算して、曲線画像の線幅を“11mm”に設定する。
 ここでは、軌跡判別部4が、文字の上部及び下部に余白を設けているが、余白を設けずに、文字属性情報が示す文字高と曲線画像の線幅とが一致するものであってもよい。
[0038]
 図1に示す入力表示制御装置では、操作受付部1を実現しているポインティングデバイス21がタッチパネルであるものを想定している。したがって、ユーザが自己の指、又は、タッチパネル用の入力ペンなどを用いて、線を描く操作をタッチパネルに行うと(図4のステップST3:YESの場合)、操作受付部1が、線を描く操作を受け付ける(図4のステップST4)。操作受付部1は、受け付けた操作の内容を軌跡判別部4に出力する。
 出力される線を描く操作の内容は、例えば、タッチパネルに接触している指の位置の座標又は入力ペンの位置の座標の連続的な変化を示す時系列データである。なお、位置の座標は、タッチパネル上の位置座標である。
[0039]
 軌跡判別部4は、操作受付部1から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別する(図4のステップST5)。
 線を描く操作の内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、描かれた線の軌跡を判別することができる。
 軌跡判別部4は、描かれた線の軌跡を判別すると、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する(図4のステップST6)。
 曲線画像の線幅は、図4のステップST2で設定した線幅であり、上記の例では、曲線画像の線幅を“11mm”に設定しているので、軌跡判別部4は、線幅が“11mm”の曲線画像を生成する(図4のステップST6)。 
 軌跡判別部4は、曲線画像を含む曲線情報を入力表示制御装置100の曲線情報取得部9に出力する。
[0040]
 文字列認識部5の音声認識部8は、音声検出部6がユーザの音声を検出すると(図4のステップST7:YESの場合)、音声認識辞書DB7を利用して、音声の認識処理を実施することで、音声の認識結果を示す文字列を生成する(図4のステップST8)。音声認識部8は、生成した文字列を入力表示制御装置100の文字列取得部10に出力する。
 音声認識部8による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、以下に示すような音声認識方法が考えられる。
[音声認識方法]
 音声検出部6により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書DB7の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。そして、探索した言葉を示す文字列を音声の認識結果を示す文字列として出力する方法。
 図1に示す入力表示制御装置では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部8が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。
[0041]
 入力表示制御装置100は、軌跡判別部4から曲線画像を含む曲線情報が出力されると、曲線画像をディスプレイ32に表示させるとともに、文字列認識部5から出力された文字列を曲線画像の上に重ねて表示させる。
 以下、入力表示制御装置100の処理内容を具体的に説明する。
[0042]
 図7は、音声の認識結果を示す文字列が出力される前に曲線画像が出力された場合の表示処理を示す説明図である。
 図8は、曲線画像が出力される前に音声の認識結果を示す文字列が出力された場合の表示処理を示す説明図である。
 図9は、曲線画像の上に重ねて表示する文字列を示す説明図である。図9Aは、曲線の長さが文字列の長さよりも長ければ、文字列に含まれている全ての文字を曲線画像の上に重ねて表示できることを示している。図9Bは、曲線の長さが文字列の長さよりも短ければ、文字列に含まれている一部の文字を曲線画像の上に重ねて表示できないことを示している。
 図10は、表示制御部12の長さ比較部13の処理内容を示す説明図である。図10Aは、曲線の形状が直線である場合に、曲線の長さLの算出に用いる曲線の先端及び終端の位置座標を示している。図10Bは、曲線の形状が曲がっている場合に、曲線の長さLの算出に用いる曲線の先端、終端及び中間点の位置座標を示している。
 図11は、表示制御部12の延長曲線形状決定部14の処理内容を示す説明図である。
 図12Aは、延長曲線の形状が元の曲線の終端部における接線の形状である例を示す説明図であり、図12Bは、延長曲線の形状が元の曲線の形状と同じ曲率である例を示す説明図である。
 図12Cは、延長曲線の形状が元の曲線の形状と同じ周期の波線形状である例を示す説明図であり、図12Dは、延長曲線の形状が円弧形状である例を示す説明図である。
 図13は、表示制御部12の曲線延長部17の処理内容を示す説明図である。
[0043]
 表示制御部12の表示処理部18は、文字列認識部5の音声認識部8から文字列が出力される前に、軌跡判別部4から曲線画像を含む曲線情報が出力されることで、曲線情報取得部9が曲線情報を取得すると(図5のステップST11:YESの場合)、曲線画像を表示するための表示情報を生成する。表示処理部18は、生成した表示情報に従って、図7のステップAに示すように、曲線画像をディスプレイ32に表示させる(図5のステップST12)。
 実施の形態1では、説明の便宜上、ユーザの操作によって描かれている線の長さが短いために、曲線の長さが、音声の認識結果を示す文字列の長さよりも短くなっているものとする。
 なお、表示処理部18が曲線画像を表示させる際、曲線画像の全体を同時に表示させるようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションで、曲線画像を表示させるようにしてもよい。
[0044]
 表示処理部18は、例えば、図7のステップBに示すように、ユーザが「春になったら桜を見に行きましょう」という発話を行うことで、音声認識部8から「春になったら桜を見に行きましょう」を示す文字列を受けると(図5のステップST13:YESの場合)、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。表示処理部18は、生成した表示情報に従って、図7のステップCに示すように、文字列を曲線画像の上に重ねて表示させる(図5のステップST14)。
 ただし、図7の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。
[0045]
 文字列取得部10は、音声認識部8から出力された「春になったら桜を見に行きましょう」を示す文字列を取得し、取得した文字列を長さ比較部13に出力する。
 文字属性情報取得部11は、文字管理部3から出力された文字属性情報を取得し、文字属性情報を長さ比較部13に出力する。
 長さ比較部13は、文字列取得部10から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部11から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する(図5のステップST15)。
 ここでは、音声認識部8から出力された文字列が「春になったら桜を見に行きましょう」であり、文字列の文字数が16である。したがって、文字管理部3から出力された文字属性情報が示す文字幅が、例えば、“5mm”であれば、文字列の長さは、下記の式(1)に示すように、80mmとなる。
文字列の長さ=5mm×16=80mm         (1)
[0046]
 次に、長さ比較部13は、曲線情報取得部9により取得された曲線情報が示す曲線の長さを算出する(図5のステップST16)。
 曲線の長さLは、曲線の形状が例えば図10Aに示すような直線であれば、下記の式(2)に示すように、曲線の先端の位置座標(Xs,Ys)と終端の位置座標(Xe,Ye)とから算出することができる。図7のステップAに表示している曲線画像の場合、曲線の左端が曲線の先端、曲線の右端が曲線の終端である。これらの位置座標は、文字幅等を表す単位と同じ単位であるものとする。ここでは、mmが単位である。


[0047]
 式(2)では、曲線の形状が直線である場合の曲線の長さLの算出式を示している。しかし、これは一例に過ぎず、例えば、曲線の形状が図10Bに示すような曲線であれば、曲線の先端の位置座標(Xs,Ys)及び終端の位置座標(Xe,Ye)と、曲線の先端から終端に至る複数の中間点の位置座標(Xn,Yn)(n=1,・・・,N:Nは1以上の整数)とを用いて、曲線の形状を直線で近似することで、曲線の長さLを算出することができる。
 曲線の長さLは、例えば、N=2の場合、下記の式(3)に示すように、曲線の先端の位置座標(Xs,Ys)と、中間点の位置座標(X1,Y1)と、中間点の位置座標(X2,Y2)と、終端の位置座標(Xe,Ye)とから算出することができる。


 式(3)において、Xs<X1<X2<Xeであり、Ys<Y1<Y2<Yeである。
 図10Bでは、N=2の例を示しているが、近似精度を高めるために、Nを3以上にして、数多くの中間点の位置座標(Xn,Yn)を用いるようにしてもよいことは言うまでもない。
[0048]
 長さ比較部13は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する(図5のステップST17)。長さ比較部13は、曲線の長さと文字列の長さとの比較結果を形状決定処理部16及び曲線延長部17のそれぞれに出力する。
 延長曲線形状決定部14は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば(図5のステップST18:YESの場合)、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する(図5のステップST19)。
 以下、延長曲線形状決定部14による延長曲線の形状の決定処理を具体的に説明する。
[0049]
 形状決定処理部16は、曲線記憶部15に記憶されている複数の曲線の形状と、曲線情報取得部9により取得された曲線情報が示す曲線の形状との照合を行う。
 形状決定処理部16は、曲線の形状の照合を行うことで、曲線記憶部15に記憶されている複数の曲線の形状の中で、曲線情報が示す曲線の形状と最も一致度が高い曲線の形状を特定し、最も一致度が高い曲線の形状を選択する。曲線の形状を照合して、一致度が最も高い曲線の形状を特定する処理自体は公知の技術であるため詳細な説明を省略する。
[0050]
 形状決定処理部16は、曲線記憶部15に記憶されている複数の曲線の形状の中から、図11に示すような曲線の形状を選択すると、選択した曲線の形状から延長曲線の形状を決定する。
 例えば、曲線記憶部15に記憶されている複数の曲線の長さが、操作によって描かれた線の軌跡を表す曲線よりも十分に長ければ、選択した曲線の形状の中で、曲線情報が示す曲線よりも長い部分の形状を、延長曲線の形状に決定する。
 図11の例では、操作によって描かれた線の軌跡を表す曲線として、軌跡判別部4により判別された軌跡を表す曲線を破線で表している。また、図11の例では、最も一致度が高い選択した曲線を実線で表しており、破線で表している曲線の延長部分の形状を、実線で表している曲線の形状と同じにしている。
[0051]
 実施の形態1では、曲線記憶部15に記憶されている複数の曲線の形状の中で、軌跡判別部4により判別された軌跡を表す曲線の形状と最も一致度が高い曲線の形状を選択し、選択した曲線の形状から延長曲線の形状を決定する例を示している。しかし、これは一例に過ぎず、他の方法で、延長部分の曲線である延長曲線の形状を決定するものであってもよい。
 例えば、軌跡判別部4により判別された軌跡を表す曲線の形状の曲率の変化傾向などを計算し、曲率の変化傾向から、延長曲線の形状を推定するなどの方法が考えられる。
[0052]
 図12Aから図12Dは、延長曲線の形状決定例を示しており、図12Aでは、緩く曲がっている曲線の終端部における接線の形状を延長曲線の形状としている。
 図12Bでは、曲線全体の曲率が一定であるため、延長曲線の形状の曲率を、軌跡判別部4により判別された軌跡を表す曲線である元の曲線の形状の曲率と同じにしている。
 図12Cでは、曲線の形状が周期的な波線形状であるため、延長曲線の形状を元の曲線と同じ周期の波線形状にしている。
 図12Dでは、曲線の終端付近が円弧状に曲がっているため、延長曲線の形状を元の曲線の終端付近と同様の円弧形状にしている。
[0053]
 曲線延長部17は、延長曲線形状決定部14が延長曲線の形状を決定すると、延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する(ステップST20)。
 図13の例では、曲線の長さが60mm、文字列の長さが80mmであり、曲線の長さが文字列の長さよりも20mm短いため、20mmだけ、曲線を延長している。
[0054]
 表示処理部18は、曲線延長部17が曲線を延長すると、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、図7のステップDに示すように、延長部分の曲線に沿って、曲線が短いために未表示であった文字列の一部である「ましょう」をディスプレイ32に表示させる(図5のステップST21)。図7のステップDにおいて、破線は、延長部分の曲線である延長曲線を表している。
 ここでは、表示処理部18が、曲線延長部17により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ32に表示させている。しかし、これは一例に過ぎず、図7のステップDにおける右側の図のように、表示処理部18が、延長曲線を示す曲線画像をディスプレイ32に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。
 図7のステップDの例では、表示処理部18が、延長曲線をディスプレイ32に表示させているが、延長曲線は、仮想的な線であるため、表示処理部18が、延長曲線をディスプレイ32に表示させなくてもよい。
[0055]
 ここで、例えば、ユーザがディスプレイ32の表示領域の右端方向にディスプレイ32をなぞった場合、曲線情報が示す曲線の右端は、ディスプレイ32の表示領域の右端に位置することになる。この場合、曲線延長部17は、表示領域の右側に存在する仮想領域に曲線を延長する。
 そして、表示処理部18は、仮想領域に延長された曲線に沿って、文字列の一部を表示領域の周囲の領域である仮想領域に配置する。
 表示処理部18が、文字列の一部を仮想領域に配置する処理と、文字列の一部を仮想領域に配置した後の処理とについては後述する。
[0056]
 表示処理部18は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去するための表示情報を生成する。表示処理部18は、生成した表示情報に従って、図7のステップEに示すように、ディスプレイ32から曲線画像を消して、文字列のみをディスプレイ32に表示させる(図5のステップST22)。
 表示処理部18が、曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
 ここでは、表示処理部18が、曲線画像と文字列が重ねて表示してから、一定時間後に、曲線画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。
[0057]
 図8のステップAに示すように、ユーザが線を描く操作を行う前に発話することで、軌跡判別部4から曲線画像を含む曲線情報が出力される前に、文字列認識部5の音声認識部8から文字列が出力されることで、文字列取得部10が文字列を取得することがある。
 表示処理部18は、軌跡判別部4から曲線画像を含む曲線情報が出力される前に、文字列取得部10から文字列が出力されると(図5のステップST11:NOの場合)、出力された文字列を文字列一時保存部19に格納する。
 表示処理部18は、文字列を文字列一時保存部19に格納すると、軌跡判別部4から曲線情報が出力されるまで待機する(図5のステップST23:NOの場合)。
[0058]
 その後、ユーザが線を描く操作を開始して、線を描く操作が完了すると、軌跡判別部4から曲線情報が表示処理部18に出力される。
 表示処理部18は、軌跡判別部4から曲線情報が出力されることで、曲線情報取得部9から曲線情報が出力されると(図5のステップST23:YESの場合)、文字列一時保存部19に格納されている文字列の読み出しを行う。表示処理部18は、読み出した文字列を曲線画像の上に重ねて表示するための表示情報を生成し、生成した表示情報に従って、図8のステップBに示すように、文字列を曲線画像の上に重ねて表示させる。即ち、表示処理部18は、曲線画像と文字列を同じ位置に重ねて表示させる(図5のステップST24)。
 ただし、図8の例では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短いため、文字列のうち、「春になったら桜を見に行き」については曲線画像の上に重ねて表示されているが、「ましょう」については曲線画像の上に重ねて表示されていない。
[0059]
 表示処理部18が曲線画像と文字列を同じ位置に重ねて表示させる際、曲線画像と文字列の全体を同時に表示させるようにしてもよいが、文字列の先頭側から順次表示するアニメーションで、曲線画像と文字列を表示させるようにしてもよい。
 また、ユーザの指のなぞりにあわせて、曲線画像と文字列が指の下から湧き出てくるように、曲線画像と文字列を順次表示させるようにしてもよい。
 なお、図7では、ユーザが指をなぞってから発話する例を示し、図8ではユーザが発話してから指をなぞる例を示したが、指のなぞりと発話が同時に行われるものであってもよい。
[0060]
 長さ比較部13は、文字列取得部10から出力された「春になったら桜を見に行きましょう」を示す文字列を受けると、文字属性情報取得部11から出力された文字属性情報が示す文字幅を参照して、当該文字列の長さを算出する(図5のステップST15)。
 また、長さ比較部13は、曲線情報取得部9により取得された曲線情報を受けると、上記の式(2)又は式(3)に従って、曲線情報が示す曲線の長さを算出する(図5のステップST16)。
 長さ比較部13は、曲線の長さを算出すると、曲線の長さと文字列の長さとを比較する(図5のステップST17)。
[0061]
 延長曲線形状決定部14は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば(図5のステップST18:YESの場合)、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する(図5のステップST19)。
 曲線延長部17は、延長曲線形状決定部14が延長曲線の形状を決定すると、延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する(図5のステップST20)。
 図13の例では、曲線の長さが60mm、文字列の長さが80mmであり、曲線の長さが文字列の長さよりも20mm短いため、20mmだけ、曲線を延長している。
[0062]
 表示処理部18は、曲線延長部17が曲線を延長すると、延長部分の曲線に沿って、曲線の長さが短いために未表示であった文字列の一部である「ましょう」を表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、図8のステップCに示すように、延長部分の曲線に沿って、未表示であった文字列の一部である「ましょう」をディスプレイ32に表示させる(図5のステップST21)。
 ここでは、表示処理部18が、曲線延長部17により付加された延長曲線に沿って、未表示であった文字列の一部をディスプレイ32に表示させている。しかし、これは一例に過ぎず、表示処理部18が、図8のステップCにおける右側の図のように、延長曲線を示す曲線画像をディスプレイ32に表示させ、未表示であった文字列の一部を当該曲線画像の上に重ねて表示させるようにしてもよい。
[0063]
 表示処理部18は、文字列を構成する全ての文字を曲線画像の上に重ねて表示させた後、曲線画像を消去ための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、図8のステップDに示すように、ディスプレイ32から曲線画像を消して、文字列のみをディスプレイ32に表示させる(図5のステップST22)。
 表示処理部18が、曲線画像を消去させる際、曲線画像の全体が同時に消去されるようにしてもよいが、文字列の先頭側から順番に消去するアニメーションで、曲線画像が消去されるようにしてもよい。
 ここでは、表示処理部18が、曲線画像と文字列を重ねて表示させてから、一定時間後に、曲線画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、曲線画像を消去するようにしてもよい。
[0064]
 図1に示す入力表示制御装置100では、曲線の長さが、音声の認識結果を示す文字列の長さよりも短い例を示しているが、曲線の長さが、音声の認識結果を示す文字列の長さ以上である場合、曲線の長さを延長することなく、文字列を構成する全ての文字を曲線画像の上に重ねて表示させることができる。
 したがって、長さ比較部13の比較結果が、曲線の長さが文字列の長さ以上である旨を示していれば(図5のステップST18:Noの場合)、ステップST19~ST21の処理を実施せずに、ステップST22の処理に移行し、曲線画像を消去して、文字列のみを表示している状態にする。
[0065]
 図1に示す入力表示制御装置100では、長さ比較部13が、文字列に含まれているそれぞれの文字の間が離れておらず、文字間の長さが0mmであるとして、式(1)によって文字列の長さを計算している。しかし、文字間の長さが0mmより大きければ、長さ比較部13が、文字間の長さを考慮して、文字列の長さを算出するようにしてもよい。例えば、文字間の長さが0.5mmであれば、文字列の長さは、下記の式(4)に示すように、87.5mmとなる。
文字列の長さ=(5mm×16)+(0.5mm×15)=87.5mm
                            (4)
 式(4)は、式(1)と同様に、文字列の文字数が16、文字幅が“5mm”である場合を示している。
[0066]
 次に、表示処理部18が、文字列の一部を仮想領域に配置する処理、及び、文字列の一部を仮想領域に配置した後の処理について説明する。
 例えば、図14に示すように、ユーザがディスプレイ32の表示領域の右端方向にディスプレイ32をなぞったとき、曲線情報が示す曲線の右端が、ディスプレイ32の表示領域の右端に位置することになる。図14は、表示処理部18が文字列の一部をディスプレイ32に表示させることができない例を示す説明図である。
 図14の例では、「明日、プールに行くよ」を示す文字列のうち、「行くよ」の文字列が未表示になっている。
[0067]
 図15は、ディスプレイ32の表示領域と、表示領域の周囲の領域である仮想領域とを示す説明図である。
 ディスプレイ32の表示領域は、文字を実際に表示することが可能な実在の領域である。これに対し、仮想領域は、ディスプレイ32には表示されない仮想的な領域である。
 表示処理部18は、文字列の一部をディスプレイ32に表示させることができない場合、図15に示すように、仮想領域まで延長曲線を延長し、当該仮想領域において、延長された延長曲線に沿って未表示の文字列を配置する。表示処理部18は、未表示の文字列を仮想領域に配置する際、文字列取得部10から出力された文字列である「明日、プールに行くよ」が、表示領域と仮想領域をまたがるように、未表示の文字列を仮想領域に配置する。
 図15の例では、表示処理部18が、「行くよ」の文字列を仮想領域に配置している。
[0068]
 図16は、表示処理部18が、文字列の一部を仮想領域に配置した後の処理を示すフローチャートである。
 以下、図16を参照しながら、表示処理部18が、文字列の一部を仮想領域に配置した後の処理について説明する。
[0069]
 文字列選択部18aは、ユーザが、一部が仮想領域に配置されている文字列を選択する操作を行うと(図16のステップST31:YESの場合)、当該文字列の選択を受け付ける(図16のステップST32)。
 文字列選択部18aは、ユーザが文字列を選択する操作を行わなければ(図16のステップST31:NOの場合)、ユーザが文字列を選択する操作を行うまで待機する。
 ユーザが文字列を選択する操作としては、一部が仮想領域に配置されている文字列に含まれている文字のうち、ディスプレイ32の表示領域に表示されている文字を長押しする操作が考えられる。
 ディスプレイ32の表示領域に表示されている文字を長押しする操作は、ユーザが、ディスプレイ32の表示領域に表示されている文字を閾値よりも長い時間触れる操作を意味する。
 ここでは、ユーザが、ディスプレイ32の表示領域に表示されている文字を長押しする操作を行うことで、文字列選択部18aが、文字列の選択を受け付ける例を示している。しかし、これは一例に過ぎず、例えば、ユーザが、ディスプレイ32の表示領域に表示されている文字に触れると、触れている時間にかかわらず、文字列選択部18aが、文字列の選択を受け付けるようにしてもよい。
[0070]
 縁付加部18bは、文字列選択部18aにより文字列の選択が受け付けられると、図17に示すように、選択が受け付けられた文字列に含まれている全ての文字におけるそれぞれの輪郭に、文字と異なる色の縁を付加する(図16のステップST33)。
 縁付加部18bが、文字の輪郭に縁を付加することで、当該文字が、いわゆる「ふち文字」として、ディスプレイ32に表示されるようになり、ユーザは、文字列の選択が受け付けられたことを認識することができる。
 図17は、文字列選択部18aにより選択が受け付けられた文字列を示す説明図である。
[0071]
 文字列移動部18cは、ユーザが、文字列選択部18aにより選択が受け付けられた文字列を移動させる操作を行うと(図16のステップST34:YESの場合)、当該文字列の移動を受け付ける(図16のステップST35)。
 文字列移動部18cは、ユーザが文字列を移動させる操作を行わなければ(図16のステップST34:NOの場合)、ユーザが文字列を移動させる操作を行うまで待機する。
 表示処理部18は、文字列移動部18cによって、文字列の全体をディスプレイ32の表示領域に配置するための移動が受け付けられると、文字列の全体をディスプレイ32の表示領域に表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、図18に示すように、文字列の全体をディスプレイ32の表示領域に表示させる(図16のステップST36)。
 図18は、文字列の移動を示す説明図である。
 図18Aは、曲線画像の上に重ねて表示させている文字列の移動を示している。
 図18Bは、曲線画像が文字列の下線として表記されている例を示している。
[0072]
 ここでは、文字列移動部18cが、文字列の全体をディスプレイ32の表示領域に配置するための移動を受け付けると、表示処理部18が、文字列の全体をディスプレイ32の表示領域に表示させている。しかし、文字列移動部18cが、図19に示すように、文字列の全体をディスプレイ32の表示領域の外側に出すための移動を受け付けると、表示処理部18が、当該文字列を破棄するようにしてもよい。
 図19は、文字列取得部10により取得された文字列の破棄を示す説明図である。
 図19では、文字列の全体をディスプレイ32の表示領域の外側に出すための移動操作として、文字列選択部18aにより選択が受け付けられた文字列を、ユーザが、ディスプレイ32の表示領域の外側にフリックしている例を示している。
[0073]
 以上の実施の形態1は、表示制御部12が、文字列取得部10により取得された文字列の長さが長いために、文字列取得部10により取得された文字列の一部がディスプレイ32の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列の全体を生成しきれない事態を回避することができる。
[0074]
 また、実施の形態1は、表示制御部12が、一部が仮想領域に配置されている文字列の選択を受け付ける文字列選択部18aと、文字列選択部18aにより選択が受け付けられた文字列の移動を受け付ける文字列移動部18cとを備えている。また、表示制御部12が、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、当該文字列の全体を表示領域に表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列の全体をディスプレイ32の表示領域に表示させることができる。
[0075]
 また、実施の形態1は、表示制御部12が、曲線情報取得部9により取得された曲線情報が示す曲線の長さが短いために、文字列取得部10により取得された文字列の一部を曲線に沿って表示することができないと判断する場合、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、曲線の延長部分の形状を決定して、曲線を延長し、延長部分の曲線に沿って、文字列の一部を表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、曲線情報取得部9により取得された曲線情報が示す曲線の長さが、文字列の長さより短い場合でも、文字列の全部を曲線に沿って表示させることができる。
[0076]
 さらに、実施の形態1は、入力表示制御装置100が、音声認識部8から文字列が出力される前に、軌跡判別部4から曲線画像を含む曲線情報が出力された場合、曲線画像をディスプレイ32に表示させた後、音声認識部8から出力された文字列を曲線画像の上に重ねて表示させる。一方、軌跡判別部4から曲線画像を含む曲線情報が出力される前に、音声認識部8から文字列が出力された場合、軌跡判別部4から曲線情報が出力されるまで待機し、軌跡判別部4から曲線情報が出力されると、曲線画像をディスプレイ32に表示させるとともに、文字列を曲線画像の上に重ねて表示させるように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、ユーザが発話する前に線を描く操作を行った場合、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。よって、ユーザが文字列の表示イメージをつかむことができる。また、ユーザが線を描く操作を行う前に発話した場合、線を描く操作が行われると、曲線画像と文字列が同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる。
[0077]
 図1に示す入力表示制御装置100では、表示処理部18が、文字列を曲線画像の上に重ねて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部18が、文字列を曲線画像の上に重ねずに、曲線画像の周囲において、曲線画像に沿うように文字列を表示させるようにしてもよい。
 また、曲線画像は、ユーザが曲線画像を確認することができなくてもよければ、無色透明の画像であってもよい。また、曲線画像は、有色透明の画像であってもよい。
 また、曲線画像の線幅は、文字管理部3から出力された文字属性情報が示す文字高に対応する幅に構成したが、例えば、図18Bに示すように、一定幅を有する下線としてもよい。
 曲線画像が無色透明である場合、表示処理部18が、軌跡判別部4により判別された軌跡を表す幅のない曲線、又は、曲線延長部17により延長された軌跡を表す幅のない曲線をディスプレイ32に表示させるようにしてもよい。
[0078]
実施の形態2.
 図1に示す入力表示システムでは、表示制御部12が、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
 実施の形態2では、表示制御部12が、一部を仮想領域に配置した文字列を改行することで、仮想領域に配置した文字列の一部を表示領域に表示するための表示情報を生成する入力表示システムについて説明する。
 実施の形態2の入力表示制御装置100を含む入力表示システム示す構成図は、実施の形態1と同様に図1である。ただし、表示処理部18は、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている必要がない。
 図20は、ディスプレイ32における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。
[0079]
 次に、実施の形態2の入力表示システムの動作について説明する。
 図21は、実施の形態2に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図21において、図5と同一符号は同一又は相当部分を示している。
 文字列取得部10は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部8から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列取得部10により取得された文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
 図20の例では、表示処理部18が、文字列取得部10により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示しているが、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置している。
[0080]
 延長曲線形状決定部14は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、実施の形態1と同様に、曲線情報取得部9により取得された曲線情報が示す曲線の形状から、延長部分の曲線である延長曲線の形状を決定する。
 曲線延長部17は、延長曲線形状決定部14が延長曲線の形状を決定すると、実施の形態1と同様に、延長曲線を曲線情報取得部9により取得された曲線情報が示す曲線の終端に付加することで、曲線を延長する。
 実施の形態2でも、実施の形態1と同様に、曲線延長部17が、図20に示すように、仮想領域まで曲線を延長している(図21のステップST20A)。
[0081]
 表示処理部18は、上述した通り、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置しているが、仮想領域まで延長している曲線に沿って、「行くよ。一か月ぶりだよ」の文字列を配置する。
 表示処理部18は、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置すると、仮想領域まで延長した曲線を切り取り、切り取った曲線を実在領域の曲線の下に配置する(図21のステップST21A)。
 表示処理部18は、文字列取得部10から出力された「明日、プールに行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ32における表示領域の右端で改行する。図20の例では、「に」の文字と「行」の文字と間で改行している。図20において、“←”は、文字列の改行を表している。
 次に、表示処理部18は、曲線の始点を左右方向で一致させることで、改行した文字列である「行くよ。一か月ぶりだよ」の始点の文字である「行」と、「明日、プールに行くよ。一か月ぶりだよ」の始点の文字である「明」とが、図中、左右方向の位置で概ね揃うように「行くよ。一か月ぶりだよ」を配置する。
 表示処理部18は、「行くよ。一か月ぶりだよ」の文字列のうち、「行くよ。一か」の文字列を、切り取った曲線に沿って、ディスプレイ32の表示領域に表示する(図21のステップST21B)。
 図20の例では、「行くよ。一か月ぶりだよ」の文字列のうち、「行くよ。一か」については、ディスプレイ32の表示領域に表示できている。しかし、「月ぶりだよ」の文字列は、ディスプレイ32の表示領域からはみ出してしまっている。
[0082]
 曲線延長部17は、「月ぶりだよ」の文字列がディスプレイ32の表示領域からはみ出してしまっているため、「行くよ。一か」の文字列が沿っている曲線を仮想領域まで延長する(図21のステップST20A)。
 表示処理部18は、仮想領域まで延長している曲線に沿って、「月ぶりだよ」の文字列を仮想領域に配置する。
 表示処理部18は、「月ぶりだよ」の文字列を仮想領域に配置すると、仮想領域まで延長した曲線を切り取り、切り取った曲線を実在領域の曲線の下に配置する(図21のステップST21A)。
 表示処理部18は、「行くよ。一か月ぶりだよ」が示す文字列を、ディスプレイ32における表示領域の右端で改行する。図20の例では、「か」の文字と「月」の文字と間で改行している。
 次に、表示処理部18は、曲線の始点を左右方向で一致させることで、改行した文字列である「月ぶりだよ」の文字列の始点の文字である「月」と、「行くよ。一か月ぶりだよ」の始点の文字である「行」とが、図中、左右方向の位置で概ね揃うように、「月ぶりだよ」の文字列を配置する。
 表示処理部18は、「月ぶりだよ」の文字列を、切り取った曲線に沿って、ディスプレイ32の表示領域に表示する(図21のステップST21B)。
 図20の例では、「月ぶりだよ」の文字列がディスプレイ32の表示領域に表示されており、「明日、プールに」の文字列と、「行くよ。一か」の文字列と、「月ぶりだよ」の文字列とが3行で表示されている。
 表示処理部18は、仮想領域まで延長した曲線の全てを切り取るまで、ステップST21A~ST21Cの処理を繰り返し実施する。
[0083]
 図20では、表示処理部18が、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を2回改行することで、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を3行で表示させている。しかし、これは一例に過ぎず、表示処理部18が、例えば、2行目の文字列を表示領域の左端に寄せることで、「明日、プールに」の文字列と、「行くよ。一か月ぶりだよ」の文字列とを2行で表示させるようにしてもよい。また、2行目の文字列の最後の文字を表示領域の右端に合わせることで2行にするようにしてもよい。
[0084]
 ここでは、表示処理部18が、2行目の文字列及び3行目の文字列のそれぞれに含まれている複数の文字を一直線上に並べる表示させている。しかし、これは一例に過ぎず、曲線延長部17が、2行目の文字列及び3行目の文字列のそれぞれを配置するための曲線の形状が、1行目の文字列を配置するための曲線と同一形状となるように、2行目の文字列及び3行目の文字列のそれぞれを配置するための曲線を生成する。そして、表示処理部18が、図22に示すように、2行目の文字列及び3行目の文字列のそれぞれに含まれている複数の文字を、曲線延長部17により生成されたそれぞれの曲線に沿うように、ディスプレイ32の表示領域に表示させるようにしてもよい。図22において、“←”は、文字列の改行を表している。
 図22は、ディスプレイ32における表示領域の右端で、文字列が自動改行されることで、仮想領域に配置された文字列が表示領域に表示される例を示す説明図である。
[0085]
 以上の実施の形態2は、表示制御部12が、文字列取得部10により取得された文字列を改行することで、仮想領域に配置した文字列の一部を表示領域に表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、一部を仮想領域に配置した文字列に含まれている全ての文字を自動的にディスプレイ32の表示領域に表示させることができる。
[0086]
実施の形態3.
 図1に示す入力表示システムでは、表示制御部12が、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
 実施の形態3では、表示制御部12が、一部が仮想領域に配置されている文字列の全体をディスプレイ32の表示領域に移動させて、当該文字列の全体を表示領域に表示するための表示情報を生成する入力表示システムについて説明する。
 実施の形態3の入力表示制御装置100を含む入力表示システム示す構成図は、実施の形態1と同様に図1である。ただし、表示処理部18は、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている必要がない。
 図23は、表示制御部12が、一部が仮想領域に配置されている文字列の全体をディスプレイ32の表示領域に移動させて、当該文字列の全体を表示領域に表示させている例を示す説明図である。
[0087]
 次に、実施の形態3の入力表示システムの動作について説明する。
 図24は、実施の形態3に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図24において、図5と同一符号は同一又は相当部分を示している。
 文字列取得部10は、例えば、ユーザが「明日、プールに行くよ」という発話を行うと、音声認識部8から「明日、プールに行くよ」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「明日、プールに行くよ」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
 図23の例では、表示処理部18が、文字列取得部10により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示しているが、「行くよ」の文字列を仮想領域に配置している。
[0088]
 表示処理部18は、文字列の一部を仮想領域に配置すると、図23に示すように、例えば、文字列の全体を、図中、表示領域の左端側の方向に移動させることで、文字列の全体を表示領域に表示させる(図24のステップST25)。図23において、“←”は、文字列の移動を表している。
[0089]
 図23の例では、表示処理部18が、文字列の全体を、図中、表示領域の左端側の方向に移動させることで、文字列の全体を表示領域に表示させることができている。
 以上の実施の形態3は、表示制御部12が、一部が仮想領域に配置されている文字列の全体を表示領域に移動させて、文字列の全体を表示領域に表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、一部を仮想領域に配置した文字列に含まれている全ての文字を自動的にディスプレイ32の表示領域に表示させることができる。
 なお、文字列取得部10から出力された文字列の長さが、例えば、表示領域の左右方向の長さよりも長い場合、表示処理部18が、文字列の全体を、表示領域の左端側の方向に移動させても、文字列の全体を表示領域に表示させることができない。具体的には、以下の通りである。
[0090]
 文字列取得部10は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部8から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
 図25は、表示制御部12が、一部が仮想領域に配置されている文字列の全体を移動させたのち、文字列を改行することで、文字列の全体を表示領域に表示させている例を示す説明図である。
 図25の例では、表示処理部18が、文字列取得部10により取得された文字列のうち、「明日、プールに」の文字列を表示領域に表示させているが、「行くよ。一か月ぶりだよ」の文字列を仮想領域に配置している。
[0091]
 表示処理部18は、文字列の始点の文字である「明」を、例えば、表示領域の左端の手前まで移動させたのち、当該文字列を、ディスプレイ32における表示領域の右端で改行する。
 図25の例では、表示処理部18が、文字列の全体を移動させたことで、「明日、プールに行くよ。一」の文字列を表示領域に表示させている。しかし、「か月ぶりだよ」の文字列がディスプレイ32の表示領域からはみ出してしまうので、表示処理部18が、「か月ぶりだよ」の文字列を仮想領域に配置している。
[0092]
 次に、表示処理部18は、全体を移動させた文字列を、ディスプレイ32における表示領域の右端で改行する。図25の例では、「一」の文字と「か」の文字と間で改行している。
 表示処理部18は、改行した文字列である「か月ぶりだよ」の文字列をディスプレイ32の表示領域に表示させている。
 図25の例では、「明日、プールに行くよ。一」の文字列を配置するための曲線の形状と、「か月ぶりだよ」の文字列を配置するための曲線の形状とが、同じ形状であるが、異なる形状であってもよい。
[0093]
 上記のように構成することで、文字列の長さが長い場合であっても、文字列に含まれている全ての文字を自動的にディスプレイ32の表示領域に表示させることができる。
[0094]
実施の形態4.
 図1に示す入力表示システムでは、表示制御部12が、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
 実施の形態4では、表示制御部12が、一部が仮想領域に配置されている文字列に含まれている文字の文字サイズを小さくして、文字列の長さを、曲線情報取得部9により取得された曲線情報が示す曲線の長さ以下にする入力表示システムについて説明する。
 実施の形態4の入力表示制御装置100を含む入力表示システム示す構成図は、実施の形態1と同様に図1である。ただし、表示処理部18は、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている必要がない。
 図26は、表示制御部12が、文字列に含まれている文字の文字サイズを小さくして、文字列の全体を表示領域に表示させている例を示す説明図である。
[0095]
 次に、実施の形態4の入力表示システムの動作について説明する。
 図27は、実施の形態4に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図27において、図5と同一符号は同一又は相当部分を示している。
 文字列取得部10は、例えば、ユーザが「明日、プールに行きませんか」という発話を行うと、音声認識部8から「明日、プールに行きませんか?」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「明日、プールに行きませんか?」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
 図26の例では、表示処理部18が、文字列取得部10により取得された文字列のうち、「明日、プールに行きま」の文字列を表示領域に表示しているが、「せんか?」の文字列を仮想領域に配置している。
 図26の例では、表示処理部18が、「明日、プールに行きませんか?」の文字列に含まれているそれぞれの文字の文字サイズは、文字管理DB2に記憶されている文字属性表の記述どおりである。
[0096]
 表示処理部18は、文字列の一部を仮想領域に配置すると、文字列の長さが、曲線情報取得部9により取得された曲線情報が示す曲線の長さ以下になるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを小さくする(図27のステップST26)。
 表示処理部18は、全ての文字におけるそれぞれの文字サイズを小さくしたのち、文字列の全体をディスプレイ32の表示領域に表示するための表示情報を生成する。
 表示処理部18は、図26に示すように、生成した表示情報に従って、文字列の全体をディスプレイ32の表示領域に表示させる(図27のステップST21)。
[0097]
 ここでは、表示処理部18が、文字列の長さが、曲線の長さ以下になるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを小さくしている。
 表示処理部18は、文字列取得部10により取得された文字列の長さが、曲線の長さよりも短い場合、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている全ての文字におけるそれぞれの文字サイズを大きくするようにしてもよい。
 図28は、表示制御部12が、文字列の長さが、曲線の長さよりも長くならない範囲で、文字列に含まれている文字の文字サイズを大きくしている例を示す説明図である。
 図28の例では、表示制御部12が、文字列の長さが、曲線の長さとほぼ同じ長さになるように、文字列に含まれている全ての文字におけるそれぞれの文字サイズを大きくしている。しかし、文字列取得部10により取得された文字列の長さが、曲線の長さよりも短い場合、表示制御部12が、文字列に含まれている全ての文字におけるそれぞれの文字サイズを変更せずに、文字列の全体をディスプレイ32の表示領域に表示させるようにしてもよい。
[0098]
 以上の実施の形態4は、表示制御部12が、一部が仮想領域に配置されている文字列に含まれている文字の文字サイズを小さくして、文字列の長さを、曲線情報取得部9により取得された曲線情報が示す曲線の長さ以下にするように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列取得部10により取得された文字列に含まれている全ての文字を自動的にディスプレイ32の表示領域に表示させることができる。
 なお、延長曲線を描画せず、曲線の長さが文字列の長さよりも短い場合、文字列に含まれる文字のサイズを小さくして文字列全体を表示するようにしてもよい。
[0099]
実施の形態5.
 図1に示す入力表示システムでは、表示制御部12が、文字列移動部18cによって、文字列選択部18aにより選択が受け付けられた文字列の全体を表示領域に配置するための移動が受け付けられると、文字列の全体を表示領域に表示するための表示情報を生成している。
 実施の形態5では、表示制御部12が、文字列取得部10により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換する処理を実施する。そして、表示制御部12が、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成する入力表示システムについて説明する。
[0100]
 図29は、実施の形態5に係る入力表示制御装置を含む入力表示システム示す構成図である。図29において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
 表示処理部18は、例えば、図2に示す表示処理回路31によって実現される。
 表示処理部18は、図1に示す表示処理部18と異なり、文字列選択部18a、縁付加部18b及び文字列移動部18cの代わりに、テーブル記憶部18dを含んでいる。
 表示処理部18は、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、文字列取得部10により取得された文字列をディスプレイ32に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイ32に文字列を表示させる。表示処理部18により生成される表示情報は、文字列取得部10により取得された文字列を曲線情報取得部9により取得された曲線情報に含まれる曲線画像の上に重ねて表示するための情報である。表示処理部18は、表示情報に従って文字列を曲線画像の上に重ねてディスプレイ32に表示させる。
[0101]
 また、表示処理部18は、長さ比較部13の比較結果が、曲線の長さが文字列の長さよりも短い旨を示していれば、曲線延長部17により付加された延長曲線に沿って、曲線画像の上に重ねて表示できていない文字列の一部をディスプレイ32に表示するための表示情報を生成する。表示処理部18は、生成した表示情報に従ってディスプレイ32に文字列の一部を表示させる。
 さらに、表示処理部18は、ディスプレイ32に文字列を表示させた後、曲線画像の表示を消去するための表示情報を生成し、生成した表示情報に従ってディスプレイ32に曲線画像を消去させる。
[0102]
 テーブル記憶部18dは、例えば、図2に示す記憶処理回路22によって実現される。テーブル記憶部18dは、図30に示すように、「文字列」と「簡易の文字列」との対応関係を示すテーブルを記憶している。
 図30は、「文字列」と「簡易の文字列」との対応関係を示すテーブルを示す説明図である。
 図30では、簡易の文字列を「簡易版」と表記している。「簡易の文字列」は、「文字列」と同じ意味を有し、かつ、「文字列」よりも長さが短くなっている。
[0103]
 表示処理部18は、テーブル記憶部18dから、文字列取得部10により取得された文字列と対応関係がある簡易の文字列を取得し、文字列取得部10により取得された文字列を取得した簡易の文字列に置換する。
 表示処理部18は、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って置換処理後の文字列をディスプレイ32の表示領域に表示させる。
[0104]
 次に、図29に示す入力表示制御装置の動作について説明する。
 図31は、実施の形態5に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図31において、図5と同一符号は同一又は相当部分を示している。
 表示処理部18以外の動作は、図1に示す入力表示制御装置の動作と同様であるため、ここでは、主に表示処理部18の動作のみを説明する。
[0105]
 文字列取得部10は、例えば、ユーザが「今日、ラーメンを食べに行きました」という発話を行うと、音声認識部8から「今日、ラーメンを食べに行きました」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「今日、ラーメンを食べに行きました」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
 表示処理部18は、「今日、ラーメンを食べに行きました」を示す文字列のうち、「きました」の文字列を仮想領域に配置している。
[0106]
 表示処理部18は、文字列の全体をディスプレイ32の表示領域に表示できるようにするため、文字列取得部10により取得された文字列を簡易の文字列に置換して、文字列の長さを短くする(図31のステップST27)。
 具体的には、表示処理部18は、テーブル記憶部18dから、文字列取得部10により取得された文字列と対応関係がある簡易の文字列を取得する。
 図30に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「食べに行きました」を示す文字列と対応関係がある簡易の文字列として、「食べた」が記憶されている。
 また、図30に示すテーブルには、「今日、ラーメンを食べに行きました」を示す文字列のうち、「ラーメン」を示す文字列と対応関係がある簡易の文字列として、ラーメンを示す絵文字が記憶されている。
[0107]
 そこで、表示処理部18は、「食べに行きました」を「食べた」に置換し、「ラーメン」を「ラーメンを示す絵文字」に置換する。
 表示処理部18は、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成し、図32に示すように、生成した表示情報に従って、置換処理後の文字列をディスプレイ32の表示領域に表示させる(図31のステップST21D)。
 図32は、表示制御部12が、置換処理後の文字列を表示させている例を示す説明図である。
 図32の例では、表示処理部18が、文字列取得部10により取得された文字列を簡易の文字列に置換することで、文字列の長さが短くなり、文字列の全体がディスプレイ32の表示領域に表示されるようになっている。
[0108]
 ここでは、文字列取得部10により取得された文字列の長さが長いために、文字列の一部が表示領域からはみ出してしまうときに、表示処理部18が、文字列を簡易の文字列に置換している。しかし、これは一例に過ぎず、表示処理部18は、文字列の一部が表示領域からはみ出さないときでも、文字列を簡易の文字列に置換するようにしてもよい。
[0109]
 以上の実施の形態5は、表示制御部12が、文字列取得部10により取得された文字列を、当該文字列と同じ意味を有し、かつ、当該文字列よりも長さが短い文字列に置換し、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、置換した文字列を表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列取得部10により取得された文字列に含まれている全ての文字を自動的にディスプレイ32の表示領域に表示させることができる。
[0110]
実施の形態6.
 実施の形態6では、曲線情報取得部9が、複数の曲線情報を取得する。そして、表示制御部12が、曲線情報取得部9により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部10により取得された文字列を表示するための表示情報を生成する入力表示システムについて説明する。
 実施の形態6の入力表示制御装置100を含む入力表示システム示す構成図は、実施の形態1と同様に図1である。ただし、表示処理部18は、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている必要がない。
 図33は、表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
[0111]
 次に、実施の形態6の入力表示システムの動作について説明する。
 図34は、実施の形態6に係る入力表示システムの処理内容である入力表示制御方法を示すフローチャートである。図34において、図4と同一符号は同一又は相当部分を示している。
 軌跡判別部4は、操作受付部1から線を描く操作の内容を受けると(図34のステップST3:YESの場合)、実施の形態1と同様に、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する(図34のステップST6)。
 軌跡判別部4は、実施の形態1と同様に、曲線画像を含む曲線情報を曲線情報取得部9に出力する。
 実施の形態6の入力表示システムでは、操作受付部1が、複数の線を描く操作の内容を受けると、軌跡判別部4が、複数の曲線情報を生成する。
 曲線情報取得部9は、軌跡判別部4から出力された曲線情報を取得し、曲線情報を長さ比較部13、形状決定処理部16、曲線延長部17及び表示処理部18のそれぞれに出力する。
[0112]
 文字列取得部10は、例えば、ユーザが「明日、プールに行くよ 一か月ぶりだよ」という発話を行うと、音声認識部8から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を取得し、文字列を長さ比較部13及び表示処理部18のそれぞれに出力する。
 表示処理部18は、文字列取得部10から「明日、プールに行くよ。一か月ぶりだよ」を示す文字列を受けると、実施の形態1と同様に、文字列を曲線画像の上に重ねて表示するための表示情報を生成する。
 ただし、表示処理部18は、文字列取得部10により取得された文字列の長さが長いために、文字列の一部がディスプレイ32の表示領域からはみ出してしまうので、文字列の一部を仮想領域に配置している。
[0113]
 図33の例では、「明日、プールに行くよ。一か月ぶりだよ」を示す文字列のうち、曲線に収まる範囲の文字列が、「明日、プール」の文字列であるため、表示処理部18が、「明日、プール」の文字列を曲線に沿って表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、「明日、プール」の文字列を曲線に沿ってディスプレイ32の表示領域に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図33の例では、「ル」の文字と「に」の文字と間で改行している。図33において、“←”は、文字列の改行を表している。
 ただし、実施の形態6の入力表示制御システムでは、表示処理部18が、文字列を改行する前に、改行した文字列を表示するための曲線を追加する操作を受け付ける。
[0114]
 軌跡判別部4は、操作受付部1から線を描く操作の内容を受けると、操作内容から操作によって描かれた線の軌跡を判別し、軌跡を表す曲線の長さ及び形状などを示す情報として、曲線を示す曲線情報を生成する。
 図33の例では、操作受付部1が、2本の線を描く操作を受け付けており、軌跡判別部4が、2本の線を描くそれぞれの操作の内容に従って、2本の曲線についての曲線情報をそれぞれ生成する。
 軌跡判別部4は、生成した2つの曲線情報を曲線情報取得部9に出力する。
 曲線情報取得部9は、軌跡判別部4から出力された2つの曲線情報を取得し、2つの曲線情報を長さ比較部13、形状決定処理部16、曲線延長部17及び表示処理部18のそれぞれに出力する。
[0115]
 表示処理部18は、曲線情報取得部9から2つの曲線情報を受けると、2つの曲線情報が示す曲線のうち、表示済みの「明日、プール」の文字列の表示位置に近い方の曲線(以下、第1の曲線と称する)に沿って、「に行くよ。」の文字列を表示するための表示情報を生成する。なお、ここでは近い方の曲線を第1の曲線としているが、曲線の描かれた順番を記憶しておき、早い方の順番の曲線を第1の曲線とするようにしてもよい。「一か月ぶりだよ」の文字列は、第1の曲線に収まらないため、この段階では、表示処理部18は、「に行くよ。」の文字列を表示するための表示情報のみを生成する。
 表示処理部18は、生成した表示情報に従って、「に行くよ。」の文字列を第1の曲線に沿ってディスプレイ32の表示領域に表示させると、未表示の文字列の先頭の位置で、文字列を改行する。図33の例では、「。」の文字と「一」の文字と間で改行している。
[0116]
 表示処理部18は、2つの曲線情報が示す曲線のうち、第1の曲線ではない方の曲線(以下、第2の曲線と称する)に沿って、「一か月ぶりだよ」の文字列を表示するための表示情報を生成する。
 表示処理部18は、生成した表示情報に従って、「一か月ぶりだよ」の文字列を第2の曲線に沿ってディスプレイ32の表示領域に表示させる。
[0117]
 以上の実施の形態6は、曲線情報取得部9が、複数の曲線情報を取得し、表示制御部12が、曲線情報取得部9により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部10により取得された文字列を表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列取得部10により取得された文字列の長さが、1つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列を表示させることができる。
[0118]
実施の形態7.
 実施の形態6の入力表示システムでは、表示処理部18が、文字列取得部10により取得された文字列の一部を仮想領域に配置してから、文字列を改行している。
 実施の形態7では、表示処理部18が、文字列取得部10により取得された文字列の一部を仮想領域に配置することなく、文字列を改行する入力表示システムについて説明する。
[0119]
 図35は、ユーザが複数の線を描く操作を行ってから、ユーザが発話を行うことで、表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
 図35の例では、ユーザが、まず3本の線を描く操作を行い、その後、「明日、プールへ行くよ。一カ月ぶりだよ。楽しみです」と発声した場合を示している。このとき、ユーザが描いた曲線の長さが文字列の長さよりも短いため、3行目に「ぶりだよ。」のみしか表示されておらず、「楽しみです」が表示されていない。ディスプレイ32を見たユーザは、「楽しみです」の表示がないことに気づき、追加で4本目の線を描く操作を行う。すると、表示制御部12は、追加された4本目の曲線に沿って、表示されていなかった「楽しみです」の文字列を表示する。図35の例では、上記のようにして、表示制御部12が、4本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」を示す文字列を表示させている。
[0120]
 図36は、ユーザが発話を行ってから、ユーザが複数の線を描く操作を行うことで、表示制御部12が、複数の曲線情報が示すそれぞれの曲線に沿って、文字列を表示させている例を示す説明図である。
 図36の例では、表示制御部12が、4本の曲線に沿って、「明日、プールに行くよ。一か月ぶりだよ。楽しみです」を示す文字列を表示させている。
[0121]
 以上の実施の形態7は、曲線情報取得部9が、複数の曲線情報を取得し、表示制御部12が、曲線情報取得部9により取得された複数の曲線情報が示すそれぞれの曲線に沿って、文字列取得部10により取得された文字列を表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、文字列取得部10により取得された文字列の長さが、1つの曲線の長さよりも長い場合でも、ユーザが所望するレイアウトで、文字列を表示させることができる。
[0122]
実施の形態8.
 図1及び図29に示す入力表示システムでは、表示制御部12が、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、文字列取得部10により取得された文字列をディスプレイ32に表示させている。
 実施の形態8では、文字列取得部10により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列をディスプレイ32に表示させる入力表示システムについて説明する。
[0123]
 図37は、実施の形態8に係る入力表示制御装置を含む入力表示システム示す構成図であり、図38は、実施の形態8に係る入力表示システムのハードウェア構成図である。
 図37及び図38において、図1、図2及び図29と同一符号は同一または相当部分を示すので説明を省略する。
 翻訳部52は、例えば、図38に示す翻訳処理回路34によって実現される。翻訳部52は、文字列取得部10により取得された文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部13及び表示処理部53のそれぞれに出力する。
[0124]
 表示制御部51は、長さ比較部13、延長曲線形状決定部14、曲線延長部17、翻訳部52及び表示処理部53を含んでいる。表示制御部51は、図1及び図29に示す表示制御部12と同様の処理を実施するほかに、翻訳部52から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。また、表示制御部51は、翻訳文字列表示用の曲線に沿って、翻訳部52の翻訳結果を示す文字列をディスプレイ32に表示するための表示情報を生成し、生成した表示情報に従って翻訳結果を示す文字列をディスプレイ32に表示させる。
[0125]
 表示処理部53は、例えば、図38に示す表示処理回路31によって実現されるものであり、図1に示す表示処理部18と同様に、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている。
 図37に示す表示処理部53は、文字列選択部18a、縁付加部18b及び文字列移動部18cを備えている。しかし、これは一例に過ぎず、表示処理部53は、図29に示す表示処理部18と同様に、テーブル記憶部18dを備えていてもよい。
 表示処理部53は、図1及び図29に示す表示処理部18と異なり、翻訳部52から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。表示処理部53は、翻訳文字列表示用の曲線に沿って、翻訳部52から出力された翻訳結果を示す文字列をディスプレイ32に表示させる。
[0126]
 図37では、入力表示システムの構成要素である操作受付部1、文字管理DB2、文字管理部3、軌跡判別部4、文字列認識部5、曲線情報取得部9、文字列取得部10、文字属性情報取得部11、長さ比較部13、延長曲線形状決定部14、曲線延長部17、翻訳部52、表示処理部53及び文字列一時保存部19のそれぞれが、図38に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス21、記憶処理回路22、文字管理処理回路23、画像生成処理回路24、マイク25、音声認識処理回路26、入力インタフェース回路27、長さ比較処理回路28、形状決定処理回路29、曲線延長処理回路30、表示処理回路31、ディスプレイ32及び翻訳処理回路34によって実現されるものを想定している。
[0127]
 しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
 入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理DB2、音声認識辞書DB7及び文字列一時保存部19を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、軌跡判別部4、音声検出部6、音声認識部8及び表示制御部51の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納する。そして、図3に示すプロセッサ42が、メモリ41に格納されているプログラムを実行するようにすればよい。
[0128]
 次に、図37に示す入力表示システムの動作について説明する。
 ただし、翻訳部52及び表示処理部53以外は、実施の形態1~7のいずれかの入力表示システムと同様であるため、ここでは、主に翻訳部52及び表示処理部53の処理内容について説明する。
 翻訳部52は、文字列取得部10が文字列認識部5から出力された音声の認識結果を示す文字列を取得すると、取得した文字列を翻訳し、文字列の翻訳結果を示す文字列を長さ比較部13及び表示処理部53のそれぞれに出力する。
 音声の認識結果を示す文字列が「夏休みに海に行ったよ」であれば、例えば、文字列の翻訳結果を示す文字列は「I went to the sea in summer vacation」のようになる。
[0129]
 表示処理部53は、図1又は図29の表示処理部18と同様に、文字列認識部5により取得された音声の認識結果を示す文字列を曲線情報取得部9により取得された曲線画像の上に重ねて表示させる。
 また、表示処理部53は、曲線情報が示す曲線の長さが文字列の長さより短いために、文字列の一部を曲線に沿って表示させることができなければ、図1又は図29の表示処理部18と同様に、曲線延長部17により付加された延長曲線に沿って、文字列の一部をディスプレイ32に表示させる。
[0130]
 表示処理部53は、翻訳部52から翻訳結果を示す文字列を受けると、翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成する。
 このとき、翻訳結果を示す文字列を構成する文字の文字幅を示す文字属性情報は、文字管理部3から受けるものとする。
 例えば、翻訳結果を示す文字列が「I went to the sea in summer vacation」である場合、文字数がスペースを含めて36である。したがって、翻訳結果を示す文字列を構成する文字の文字幅が“2mm”であるとすれば、翻訳結果を示す文字列の長さは、下記の式(5)に示すように、72mmとなる。
翻訳結果を示す文字列の長さ=2mm×36=72mm   (5)
 したがって、この場合には、翻訳文字列表示用の曲線の長さは、72mm以上の長さとなる。
[0131]
 また、翻訳文字列表示用の曲線の形状は、ユーザの操作によって描かれた線の軌跡を表す曲線、即ち、曲線情報取得部9により取得された曲線情報が示す曲線の形状と同じ形状とする。曲線延長部17によって曲線が延長されている場合には、曲線延長部17により延長された曲線の形状と同じ形状とする。
 例えば、ユーザの操作によって描かれた線の軌跡を表す曲線の形状が円弧形状であれば、翻訳文字列表示用の曲線の形状も円弧形状である。ユーザの操作によって描かれた線の軌跡を表す曲線の形状が波線形状であれば、翻訳文字列表示用の曲線の形状も波線形状である。
[0132]
 なお、曲線延長部17によって曲線が延長されていて、翻訳文字列表示用の曲線の長さが、曲線延長部17により延長された曲線の長さより長い場合、あるいは、曲線延長部17によって曲線が延長されていなくて、翻訳文字列表示用の曲線の長さが、曲線情報取得部9により取得された曲線情報が示す曲線の長さより長い場合、翻訳文字列表示用の曲線を延長するものとする。翻訳文字列表示用の曲線の延長は、曲線情報が示す曲線を延長する場合と同様の方法を用いるものとする。具体的には、翻訳文字列表示用の曲線の形状から、翻訳文字列表示用の曲線の延長部分の形状を決定して、翻訳文字列表示用の曲線を延長するものとする。
[0133]
 表示処理部53は、翻訳文字列表示用の曲線を生成すると、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ32に表示するための表示情報を生成し、表示情報に従って翻訳結果を示す文字列をディスプレイ32に表示させる。
 ここで、図39は、表示制御部51の表示処理部53における表示処理の一例を示す説明図である。
 ステップAでは、表示処理部53が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像をディスプレイ32に表示している。
 ステップBにおいて、音声認識部8が、ユーザの音声の認識処理を実施すると、ステップCでは、表示処理部53が、音声の認識結果を示す文字列を曲線画像の上に重ねて表示させている。ステップA~ステップCまでは、実施の形態1と同様である。ただし、ここでは、音声認識部8から音声の認識結果を示す文字列が出力される前に、軌跡判別部4から曲線画像を含む曲線情報が出力された場合の例を示している。
 ステップDでは、表示処理部53が、ユーザの操作によって描かれた線の軌跡を表す曲線と同形状の翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ32に表示させている。
 図39の例では、表示処理部53が、翻訳文字列表示用の曲線を、ユーザの操作によって描かれた線の軌跡を表す曲線の下側に並べているが、ユーザの操作によって描かれた線の軌跡を表す曲線の上側に並べてもよいし、左側や右側に並べてもよい。
 ステップEでは、表示処理部53が、ユーザの操作によって描かれた線の軌跡を表す曲線の曲線画像を消去している。
[0134]
 実施の形態8の入力表示システムでは、表示処理部53が、翻訳文字列表示用の曲線をディスプレイ32に表示させるものを示している。しかし、これは一例に過ぎず、翻訳文字列表示用の曲線は、透明であってもよい。
[0135]
 実施の形態8の入力表示システムでは、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示している。しかし、これは一例に過ぎず、図40に示すように、表示処理部53が、ステップCで音声の認識結果を示す文字列を表示させたのち、ステップSTDで音声の認識結果を示す文字列を先頭から消去させながら、翻訳結果を示す文字列を先頭から曲線画像の上に重ねて表示させるようにしてもよい。この場合、最終的に表示される文字列は、翻訳結果を示す文字列だけになる。
 図40は、表示制御部51の表示処理部53における表示処理の一例を示す説明図である。
[0136]
 実施の形態8の入力表示システムでは、図41に示すように、表示処理部53が、折り返し翻訳の結果を示す文字列を、音声の認識結果を示す文字列及び翻訳結果を示す文字列と並べて表示させるようにしてもよい。図41は、翻訳結果を示す文字列を表示する例を示す説明図である。
 実施の形態8の入力表示システムでは、翻訳部52が、日本語から英語に翻訳しているため、この場合の折り返し翻訳は、翻訳した英語を日本語に翻訳し直すことを意味する。
 図41の例では、ステップDにおいて、表示処理部53が、音声の認識結果を示す文字列である日本語の下に、翻訳結果を示す文字列である英語を表示させ、その英語の下に、折り返し翻訳を示す文字列である日本語を表示させている。
 また、図42に示すように、ステップDにおいて、表示処理部53が、曲線画像の上に重ねて表示させた音声の認識結果を示す文字列である日本語を消してから、翻訳結果を示す文字列である英語を曲線画像の上に重ねて表示させる。そして、表示処理部53が、英語の下に、折り返し翻訳を示す文字列である日本語を表示させるようにしてもよい。図42は、翻訳結果を示す文字列を表示する例を示す説明図である。
[0137]
 以上の実施の形態8は、文字列取得部10により取得された文字列を翻訳する翻訳部52を備え、表示処理部53が、翻訳部52から出力された翻訳結果を示す文字列の長さ以上の長さを有する翻訳文字列表示用の曲線を生成し、翻訳文字列表示用の曲線に沿って、翻訳結果を示す文字列をディスプレイ32に表示するための表示情報を生成するように、入力表示制御装置100を構成した。したがって、入力表示制御装置100は、線を描く操作によって描かれた線の軌跡を表す曲線の長さが、翻訳結果を示す文字列より短い場合でも、文字列の全部を曲線に沿って表示させることができる。
[0138]
 実施の形態8の入力表示システムでは、表示処理部53が、音声の認識結果を示す文字列と、翻訳結果を示す文字列とを並べて表示させるものを示している。しかし、これは一例に過ぎず、表示処理部53が、図43に示すように、ディスプレイ32が二画面で構成されており、かつ、二画面の上面が互い接している対面構成の場合、表示処理部53が、以下のような表示を行うようにしてもよい。
 図43は、ディスプレイ32が対面二画面で構成されている場合の表示処理部53における表示処理の一例を示す説明図である。
[0139]
 表示処理部53は、例えば、図中、対面二画面の下側の画面に、音声の認識結果を示す文字列を表示させ、図中、対面二画面の上側の画面に、翻訳結果を示す文字列を表示させる。
 あるいは、表示処理部53は、対面二画面の下側の画面に、翻訳結果を示す文字列を表示させ、対面二画面の上側の画面に、音声の認識結果を示す文字列を表示させる。
 ただし、対面二画面であるため、対面二画面の上側の画面では、文字が180度回転している。
 また、対面二画面の場合でも、図44に示すように、表示処理部53が、折り返し翻訳の結果を示す文字列を表示させるようにしてもよい。図44は、翻訳結果を示す文字列を表示する例を示す説明図である。
[0140]
 なお、実施の形態8においても、実施の形態1と同様に、文字列取得部10により取得された文字列の長さが長いために、文字列取得部10により取得された文字列の一部がディスプレイ32の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置100を構成するようにしてもよい。
 また、翻訳結果を示す文字列の一部がディスプレイ32の表示領域からはみ出してしまう場合、翻訳結果を示す文字列の一部を仮想領域に配置するようにしてもよい。このようにすることで、翻訳結果を示す文字列が生成しきれない事態を回避することができる。
 翻訳結果を示す文字列を仮想領域に生成する場合において、ユーザが翻訳結果を示す文字列を選択した場合、実施の形態1と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
 さらに、実施の形態1と同様に、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列の全体を表示しきれない事態を回避することができる。
 また、ユーザが、文字列取得部10により取得された文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、取得された文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。
 さらに、折り返し翻訳についても、上記と同様に、表示領域と仮想領域とにまたがって生成するとともに、ユーザによって選択可能とし、選択後に移動させることで、文字列の全体を表示させるようにしてもよい。
[0141]
実施の形態9.
 図1及び図29に示す入力表示システムでは、文字列認識部5が、表示対象の文字列として、音声の認識結果を示す文字列を取得している。
 実施の形態9では、文字列認識部60が、表示対象の文字列として、操作受付部1により受け付けられた操作によって描かれた文字の認識結果を示す文字列を取得する入力表示システムについて説明する。
[0142]
 図45は、実施の形態9に係る入力表示制御装置を含む入力表示システム示す構成図であり、図46は、実施の形態9に係る入力表示システムのハードウェア構成図である。
 図45及び図46において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
 文字列認識部60は、文字認識処理部61を含んでおり、操作受付部1により受け付けられた操作によって描かれた文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部4及び文字列取得部10のそれぞれに出力する。
 文字認識処理部61は、例えば、光学文字認識処理であるOCR(Optical Character Recognition)機能を実装している文字認識処理回路35によって実現される。文字認識処理部61は、操作受付部1により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として、軌跡判別部4及び文字列取得部10のそれぞれに出力する。
[0143]
 図45では、入力表示システムの構成要素である操作受付部1、文字管理DB2、文字管理部3、軌跡判別部4、文字列認識部60、曲線情報取得部9、文字列取得部10、文字属性情報取得部11、長さ比較部13、延長曲線形状決定部14、曲線延長部17、表示処理部18及び文字列一時保存部19のそれぞれが、図46に示すような専用のハードウェアによって実現される。即ち、入力表示システムが、ポインティングデバイス21、記憶処理回路22、文字管理処理回路23、画像生成処理回路24、マイク25、音声認識処理回路26、入力インタフェース回路27、長さ比較処理回路28、形状決定処理回路29、曲線延長処理回路30、表示処理回路31、ディスプレイ32及び文字認識処理回路35によって実現されるものを想定している。
[0144]
 しかし、入力表示システムは、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
 入力表示システムが、ソフトウェア又はファームウェアなどで実現される場合、文字管理DB2及び文字列一時保存部19を図3に示すコンピュータのメモリ41上に構成するとともに、操作受付部1、文字管理部3、軌跡判別部4、文字認識処理部61及び表示制御部12の処理手順をコンピュータに実行させるためのプログラムをメモリ41に格納する。そして、図3に示すプロセッサ42が、メモリ41に格納されているプログラムを実行するようにすればよい。
 図47は、文字の認識結果を示す文字列の表示処理の一例を示す説明図である。
[0145]
 次に、図45に示す入力表示システムの動作について説明する。
 図45に示す入力表示システムでは、操作受付部1を実現しているポインティングデバイス21がタッチパネルであるものを想定している。したがって、ユーザが自己の指又はタッチパネル用の入力ペンなどを用いて、線を描く操作として、文字を描く操作をタッチパネルに行うと、操作受付部1が、文字を描く操作を受け付けて、操作の内容を軌跡判別部4及び文字列認識部60のそれぞれに出力する。
 出力される文字を描く操作の内容は、例えば、タッチパネルに接触している指の位置又は入力ペンの位置の座標として、タッチパネル上の位置座標の連続的な変化を示す時系列データである。
[0146]
 図47の例では、ステップAにおいて、ユーザが「私は和食が食べたいです」という文字列を手書きしている。
 文字列認識部60の文字認識処理部61は、操作受付部1により受け付けられた操作によって描かれた複数の文字を認識して、複数の文字の認識結果を示す文字列を取得し、取得した文字列を軌跡判別部4及び入力表示制御装置100のそれぞれに出力する。
[0147]
 軌跡判別部4は、操作受付部1から1つ以上の文字を描く操作の内容を受けて、文字認識処理部61から文字列を受けると、1つ以上の文字を描く操作の内容を、文字毎に振り分ける処理を実施する。
 具体的には、以下の通りである。
 まず、軌跡判別部4は、文字を描く操作の内容である時系列データが示すタッチパネル上のそれぞれの位置座標のうち、X座標が最も小さい座標X LEFTと、X座標が最も大きい座標X RIGHTとを特定する。軌跡判別部4は、特定した座標X RIGHTから座標X LEFTを減算することで、文字列のX方向の長さを算出する。
[0148]
 そして、軌跡判別部4は、文字列のX方向の長さを文字数で除算することで、1文字当りX方向の長さを算出し、また、1文字当りX方向の長さと座標X LEFTから、各々の文字が存在しているX方向の座標範囲を算出する。例えば、文字列の左端からn番目の文字が存在しているX方向の座標範囲は、(1文字当りX方向の長さ×(n-1)+X LEFT)~(1文字当りX方向の長さ×n+X LEFT)のように算出する。
 軌跡判別部4は、時系列データが示すそれぞれの位置座標が含まれるX方向の座標範囲をみつけて、時系列データが示すそれぞれの位置座標に対応するX方向の座標範囲に振り分けることで、1つ以上の文字を描く操作の内容を、文字毎に振り分けるようにする。
[0149]
 次に、軌跡判別部4は、X方向の座標範囲単位に、当該座標範囲に対応する文字の中心座標として、当該座標範囲に含まれている時系列データが示す複数の位置座標のX座標の平均値とY座標の平均値とを算出する。
 軌跡判別部4は、文字列に含まれている各々の文字の中心座標を算出すると、図47のステップBに示すように、各々の文字の中心座標を繋ぎ合わせることで1本の線を生成し、1本の線を文字列の軌跡を表す曲線として、曲線を示す曲線情報を入力表示制御装置100に出力する。
[0150]
 ここでは、文字列に含まれている各々の文字の大きさが均等であるとして、文字列のX方向の長さを文字数で除算することで、1文字当りX方向の長さを算出している。手書き文字の場合、各々の文字の大きさが均等であるとは限らないため、X方向の座標範囲単位が、文字列に含まれている各々の文字と一致しない場合がある。
 しかし、図45に示す入力表示システムでは、各々の文字の中心座標が厳密に分からなくても、文字列が存在している領域をX方向に分割した各々の領域の中心座標が分かれば、文字列の並び方向を示す曲線を求めることができる。したがって、各々の文字の大きさが均等でない場合でも、上記の方法で、曲線を求めることができる。
 また、ここでは、軌跡判別部4が、文字列の並び方向を示す曲線を求める際、X方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしているが、例えば、手書き文字が縦書きであるような場合には、Y方向の座標範囲単位に、時系列データが示すそれぞれの位置座標を振り分けるようにしてもよい。
 ここで説明している各々の位置座標を振り分ける方法は一例に過ぎず、他の方法を用いてもよいことは言うまでもない。
[0151]
 図45に示す入力表示システムでは、文字を描く操作内容から曲線を求めている。しかし、これは一例に過ぎず、ユーザが、文字を描く操作とは別に、実施の形態1で示している線を描く操作を行うことで、操作受付部1により文字を描く操作及び線を描く操作が受け付けられた場合、軌跡判別部4が、操作受付部1により受け付けられた線を描く操作の内容から、描かれた線の軌跡を表す曲線を判別するようにしてもよい。
[0152]
 表示処理部18は、文字列取得部10が文字列認識部60の文字認識処理部61から出力された文字列を取得すると、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、文字列をディスプレイ32に表示するための表示情報を生成する。表示処理部18は、生成した表示情報に従って、文字列をディスプレイ32に表示させる。
 図47のステップCでは、表示処理部18が、手書き文字に並べるように軌跡を表す曲線を描いて、文字列を表示させている。しかし、これに限るものではなく、表示処理部18が、例えば、手書き文字を消去させてから、手書き文字の位置に曲線を描いて、文字列を表示させるようにしてもよい。
 また、軌跡を表す曲線は、透明であってもよい。
[0153]
 図45に示す入力表示システムでは、軌跡判別部4が、文字を描く操作内容から曲線を求めることができる。しかし、認識された文字列は、実施の形態1と同様に、予め決定された属性の文字で表示されることになる。したがって、表示処理部18は、求めた曲線の長さが、文字列の長さより短い場合、実施の形態1と同様に、文字列に含まれている文字の一部を曲線に沿って表示させることができない。
 この場合は、実施の形態1と同様に、曲線延長部17が、曲線を延長することで、表示処理部18が、表示されていない文字の一部を表示させるようにする。
 具体的には、長さ比較部13が、曲線の長さと文字列の長さを比較し、延長曲線形状決定部14が、延長曲線の形状を決定し、曲線延長部17が、曲線情報取得部9により取得された曲線情報が示す曲線に延長曲線を付加することで、曲線を延長する。そして、表示処理部18が、延長曲線に沿って、表示されていない文字の一部を表示させる。
[0154]
 以上の実施の形態9は、文字列認識部60が、操作受付部1により受け付けられた操作によって描かれた文字を認識し、文字の認識結果を示す文字列を表示対象の文字列として取得する文字認識処理部61を備えるように、入力表示システムを構成した。したがって、入力表示システムは、手書き文字を表示する場合でも、実施の形態1と同様に、文字列の全体を表示できない事態を回避することができる。
[0155]
 なお、実施の形態9においても、実施の形態1と同様に、認識結果を示す文字列の長さが長いために、当該文字列の一部がディスプレイ32の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置100を構成するようにしてもよい。
 また、認識結果を示す文字列を仮想領域に配置する場合において、ユーザが当該文字列を選択した場合、実施の形態1と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
 さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、認識結果を示す文字列の全体を生成しきれない事態を回避することができる。
 また、ユーザが、手書きの文字列又は認識結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と認識結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。
[0156]
実施の形態10.
 図45に示す入力表示システムでは、文字認識処理部61を備えた文字列認識部60を図1に示す入力表示制御装置に適用する例を示している。
 実施の形態10では、文字認識処理部61を備えた文字列認識部60を図37に示す入力表示制御装置に適用している入力表示システムについて説明する。
 図48は、実施の形態10に係る入力表示制御装置を含む入力表示システムを示す構成図である。
 図49は、翻訳結果を示す文字列の表示処理の一例を示す説明図である。
[0157]
 図45に示す入力表示システムでは、表示処理部18が、曲線情報取得部9により取得された曲線情報が示す曲線に沿って、複数の文字の認識結果を示す文字列をディスプレイ32に表示させている。
 一方、図48に示す入力表示システムでは、表示処理部53が、図49のステップCに示すように、曲線情報が示す曲線に沿って、翻訳結果を示す文字列もディスプレイ32に表示させている点で、図45に示す入力表示システムと相違している。
[0158]
 以上の実施の形態10は、実施の形態8と同様に、曲線情報取得部9により取得された曲線情報が示す曲線の長さが、翻訳部52の翻訳結果を示す文字列より短い場合でも、表示処理部53が、文字列の全部を曲線に沿って表示させることができる。
[0159]
 なお、実施の形態10においても、実施の形態1と同様に、翻訳結果を示す文字列の長さが長いために、当該文字列の一部がディスプレイ32の表示領域からはみ出してしまう場合、文字列の一部を表示領域の周囲の領域である仮想領域に配置するように、入力表示制御装置100を構成するようにしてもよい。
 また、翻訳結果を示す文字列を仮想領域に配置する場合において、ユーザが当該文字列を示す文字列を選択した場合、実施の形態1と同様に、文字列に含まれている文字の輪郭に、当該文字と異なる色の縁を付加するようにしてもよい。
 さらに、選択された文字列の移動を受け付けるようにしてもよい。このようにすることで、翻訳結果を示す文字列の全体を生成しきれない事態を回避することができる。
 また、ユーザが、手書きの文字列又は翻訳結果を示す文字列のいずれか又は両方を選択して移動させた場合、手書きの文字列と翻訳結果を示す文字列とをともに移動するようにしてもよい。このようにすることで、移動させた後に、文字が離れた位置に配置されてしまうことを防止することができる。なお、別々に移動させるように構成することもできる。
[0160]
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

産業上の利用可能性

[0161]
 この発明に係る入力表示制御装置、入力表示制御方法及び入力表示システムは、文字列を表示させる用途に適している。

符号の説明

[0162]
 1 操作受付部、2 文字管理DB、3 文字管理部、4 軌跡判別部、5 文字列認識部、6 音声検出部、7 音声認識辞書DB、8 音声認識部、9 曲線情報取得部、10 文字列取得部、11 文字属性情報取得部、12 表示制御部、13 長さ比較部、14 延長曲線形状決定部、15 曲線記憶部、16 形状決定処理部、17 曲線延長部、18 表示処理部、18a 文字列選択部、18b 縁付加部、18c 文字列移動部、18d テーブル記憶部、19 文字列一時保存部、21 ポインティングデバイス、22 記憶処理回路、23 文字管理処理回路、24 画像生成処理回路、25 マイク、26 音声認識処理回路、27 入力インタフェース回路、28 長さ比較処理回路、29 形状決定処理回路、30 曲線延長処理回路、31 表示処理回路、32 ディスプレイ、34 翻訳処理回路、35 文字認識処理回路、41 メモリ、42 プロセッサ、51 表示制御部、52 翻訳部、53 表示処理部、60 文字列認識部、61 文字認識処理部、100 入力表示制御装置。

請求の範囲

[請求項1]
 曲線を示す曲線情報を取得する曲線情報取得部と、
 文字列を取得する文字列取得部と、
 前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
 前記表示制御部は、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、前記文字列の一部を前記表示領域の周囲の領域である仮想領域に配置することを特徴とする入力表示制御装置。
[請求項2]
 前記表示制御部は、一部が前記仮想領域に配置されている文字列の選択を受け付ける文字列選択部を備えていることを特徴とする請求項1記載の入力表示制御装置。
[請求項3]
 前記文字列選択部は、一部が前記仮想領域に配置されている文字列に含まれている文字のうち、前記表示領域内の文字に対するユーザの接触時間が閾値よりも長ければ、当該文字列の選択を受け付けることを特徴とする請求項2記載の入力表示制御装置。
[請求項4]
 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列に含まれている文字の輪郭に、前記文字と異なる色の縁を付加する縁付加部を備えていることを特徴とする請求項2記載の入力表示制御装置。
[請求項5]
 前記表示制御部は、前記文字列選択部により選択が受け付けられた文字列の移動を受け付ける文字列移動部を備えていることを特徴とする請求項2記載の入力表示制御装置。
[請求項6]
 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記表示領域に配置するための移動が受け付けられると、当該文字列の全体を前記表示領域に表示するための表示情報を生成することを特徴とする請求項5記載の入力表示制御装置。
[請求項7]
 前記表示制御部は、前記文字列移動部によって、前記文字列選択部により選択が受け付けられた文字列の全体を前記表示領域の外側に出すための移動が受け付けられると、当該文字列を破棄することを特徴とする請求項5記載の入力表示制御装置。
[請求項8]
 前記表示制御部は、一部を前記仮想領域に配置した文字列を改行することで、前記仮想領域に配置した文字列の一部を前記表示領域に表示するための表示情報を生成することを特徴とする請求項1記載の入力表示制御装置。
[請求項9]
 前記表示制御部は、前記曲線情報取得部により取得された曲線情報が示す曲線と同一形状の曲線を生成し、前記生成した曲線に沿って、前記仮想領域に配置した文字列の一部を表示するための表示情報を生成することを特徴とする請求項8記載の入力表示制御装置。
[請求項10]
 前記表示制御部は、一部を前記仮想領域に配置した文字列の全体を前記表示領域内に移動させて、当該文字列の全体を前記表示領域に表示するための表示情報を生成することを特徴とする請求項1記載の入力表示制御装置。
[請求項11]
 前記表示制御部は、一部を前記仮想領域に配置した文字列に含まれている文字の文字サイズを小さくして、当該文字列の長さを、前記曲線情報取得部により取得された曲線情報が示す曲線の長さ以下にすることを特徴とする請求項1記載の入力表示制御装置。
[請求項12]
 前記表示制御部は、前記文字列取得部により取得された文字列の長さが、前記曲線情報取得部により取得された曲線情報が示す曲線の長さよりも短い場合、前記文字列の長さが、前記曲線の長さよりも長くならない範囲で、前記文字列に含まれている文字の文字サイズを大きくすることを特徴とする請求項1記載の入力表示制御装置。
[請求項13]
 前記表示制御部は、一部を前記仮想領域に配置した文字列を、前記文字列と同じ意味を有し、かつ、前記文字列よりも長さが短い文字列に置換する処理を実施し、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、置換処理後の文字列を表示するための表示情報を生成することを特徴とする請求項1記載の入力表示制御装置。
[請求項14]
 前記曲線情報取得部は、複数の曲線情報を取得し、
 前記表示制御部は、前記曲線情報取得部により取得された複数の曲線情報が示すそれぞれの曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成することを特徴とする請求項1記載の入力表示制御装置。
[請求項15]
 曲線情報取得部が、曲線を示す曲線情報を取得し、
 文字列取得部が、文字列を取得し、
 表示制御部が、前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する処理を実施し、
 前記表示制御部では、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、前記文字列の一部を前記表示領域の周囲の領域である仮想領域に配置することを特徴とする入力表示制御方法。
[請求項16]
 線を描く操作を受け付ける操作受付部と、
 前記操作受付部により受け付けられた操作によって描かれた線の軌跡を判別する軌跡判別部と、
 表示対象の文字列を認識する文字列認識部と、
 前記軌跡判別部により判別された軌跡を表す曲線を示す曲線情報を取得する曲線情報取得部と、
 前記文字列認識部により認識された文字列を取得する文字列取得部と、
 前記曲線情報取得部により取得された曲線情報が示す曲線に沿って、前記文字列取得部により取得された文字列を表示するための表示情報を生成する表示制御部とを備え、
 前記表示制御部は、前記文字列取得部により取得された文字列の長さが長いために、前記文字列取得部により取得された文字列の一部がディスプレイの表示領域からはみ出してしまう場合、前記文字列の一部を前記表示領域の周囲の領域である仮想領域に配置することを特徴とする入力表示システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12A]

[ 図 12B]

[ 図 12C]

[ 図 12D]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]

[ 図 27]

[ 図 28]

[ 図 29]

[ 図 30]

[ 図 31]

[ 図 32]

[ 図 33]

[ 図 34]

[ 図 35]

[ 図 36]

[ 図 37]

[ 図 38]

[ 図 39]

[ 図 40]

[ 図 41]

[ 図 42]

[ 図 43]

[ 図 44]

[ 図 45]

[ 図 46]

[ 図 47]

[ 図 48]

[ 図 49]