このアプリケーションの一部のコンテンツは現時点では利用できません。
このような状況が続く場合は、にお問い合わせくださいフィードバック & お問い合わせ
1. (WO2018123227) 端末装置
Document

明 細 書

発明の名称 端末装置

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011  

発明の効果

0012  

図面の簡単な説明

0013  

発明を実施するための形態

0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122  

符号の説明

0123  

請求の範囲

1   2   3   4   5   6  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 端末装置

技術分野

[0001]
 本開示は、端末装置に関し、特に、健康機器を撮像することにより、当該健康機器の測定結果を取り込むための端末装置に関する。

背景技術

[0002]
 血圧および脈拍等のような人体の健康状態に関する様々な生体情報を測定する各種の測定機器が開発されている。このような測定機器の測定データを収集するための端末装置に取り込んで、ユーザの健康状態の確認等が行われている。
[0003]
 例えば、特開2001-224557号公報(特許文献1)は、データ入力装置を開示している。データ入力装置は、計測器のデータ表示部に表示されたデータの画像を得る画像取得手段と、得られた画像中の数字を読みとる数字読みとり手段と、読みとった数字を表示する表示手段とを含む。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2001-224557号公報

発明の概要

発明が解決しようとする課題

[0005]
 特許文献1に係る表示データ解析装置は、撮像画像から計測データの検出を行ない易くするために、計測装置に貼られる各種マーカを利用することを検討している。しかしながら、特許文献1では、ユーザが計測装置に各種マーカを貼るという手間が生じるという問題がある。
[0006]
 本開示は、上記に鑑みてなされたものであって、ある局面における目的は、より簡易に健康機器の表示部に表示された測定結果を取得することが可能な端末装置を提供することである。

課題を解決するための手段

[0007]
 ある実施の形態に従う端末装置は、被写体として健康機器を撮像する撮像部と、撮像部により生成された撮像画像に含まれる健康機器の画像から、健康機器のディスプレイに表示された測定結果を示す文字列を認識する認識部と、撮像部により生成された撮像画像と、測定結果を示す文字列を認識部が認識する際にユーザの操作を補助するためのガイドと、を端末装置のディスプレイに表示させる表示制御部とを備える。ガイドは、認識部の認識範囲を示す第1のオブジェクトを含む。
[0008]
 好ましくは、測定結果は、健康機器の測定値を含む。測定値を示す文字列は、7セグメント表示方式の文字で構成されている。ガイドは、第1のオブジェクト内に存在する、7セグメントにおける各セグメントを示す第2のオブジェクトをさらに含む。
[0009]
 好ましくは、ガイドは、健康機器の形状を表わす第3のオブジェクトをさらに含む。
 好ましくは、表示制御部は、測定値を示す文字列の認識結果である認識文字列が表わす数値が所定範囲外である場合、異常情報を端末装置のディスプレイに表示させる。
[0010]
 好ましくは、表示制御部は、測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字の認識の正確さを示す確度に応じた所定の色で端末装置のディスプレイに表示させる。
[0011]
 好ましくは、表示制御部は、測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを示す確度を示す情報を端末装置のディスプレイに表示させる。

発明の効果

[0012]
 本開示によると、より簡易に健康機器の表示部に表示された測定結果を取得することが可能となる。

図面の簡単な説明

[0013]
[図1] 端末装置および健康機器を含むシステムの概略的な構成を示す図である。
[図2] 端末装置のハードウェア構成の一例を表わすブロック図である。
[図3] 血圧計の本体部の外観の一例を示す図である。
[図4] ガイドの表示方式(その1)を説明するための図である。
[図5] ガイドの表示方式(その2)を説明するための図である。
[図6] ガイドの表示方式(その3)を説明するための図である。
[図7] 認識結果をリアルタイムで表示した画面例を示す図である。
[図8] 複数の画像の合成方法を説明するための図である。
[図9] 撮像方向の報知機能の説明するための図である。
[図10] HDR機能を用いた撮像画像の生成方法を説明するための図である。
[図11] 端末装置の機能構成を示すブロック図である。
[図12] 端末装置の処理手順の一例を示すフローチャートである。
[図13] 端末装置の処理手順の変形例を示すフローチャートである。

発明を実施するための形態

[0014]
 以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[0015]
 <全体構成>
 図1は、端末装置および健康機器を含むシステム1の概略的な構成を示す図である。
[0016]
 図1を参照して、システム1は、ユーザ端末である端末装置10と、ユーザの生体情報を測定するための健康機器の一例である血圧計20、21、および体重・体組成計23を含む。なお、健康機器は、血圧計20、21および体重・体組成計23に限られず、測定結果を表示可能な睡眠計、歩数計、体温計等であってもよい。
[0017]
 血圧計20は、本体とカフ(腕帯)とが別体である据置型の上腕式血圧計である。血圧計21は、本体とカフとが一体となった腕時計型の手首式血圧計である。血圧計21は、腕時計のように長時間腕に装着して、24時間連続して脈動を1拍ごとに測定する機能や、常時装着して測定開始ボタンを押すだけで測定できる機能等を有する。これにより、血圧計21は、ユーザの血圧の常時測定が可能となっている。体重・体組成計23は、体重、体脂肪率、内臓脂肪レベル、皮下脂肪率等を測定可能であり、測定結果をディスプレイに表示する。なお、以下では、説明の便宜上、血圧計20を「健康機器」の代表例として説明を行なう。
[0018]
 端末装置10は、例えば、カメラと、タッチパネルとを有するスマートフォンである。端末装置10は、カメラを用いて各健康機器を撮像することにより生成した撮像画像の中から、各健康機器のディスプレイに表示された測定結果を検出(認識)する機能を有する。以下では、携帯機器であるスマートフォンを「端末装置」の代表例として説明を行なう。ただし、端末装置は、折り畳み式携帯電話、タブレット端末装置、PDA(Personal Data Assistance)などのような撮像機能を有する他の端末装置であってもよい。
[0019]
 詳細は後述するが、端末装置10は、カメラを用いて、測定結果を表示している状態の健康機器を撮像(撮影)する。端末装置10は、生成した撮像画像の中から、各種の認識方式を用いて測定結果を認識し、認識した測定結果を出力する。例えば、端末装置10は、認識された測定値(最高血圧値等)を自装置のディスプレイに表示する。
[0020]
 <ハードウェア構成>
 (端末装置)
 図2は、端末装置10のハードウェア構成の一例を表わすブロック図である。図2を参照して、端末装置10は、主な構成要素として、プロセッサ152と、メモリ154と、入力装置156と、ディスプレイ158と、無線通信部160と、通信アンテナ162と、カメラ163と、メモリインターフェイス(I/F)164と、通信インターフェイス(I/F)166と、スピーカ168と、マイク170と、方向センサ172とを含む。また、端末装置10は、時刻を計時するための計時部をさらに含む。
[0021]
 プロセッサ152は、典型的には、CPU(Central Processing Unit)やMPU(Multi Processing Unit)といった演算処理部である。プロセッサ152は、メモリ154に記憶されたプログラムを読み出して実行することで、端末装置10の各部の動作を制御する制御部として機能する。プロセッサ152は、当該プログラムを実行することによって、後述する端末装置10の処理(ステップ)の各々を実現する。
[0022]
 メモリ154は、RAM(Random Access Memory)、ROM(Read-Only Memory)、フラッシュメモリなどによって実現される。メモリ154は、プロセッサ152によって実行されるプログラム、またはプロセッサ152によって用いられるデータなどを記憶する。
[0023]
 入力装置156は、端末装置10に対する操作入力を受け付ける。典型的には、入力装置156は、タッチパネルによって実現される。タッチパネルは、表示部としての機能を有するディスプレイ158上に設けられており、例えば、静電容量方式タイプである。タッチパネルは、所定時間毎に外部物体によるタッチパネルへのタッチ操作を検知し、タッチ座標をプロセッサ152に入力する。ただし、入力装置156は、ボタンなどを含んでいてもよい。
[0024]
 無線通信部160は、通信アンテナ162を介して移動体通信網に接続し無線通信のための信号を送受信する。これにより、端末装置10は、たとえば、LTE(Long Term Evolution)などの移動体通信網を介して他の通信装置との通信が可能となる。
[0025]
 カメラ163は、例えばCCD(Charge Coupled Device)方式、CMOS(Complementary Mental Oxide Semiconductor)方式その他の方式により実現される。
[0026]
 メモリインターフェイス164は、外部の記憶媒体165からデータを読み出す。プロセッサ152は、メモリインターフェイス164を介して記憶媒体165に格納されているデータを読み出して、当該データをメモリ154に格納する。プロセッサ152は、メモリ154からデータを読み出して、メモリインターフェイス164を介して当該データを外部の記憶媒体165に格納する。
[0027]
 記憶媒体165は、CD(Compact Disc)、DVD(Digital Versatile Disk)、BD(Blu-ray(登録商標) Disc)、USB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカードなどの不揮発的にプログラムを格納する媒体を含む。
[0028]
 通信インターフェイス(I/F)166は、他の装置との間で各種データをやり取りするための通信インターフェイスであり、アダプタやコネクタなどによって実現される。本実施の形態では、通信方式として、BLE(Bluetooth(登録商標) low energy)が採用される。ただし、通信方式は、無線LANなどによる無線通信方式であってもよいし、USB(Universal Serial Bus)などを利用した有線通信方式であってもよい。
[0029]
 スピーカ168は、プロセッサ152から与えられる音声信号を音声に変換して端末装置10の外部へ出力する。マイク170は、端末装置10に対する音声入力を受け付けて、当該音声入力に対応する音声信号をプロセッサ152に与える。
[0030]
 方向センサ172は、端末装置10が向いている方向を検出する。具体的には、方向センサ172は、ディスプレイ158の表示面がどの方向に向いているのかを検出する。例えば、方向センサ172は、3軸加速度センサ、3軸ジャイロセンサおよび3軸地磁気センサの少なくとも1つを有する。これにより、端末装置10は、方向センサ172を用いて自装置の傾きを3軸で検出することにより、ユーザが端末装置10を把持しているときの端末装置10の姿勢情報を取得することができる。なお、端末装置10は、3軸地磁気センサにより、地磁気ベクトルを3軸で検出して、方位情報を取得してもよい。
[0031]
 (健康機器)
 健康機器は、後述するような情報処理を全体として提供できればよく、そのハードウェア構成については公知のものを採用することができる。例えば、健康機器は、各種処理を実行するためのプロセッサと、プログラムやデータなどを格納するためのメモリと、測定結果等を表示するためのディスプレイと、ユーザからの指示を受け付けるための入力インターフェイスと、時刻を計時するための計時部と、生体情報の測定に用いられる各種ハードウェアとを含む。例えば、血圧計20は、当該各種ハードウェアとして、ユーザの上腕(または手首)に巻付け可能なカフと、圧電ポンプおよび排気弁等のカフ圧の調整機構と、カフ圧を検出するための圧力センサと、外気温を検出する温度センサとを含む。
[0032]
 図3は、血圧計20の本体部の外観の一例を示す図である。図3を参照して、血圧計20の本体部22は、ディスプレイ24と、進む/戻るボタン26と、ランプ27と、ユーザ番号スイッチ28と、血圧測定の開始/停止ボタン29とを含む。なお、本体部22の外表面には、ブランド情報41(例えば、ブランド「AAA」)と、血圧計20の型式情報43(例えば、型式「XYZ-ABC」)とが設けられている。ユーザ番号スイッチ28は、2人分の測定結果を別々に記憶する場合に用いられる。図3の例では、番号「1」のユーザが選択されている。ランプ27は、カフの巻き方の適否を示すランプであり、図3の例では適切であることが示されている。
[0033]
 ディスプレイ24には、測定結果が表示される。具体的には、測定結果は、領域50に表示される最高血圧値(例えば、118mmHg)、最低血圧値(例えば、78mmHg)および脈拍数(例えば、70泊/分)を含む測定値と、領域52に表示される測定日時(例えば、7月1日7時30分)と、領域54に表示されるユーザ番号(例えば、「1」)と、領域56に表示される現在の気温(例えば、24度)と、領域58に表示される各種メッセージ(例えば、測定完了を示すメッセージ)とを含む。なお、測定結果は、脈波状態を示す情報、カフの巻き方の適否を示す情報等を含んでいてもよい。
[0034]
 <測定結果の認識>
 本実施の形態に従う端末装置10は、健康機器に表示された測定結果を認識するために用いられる各種機能を有している。以下、各種機能について説明する。
[0035]
 (ガイドの表示)
 血圧計20の測定値を示す文字列を端末装置10に認識させる際に、ユーザの操作を補助するために用いられるガイドの表示方式について説明する。なお、本実施の形態における「文字」とは、言葉(言語)を伝達し記録するために線、点等を組み合わせた記号を意味し、英数記号、漢字、かな文字等だけでなく、絵文字、スタンプ等の任意の図形に識別コードが付されたものを含むものとする。
[0036]
 図4は、ガイドの表示方式(その1)を説明するための図である。なお、端末装置10は、入力装置156を介して、文字認識モードへの移行指示をユーザから受け付けると、端末装置10の動作モードを当該認識モードに移行させ、撮像画像に含まれる文字列の認識を開始する。端末装置10は、文字認識モード中、所定周期で、撮像画像の生成、生成した撮像画像の表示、および文字認識処理を自動的に繰り返す。図4を参照して、表示方式(その1)では、文字認識モード中に、血圧計20の測定値(最高血圧、最低血圧、脈拍)を収める範囲をガイダンスするための枠510を含む画面500がディスプレイ158に表示される。ここで、図4中の画面500は、血圧計20の撮像画像と、枠510とを重ね合わせた画面である。
[0037]
 枠510は、文字列を認識することが可能な認識範囲(解析範囲)の外周四隅を示す枠として表示される。そのため、枠510の内側が、認識範囲となる。端末装置10は、認識範囲に収まるように撮像された測定結果を認識する処理を実行する。具体的には、端末装置10は、当該測定結果に含まれる各種の文字列を認識する。
[0038]
 ここで、端末装置10は、血圧計20のディスプレイ24のどの領域にどのような情報が表示されるのかを示す画面情報をメモリ154に記憶している。そのため、例えば、認識範囲である枠510内にディスプレイ24が収まるように撮像された場合、端末装置10は、画面情報を用いることにより、認識された各文字列がどのような情報であるのかを特定できる。例えば、端末装置10は、枠510内に収まったディスプレイ24の領域50において認識された複数の文字列「118」,「78」,「70」は、それぞれ最高血圧値、最低血圧値、脈拍数を示す文字列であることを特定できる。
[0039]
 また、端末装置10は、ユーザからの指示を受け付けて、被写体となる健康機器が血圧計20であることを特定する。あるいは、端末装置10は、撮像画像から、健康機器の特徴情報(形状、型式、ブランド)等を抽出し、抽出された特徴情報と、予め記憶している各健康機器の特徴情報とを比較することにより、被写体となる健康機器が血圧計20であることを特定してもよい。
[0040]
 表示方式(その1)によると、ユーザは、枠510内が認識範囲であることを把握できるため、端末装置10による測定値の認識を容易にすることができる。
[0041]
 図5は、ガイドの表示方式(その2)を説明するための図である。図5を参照して、表示方式(その2)では、文字認識モード中に、血圧計20の形状の輪郭を表わすオブジェクト520を含む画面530がディスプレイ158に表示される。なお、端末装置10は、血圧計20の外表面に設けられた文字(ブランド情報41等)を示すオブジェクトをさらに表示してもよい。なお、図5の例では、オブジェクト520の見易さのため、血圧計20の撮像画像は示されていない。
[0042]
 ユーザは、端末装置10を動かすことにより、オブジェクト520に血圧計20が重なるように撮像する。端末装置10は、オブジェクト520に重なるように血圧計20が撮像された場合、端末装置10は、測定結果に含まれる各種の文字列を認識する。
[0043]
 表示方式(その2)によると、端末装置10が測定結果を認識し易くなる位置で血圧計20を撮像するように、ユーザを誘導することができる。
[0044]
 図6は、ガイドの表示方式(その3)を説明するための図である。図6を参照して、表示方式(その3)では、文字認識モード中に、四角形状の半透明オブジェクト540と、7セグメントにおける各セグメントを示す半透明オブジェクト542,544,546とを含む画面550がディスプレイ158に表示される。
[0045]
 図3に示すように、血圧計20の測定値(最高血圧値、最低血圧値、脈拍数)を示す文字列は、7セグメント表示方式の文字で構成されている。そこで、図6の例のように、最高血圧値に対する各セグメントを示す半透明オブジェクト542と、最低血圧値に対する各セグメントを示す半透明オブジェクト544と、脈拍数に対する各セグメントを示す半透明オブジェクト546とが表示される。また、半透明オブジェクト540は、認識範囲を示しており、図4における枠510の内側部分に相当する。なお、図6の例では、半透明の各オブジェクトの見易さのため、血圧計20の撮像画像は示されていない。
[0046]
 ユーザは、端末装置10を動かすことにより、各オブジェクト542,544,546に、血圧計20のディスプレイ24に表示された測定値が重なるように撮像する。各オブジェクト542,544,546に、各測定値が重なるように撮像された場合、端末装置10は、測定結果に含まれる各種の文字列を認識する。
[0047]
 なお、端末装置10は、血圧計20の画面情報を用いることにより、ディスプレイ24のどの領域に各測定値が表示されるのかを把握できる。そのため、端末装置10は、各半透明オブジェクト542,544,546に各測定値が重なるように撮像された場合に、半透明オブジェクト540が示す認識範囲が、撮像画像に含まれるディスプレイ24全体を含むように、各半透明オブジェクトの位置、大きさ等を設定することができる。
[0048]
 表示方式(その3)によると、端末装置10が測定結果を認識し易くなる位置で血圧計20を撮像するように、ユーザを誘導することができる。7セグメント表示方式の場合、各セグメントが読みやすいため、ユーザが各測定値を各半透明オブジェクト542,544,546に合わせやすいという利点もある。ただし、血圧計20の測定値を示す文字列が、7セグメント表示方式以外の表示方式(例えば、ドットマトリクス表示方式)で表示されている場合には、各半透明オブジェクト542,544,546もドットマトリクス表示方式で表示される。
[0049]
 なお、端末装置10は、上記の表示方式(その1)~(その3)のうちの少なくとも2つを組み合わせた表示方式を用いてもよい。
[0050]
 (認識確度の利用)
 端末装置10は、撮像画像から、血圧計20のディスプレイ24に表示された測定値(以下、「表示測定値」とも称する。)を示す文字列を認識して、当該認識した文字列を、血圧計20の測定値とみなす。このとき、ディスプレイ158に表示される測定値の正確性(すなわち、表示測定値が示す数値と、認識した文字列が示す数値との一致度)をできるだけ高めるため、端末装置10は、認識した文字(認識文字)の認識の正確さを示す確度を利用する。
[0051]
 まず、端末装置10は、撮像画像から、表示測定値を認識する処理を実行する。これにより、端末装置10は、撮像画像から認識された認識文字列と、当該認識文字列に含まれる各認識文字についての確度とを取得する。なお、確度は、公知の技術を用いて算出されればよく、例えば、文字画像の特徴量と、メモリ154に予め登録されている辞書パターンとを比較することにより算出される。
[0052]
 次に、端末装置10は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Th1(例えば、90%)未満であるか否かを判断する。例えば、図4に示されるように、最高血圧値を示す文字列「118」が撮像画像に含まれており、文字認識により認識文字列「118」が得られたとする。この場合、各認識文字「1」,「1」,「8」についての確度は、例えば、それぞれ「85」,「90」,「95」のように取得される。端末装置10は、各確度「85」,「90」,「95」が閾値Th1未満であるか否かを判断する。なお、端末装置10は、最低血圧値を示す文字列、および脈拍数を示す文字列についても同様の判断を行なう。
[0053]
 端末装置10は、表示測定値に対応するすべての認識文字についての確度が閾値Th1以上であると判断した場合、これらの認識文字から構成される認識文字列を血圧計20の測定値としてディスプレイ158に表示する。例えば、最高血圧値に対応する複数の認識文字それぞれについての確度「85」,「90」,「95」は、すべて閾値Th1以上であるため、端末装置10は、血圧計20で測定された最高血圧値が「118」であると決定し(みなし)、当該決定結果(例えば、最高血圧値「118」)をディスプレイ158に表示する。
[0054]
 一方、端末装置10は、複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合、所定回数(例えば、2回)分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。例えば、最高血圧値を示す文字列「118」が撮像画像に含まれており、認識処理により認識文字列「110」が得られ、各認識文字「1」,「1」,「0」についての確度が、それぞれ「85」,「90」,「60」であったとする。この場合、認識文字「0」についての確度「60」は閾値Th1未満であるため、端末装置10は、所定回数分の撮像画像の各々から、表示測定値を示す文字列を認識する処理を実行する。
[0055]
 次に、端末装置10は、最初の撮像画像に含まれる表示測定値を示す文字列の認識結果と、追加で行なった2回分の撮像画像の各々に含まれる当該文字列の認識結果とに基づいて、血圧計20の測定値として採用する認識文字列を決定する。
[0056]
 例えば、最初の撮像画像に含まれる当該文字列における複数の文字が、それぞれ「1」,「1」,「0」と認識され、2回目の撮像画像における当該複数の文字がそれぞれ「1」,「1」,「8」と認識され、3回目の撮像画像における当該複数の文字がそれぞれ「1」,「1」,「8」と認識されたとする。この場合、百の位の文字が認識されることにより得られた認識文字は「1」のみであり、認識文字「1」として認識された回数は3回である。同様に、十の位の文字が認識されることにより得られた認識文字は「1」のみであり、認識文字「1」として認識された回数は3回である。一方、一の位の文字が認識されることにより得られた認識文字は「0」および「8」が存在し、認識文字「0」として認識された回数は1回であり、認識文字「8」として認識された回数は2回である。
[0057]
 ここで、端末装置10は、一の位の文字の認識結果である複数の認識文字「0」,「8」のうち、最も認識された回数の多い認識文字が「8」であることを特定する。なお、百の位の文字および十の位の文字については、それぞれ認識文字「1」が特定される。端末装置10は、このように特定された各認識文字「1」,「1」,「8」から構成される認識文字列「118」を最高血圧値として決定し、当該決定結果をディスプレイ158に表示する。
[0058]
 このように、端末装置10は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字を血圧計20の測定値として決定する。そのため、確度の低い認識文字から構成される認識文字列を血圧計20の測定値として採用することがない。そのため、血圧計20のディスプレイ24に表示された測定値をより正確に取得することができる。
[0059]
 (認識結果のリアルタイム表示)
 ここで、端末装置10が、撮像画像に含まれる表示測定値を示す文字列を誤認識した場合を想定する。この場合、端末装置10は、誤った認識文字列を血圧計20の測定値として決定し、決定結果が表示される。ユーザは、血圧計20のディスプレイ24に表示された測定値と、端末装置10のディスプレイ158に表示された測定値とを比較することにより、端末装置10が測定値を誤って認識していることを把握する。そのため、ユーザは、血圧計20のディスプレイ24に表示された測定値を端末装置10に認識させる作業を行なう必要がある。
[0060]
 上記作業をできるだけ回避するため、撮像画像に含まれる表示測定値の認識結果をリアルタイムでディスプレイ158に表示する機能について説明する。
[0061]
 図7は、認識結果をリアルタイムで表示した画面例を示す図である。ここで、端末装置10は、文字認識モード中、所定周期で、撮像画像の生成、撮像画像の表示、および撮像画像に含まれる文字列の認識を繰り返している。なお、血圧計20のディスプレイ24には、最高血圧値「133」、最低血圧値「106」、脈拍数「82」が表示されているものとする。図7中の領域570は、外光等の映り込みで画面輝度が高くなっている領域を示している。
[0062]
 図7を参照して、端末装置10は、撮像画像から最高血圧値、最低血圧値、脈拍数それぞれの文字列「133」、「106」、「82」を認識する。端末装置10は、撮像画像と、枠510と、その認識結果であるオブジェクト562,564,566を含む画面600とを表示する。なお、説明の容易化のため、画面600には、血圧計20のディスプレイ24の部分の撮像画像のみを示している。また、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
[0063]
 オブジェクト562は、最高血圧値を示す文字列の認識結果(すなわち、認識文字列「133」)を示しており、オブジェクト564は、最低血圧値を示す文字列の認識結果(すなわち、認識文字列「106」)を示しており、オブジェクト566は、脈拍数を示す文字列の認識結果(すなわち、認識文字列「82」)を示している。このことから、ユーザは、血圧計20のディスプレイ24に表示された測定値が、端末装置10に正しく認識されていることを把握できる。その後、ユーザは、例えば、決定ボタン等を押下することにより、認識された文字列を血圧計20の測定値として決定することができる。
[0064]
 また、図7の例に示すように、端末装置10は、複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色で表示してもよい。具体的には、最高血圧値を示す文字列の認識結果であるオブジェクト562のうち、百の位の数字「1」についての確度は70%以上から90%未満であり、十の位および一の位の数字「3」についての確度は90%以上である。そのため、端末装置10は、オブジェクト562のうちの百の位の数字「1」と、十の位および一の位の数字「3」とを異なる色で表示する。これにより、ユーザは、認識文字列および当該認識文字列の色を確認しながら、端末装置10のカメラ163の向きを変える等の操作を行なうことができる。
[0065]
 (画像の合成)
 ここでは、複数の撮像画像を合成する機能について説明する。図8は、複数の画像の合成方法を説明するための図である。ここでは、ある周期pで生成された撮像画像と、当該周期pの次の周期p+1で生成された撮像画像とを合成する方法について説明する。なお、説明の容易化のため、撮像画像722,726は、血圧計20のディスプレイ24の部分の撮像画像を示している。また、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
[0066]
 図8を参照して、周期pで生成された撮像画像722では、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各領域が、外光による映り込み等により画面輝度が高い領域752と重なっている。そのため、最高血圧値の一の位、最低血圧値の一の位、および脈拍数を示す各文字の認識結果である各認識文字についての確度は低くなり、例えば、閾値Th2(例えば、40%)未満となる。
[0067]
 この場合、端末装置10は、撮像画像722から、閾値Th2未満の確度を有する当該各認識文字以外の残余の各認識文字に対応する各文字(この場合、最高血圧値の百および十の位の文字、および最低血圧値の十の位の文字)を含む領域を切り取った部分画像724を生成する。端末装置10は、部分画像724をメモリ154に格納する。
[0068]
 次に、周期p+1で生成された撮像画像726では、最高血圧値の一の位を示す領域が、画面輝度が高い領域754と重なっている。この場合、端末装置10は、撮像画像726から、閾値Th2未満の確度を有する認識文字以外の残余の各認識文字に対応する各文字(この場合、最高血圧値の百の位の文字以外の各文字)を含む領域を切り取った部分画像728を生成する。端末装置10は、部分画像728をメモリ154に格納する。
[0069]
 そして、端末装置10は、メモリ154に格納された部分画像724および部分画像728を合成して合成画像730を生成する。端末装置10は、合成画像から、表示測定値を示す文字列を認識する処理を再度実行する。合成画像には、比較的高い確度を有する認識文字に対応する文字のみが含まれるため、表示測定値を示す文字列の認識精度を向上させることができる。
[0070]
 (撮像方向の報知)
 図9は、撮像方向の報知機能の説明するための図である。なお、説明の容易化のため、図9では、ディスプレイ158の画面に表示される撮像画像のうち、血圧計20のディスプレイ24の部分の撮像画像のみを示している。なお、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
[0071]
 図9を参照して、端末装置10は、ディスプレイ158に表示される画面810に含まれる撮像画像702と基準画像700とを比較して、基準画像700に対する撮像画像702の傾きを検出する。例えば、基準画像700および撮像画像702に含まれるディスプレイ24の形状、大きさ等を比較することにより当該傾きを検出する。また、図9の例では、ディスプレイ24の奥行き方向、短辺方向、長辺方向をそれぞれ、X軸方向、Y軸方向、Z軸方向と定義している。
[0072]
 端末装置10は、撮像画像702が基準画像700に対してX軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をX軸周りに回転させるように促すオブジェクト772を画面810に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。なお、端末装置10は、基準画像700に対する傾きを低減するための回転方向を算出する際に、方向センサ172を介して検出された自装置の3軸の姿勢情報を用いてもよい。
[0073]
 また、端末装置10は、画面820に含まれる撮像画像704と基準画像700とを比較して、基準画像700に対する撮像画像704の傾きを検出する。続いて、端末装置10は、撮像画像704が基準画像700に対してY軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をY軸周りに回転させるように促すオブジェクト774を画面820に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。
[0074]
 また、端末装置10は、画面830に含まれる撮像画像706と基準画像700とを比較して、基準画像700に対する撮像画像706の傾きを検出する。続いて、端末装置10は、撮像画像706が基準画像700に対してZ軸周りに傾いていることを検出する。端末装置10は、基準画像700に対する傾きを低減するために、端末装置10をZ軸周りに回転させるように促すオブジェクト776を画面830に表示する。端末装置10を回転させると、撮像画像708を含む画面840が得られる。これにより、表示測定値を示す文字列の認識精度を向上させることができる。
[0075]
 (ハイダイナミックレンジ合成)
 白飛びが多い撮像画像、あるいは黒潰れが多い撮像画像の場合には、当該撮像画像からは全体的に確度の低い認識しか実行できない可能性が高い。そのため、端末装置10は、HDR(high dynamic range imaging)機能を用いて画像を生成してもよい。図10では、血圧計20のディスプレイ24の部分の撮像画像のみを示している。なお、ディスプレイ24に表示される、測定値以外の文字列等についても省略している。
[0076]
 図10は、HDR機能を用いた撮像画像の生成方法を説明するための図である。図10を参照して、端末装置10は、血圧計20のディスプレイ24を撮像する際に、露光量を調整して、白飛びが少ない撮像画像742と、黒潰れが少ない撮像画像744とを生成する。そして、端末装置10は、撮像画像742および撮像画像744を合成することにより、ハイダイナミックレンジ合成画像746を生成する。
[0077]
 <その他>
 本実施の形態に従う端末装置10は、さらに以下のような機能を有する。
[0078]
 (型式等の特定)
 端末装置10は、健康機器の識別情報(機器ID)と、当該健康機器の筐体の形状、筐体に設けられた文字情報、ディスプレイの配置位置、ボタンあるいはスイッチの配置位置等の特徴情報とを、関連付けてメモリ154に記憶している。
[0079]
 端末装置10は、健康機器の撮像画像から抽出される特徴情報と、メモリ154に記憶されている各種の健康機器の特徴情報とを比較することにより、撮像画像に含まれる健康機器の種類、型式、ブランド等を特定することが可能である。
[0080]
 (異常値の判定)
 端末装置10は、撮像画像に含まれる表示測定値の文字列を認識することにより取得した最高血圧値、最低血圧値および脈拍数の各々が異常値である場合には、異常を報知してもよい。具体的には、端末装置10は、取得した最高血圧値が所定範囲Ra(例えば、40~260mmHg)に含まれない場合、最高血圧値が異常である旨を報知する。端末装置10は、取得した最低血圧値が所定範囲Rb(例えば、40~260mmHg)に含まれない場合、最低血圧値が異常である旨を報知する。端末装置10は、取得した脈拍数が所定範囲Rc(例えば、40~180拍/分)に含まれない場合、脈拍数が異常である旨を報知する。また、端末装置10は、最高血圧値よりも最低血圧値の方が高い場合、これらの値が異常である旨を報知する。
[0081]
 (重複データの排除)
 端末装置10は、測定結果の信頼性を確保およびメモリ154の有効利用のため、同一の測定結果を重複して記憶しないように構成されている。具体的には、端末装置10は、取得した測定結果と、メモリ154に既に記憶されている測定結果とを比較してこれらが一致するか否かを判断する。例えば、端末装置10は、各測定結果に含まれるユーザ番号、測定日時および測定値と、画像認識により特定された型式とを互いに比較する。そして、端末装置10は、取得した測定結果の各情報と、記憶されている測定結果の各情報とが完全に一致する場合には、取得した測定結果をメモリ154に記憶しない。これにより、端末装置10は、測定結果が重複して記憶されるのを防止することができる。
[0082]
 <機能構成>
 図11は、端末装置10の機能構成を示すブロック図である。図10を参照して、端末装置10は、撮像部202と、出力制御部204と、認識部206と、判断部208と、決定部210と、異常判定部212と、画像生成部214と、合成部216と、傾き検出部218とを含む。
[0083]
 撮像部202は、所定周期ごとに被写体を撮像して撮像画像を生成する。本実施の形態では、撮像部202は、被写体としての血圧計20の画像を含む撮像画像を生成する。撮像部202は、主にプロセッサ152およびカメラ163が連係することによって実現される機能である。撮像部202は、生成した撮像画像を順次、出力制御部204、認識部206および画像生成部214に出力する。
[0084]
 出力制御部204は、撮像部202により順次撮像して生成された撮像画像をディスプレイ158に表示させる。ある局面では、出力制御部204は、撮像部202により生成された撮像画像と、ユーザの操作を補助するためのガイドとをディスプレイ158に表示させる。
[0085]
 ガイドは、血圧計20のディスプレイ24に表示される測定結果を示す文字列が認識部206により認識されるときに、当該認識処理が容易になるように、ユーザによる撮像操作を補助するために表示される。ガイドは、認識部206の認識範囲を示すオブジェクト(例えば、枠510,半透明オブジェクト540)を含む。また、ガイドは、当該認識範囲を示すオブジェクト内に存在する、7セグメントにおける各セグメントを示すオブジェクト(例えば、半透明オブジェクト542,544,546)をさらに含む。さらに、ガイドは、血圧計20の形状を表わすオブジェクト(例えば、オブジェクト520)を含んでもよい。
[0086]
 認識部206は、撮像部202により生成された撮像画像に含まれる血圧計20の画像の中から、血圧計20のディスプレイ24に表示された測定結果を示す文字列を認識する。測定結果は、例えば、測定値(最高血圧値、最低血圧値、脈拍数)、測定日時、気温、ユーザ番号、各種メッセージ、カフの巻き方の適否を示す情報(記号)、および脈波状態を示す情報(記号)を含む。また、認識部206は、ディスプレイ24に表示された測定値(表示測定値)を示す文字列(例えば、最高血圧値を示す文字列)の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを表わす確度を算出する。認識部206は、認識結果(各認識文字および確度)を判断部208および決定部210に出力する。
[0087]
 判断部208は、当該複数の認識文字の各々について、当該認識文字についての確度が閾値Th1未満であるか否かを判断する。
[0088]
 判断部208が、当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満であると判断した場合、認識部206は、撮像部202によりさらに生成されたN個(Nは1以上の整数)の撮像画像の各々から、表示測定値を示す文字列を認識する処理をさらに実行する。
[0089]
 決定部210は、所定条件に基づいて、表示測定値を示す文字列の認識結果である認識文字列を、血圧計20の測定値として決定する。
[0090]
 具体的には、判断部208が、当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満であると判断した場合、決定部210は、表示測定値を示す文字列(例えば、最高血圧値を表わす文字列「118」)のN+1回分の認識結果(すなわち、N+1個の認識文字列)に基づいて、当該文字列に含まれる各文字(文字「1」,「1」,「8」)について、当該文字の認識結果として得られた少なくとも1つの認識文字(例えば、文字「8」の認識結果として得られた2つの認識文字「8」,「0」)のうち、最も認識回数の多い認識文字を特定する。
[0091]
 決定部210は、当該特定された各認識文字(例えば、百の位の文字「1」について特定された認識文字「1」,十の位の文字「1」について特定された認識文字「1」,一の位の文字「8」について特定された認識文字「8」)から構成される認識文字列(例えば、認識文字列「118」)を、血圧計20の測定値として決定する。
[0092]
 一方、判断部208が、複数の認識文字の各々についての確度が閾値Th1以上であると判断した場合、決定部210は、当該複数の認識文字から構成される認識文字列を、血圧計20の測定値として決定する。換言すると、決定部210は、認識部206により最初に認識された認識文字列に含まれる各認識文字についての確度が閾値Th1以上である場合には、当該最初に認識された認識文字列を、血圧計20の測定値として決定する。
[0093]
 決定部210は、決定結果をメモリ154に記憶するとともに、出力制御部204および異常判定部212に出力する。出力制御部204は、決定部210の決定結果を出力する。例えば、出力制御部204は、当該決定結果をディスプレイ158に表示させる。なお、出力制御部204は、通信インターフェイス166(または無線通信部160)を介して、外部装置に当該決定結果を出力してもよいし、スピーカ168を介して、当該決定結果を音声出力してもよい。
[0094]
 異常判定部212は、血圧計20の測定値として決定部210により決定された認識文字列が表わす数値に基づいて、異常の有無を判定する。例えば、異常判定部212は、当該数値が所定範囲内である場合には異常なしと判定し、当該数値が所定範囲外である場合には異常ありと判定する。異常判定部212は、判定結果を出力制御部204に出力する。出力制御部204は、異常判定部212により異常ありと判定された場合、異常情報を出力する。例えば、出力制御部204は、当該数値が所定範囲外である旨を示すエラー通知をディスプレイ158に表示させる。
[0095]
 ここで、他の局面において、判断部208は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字についての確度が閾値Th2(<閾値Th1)未満であるか否かをさらに判断してもよい。判断部208は、当該判断結果を画像生成部214または傾き検出部218に出力する。
[0096]
 判断部208が、複数の認識文字(例えば、認識文字「1」,「2」,「0」)のうちの少なくとも1つの認識文字(例えば、認識文字「0」)についての確度が閾値Th2未満であると判断した場合、画像生成部214は、撮像部202により生成された撮像画像から、当該少なくとも1つの認識文字以外の残余の各認識文字(例えば、認識文字「1」,「2」)に対応する各文字(例えば、文字「1」,「2」)を含む領域を切り取った部分画像(例えば、部分画像724,728)を生成する。画像生成部214は、部分画像を合成部216に出力する。
[0097]
 合成部216は、画像生成部214により生成された複数の部分画像を合成する。合成部216は、合成画像を認識部206に出力する。認識部206は、合成部216により合成された合成画像(例えば、合成画像730)から、表示測定値を示す文字列を認識する処理を実行する。
[0098]
 また、さらに他の局面において、判断部208が、複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th2未満であると判断した場合、傾き検出部218は、基準画像に対する、撮像部202により生成された撮像画像の傾きを検出する。出力制御部204は、基準画像に対する撮像画像の傾きを低減するための回転方向をディスプレイ158に表示させる。
[0099]
 なお、出力制御部204は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字についての確度に応じた所定の色でディスプレイ158に表示させてもよい。また、出力制御部204は、当該認識文字についての確度を示す情報をディスプレイ158に表示させてもよい。例えば、当該確度を示す情報は、枠510内の予め定められた位置に表示される。また、出力制御部204は、当該認識文字の近傍に当該認識文字の確度を示す情報を表示させてもよい。
[0100]
 <処理手順>
 図12は、端末装置10の処理手順の一例を示すフローチャートである。
[0101]
 図12を参照して、端末装置10のプロセッサ152は、カメラ163を用いて撮像された血圧計20の撮像画像を生成し、当該撮像画像をディスプレイ158に表示する(ステップS10)。プロセッサ152は、ユーザの操作を補助するためのガイドをディスプレイ158に表示する(ステップS12)。プロセッサ152は、撮像画像の中から血圧計20のディスプレイ24に表示された測定値(表示測定値)を示す文字列を認識する(ステップS14)。
[0102]
 プロセッサ152は、表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1以上(すなわち、各認識文字についての確度がすべて閾値Th1以上)か否かを判断する(ステップS16)。複数の認識文字の各々についての確度が閾値Th1以上である場合(ステップS16においてYES)、プロセッサ152は、当該複数の認識文字から構成される認識文字列を、血圧計20の測定値として決定し(ステップS24)、決定結果(認識文字列が示す数値)をディスプレイ158に表示して(ステップS26)、処理を終了する。
[0103]
 複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合(ステップS16においてNO)、プロセッサ152は、認識処理の対象となった撮像画像とは別の撮像画像から、表示測定値を示す文字列の認識処理を再実行する(ステップS18)。プロセッサ152は、表示測定値を示す文字列の認識処理が所定回数実行されたか否かを判断する(ステップS20)。
[0104]
 当該認識処理が所定回数実行されていない場合には(ステップS20においてNO)、プロセッサ152は、ステップS18の処理を繰り返す。当該認識処理が所定回数実行された場合には(ステップS20においてYES)、プロセッサ152は、所定回数分の認識結果に基づいて特定された各認識文字から構成される認識文字列を、血圧計20の測定値として決定する(ステップS22)。具体的には、プロセッサ152は、表示測定値を示す文字列に含まれる各文字について、当該文字が認識されることにより得られた少なくとも1つの認識文字のうち、最も認識回数の多い認識文字を特定する。そして、プロセッサ152は、決定結果をディスプレイ158に表示して(ステップS26)、処理を終了する。
[0105]
 (変形例)
 図13は、端末装置10の処理手順の変形例を示すフローチャートである。
[0106]
 図13を参照して、ステップS50~S56の処理は、それぞれ図12中のステップS10~S16の処理と同様であるため、その詳細な説明は繰り返さない。表示測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1(例えば、90%)未満である場合(ステップS56においてNO)、ステップS66,S68の処理を実行する。ステップS66,S68の処理は、それぞれ図12中のステップS24,S26の処理と同様であるため、その詳細な説明は繰り返さない。
[0107]
 複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合(ステップS56においてYES)、プロセッサ152は、当該複数の認識文字の各々についての確度が閾値Th2(例えば、40%)以上か否かを判断する(ステップS58)。複数の認識文字の各々についての確度が閾値Th2以上である場合(ステップS58においてYES)、ステップS60~S64,S68の処理を実行する。ステップS60~S64,S68の処理は、それぞれ図12中のステップS18~S22,S26の処理と同様であるため、その詳細な説明は繰り返さない。
[0108]
 複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th2未満である場合(ステップS58においてNO)、プロセッサ152は、生成された撮像画像から、少なくとも1つの認識文字以外の残余の各認識文字(すなわち、閾値Th2以上の比較的高い確度を有する認識文字)に対応する各文字を含む領域を切り取った部分画像を生成する(ステップS70)。プロセッサ152は、生成した部分画像をメモリ154に格納する。
[0109]
 プロセッサ152は、所定数の部分画像がメモリ154に格納されているか否かを判断する(ステップS72)。所定数の部分画像が格納されていない場合には(ステップS72においてNO)、プロセッサ152はステップS50からの処理を繰り返す。所定数の部分画像が格納されている場合には(ステップS72においてYES)、プロセッサ152は、当該所定数の部分画像を合成する(ステップS74)。プロセッサ152は、合成画像から、表示測定値を示す文字列を認識する処理を実行する(ステップS76)。
[0110]
 プロセッサ152は、合成画像から認識された認識文字列に含まれる複数の認識文字の各々についての確度が閾値Th1以上か否かを判断する(ステップS78)。当該複数の認識文字の各々についての確度が閾値Th1以上である場合には(ステップS78においてYES)、プロセッサ152はステップS66の処理を実行する。当該複数の認識文字のうちの少なくとも1つの認識文字についての確度が閾値Th1未満である場合には(ステップS78においてNO)、プロセッサ152はエラー報知をして(ステップS80)、処理を終了する。
[0111]
 <利点>
 本実施の形態によると、端末装置10は、認識文字についての確度が低いと判断した場合、再度、所定回数の認識処理を実行し、多数決により採用された各認識文字から構成される認識文字列を測定値として決定し、当該決定された認識文字列をディスプレイ158に表示する。そのため、確度の低い認識文字がそのままディスプレイ158に表示されることがなく、ディスプレイ158に表示される測定値の正確性を高めることができる。
[0112]
 また、本実施の形態によると、表示測定値を示す文字列を認識する際には、ユーザの操作を補助するためのガイドが表示される。また、ガイドとして、枠、認識範囲、7セグメント表示方式の各セグメント等を示すオブジェクトが表示されるため、最適な位置で血圧計20を撮像するように、ユーザを誘導することができる。
[0113]
 <その他の実施の形態>
 (1)上述した実施の形態において、端末装置10は、測定結果に含まれる各種情報を利用して、測定値の信頼性を評価してもよい。例えば、端末装置10のプロセッサ152(評価部)は、測定日時から撮像日時までの期間を算出し、当該算出された期間が所定期間内か否かを判断する。プロセッサ152は、当該算出された期間が所定期間内ではない場合、測定結果の信頼性が低いと評価する。この場合、プロセッサ152は、当該算出された期間が所定期間内ではない旨のエラー通知を出力してもよい。
[0114]
 (2)上述した実施の形態では、図9において、基準画像700に対する撮像画像702の傾きに基づいて、適切な撮像方向をユーザに報知する構成について説明したが、当該構成に限られない。具体的には、以下のステップA~Fの処理を実行してもよい。
[0115]
 端末装置10は、基準画像700に対する撮像画像702の傾きを検出する(ステップA)。端末装置10は、当該傾きに基づいて、基準画像700に対する傾きを低減するように撮像画像702を補正する(ステップB)。端末装置10は、補正した撮像画像702から、表示測定値を示す文字列を認識する処理を実行する(ステップC)。端末装置10は、表示測定値に対応するすべての認識文字についての確度が所定閾値(例えば、閾値Th1)以上であるか否かを判断する(ステップD)。
[0116]
 表示測定値に対応するすべての認識文字についての確度が所定閾値判断した場合、端末装置10は、これらの認識文字から構成される認識文字列を血圧計20の測定値としてディスプレイ158に表示する(ステップE)。
[0117]
 一方、複数の認識文字のうちの少なくとも1つの認識文字についての確度が所定閾値未満である場合、端末装置10は、基準画像700に対する傾きを低減するために、端末装置10を適切な方向に回転させるように促すオブジェクト(例えば、オブジェクト772,774,776)をディスプレイ158に表示し(ステップF)、再度、ステップAからの処理を繰り返す。
[0118]
 (3)上述した実施の形態において、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD(Compact Disk Read Only Memory)、二次記憶装置、主記憶装置およびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
[0119]
 プログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。
[0120]
 また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。
[0121]
 (4)上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。また、上述した実施の形態において、その他の実施の形態で説明した処理や構成を適宜採用して実施する場合であってもよい。
[0122]
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

符号の説明

[0123]
 1 システム、10 端末装置、20,21 血圧計、22 本体部、23 体組成計、24,158 ディスプレイ、26 進む/戻るボタン、27 ランプ、28 ユーザ番号スイッチ、29 開始/停止ボタン、41 ブランド情報、43 型式情報、152 プロセッサ、154 メモリ、156 入力装置、160 無線通信部、162 通信アンテナ、163 カメラ、164 メモリインターフェイス、165 記憶媒体、166 通信インターフェイス、168 スピーカ、170 マイク、172 方向センサ、202 撮像部、204 出力制御部、206 認識部、208 判断部、210 決定部、212 異常判定部、214 画像生成部、216 合成部、218 傾き検出部。

請求の範囲

[請求項1]
 端末装置であって、
 被写体として健康機器を撮像する撮像部と、
 前記撮像部により生成された撮像画像に含まれる前記健康機器の画像から、前記健康機器のディスプレイに表示された測定結果を示す文字列を認識する認識部と、
 前記撮像部により生成された撮像画像と、前記測定結果を示す文字列を前記認識部が認識する際にユーザの操作を補助するためのガイドと、を前記端末装置のディスプレイに表示させる表示制御部とを備え、
 前記ガイドは、前記認識部の認識範囲を示す第1のオブジェクトを含む、端末装置。
[請求項2]
 前記測定結果は、前記健康機器の測定値を含み、
 前記測定値を示す文字列は、7セグメント表示方式の文字で構成されており、
 前記ガイドは、前記第1のオブジェクト内に存在する、7セグメントにおける各セグメントを示す第2のオブジェクトをさらに含む、請求項1に記載の端末装置。
[請求項3]
 前記ガイドは、前記健康機器の形状を表わす第3のオブジェクトをさらに含む、請求項2に記載の端末装置。
[請求項4]
 前記表示制御部は、前記測定値を示す文字列の認識結果である認識文字列が表わす数値が所定範囲外である場合、異常情報を前記端末装置のディスプレイに表示させる、請求項2または3に記載の端末装置。
[請求項5]
 前記表示制御部は、前記測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々を、当該認識文字の認識の正確さを示す確度に応じた所定の色で前記端末装置のディスプレイに表示させる、請求項2~4のいずれか1項に記載の端末装置。
[請求項6]
 前記表示制御部は、前記測定値を示す文字列の認識結果である認識文字列に含まれる複数の認識文字の各々について、当該認識文字の認識の正確さを示す確度を示す情報を前記端末装置のディスプレイに表示させる、請求項2~4のいずれか1項に記載の端末装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]