正在处理

请稍候...

设置

设置

1. WO2012002537 - PORTABLE ELECTRONIC APPARATUS AND AUDIO CONTROL SYSTEM

Document

明 細 書

発明の名称 携帯電子機器および音声制御システム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022  

発明の効果

0023  

図面の簡単な説明

0024  

発明を実施するための形態

0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127  

産業上の利用可能性

0128  

符号の説明

0129  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6   7   8   9   10   11-1   11-2   11-3   11-4   12-1   12-2   13   14   15   16-1   16-2   16-3   16-4   17   18   19-1   19-2   20   21   22   23   24   25  

明 細 書

発明の名称 : 携帯電子機器および音声制御システム

技術分野

[0001]
 本発明は、音声を出力する携帯電子機器および音声制御システムに関する。

背景技術

[0002]
 携帯電話機、携帯テレビ等の携帯電子機器は、音声を出力する。ここで、携帯電子機器のユーザの中には、加齢等によって、聴力が低下し、出力される音声が聞こえにくいユーザがいる。
[0003]
 これに対して、例えば、特許文献1には、レシーバ等から出力される音声の周波数特性及びレベルを年齢による聴覚変化に合わせて補正する音声補正機能付き移動機が記載されている。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2000-209698号公報

発明の概要

発明が解決しようとする課題

[0005]
 ここで、聴力低下の要因は、加齢、病気、騒音曝露等様々であり、聴力低下の程度も千差万別である。そのため、特許文献1に記載されているように、レシーバ等から出力される音声の周波数特性及びレベルを年齢に合わせて補正するだけでは、ユーザにとって十分満足できる音声の補正をすることができない。
[0006]
 本発明は、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができる携帯電子機器および音声制御システムを提供することを目的とする。

課題を解決するための手段

[0007]
 本発明に係る携帯電子機器は、筐体と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、入力を受け付ける入力部と、前記音発生部により音を発生させ、発生させた音に対する応答を前記入力部により受け付けたら、前記応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備えることを特徴とする。
[0008]
 また、前記筐体に設けられて、画像を表示する画像表示部を更に備え、前記入力部は、操作入力を受け付ける操作部を備え、前記処理部は、前記音発生部により発生された音に対して入力されると想定される応答を前記画像表示部に一覧表示させ、前記操作部が操作され一覧表示させた応答の中から応答が選択されたら、選択された応答に対応して前記補正パラメータを設定することが好ましい。
[0009]
 また、前記入力部は、音声入力を受け付ける音声入力部を備え、前記処理部は、前記音声入力部に入力された応答の音声を解析し、解析した内容に基づいて、前記応答に対応して前記補正パラメータを設定することが好ましい。
[0010]
 また、前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることが好ましい。
[0011]
 また、前記処理部は、不快閾値より小さい音及び可聴閾値より大きい音のいずれか一方又は双方を前記音発生部により発生させることが好ましい。
[0012]
 また、外部機器と通信する送受信部及び前記送受信部で受信した通話の受話音声を解析する解析部を備え、前記処理部は、受話音声に対する応答を検出したら、前記解析部の解析結果及び検出した応答に対応して前記補正パラメータを設定することが好ましい。
[0013]
 また、前記処理部は、通話中に受話音声を調整する入力を検出したら、当該受話音声を調整する入力があったことを記憶するとともに、前記受話音声を調整する入力に対応して前記補正パラメータを設定することが好ましい。
[0014]
 また、前記解析部は、通話の受話音声をスペクトル分析し、前記処理部は、スペクトル分析の結果に基づいて、応答の選択肢を提示し、提示した選択肢から選択された応答を入力された応答とすることが好ましい。
[0015]
 また、前記処理部は、前記入力部で受け付けた応答の入力があったことを記憶し、ユーザからの指示に応じて前記応答の入力の内容をユーザに提示することが好ましい。
[0016]
 また、前記筐体に設けられて、画像を表示する画像表示部を更に備え、前記入力部は、前記筐体に設けられて、操作入力を受け付ける操作部であり、前記処理部は、前記音発生部から出力された出力音声と、前記操作部から入力された入力文字とを比較し、出力音声と入力文字とで一致しない音に対応する周波数毎の補正パラメータを設定することが好ましい。
[0017]
 また、前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることが好ましい。
[0018]
 また、前記処理部は、出力音声と入力文字とで一致しない音が、可聴閾値よりも不快閾値に近い出力である場合は、該当する音の波長域の不快閾値の値を低下させ、出力音声と入力文字とで一致しない音が、不快閾値よりも可聴閾値に近い出力である場合は、該当する音の波長域の前記可聴閾値を上昇させることが好ましい。
[0019]
 また、前記処理部は、前記出力音声として、不快閾値より小さい音及び可聴閾値より大きい音の少なくとも一方を前記音発生部により発生させることが好ましい。
[0020]
 また、前記処理部は、音声を、母音、有声子音、無声子音に分けて、判定することが好ましい。
[0021]
 本発明に係る音声制御システムは、音声信号に基づいて音を発生する音発生部と、入力を受け付ける入力部と、前記音発生部により音を発生させ、発生させた音に対する応答を前記入力部により受け付けたら、前記応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、前記補正部と他の各部との間にて、有線あるいは無線にて、信号を送信或いは受信するための信号回路網と、を有し、前記音発生部および前記入力部は、使用者が携帯可能な筐体に設けられることを特徴とする。
[0022]
 前記補正部および前記処理部の一方あるいは双方を、サーバに設けることが好ましい。

発明の効果

[0023]
 本発明は、個々のユーザの聴力に合わせて、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができるという効果を奏する。

図面の簡単な説明

[0024]
[図1] 図1は、携帯電子機器の一実施形態の概略構成を示す正面図である。
[図2] 図2は、図1に示す携帯電子機器の側面図である。
[図3] 図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。
[図4] 図4は、人間の聴力の特性を示す図である。
[図5] 図5は、難聴者の聴力の特性の例を示す図である。
[図6] 図6は、難聴者の可聴閾値及び不快閾値の例を示す図である。
[図7] 図7は、図6に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。
[図8] 図8は、図7の高音(子音)を単純に増幅した図である。
[図9] 図9は、図8の大きい音に対して圧縮処理を行った図である。
[図10] 図10は、第1の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図11-1] 図11-1は、不快閾値よりわずかに小さい音の音声信号を示す図である。
[図11-2] 図11-2は、図11-1の音声信号のスペクトル成分を示す図である。
[図11-3] 図11-3は、可聴閾値よりわずかに大きい音の音声信号を示す図である。
[図11-4] 図11-4は、図11-3の音声信号のスペクトル成分を示す図である。
[図12-1] 図12-1は、提示音として大きい音を再生した場合にディスプレイに一覧表示される音に関する不満を示す図である。
[図12-2] 図12-2は、提示音として小さい音を再生した場合にディスプレイに一覧表示される音に関する不満を示す図である。
[図13] 図13は、第1の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図14] 図14は、携帯電子機器が音に関する不満をユーザに質問する音声を再生したときの様子を示す図である。
[図15] 図15は、第1の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図16-1] 図16-1は、携帯電子機器が受話音声をユーザに向けて発している様子を示す図である。
[図16-2] 図16-2は、受話音声の音声信号を示す図である。
[図16-3] 図16-3は、図16-2の音声信号のスペクトル成分を示す図である。
[図16-4] 図16-4は、ユーザが音に関する不満を発声している様子を示す図である。
[図17] 図17は、第1の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図18] 図18は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。
[図19-1] 図19-1は、ディスプレイに一覧表示される音に関する不満を示す図である。
[図19-2] 図19-2は、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイに表示した様子を示す図である。
[図20] 図20は、第2の実施形態に係る携帯電子機器の動作を説明するための説明図である。
[図21] 図21は、第2の実施形態に係る携帯電子機器の動作を説明するための説明図である。
[図22] 図22は、第2の実施形態に係る携帯電子機器の動作を説明するための説明図である。
[図23] 図23は、第2の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図24] 図24は、第2の実施形態に係る携帯電子機器の動作の一例を説明するためのフロー図である。
[図25] 図25は、携帯電子機器を備える通信システムの概略構成を示す模式図である。

発明を実施するための形態

[0025]
 以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
[0026]
 図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
[0027]
 第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
[0028]
 第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
[0029]
 第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
[0030]
 第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
[0031]
 図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
[0032]
 携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
[0033]
 処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
[0034]
 処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
[0035]
 本実施形態において、処理部22は、出力音補正部34の補正パラメータを設定する補正パラメータ設定部22a、音声認識処理を行う音声解析部22b、音声のスペクトル分析を行うスペクトル分析部22c、所定の提示音(テスト音)を生成する提示音生成部22dを有する。補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22dがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c及び提示音生成部22dの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしても良い。
[0036]
 記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
[0037]
 なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
[0038]
 送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
[0039]
 音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
[0040]
 表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro-Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
[0041]
 出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して補正を行って音声処理部30に出力する。なお、出力音補正部34が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部34は、ハードウェア回路で実現しても良いし、CPUとプログラムで実現しても良い。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしても良い。また、出力音補正部34の機能を、送受信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしても良い。
[0042]
 ここで、人間の聴覚について図4~図9を参照して説明する。図4は、人間の耳に入る音の大きさと人間が聴こえる(感じる)音の大きさとの関係を示すグラフである。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者(高齢者、耳の病気を有する者等)の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。つまり、一般的なイメージの人は、耳に入る音を単純に増幅してやれば良いと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、10dBの変化を20dBの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理)を行う必要がある。また、図5は、難聴者の聴力の周波数特性を示すグラフである。図5に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図5に示す特性は、一例であり、利用者によって聞こえる周波数特性は異なる。
[0043]
 図6は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示す図である。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、40dBで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、90dBで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図6に示すように、難聴者は、可聴閾値42と不快閾値44とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値46及び不快閾値48がともに、出力される音の大きさに対して一定となる。
[0044]
 次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、難聴者は、出力する音声を調整しないと、つまり、健常者の使用状態と同じ状態で音を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえなくなる。
[0045]
 次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、調整しないで出力される、つまり、健聴者の使用状態と同じ状態で出力させる母音は、範囲50で囲まれる周波数と音の大きさとの範囲の音で出力される。同様に、有声子音は、範囲52で囲まれる周波数と音の大きさとの範囲の音で出力され、無声子音は、範囲54で囲まれる周波数と音の大きさとの範囲の音で出力される。ここで、図7に示すように、難聴者の音が聞こえる範囲、可聴閾値42と不快閾値44の間には、母音の範囲50と、有声子音の範囲52の一部とが入るが、有声子音の範囲52の一部と、無声子音の範囲54の全部が入らない。このため、難聴者は、健聴者と同様の出力で音声を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえない。
[0046]
 図8は、図7の高音(子音)を単純に増幅した図である。図8に示す母音の範囲50aは、図7に示す母音の範囲50と同様の範囲としている。また、有声子音の範囲52aは、図7に示す有声子音の範囲52よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。無声子音の範囲54aも、図7に示す無声子音の範囲54よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。図8に示すように、聞こえにくい周波数領域の音声、つまり、有声子音の範囲52aと、無声子音の範囲54aを単純に増幅すると、音の大きさが大きい範囲が不快閾値44を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明りょうに聞こえなくなる。
[0047]
 これに対して、図9は、本実施形態の携帯電子機器1の出力音補正部34により、音声を補正、具体的には、図8の大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインより小さくする処理)を行った図である。図9に示す母音の範囲50bは、図8に示す母音の範囲50aよりも大きい音に対するゲインを小さくしている。また、有声子音の範囲52bは、図8に示す有声子音の範囲52aよりも大きい音に対するゲインを小さくしている。また、無声子音の範囲54bも、図8に示す無声子音の範囲54aよりも大きい音に対するゲインを小さくしている。図9に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音の範囲50b、有声子音の範囲52b及び無声子音の範囲54bを快適な音の大きさ(可聴閾値42と不快閾値44との間の大きさ)に含まれるようにすることができる。携帯電子機器1は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値42と不快閾値44との間の大きさの音声としてユーザに聞こえるように補正を行うパラメータである。携帯電子機器1は、出力音補正部34により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部30に出力する。これにより、携帯電子機器1は、耳が聞こえにくいユーザでも、好適に音声を聞くことが可能となる。
[0048]
 以下、図10~図19-2を参照しながら第1の実施形態に係る携帯電子機器の動作について説明し、次いで、図20~図24を参照しながら第2の実施形態に係る携帯電子機器の動作について説明する。
[0049]
[第1の実施形態]
 まず、図10を用いて第1の実施形態に係る携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図10は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図10に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。またプログラムは、外部からダウンロードして取得することができる。また、図10に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
[0050]
 まず、携帯電子機器1の処理部22は、ステップS12として、提示音(テスト音)を再生する。つまり、携帯電子機器1の処理部22は、提示音生成部22dにより提示音(テスト音)を生成し、音声処理部30を介してレシーバ16またはスピーカ17から出力する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、当初は健聴者用に設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。また、2回目以降は各ユーザの不快閾値、可聴閾値に対しぎりぎりの音を用いることが好ましい。図11-1は、設定された不快閾値よりわずかに小さい音の音声信号を示す図である。図11-2は、図11-1に示す音声信号を累計したスペクトル成分を示す図である。図11-3は、設定された可聴閾値よりわずかに大きい音の音声信号を示す図である。図11-4は、図11-3に示す音声信号を累計したスペクトル成分を示す図である。
[0051]
 再び図10を参照すると、次に、処理部22は、ステップS14として、ユーザが持つことが想定される音に関する不満(要望)をディスプレイ2に一覧表示する。図12-1は、提示音として大きい音(不快閾値よりわずかに小さい音)を再生した場合にディスプレイ2に一覧表示される音に関する不満を示す図である。また、図12-2は、提示音として小さい音(可聴閾値よりわずかに大きい音)を再生した場合にディスプレイ2に一覧表示される音に関する不満を示す図である。図12-1を参照すると、提示音として大きい音(不快閾値よりわずかに小さい音)を再生した場合には、「ひびく/うるさい」という項目51a、「キンキンする」という項目51b、「こもる」という項目51c、「つまって聴こえる」という項目51d、「不満はない」という項目51eがディスプレイ2に一覧表示される。また、図12-2を参照すると、提示音として小さい音(可聴閾値よりわずかに大きい音)を再生した場合には、「ほぼ聴こえない」という項目52a、「音がシャリシャリする」という項目52b、「音がはっきりしない」という項目52c、「不満はない」という項目52dがディスプレイ2に一覧表示される。
[0052]
 再び図10を参照すると、次に、処理部22は、ステップS16として、ディスプレイ2に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されていないと判定したら(ステップS16でNo)、処理をステップS16で待機させる。
[0053]
 また、処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS16でYes)、ステップS18として、補正パラメータ設定部22aにより、選択された不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図11-1に示す提示音(不快閾値よりわずかに小さい音)を再生し、図12-1に示すように「キンキンする」という項目51bが選択されたら、大きく高い音がユーザにとって不快閾値を超えていることがわかるので、補正パラメータ設定部22aにより、大きく高い音のゲインを下げる補正パラメータを出力音補正部34に設定する。また、例えば、処理部22は、図11-3に示す提示音(可聴閾値よりわずかに大きい音)を再生し、図12-2に示すように「ほぼ聴こえない」という項目52aが選択されたら、音が全体的に(全周波数帯域にわたって)ユーザにとって可聴閾値に達していないことがわかるので、補正パラメータ設定部22aにより、全周波数帯域にわたって小さい音のゲインを上げる補正パラメータを出力音補正部34に設定する。なお、補正パラメータは、ゲインそのものであっても良いし、所望のゲインで増幅するように出力音補正部34を制御する制御値であっても良い。処理部22の補正パラメータ設定部22aは、以上のような出力した提示音と、その音に対してユーザによって入力された応答との関係から周波数毎の補正パラメータを設定(調整)する動作を繰り返す。
[0054]
 これにより、補正パラメータをユーザの聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
[0055]
 なお、処理部22は、様々な提示音を用いて図10に示すフローを繰り返し実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。また、処理部22は、図10に示すフローを定期的(例えば、3ヶ月毎、6ヶ月毎等)に実行することで、ユーザの聴力に変化があった場合であっても、ユーザにより聞こえやすい音声を出力することができる。
[0056]
 また、処理部22は、ステップS16でディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS16でYes)、選択された項目をログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容を表示部32に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去に選択した項目を把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
[0057]
 次に、図13を用いて第1の実施形態に係る携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図13は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図13に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図13に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
[0058]
 まず、携帯電子機器1の処理部22は、ステップS22として、提示音(テスト音)を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、不快閾値ぎりぎりの音(不快閾値よりわずかに小さい音)や可聴閾値ぎりぎりの音(可聴閾値よりわずかに大きい音)が好ましい。
[0059]
 次に、処理部22は、ステップS24として、音に関する不満(要望)をユーザに質問する音声をレシーバ16又はスピーカ17により再生する。図14は、携帯電子機器1が音に関する不満をユーザに質問する音声を再生したときの様子を示す図である。処理部22は、例えば、図14に示すように、「聴こえでどんな不満がありますか?」という質問の音声をレシーバ16又はスピーカ17により再生する。
[0060]
 次に、処理部22は、ステップS26として、質問に対する回答(音に関する不満)の音声がマイク15により入力されたか否かを判定する。処理部22は、音に関する不満の音声が入力されていないと判定したら(ステップS26でNo)、処理をステップS26で待機させる。
[0061]
 また、処理部22は、音に関する不満の音声がマイク15により入力されたと判定したら(ステップS26でYes)、ステップS28として、音声解析部22bにより入力された音声を解析し、補正パラメータ設定部22aによりユーザの不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図14に示すように、「音がうるさくて耳に響くんだよね」という音声が入力されたら、音声解析部22bにより「うるさい」、「響く」というキーワードを検出し、補正パラメータ設定部22aにより大きい音全体のゲインを下げる補正パラメータを出力音補正部34に設定する。
[0062]
 これにより、操作部13による操作に不慣れなユーザであっても、音に関する不満をしゃべるだけで補正パラメータをユーザに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
[0063]
 また、処理部22は、ステップS26で音に関する不満の音声がマイク15により入力されたと判定したら(ステップS26でYes)、入力された音声又はキーワードをログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ16又はスピーカ17により出力したり、表示部32に表示させたりしても良い。これにより、ユーザはログを参照することで、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
[0064]
 次に、図15を用いて第1の実施形態に係る携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図15は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図15に示す動作は、通話が開始されたら実行される。また、図15に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図15に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
[0065]
 まず、携帯電子機器1の処理部22は、ステップS42として、スペクトル分析部22cにより受話音声をスペクトル分析し、その結果を記憶部24に記憶する。図16-1は、携帯電子機器1が受話音声をユーザに向けて発している様子を示す図である。また、図16-2は、受話音声の音声信号の例を示す図である。図16-3は、図16-2に示す音声信号を累計したスペクトル成分を示す図である。
[0066]
 なお、携帯電話通信においては、CELP(符号励振線形予測符号化)、EVRC(可変レート音声コーデック)、AMR(適応型マルチレート)等の音声符号化が行われるので、受話音声の音質は肉声の音質とは異なる場合がある。
[0067]
 次に、処理部22は、ステップS44として、通話が終了したか否かを判定する。処理部22は、通話が終了していないと判定したら(ステップS44でNo)、処理をステップS42に進める。
[0068]
 また、処理部22は、通話が終了したと判定したら(ステップS44でYes)、ステップS46として、音に関する不満(要望)をユーザに質問する音声をレシーバ16又はスピーカ17により再生する。処理部22は、例えば、「聴こえでどんな不満がありますか?」という質問の音声をレシーバ16又はスピーカ17により再生する。
[0069]
 次に、処理部22は、ステップS48として、質問に対する回答(音に関する不満)の音声がマイク15により入力されたか否かを判定する。処理部22は、音に関する不満の音声が入力されていないと判定したら(ステップS48でNo)、処理をステップS48で待機させる。
[0070]
 また、処理部22は、音に関する不満の音声がマイク15により入力されたと判定したら(ステップS48でYes)、ステップS50として、音声解析部22bにより入力された音声を解析し、受話音声のスペクトル分析結果を用いて、補正パラメータ設定部22aによりユーザの不満を緩和する補正パラメータを出力音補正部34に設定する。図16-4は、ユーザが音に関する不満を発している様子を示す図である。例えば、処理部22は、図16-4に示すように、「言葉が良く聴き取れなかった」という音声が入力されたら、補正パラメータ設定部22aによりスペクトル成分の大きさが小さかった周波数帯域のゲインを上げる補正パラメータを出力音補正部34に設定する。
[0071]
 これにより、実際の受話音声に基づいた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。また、受話音声がCELP、EVRC、AMR等の音声符号化されている場合であっても、実際の受話音声に基づいた補正パラメータを設定することができるので、ユーザにより聞こえやすい音声を出力することができる。
[0072]
 なお、処理部22は、ステップS42での受話音声のスペクトル分析結果をログとして記憶部24内に残しても良い。また、処理部22は、ステップS48でのユーザからの音声入力の際に、受話音声のスペクトル分析結果を表示部32に表示させるようにしてもよい。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
[0073]
 また、処理部22は、ステップS48で音に関する不満の音声がマイク15により入力されたと判定したら(ステップS48でYes)、入力された音声又はキーワードをログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ16又はスピーカ17により出力したり、表示部32に表示させたりしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
[0074]
 また、図15に示す処理をサーバで実行する場合には、受話音声のスペクトル分析結果及び補正パラメータ調整結果をログとしてサーバ内に記憶しておくようにしても良い。また、サーバが、テスト音として適切な会話の音声データ(例えば、高音域が強い音声データ、低音域が強い音声データ、低音域から高音域までの音を有する音声データ等)を記憶しておき、後で提示音として携帯電子機器1に送信し再生させるようにしても良い。このようにサーバ側で会話の音声データを記憶しておくことで、ユーザが携帯電子機器1を買い換えた(機種変更した)場合に、サーバ側で記憶されている音声データを提示音として補正パラメータの調整を容易に行うことができる。
[0075]
 また、ここでは、ユーザが音に関する不満を音声で入力することとしたが、ユーザが持つことが想定される音に関する不満を一覧表示し、ユーザが一覧表示された項目のいずれかを選択することとしても良い。
[0076]
 次に、図17を用いて第1の実施形態に係る携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図17は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図17に示す動作は、通話が開始されたら実行される。また、図17に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図17に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
[0077]
 まず、携帯電子機器1の処理部22は、ステップS52として、スペクトル分析部22cにより受話音声をスペクトル分析し、その結果を記憶部24に記憶する。次に、処理部22は、ステップS54として、音に関する操作入力(例えば、ボリューム調整、音質調整等)があるか否かを判定する。処理部22は、音に関する操作があると判定したら(ステップS54でYes)、ステップS56として、操作入力をスペクトル分析の結果と対応づけてログとして記憶部24に記憶する。
[0078]
 処理部22は、音に関する操作入力がないと判定したら(ステップS54でNo)又はステップS56を実行したら、ステップS58として、通話が終了したか否かを判定する。処理部22は、通話が終了していないと判定したら(ステップS58でNo)、処理をステップS52に進める。
[0079]
 また、処理部22は、通話が終了したと判定したら(ステップS58でYes)、ステップS60として、操作入力とスペクトル分析の結果とから補正パラメータを出力音補正部34に設定する。例えば、処理部22は、通話中にボリュームを上げる操作入力がされたら、音全体のゲインを上げる補正パラメータを出力音補正部34に設定する。また、例えば、処理部22は、通話中に高音を強くする音質調整の操作入力がされたら、高音のゲインを上げる補正パラメータを出力音補正部34に設定する。
[0080]
 これにより、通話中の操作入力に基づいて補正パラメータを設定することができ、実際の受話音声に応じた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。
[0081]
 なお、処理部22は、ステップS52での受話音声のスペクトル分析結果をログとして記憶部24内に残しても良い。また、処理部22は、ステップS54で音に関する操作入力がありと判定したら(ステップS54でYes)、入力された操作内容をログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容を表示部32に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した操作入力を把握し、補正パラメータの調整の過程を把握することができる。
[0082]
 次に、図18を用いて第1の実施形態に係る携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図18は、第1の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。また、図18に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図18に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
[0083]
 まず、携帯電子機器1の処理部22は、ステップS72として、提示音生成部22dにより提示音(テスト音)を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、設定された不快閾値ぎりぎりの音(不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(可聴閾値よりわずかに大きい音)が好ましい。
[0084]
 次に、処理部22は、ステップS74として、ユーザが持つことが想定される音に関する不満(要望)をディスプレイ2に一覧表示する。図19-1は、ディスプレイ2に一覧表示される音に関する不満の例を示す図である。図19-1を参照すると、「ひびく/うるさい」という項目53a、「つまって聴こえる」という項目53b、「よく聴こえない」という項目53c、「キンキンする」という項目53d、「こもる」という項目53e、「不満はない」という項目53fがディスプレイ2に一覧表示される。
[0085]
 再び図18を参照すると、次に、処理部22は、ステップS76として、ディスプレイ2に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されていないと判定したら(ステップS76でNo)、処理をステップS76で待機させる。
[0086]
 また、処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS76でYes)、ステップS78として、「不満はない」という項目53fが選択されたか否かを判定する。処理部22は、「不満はない」という項目53fが選択されたと判定したら(ステップS78でYes)、処理を終了する。
[0087]
 また、処理部22は、「不満はない」という項目53fが選択されていないと判定したら(ステップS78でNo)、ステップS80として、補正パラメータ設定部22aにより、選択された不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図19-1に示すように「つまって聴こえる」という項目53bが選択されたら、高い音の大きさがユーザにとって小さいことがわかるので、補正パラメータ設定部22aにより、高い音のゲインを上げる補正パラメータを出力音補正部34に設定する。
[0088]
 次に、処理部22は、ステップS82として、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ2に表示する。図19-2は、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ2に表示した様子の例を示す図である。図19-2に示すように、「高い音」という項目54a、「低い音」という項目54b、「両方」という項目54cがディスプレイ2に表示される。
[0089]
 次に、処理部22は、ステップS84として、ディスプレイ2に表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に表示された項目のいずれかが選択されていないと判定したら(ステップS84でNo)、処理をステップS84で待機させる。
[0090]
 また、処理部22は、ディスプレイ2に表示された項目のいずれかが選択されたと判定したら(ステップS84でYes)、ステップS86として、補正パラメータ設定部22aにより、選択された音の不満を緩和する補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図19-2に示すように「低い音」という項目54bが選択されたら、補正パラメータ設定部22aにより、低い音のゲインを上げる補正パラメータを出力音補正部34に設定する。処理部22は、その後、処理をステップS72に進める。
[0091]
 これにより、補正パラメータをユーザの聴こえに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
[0092]
 また、処理部22は、ステップS72~ステップS86のループを実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。
[0093]
[第2の実施形態]
 続いて、図20から図24を用いて、第2の実施形態に係る携帯電子機器の補正パラメータ設定動作を説明する。ここで、図20から図22は、それぞれ、第2の実施形態に係る携帯電子機器の動作を説明するための説明図である。より具体的には、補正パラメータの設定動作の際に、ディスプレイ2に表示させる画面を示す図である。携帯電子機器1は、補正パラメータの設定機能が起動されたら、まず、提示音生成部22dで提示音を生成し、レシーバ16またはスピーカ17から出力する。ここで、本実施形態において、提示音とは、補正パラメータの設定時にユーザが聞き取る対象の音声であり、単語、文章である。なお、提示音としては、聞き間違いが発生しやすい単語、文章を用いることが好ましい。なお、提示音としては、例えば、「安全」や「完全」や「断然」を用いることができる。「安全」と「完全」と「断然」とは、互いに聞き間違いしやすい音声である。また、提示音としては、「売り上げ」や「おみやげ」や「もみあげ」も用いることができる。また、このほかにも、「環境」や「反響」や「探求」も用いることができる。なお、以下では、提示音として「いなか(田舎)」を出力した場合として説明する。また、提示音は、不快閾値と可聴閾値とを設定できるように、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。
[0094]
 携帯電子機器1は、提示音を出力したら、図20に示す画面70を表示させる。ここで、画面70は、聞き取った音を入力する画面であり、メッセージ72と、表示欄74a、74b、74cと、カーソル76とが表示される。メッセージ72は、ユーザに入力を即す、つまりユーザが行う動作を示唆するメッセージであり、「何と聞こえましたか?キーで入力してください」という文章である。また、表示欄74a、74b、74cは、ユーザが操作部13を操作して入力した文字を表示させる表示領域であり、提示音の文字数に対応した数の入力欄、つまり、本実施形態では、「いなか」に対応した3つの表示欄が表示される。カーソル76は、どの入力欄に文字を入力する状態であるかを示す指示指標であり、図20では、表示欄74aの直下に表示されている。
[0095]
 携帯電子機器1は、図20に示す画面70を表示させている状態で、操作部13が操作され、文字が入力されたら、入力された文字を表示欄74a、74b、74cに表示させる。ここで、図21に示す画面70aは、文字として「ひなた」が入力された状態である。画面70aでは、表示欄74aに「ひ」が表示され、表示欄74bに「な」が表示され、表示欄74cに「た」が表示される。また、カーソル76は、表示欄74cの直下に表示されている。
[0096]
 携帯電子機器1は、図21の画面70aに示すように、文字として、「ひなた」が入力されたら、提示音の文字と、入力された文字とを比較し、その比較結果に基づいて、補正パラメータを設定する。具体的には、携帯電子機器1は、「いなか」と「ひなた」とを母音と子音とに分解し、「INAKA」と、「HINATA」とを比較する。ここで、「INAKA」と、「HINATA」とは、いずれも母音が「I」、「A」、「A」であるため、母音が一致している。これに対して、子音なしと子音「H」とを聞き間違え、子音「K」と子音「T」とを聞き間違えている。以上の結果から、対象となる音声、本実施形態では子音「H」、「K」、「T」に対応する周波数域の閾値(不快閾値または可聴閾値)を調整し、設定する。
[0097]
 また、携帯電子機器1は、図22に示すように、提示音の文字と、入力された文字とが一致したか否かをユーザに通知する画面70bを表示させる。ここで、画面70bは、表示欄74aに「ひ」が表示され、表示欄74bに「な」が表示され、表示欄74cに「た」が表示される。さらに、画面70bには、不一致を示す印80aが、表示欄74aに重ねて表示され、一致を示す印80bが、表示欄74bに重ねて表示され、不一致を示す印80cが、表示欄74cに重ねて表示される。携帯電子機器1は、以上のようにして、ディスプレイに画面を表示させつつ、提示音を出力し、制御を行うことで、補正パラメータの調整を周波数域毎、各母音、各有声子音、各無声子音で行う。
[0098]
 次に、図23を用いて第2の実施形態に係る携帯電子機器の補正パラメータ設定動作をより詳細に説明する。ここで、図23は、第2の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図23に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。またプログラムは、外部からダウンロードして取得することができる。
[0099]
 まず、携帯電子機器1の処理部22は、ステップS92として、提示音(テスト音)を再生する。つまり、携帯電子機器1の処理部22は、提示音生成部22dにより提示音(テスト音)を生成し、音声処理部30を介してレシーバ16またはスピーカ17から出力させる。なお、提示音としては、上述したように、各種聞き間違えが発生しやすい単語、文章を用いることが好ましい。また、携帯電子機器1は、提示音を、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)で出力することが好ましい。
[0100]
 処理部22は、ステップS92で提示音を再生したら、ステップS94として、入力画面を表示させる。つまり、上述した、図20のように提示音がなんと聞こえたか、どんな単語や、文章が聞こえたかを入力する画面を表示させる。処理部22は、ステップS94で入力画面を表示させたら、ステップS96として入力が完了したかを判定する。ここで、処理部22は、必要な文字数が入力されたら、または、一定の時間が経過したら、入力が完了したと判定する。処理部22は、ステップS96で入力が完了していない(ステップS96でNo)と判定したら、ステップS96に進む。つまり、処理部22は、入力が完了するまで、ステップS96の処理を繰り返す。なお、処理部22は、ステップS96の処理中に操作部13が操作され文字が入力されたら、入力された文字を反映して制御を行う。
[0101]
 処理部22は、ステップS96で入力が完了した(ステップS96でYes)と判定したら、ステップS98として、提示音と入力文字が一致しているかを判定する。処理部22は、ステップS98で、提示音と入力文字が一致する(ステップS98でYes)と判定したら、処理を終了する。また、処理部22は、ステップS98で、提示音と入力文字が一致しない(ステップS98でNo)と判定したら、ステップS100として、補正パラメータを調整し、処理を終了する。
[0102]
 次に、図24を用いて、ステップS100での提示音と入力文字が一致しないことに基づいた、第2の実施形態に係る補正パラメータの調整の処理について説明する。ここで、図24は、第2の実施形態に係る携帯電子機器の動作の一例を示すフロー図である。なお、図24に示す動作も、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。またプログラムは、外部からダウンロードして取得することができる。
[0103]
 まず、処理部22は、ステップS120として、母音が不一致であるかを判定する。処理部22は、ステップS120で母音が不一致である(ステップS120でYes)と判定したら、ステップS122として、母音の周波数域で対象の周波数を特定する。つまり、不一致の母音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS122で周波数を特定したら、ステップS130に進む。
[0104]
 また、ステップS120で母音が不一致ではない(ステップS120でNo)、つまり、母音は全て一致していると判定したら、ステップS124として、有声子音が不一致であるかを判定する。処理部22は、ステップS124で有声子音が不一致である(ステップS124でYes)と判定したら、ステップS126として、有声子音の周波数域で対象の周波数を特定する。つまり、不一致の有声子音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS126で周波数を特定したら、ステップS130に進む。
[0105]
 また、処理部22は、ステップS124で有声子音が不一致ではない(ステップS124でNo)、つまり、不一致な音声は、無声子音であると判定したら、ステップS128として、無声子音の周波数域で対象の周波数を特定する。つまり、不一致の無声子音に対応する周波数の帯域、または1つ以上の周波数を特定する。処理部22は、ステップS128で周波数を特定したら、ステップS130に進む。
[0106]
 処理部22は、ステップS122、ステップS126、ステップS128の処理が終了したら、ステップS130として、不一致音の出力は、不快閾値に近いかを判定する。つまり、処理部22は、ステップS130として、不一致音の出力の大きさが、不快閾値に近いか、可聴閾値に近いかを判定し、聞き間違いをした原因が、ユーザの不快閾値よりも大きい音声であるためか、可聴閾値よりも小さいためであるかを判定する。
[0107]
 処理部22は、ステップS130で、不一致音の出力は、不快閾値に近い(ステップS130でYes)、つまり、不一致音の出力は、可聴閾値よりも不快閾値に近いと判定したら、ステップS132として、該当する周波数の不快閾値を低下させる。つまり調整対象の周波数の不快閾値をより小さい値とする。処理部22は、ステップS132の処理が終了したら、ステップS136に進む。
[0108]
 処理部22は、ステップS130で、不一致音の出力は、不快閾値に近くない(ステップS130でNo)、つまり、不一致音の出力は、不快閾値よりも可聴閾値に近いと判定したら、ステップS134として、該当する周波数の可聴閾値を上昇させる。つまり調整対象の周波数の可聴閾値をより大きな値とする。処理部22は、ステップS134の処理が終了したら、ステップS136に進む。
[0109]
 処理部22は、ステップS132、ステップS134の処理が終了したら、ステップS136として、不一致音を全て補正したか、つまり不一致音に対する補正処理を完了したかを判定する。処理部22は、ステップS136で、不一致音を全て補正していない(ステップS136でNo)、つまり、補正処理を行っていない不一致音があると判定したら、ステップS120に進み上記処理を繰り返す。これにより、処理部22は、不一致と判定した全ての音に対して、閾値の補正処理を行う。また、処理部22は、ステップS136で、不一致音を全て補正した(ステップS136でYes)と判定したら、処理を終了する。
[0110]
 携帯電子機器1は、以上のようにして、周波数毎に補正パラメータを設定する。携帯電子機器1は、音声信号が入力されたら、出力音補正部34が、設定した補正パラメータに基づいて、音声信号を補正し音声処理部30に出力する。これにより、携帯電子機器1は、ユーザの聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定した補正パラメータによって音声信号を補正することができ、ユーザにより聞こえやすい音声を出力することができる。
[0111]
 さらに、処理部22は、様々な単語、文章の提示音を用いて図23、図24に示すフローを繰り返し実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。
[0112]
 また、処理部22は、図23、図24に示すフローを定期的(例えば、3ヶ月毎、6ヶ月毎等)に実行することで、ユーザの聴力に変化があった場合であっても、ユーザにより聞こえやすい音声を出力することができる。
[0113]
 また、処理部22は、提示音として単語を用い、ユーザに聴こえた単語を入力させ、比較を行うことで、電話による通信や、テレビ放送の視聴時に実際に聞くことになる、言葉を用いて、補正処理を行うことができる。これにより、より適切に補正パラメータを調整することができ、電話による会話や、テレビ放送の視聴をより円滑に行うことができる。
[0114]
 また、処理部22は、本実施形態のように、提示音を、母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することで、より聴こえやすい音声を出力することができる。
[0115]
 また、聴こえた音声を文字として入力できるため、処理部22は、確実、かつ間違えることなく、ユーザの入力を検出することができ、より高い精度で音声の補正を行うことができる。また、携帯電子機器1は、補正パラメータを調整しつつ、本実施形態のように、文字を入力させ、その結果、つまり、一致しているかの結果をディスプレイ2に表示させることで、ユーザに徐々に聴こえやすくなっていることを認知させることができる。これにより、ユーザに高い満足度かつ少ないストレスで、補正パラメータの設定を実施させることができる。また、ユーザにゲーム感覚で補正パラメータの設定を実施させることができる。
[0116]
 また、上記実施形態では、文字入力の入力欄を文字数に対応した数としたが、本発明はこれに限定されない。例えば、単にテキスト入力画面を表示させるようにしてもよい。
[0117]
 また、携帯電子機器1は、提示音の出力方法として種々の出力方法を用いることができる。例えば、予め設定してある音声を用いてもよいし、通話で使用した音声をサンプリングして用いてもよい。また、特定の通話相手に予め用意したテキスト情報を読み上げてもらい、そのテキスト情報と音声情報を取得し、ユーザが音声情報を聞きながら、聴こえた文字情報を入力するようにしても、補正パラメータを設定することができる。なお、提示音として、特定の対象の音声を用いることで、特定の対象の音声をより聞きやすくすることができ、特定の対象との通話をより円滑に行うことができる。
[0118]
 ここで、処理部22は、音声処理部30で実際に出力する周波数に対応して補正パラメータを設定することが好ましく、より好ましくは、電話通信で用いられる周波数に対応して補正パラメータを設定することが好ましい。このように、実際に使用する周波数に対して補正パラメータを設定することで、より携帯電子機器1から出力される音声をより聞きやすい音声にすることができる。ここで、補正パラメータを設定する周波数としては、例えば、CELP(符号励振線形予測符号化)方式、EVRC(可変レート音声コーデック)方式、AMR(適応型マルチレート)方式で用いられる周波数に対して設定することが好ましい。上記2実施形態では、日本語を例として説明したが、英語、ドイツ語、スペイン語、ポルトガル語、中国語、韓国語等の種々の言語の場合も同様である。
[0119]
 なお、上述の実施形態では、補正パラメータの設定処理を、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行っても良い。この場合、携帯電子機器1は、サーバから送信された音声の出力、画像の表示等を行い、ユーザから入力された操作をデータとしてサーバに送信する。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器1にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。
[0120]
 ここで、図25は、携帯電子機器を備える通信システムの概略構成を示す模式図である。図25に示す通信システム(音声制御システム)201は、携帯電子機器1、1a、サーバ202、202aと、通信網203と、データベース204と、を有する。なお、通信システム201を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器1、1aは、1つのサーバ202、202aに対して複数設けられていてもよい。
[0121]
 サーバ202は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器1と通信し、種々の情報を供給する。なお、サーバ202と携帯電子機器1は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ202と携帯電子機器1との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
[0122]
 また、サーバ202、202aは、携帯電子機器1から情報を受信し、その情報に基づいて、通信網203を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ202は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ202aは、集約した情報を加工(処理)して通信装置に供給することもできる。
[0123]
 通信網203は、交換機や、有線・無線の通信回線で構成されている。通信網203は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、通信網203は、サーバ202とサーバ202aとの間での情報通信や、サーバ202、202aとデータベース204との間での情報通信を行う。なお、通信網203は、サーバ202と携帯電子機器1とを接続する通信網と同様の通信網でも、別の通信網でもよい。また、通信網203としてはインターネット通信網を用いることもできる。
[0124]
 データベース204は、記憶装置であり、補正パラメータ情報を解析するための使用者の情報等、携帯電子機器1での処理に必要な種々のデータを記憶している。データベース204は、通信網203を介して、記憶している各種情報をサーバ202またはサーバ202aに供給する。
[0125]
 通信システム201は、以上のようなシステムにおいて、携帯電子機器1が取得した操作者からの入力をサーバ202に送り、サーバ202が必要な情報をデータベース204から取得して解析を行い使用する補正パラメータを決定し、決定した使用補正パラメータを携帯電子機器1に送り、携帯電子機器1で送られた使用補正パラメータを使用するようにしてもよい。これにより、携帯電子機器1は、取得した操作者からの入力をサーバ202に出力し、サーバ202から供給された情報を使用することで、上記と同様の出力音の補正を行うことができる。これにより、携帯電子機器1での処理量、記憶量を低減することができる。また、サーバ202として共通するサーバを用いることで、他の通信機器で通信を行う場合でも、同様の補正処理を行うことができる。
[0126]
 また、サーバで行う処理と、携帯電子機器で行う処理とは、種々の分担とすることができる。例えば、補正パラメータに基づく、出力音の補正処理をサーバで行うようにしてもよい。これにより、携帯電子機器の処理をより低減することができる。なお、サーバで、携帯電子機器1と、他の通信機器との通話動作を中継する場合は、サーバから携帯電子機器に供給する音声を補正することで、この処理を行うことができる。
[0127]
 また、サーバ202に使用者の情報及び補正パラメータを記憶させ、使用者の判定及び補正パラメータの決定を行うことで、一度補正パラメータの設定を行えば、別の電子機器を使用する場合も同じ補正パラメータで補正を行うことができる。これにより、使用者は、サーバ202と通信可能な電子機器を使用した場合は、どの電子機器を使用しても、その使用者が聴こえやすい音声を出力させることができ、電子機器から出力される音声を聞きやすくなる。

産業上の利用可能性

[0128]
 以上のように、本発明に係る携帯電子機器および音声制御システムは、音声を出力するものに有用である。

符号の説明

[0129]
 1 携帯電子機器
 1C 筐体
 2 ディスプレイ
 13 操作部
 13A 操作キー
 13B 方向及び決定キー
 22 処理部
 22a 補正パラメータ設定部
 22b 音声解析部
 22c スペクトル分析部
 22d 提示音生成部
 24 記憶部
 30 音声処理部
 32 表示部
 34 出力音補正部

請求の範囲

[請求項1]
 筐体と、
 前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、
 前記筐体に設けられて、入力を受け付ける入力部と、
 前記音発生部により音を発生させ、発生させた音に対する応答を前記入力部により受け付けたら、前記応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、
 前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、
を備えることを特徴とする携帯電子機器。
[請求項2]
 前記筐体に設けられて、画像を表示する画像表示部を更に備え、
 前記入力部は、操作入力を受け付ける操作部を備え、
 前記処理部は、前記音発生部により発生された音に対して入力されると想定される応答を前記画像表示部に一覧表示させ、前記操作部が操作され一覧表示させた応答の中から応答が選択されたら、選択された応答に対応して前記補正パラメータを設定することを特徴とする請求項1に記載の携帯電子機器。
[請求項3]
 前記入力部は、音声入力を受け付ける音声入力部を備え、
 前記処理部は、前記音声入力部に入力された応答の音声を解析し、解析した内容に基づいて、前記応答に対応して前記補正パラメータを設定することを特徴とする請求項1に記載の携帯電子機器。
[請求項4]
 前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることを特徴とする請求項1から3のいずれか1項に記載の携帯電子機器。
[請求項5]
 前記処理部は、不快閾値より小さい音及び可聴閾値より大きい音のいずれか一方又は双方を前記音発生部により発生させることを特徴とする請求項1から4のいずれか1項に記載の携帯電子機器。
[請求項6]
 外部機器と通信する送受信部及び前記送受信部で受信した通話の受話音声を解析する解析部を備え、
 前記処理部は、受話音声に対する応答を検出したら、前記解析部の解析結果及び検出した応答に対応して前記補正パラメータを設定することを特徴とする請求項1から5のいずれか1項に記載の携帯電子機器。
[請求項7]
 前記処理部は、通話中に受話音声を調整する入力を検出したら、当該受話音声を調整する入力があったことを記憶するとともに、前記受話音声を調整する入力に対応して前記補正パラメータを設定することを特徴とする請求項6に記載の携帯電子機器。
[請求項8]
 前記解析部は、通話の受話音声をスペクトル分析し、前記処理部は、スペクトル分析の結果に基づいて、応答の選択肢を提示し、提示した選択肢から選択された応答を入力された応答とすることを特徴とする請求項6または7に記載の携帯電子機器。
[請求項9]
 前記処理部は、前記入力部で受け付けた応答の入力があったことを記憶し、ユーザからの指示に応じて前記応答の入力の内容をユーザに提示することを特徴とする請求項1から8のいずれか1項に記載の携帯電子機器。
[請求項10]
 前記筐体に設けられて、画像を表示する画像表示部を更に備え、
 前記入力部は、前記筐体に設けられて、操作入力を受け付ける操作部であり、
 前記処理部は、前記音発生部から出力された出力音声と、前記操作部から入力された入力文字とを比較し、出力音声と入力文字とで一致しない音に対応する周波数毎の補正パラメータを設定することを特徴とする請求項1に記載の携帯電子機器。
[請求項11]
 前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることを特徴とする請求項10に記載の携帯電子機器。
[請求項12]
 前記処理部は、出力音声と入力文字とで一致しない音が、可聴閾値よりも不快閾値に近い出力である場合は、該当する音の波長域の不快閾値の値を低下させ、出力音声と入力文字とで一致しない音が、不快閾値よりも可聴閾値に近い出力である場合は、該当する音の波長域の前記可聴閾値を上昇させることを特徴とする請求項11に記載の携帯電子機器。
[請求項13]
 前記処理部は、前記出力音声として、不快閾値より小さい音及び可聴閾値より大きい音の少なくとも一方を前記音発生部により発生させることを特徴とする請求項11または12に記載の携帯電子機器。
[請求項14]
 前記処理部は、音声を、母音、有声子音、無声子音に分けて、判定することを特徴とする請求項10から13のいずれか1項に記載の携帯電子機器。
[請求項15]
 音声信号に基づいて音を発生する音発生部と、
 入力を受け付ける入力部と、
 前記音発生部により音を発生させ、発生させた音に対する応答を前記入力部により受け付けたら、前記応答に基づいて、音声周波数毎に音の大きさを調整する補正パラメータを設定する処理部と、
 前記補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、
 前記補正部と他の各部との間にて、有線あるいは無線にて、信号を送信或いは受信するための信号回路網と、を有し、
 前記音発生部および前記入力部は、使用者が携帯可能な筐体に設けられることを特徴とする音声制御システム。
[請求項16]
 前記補正部および前記処理部の一方あるいは双方を、サーバに設けることを特徴とする請求項15に記載の音声制御システム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11-1]

[ 図 11-2]

[ 図 11-3]

[ 図 11-4]

[ 図 12-1]

[ 図 12-2]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16-1]

[ 図 16-2]

[ 図 16-3]

[ 図 16-4]

[ 図 17]

[ 図 18]

[ 図 19-1]

[ 図 19-2]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]