Parte del contenido de esta aplicación no está disponible en este momento.
Si esta situación persiste, contáctenos aComentarios y contacto
1. (WO2019044664) SOUND SIGNAL PROCESSING DEVICE
Document

明 細 書

発明の名称 音声信号処理装置

技術分野

0001  

背景技術

0002  

発明の概要

0003   0004   0005   0006  

図面の簡単な説明

0007  

発明を実施するための形態

0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028  

符号の説明

0029  

請求の範囲

1   2   3   4  

図面

1   2  

明 細 書

発明の名称 : 音声信号処理装置

技術分野

[0001]
 本発明は、マイクロホンによって集音された音声信号を処理する音声信号処理装置に関する。

背景技術

[0002]
 音声を再生するスピーカー、及び音声を集音するマイクロホンの双方を備える電子機器が知られている。このような電子機器においては、スピーカーから再生される音声をマイクロホンが集音してしまうことによって音響エコーが生じることがある。そのため、マイクロホンによって得られる音声信号に対してエコー除去処理を行う場合がある。エコー除去処理は、スピーカーに入力する音声信号データを用いて、マイクロホンが出力する音声信号からエコーによる音声信号を除去する処理である。

発明の概要

[0003]
 以上説明したようなエコー除去処理を行う場合、スピーカーに入力する音声信号、及びマイクロホンから得られる音声信号が同じサンプリング周波数の信号である必要がある。そのため、従来の電子機器は、双方の音声信号のサンプリング周波数が一致するように設計されている。しかしながら、特にマイクロホンによって集音された音声信号を無線通信によって他の機器に送信する場合などにおいては、音声信号のサンプリング周波数を高くすることが望ましくない場合がある。
[0004]
 本発明は上記実情を考慮してなされたものであって、その目的の一つは、マイクロホンによって得られる音声信号のサンプリング周波数を比較的低く抑えながら、エコー除去処理を行うことのできる音声信号処理装置を提供することにある。
[0005]
 本発明に係る音声信号処理装置は、マイクロホンによって集音された音声を、第1のサンプリング周波数でサンプリングした集音音声信号を取得する取得部と、再生用の音声を、第1のサンプリング周波数とは異なる第2のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第1のサンプリング周波数に変換する周波数変換部と、前記周波数変換部によってサンプリング周波数が変換された再生音声信号を用いて、前記取得部が取得した集音音声信号から音響エコーを除去するエコー除去部と、を含むことを特徴とする。
[0006]
 本発明に係る音声信号処理方法は、マイクロホンによって集音された音声を、第1のサンプリング周波数でサンプリングした集音音声信号を取得するステップと、再生用の音声を、第1のサンプリング周波数とは異なる第2のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第1のサンプリング周波数に変換するステップと、前記サンプリング周波数が変換された再生音声信号を用いて、前記取得した集音音声信号から音響エコーを除去するステップと、を含むことを特徴とする。

図面の簡単な説明

[0007]
[図1] 本発明の実施の形態に係る音声信号処理装置を含むシステムの全体構成図である。
[図2] 本発明の実施の形態に係る音声信号処理装置の回路構成図である。

発明を実施するための形態

[0008]
 以下、本発明の実施の形態について、図面に基づき詳細に説明する。
[0009]
 図1は、本発明の一実施形態に係る音声信号処理装置1を含む情報処理システムの全体構成図である。本実施形態では、音声信号処理装置1は家庭用ゲーム機のコントローラであることとし、ホスト装置2(ここでは家庭用ゲーム機本体)と無線により通信接続されている。具体的に、音声信号処理装置1とホスト装置2とは、Bluetooth(登録商標)規格の無線通信によってデータを送受信することとする。
[0010]
 音声信号処理装置1は、信号処理回路11、スピーカー12、ヘッドホン端子13、及びマイクロホン14を含んで構成されている。信号処理回路11は、ホスト装置2から受信した音声信号に基づいて、ヘッドホン端子13に接続されたヘッドホン、及びスピーカー12のいずれかから音声を鳴動させる。また、音声信号処理装置1は、マイクロホン14が集音して得られる音声信号を、ホスト装置2に送信する。本実施形態では、スピーカー12は音声をモノラルで再生することとし、ヘッドホン端子13にはモノラル再生対応のヘッドホン、及びステレオ再生対応のヘッドホンの双方が接続可能であることとする。また、マイクロホン14は2個のマイクロホン素子14a及び14bから構成されるマイクロホンアレイであることとする。
[0011]
 以下では、スピーカー12、又はヘッドホンから再生させるためにホスト装置2から音声信号処理装置1に送信される音声信号を、再生音声信号という。これに対して、マイクロホン14が集音して得られる音声信号を、集音音声信号という。また、再生音声信号のサンプリング周波数をfs、集音音声信号のサンプリング周波数をfmと表記する。本実施形態ではfsとfmは互いに異なる値であって、fs>fmであるものとする。例えば再生音声信号のサンプリング周波数fsは48kHz、集音音声信号のサンプリング周波数fmは24kHzであってよい。集音音声信号のサンプリング周波数fmを小さな値にしているのは、再生用の音声信号と比較してそれほど高い音質が要求されず、ホスト装置2に送信する際に必要な通信帯域を低く抑えることができるからである。
[0012]
 本実施形態において、信号処理回路11は、エコー除去処理を含む各種の音声信号処理を実行する。以下、音声信号処理装置1の回路構成について、図2を用いて説明する。図2では、サンプリング周波数fsのデジタル音声信号が送信される伝送路を二重線(2本の実線)で、サンプリング周波数fmのデジタル音声信号が送信される伝送路を1本の実線で、それぞれ示している。また、アナログの音声信号が送信される伝送路は破線で示されている。
[0013]
 図2に示すように、信号処理回路11は、2個の信号入力部21a及び21b、スピーカー音質調整部22、セレクター23、2個のD/Aコンバータ24a及び24b、3個のアンプ(増幅器)25a、25b、及び25c、2個のA/Dコンバータ26a及び26b、ビームフォーミング処理部27、エコー除去部28、サンプリング周波数変換部29、ノイズ除去部30、並びに信号出力部31を含んで構成されている。スピーカー音質調整部22、ビームフォーミング処理部27、エコー除去部28、サンプリング周波数変換部29、及びノイズ除去部30の機能は、デジタルシグナルプロセッサ等の単一のプロセッサによって全て実現されてもよいし、複数のプロセッサによって実現されてもよい。
[0014]
 まず、音声信号処理装置1がヘッドホン、又はスピーカー12から音声を再生するための信号処理の内容について、説明する。ホスト装置2は、再生音声信号として、ステレオ(2チャンネル)のデジタルデータを音声信号処理装置1に対して送信する。これらのうち、L(左)チャンネルのデータは信号入力部21aに、R(右)チャンネルのデータは信号入力部21bに、それぞれ入力される。
[0015]
 信号入力部21aに入力されたLチャンネルの再生音声信号は、そのままD/Aコンバータ24aに入力される。一方、信号入力部21bに入力されたRチャンネルの再生音声信号は、セレクター23、及びスピーカー音質調整部22に入力される。スピーカー音質調整部22は、ヘッドホン端子13にヘッドホンが接続されていない場合(すなわち、音声をスピーカー12から再生する場合)に、スピーカー12から再生される音声の音質を向上させるための処理を実行する。具体的にスピーカー音質調整部22は、再生音声信号に対して所定のイコライザー処理やコンプレッサー処理等を実行する。スピーカー音質調整部22によって調整された再生音声信号は、セレクター23、及び後述するサンプリング周波数変換部29のそれぞれに入力される。
[0016]
 セレクター23は、D/Aコンバータ24bに供給する再生音声信号を選択する。具体的に、ヘッドホン端子13にヘッドホンが接続されている場合、セレクター23は信号入力部21bに入力されたRチャンネルの再生音声信号を、そのままD/Aコンバータ24bに入力する。一方、ヘッドホン端子13にヘッドホンが接続されていない場合、セレクター23はスピーカー音質調整部22によってスピーカー12による再生用に調整された再生音声信号を、D/Aコンバータ24bに入力する。
[0017]
 D/Aコンバータ24a及び24bは、それぞれ入力されたデジタルの再生音声信号をアナログ信号に変換し、対応するアンプに供給する。具体的に、D/Aコンバータ24aから出力されるアナログ音声信号は、アンプ25aによって増幅されてヘッドホン端子13に接続されたヘッドホンから再生される。また、D/Aコンバータ24bから出力されるアナログ音声信号は、ヘッドホン端子13にヘッドホンが接続されている場合、アンプ25bによって増幅されてヘッドホンから再生される。ヘッドホン端子13にヘッドホンが接続されていない場合には、D/Aコンバータ24bから出力されるアナログ音声信号は、アンプ25cによって増幅されてスピーカー12から再生される。
[0018]
 なお、ヘッドホン端子13に接続されているのがモノラル再生対応のヘッドホンの場合、Lチャンネルの再生音声信号をこのヘッドホンから再生し、同時にRチャンネルの再生音声信号をスピーカー12から再生してもよい。この場合、ヘッドホン端子13にヘッドホンが接続されていても、セレクター23はスピーカー音質調整部22によって調整された再生音声信号を入力として選択する。
[0019]
 まとめると、信号入力部21aに入力された再生音声信号は、常にD/Aコンバータ24a、アンプ25aを経由してヘッドホン端子13に接続されたヘッドホンから再生される。一方、信号入力部21bに入力された再生音声信号は、以下の2通りの経路のいずれかに沿って処理される。すなわち、ヘッドホン端子13にステレオ再生対応のヘッドホンが接続されている場合、信号入力部21bに入力された再生音声信号は、セレクター23、D/Aコンバータ24b、及びアンプ25bを経由してヘッドホンから再生される。これに対して、スピーカー12から音声を再生する場合、信号入力部21bに入力された再生音声信号は、スピーカー音質調整部22、セレクター23、D/Aコンバータ24b、及びアンプ25cを経由してスピーカーから再生される。
[0020]
 以上説明した信号入力部21a、及び21bからD/Aコンバータ24a、及び24bまでの経路において処理される再生音声信号は、前述したように、サンプリング周波数fsのデジタル音声データである。サンプリング周波数変換部29に対しても、サンプリング周波数fsのデジタル音声データが入力される。
[0021]
 次に、マイクロホン14によって集音された集音音声信号の処理について、説明する。マイクロホン素子14a及び14bのそれぞれが出力するアナログの集音音声信号は、A/Dコンバータ26a及び26bによってデジタルデータに変換される。ここで前述したように、A/Dコンバータ26a及び26bは、集音音声信号をサンプリング周波数fmのデジタル音声データに変換する。ビームフォーミング処理部27は、A/Dコンバータ26a及び26bのそれぞれが出力する集音音声信号のデータに基づいて、指向性を持った集音音声信号のデータを生成する。以降の処理では、このビームフォーミング処理部27によって生成された集音音声信号のデータが、マイクロホン14によって集音された音声のデータとして使用される。つまり、A/Dコンバータ26a及び26b、並びにビームフォーミング処理部27が、マイクロホン14によって集音された音声をサンプリング周波数fmでサンプリングした集音音声信号を取得する取得部として機能する。
[0022]
 さらに、ビームフォーミング処理部27によって生成された集音音声信号のデータに対して、エコー除去部28がエコー除去処理を実行する。これは、スピーカー12から再生される音声をマイクロホン14が集音することによって生じる音響エコーを、集音音声信号から除去する処理である。このエコー除去処理を行うためには、スピーカー12から再生される音声の内容を示す再生音声信号を、集音音声信号と同じサンプリング周波数で取得する必要がある。そこで本実施形態では、サンプリング周波数変換部29が、スピーカー音質調整部22が出力するサンプリング周波数fsの再生音声信号を、サンプリング周波数fmのデジタル音声信号に変換して、エコー除去部28に供給する。具体的にサンプリング周波数変換部29は、再生音声信号のデジタルデータに対して、ダウンサンプリング処理を実行する。これにより、サンプリング周波数fmの再生音声信号が得られる。エコー除去部28は、このサンプリング周波数fmの再生音声信号を利用して、サンプリング周波数fmの集音音声信号に対するエコー除去処理を実行する。
[0023]
 なお、エコー除去部28がエコー除去処理を実行するのは、スピーカー12から音声が再生されている場合だけでよく、D/Aコンバータ24bから出力される再生音声信号がヘッドホンから再生されている場合には、エコー除去処理を実行する必要はない。スピーカー12から音声が再生される場合、その音声は必ずスピーカー音質調整部22による調整がされたものになる。そのため、サンプリング周波数変換部29は、スピーカー音質調整部22が調整処理を実行している間だけ、その調整後の音声信号を入力としてサンプリング周波数の変換処理を実行すればよい。
[0024]
 ノイズ除去部30は、エコー除去部28が出力するエコー除去後の集音音声信号に対して、雑音等を除去するノイズ除去処理を実行する。そして、ノイズ除去処理の結果として得られる集音音声信号のデータを、信号出力部31に出力する。信号出力部31は、ノイズ除去部30が出力する集音音声信号のデータを、ホスト装置2に送信する。送信される集音音声信号のデータのサンプリング周波数はfmなので、サンプリング周波数fsの音声信号データと比較して、送信時に必要な通信帯域を低く抑えることができる。
[0025]
 以上説明した本発明の実施の形態に係る音声信号処理装置1によれば、再生音声信号と集音音声信号を互いに異なるサンプリング周波数で処理しつつ、再生音声信号を用いた集音音声信号に対するエコー除去処理を実現できる。そのため、集音音声信号のサンプリング周波数を再生音声信号のサンプリング周波数よりも低く抑えることができる。集音音声信号のサンプリング周波数を低くすることで、ホスト装置2への送信時に必要な通信帯域を抑えたり、エコー除去部28やノイズ除去部30などが実行する処理の対象となる集音音声信号のデータ量を減らしたりすることができる。
[0026]
 なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では音声信号処理装置1は家庭用ゲーム機のコントローラであることとしたが、これに限らず、スピーカー、及びマイクロホンを同一筐体内に有する電子機器や、スピーカー及びマイクロホンを互いに近い位置で接続可能な電子機器など、各種の機器であってよい。また、音声信号処理装置1は、ゲーム機本体に限らず、各種のホスト装置2との間で音声信号を送受信してもよい。
[0027]
 また、以上説明した回路構成図は一例に過ぎず、信号処理の流れは以上説明したものとは異なってもよい。例えばエコー除去部28は、単一のマイクロホン素子によって集音された集音音声信号に対して、エコー除去処理を実行してもよい。また、複数のマイクロホン素子によって得られる複数の集音音声信号のそれぞれに対して、エコー除去処理を実行してもよい。また、スピーカー音質調整部22が存在しない場合、サンプリング周波数変換部29は、外部の通信機器から受信される再生音声信号をそのままダウンサンプリング処理の処理対象としてもよい。
[0028]
 また、以上の説明ではスピーカーはモノラル音声を再生することとし、サンプリング周波数変換部29はスピーカーでの再生に用いられる一方のチャンネルの再生音声信号のみを周波数変換処理の対象とすることとした。しかしながら、スピーカー12は、ステレオ再生などに対応し、複数チャンネルの音声を同時に再生する場合もある。このような場合には、サンプリング周波数変換部29は、スピーカー12から再生される複数チャンネルの再生音声信号を合成してから、そのサンプリング周波数をfmに変換することとすればよい。こうすれば、エコー除去部28は、1チャンネルの場合と同様にして、サンプリング周波数変換部29が出力する再生音声信号を用いたエコー除去処理を実行できる。

符号の説明

[0029]
 1 音声信号処理装置、2 ホスト装置、11 制御回路、12 スピーカー、13 ヘッドホン端子、14 マイクロホン、14a,14b マイクロホン素子、21a,21b 信号入力部、22 スピーカー音質調整部、23 セレクター、24a,24b D/Aコンバータ、25a,25b,25c アンプ、26a,26b A/Dコンバータ、27 ビームフォーミング処理部、28 エコー除去部、29 サンプリング周波数変換部、30 ノイズ除去部、31 信号出力部。

請求の範囲

[請求項1]
 マイクロホンによって集音された音声を、第1のサンプリング周波数でサンプリングした集音音声信号を取得する取得部と、
 再生用の音声を、第1のサンプリング周波数とは異なる第2のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第1のサンプリング周波数に変換する周波数変換部と、
 前記周波数変換部によってサンプリング周波数が変換された再生音声信号を用いて、前記取得部が取得した集音音声信号から音響エコーを除去するエコー除去部と、
 を含むことを特徴とする音声信号処理装置。
[請求項2]
 請求項1に記載の音声信号処理装置において、
 複数チャンネルの再生音声信号を入力として受け付ける受付部をさらに含み、
 前記周波数変換部は、前記複数チャンネルの再生音声信号のうち、スピーカーでの再生に用いられるいずれか一つの再生音声信号のみを受け入れて、サンプリング周波数の変換を行う
 ことを特徴とする音声信号処理装置。
[請求項3]
 請求項1又は2に記載の音声信号処理装置において、
 前記エコー除去部によって音響エコーを除去した集音音声信号を、外部のホスト装置に対して送信する出力部をさらに含む
 ことを特徴とする音声信号処理装置。
[請求項4]
 マイクロホンによって集音された音声を、第1のサンプリング周波数でサンプリングした集音音声信号を取得するステップと、
 再生用の音声を、第1のサンプリング周波数とは異なる第2のサンプリング周波数でサンプリングした再生音声信号を受け入れて、当該再生音声信号のサンプリング周波数を第1のサンプリング周波数に変換するステップと、
 前記サンプリング周波数が変換された再生音声信号を用いて、前記取得した集音音声信号から音響エコーを除去するステップと、
 を含むことを特徴とする音声信号処理方法。

図面

[ 図 1]

[ 図 2]