Processing

Please wait...

Settings

Settings

Goto Application

1. WO2011004744 - ACOUSTIC SIGNAL PROCESSING DEVICE, PROCESSING METHOD THEREOF, AND PROGRAM

Document

明 細 書

発明の名称 音響信号処理装置、その処理方法およびプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008   0009  

発明の効果

0010  

図面の簡単な説明

0011  

発明を実施するための形態

0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198  

符号の説明

0199  

請求の範囲

1   2   3   4   5   6   7   8   9  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19  

明 細 書

発明の名称 : 音響信号処理装置、その処理方法およびプログラム

技術分野

[0001]
 本発明は、音響信号処理装置に関し、特に音響信号に含まれる音声成分を抑制する音響信号処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

背景技術

[0002]
 従来、ボーカルが中央に定位するステレオ信号に基づいて、そのステレオ信号に含まれるボーカルの音声成分を抑制するステレオ信号処理装置が数多く考案されている。例えば、左チャンネル信号から右チャンネル信号を減算することによって、両チャンネルにそれぞれ含まれる同位相、同レベルのボーカル信号を除去するボーカル信号除去装置が提案されている(例えば、特許文献1参照。)。

先行技術文献

特許文献

[0003]
特許文献1 : 特開昭63-50198号公報(図1)

発明の概要

発明が解決しようとする課題

[0004]
 上述の従来技術では、左チャンネル信号から右チャンネル信号を減算することによって、ステレオ信号に含まれるボーカル信号である音声成分が除去された音楽信号を得ることができる。しかしながら、符号化によって圧縮されたステレオ信号を復号した圧縮信号に基づいて、その左および右チャンネルの圧縮信号の差分信号である音楽信号を生成すると、聴覚上のノイズが生じる場合がある。これは、ステレオ信号に対する符号化処理によって、左および右チャンネルの圧縮信号における同一周波数帯域のスペクトルレベルが互いに等しくなることに起因する。
[0005]
 本発明はこのような状況に鑑みてなされたものであり、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することを目的とする。

課題を解決するための手段

[0006]
 本発明は、上記課題を解決するためになされたものであり、その第1の側面は、複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、上記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、上記差分スペクトルを置き換えるための置換スペクトルを上記2チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、上記差分スペクトル算出部により算出された差分スペクトルのうち上記低レベル帯域に対応する上記差分スペクトルを上記置換スペクトルに置き換えるスペクトル置換部と、上記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部とを具備する音響信号処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、2チャンネルの音響信号における周波数スペクトルに基づいて置換スペクトルを生成し、差分スペクトルの包絡線におけるレベル低下が急峻である低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えさせるという作用をもたらす。
[0007]
 また、この第1の側面において、上記置換スペクトル生成部は、上記2チャンネルの音響信号における少なくとも一方の周波数スペクトルと上記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、2チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルにレベル調整係数を乗算したレベルを置換スペクトルのレベルとして生成させるという作用をもたらす。この場合において、上記置換スペクトル生成部は、音声帯域以外の帯域に対応する上記レベル調整係数に比べて小さい上記音声帯域の上記レベル調整係数と上記少なくとも一方の周波数スペクトルのレベルとに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に比べて、音声帯域の置換スペクトルのレベルの低下度合いを大きくさせるという作用をもたらす。
[0008]
 また、この第1の側面において、上記2チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および上記音声帯域に対応する上記周波数スペクトルのレベル比に基づいて上記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、置換スペクトル生成部は、上記少なくとも一方の周波数スペクトルと上記音声係数設定部により設定された音声係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて設定された音声帯域に対応する音声係数を用いて置換スペクトルを生成させるという作用をもたらす。この場合において、上記音声係数設定部は、上記音声帯域以外の帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を大きく設定し、上記音声帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を小さく設定するようにしてもよい。これにより、音声係数設定部により、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定させるという作用をもたらす。
[0009]
 また、この第1の側面において、上記低レベル帯域判定部は、上記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と上記差分スペクトルの各々のレベルとに基づいて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル判定部により、差分スペクトルの各々のレベルが低レベル閾値未満である場合には、低レベル閾値未満の差分スペクトルに対応する周波数帯域を低レベル帯域と判定させるという作用をもたらす。この場合において、上記低レベル帯域判定部は、上記2チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した上記低レベル閾値と上記差分スペクトルのレベルとを用いて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル帯域判定部により、2チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて低レベル閾値を設定させるという作用をもたらす。

発明の効果

[0010]
 本発明によれば、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することができるという優れた効果を奏し得る。

図面の簡単な説明

[0011]
[図1] 本発明の第1の実施の形態における音楽再生装置の一構成例を示すブロック図である。
[図2] 従来の音響信号符号化装置の一構成を示すブロック図である。
[図3] 正規化部721および722により分割される周波数スペクトルに関する一例を示す概念図である。
[図4] 本発明の第1の実施の形態における音響信号復号処理部200の一構成例を示すブロック図である。
[図5] 本発明の第1の実施の形態における音声成分除去部300の一構成例を示すブロック図である。
[図6] 左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。
[図7] 音響信号符号化装置700における量子化部731および732による量子化に起因して生じる低レベル帯域に関する図である。
[図8] 音響信号符号化装置700における共有帯域符号化部800による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。
[図9] 本発明の第1の実施の形態における差分スペクトル算出部320により算出された差分スペクトルに基づく分割帯域B[i]の一例を示す概念図である。
[図10] 本発明の第1の実施の形態における音声成分除去部300により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
[図11] 本発明の第1の実施の形態におけるレベル調整係数保持部340に保持されたレベル調整係数の周波数特性341の一例を示す図である。
[図12] 本発明の第1の実施の形態における低レベル帯域判定部330による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。
[図13] 本発明の第1の実施の形態における音声成分除去部300による伴奏信号生成手法の処理手順例を示すフローチャートである。
[図14] 本発明の第1の実施の形態における低レベル帯域判定部330による低レベル帯域判定処理(ステップS930)の処理手順例を示すフローチャートである。
[図15] 本発明の第1の実施の形態におけるスペクトル置換部360によるスペクトル置換処理(ステップS940)の処理手順例を示すフローチャートである。
[図16] 本発明の第2の実施の形態における音声成分除去部300の一構成例を示す図である。
[図17] 本発明の第2の実施の形態における音声係数設定部651による音声係数の設定手法に関する一例を示す図である。
[図18] 本発明の第2の実施の形態における音声成分除去部300におけるスペクトル置換処理(ステップS950)の処理手順例を示すフローチャートである。
[図19] 本発明の第3の実施の形態における音声成分除去部300の一構成例を示すブロック図である。

発明を実施するための形態

[0012]
 以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
 1.第1の実施の形態(伴奏信号生成手法:左チャンネルの周波数成分に基づいて置換スペクトルを生成する例)
 2.第2の実施の形態(伴奏信号生成手法:置換スペクトルのレベル調整の音声係数を左チャンネルの周波数成分に基づいて設定する例)
 3.第3の実施の形態(伴奏信号生成手法:右および左チャンネルの周波数成分に基づいて置換スペクトルを生成する例)
[0013]
 <1.第1の実施の形態>
 [音楽再生装置の構成例]
 図1は、本発明の第1の実施の形態における音楽再生装置の一構成例を示すブロック図である。音楽再生装置100は、操作受付部110と、制御部120と、表示部130と、音響データ記憶部140と、音響データ入力部150と、アナログ変換部160と、アンプ170と、スピーカ180とを備える。なお、音楽再生装置100は、請求の範囲に記載の音響信号処理装置の一例である。
[0014]
 操作受付部110は、音楽再生装置100を使用するユーザの操作に基づく各種設定を受け付けるものである。この操作受付部110は、例えば、音響データ記憶部140に記憶された複数の音響データのうちいずれか1つの音響データを再生するための設定を受け付ける。また、この操作受付部110は、音響データ記憶部140に記憶された音響データを再生する際に、その音響データに含まれる音声成分を低減して、伴奏信号としてスピーカ180から出力するカラオケ機能の設定を受け付ける。また、操作受付部110は、その受け付けた設定に基づいて設定信号を生成して制御部120に供給する。
[0015]
 制御部120は、操作受付部110から供給された設定信号に基づいて、表示部130、音響データ記憶部140、アナログ変換部160、音響信号復号処理部200および音声成分除去部300を制御するものである。この制御部120は、操作受付部110からの転送に関する設定信号に基づいて、音響データ入力部150から入力された音響データを、音響データ記憶部140に記憶させる。
[0016]
 この制御部120は、例えば、PCM(Pulse Code Modulation:パスル符号変調)符号により生成されたデジタル信号である音響信号を、音響データとして音響データ記憶部140に記憶する。また、この制御部120は、例えば、音響信号が符号化された音響符号化データを、音響データとして音響データ記憶部140に記憶する。
[0017]
 また、制御部120は、操作受付部110からの再生に関する設定信号に基づいて、音響データ記憶部140に記憶された音響データのうちいずれか1つの音響符号化データを、音響信号復号処理部200に供給する。また、制御部120は、操作受付部110からの再生に関する設定信号に基づいて、音響データ入力部150からの音響符号化データを音響信号復号処理部200に供給する。
[0018]
 また、制御部120は、音響信号復号処理部200により復号された音響信号または音響データ記憶部140からの音響信号を、デジタル信号としてアナログ変換部160に供給する。また、制御部120は、操作受付部110からのカラオケ機能に関する設定信号に基づいて、音響データ記憶部140からの音響信号を音声成分除去部300に供給する。また、制御部120は、操作受付部110からのカラオケ機能に関する設定信号に基づいて、音声成分除去部300によって音響信号に含まれる音声成分が除去された伴奏信号をアナログ変換部160に供給する。
[0019]
 また、制御部120は、操作受付部110からの設定信号に基づいて、音楽再生装置100に関する各種情報を表示部130に表示させる。この制御部120は、例えば、音響データ記憶部140に記憶された音響データに関する情報を表示部130に表示させる。この制御部120は、例えば、音響データの再生状況やカラオケ機能などの設定状況などを表示部130に表示させる。
[0020]
 表示部130は、制御部120からの音楽再生装置100に関する各種情報を表示するものである。この表示部130は、例えば、LCD(Liquid Crystal Display)により実現することができる。
[0021]
 音響データ記憶部140は、制御部120から供給される音響データを記憶するものである。この音響データ記憶部140は、音響データ入力部150からの音響符号化データおよび音響信号を音響データとして記憶する。さらに、この音響データ記憶部140は、音響信号復号処理部200からの音響信号を記憶する。また、音響データ記憶部140は、その記憶された音響データを制御部120に出力する。
[0022]
 音響データ入力部150は、外部装置から入力された音響データを制御部120に供給するものである。この音響データ入力部150は、例えば、外部装置からの音響符号化データまたは音響信号を制御部120に供給する。
[0023]
 アナログ変換部160は、制御部120から供給される音響信号であるデジタル信号をアナログ信号に変換するものである。このアナログ変換部160は、音響信号であるデジタル信号に基づいてアナログ信号である電気信号を生成する。また、アナログ変換部160は、その生成された電気信号をアンプ170に供給する。
[0024]
 アンプ170は、アナログ変換部160から供給されたアナログ信号の振幅を増幅するものである。このアンプ170は、その増幅したアナログ信号をスピーカ180に供給する。スピーカ180は、アンプ170から供給されたアナログ信号を音波に変換して出力するものである。
[0025]
 音響信号復号処理部200は、制御部120からの音響符号化データを復号するものである。この音響信号復号処理部200は、その復号された音響符号化データを音響信号として制御部120または信号線290を介して音声成分除去部300に供給する。
[0026]
 音声成分除去部300は、音響信号復号処理部200または音響データ記憶部140からの音響信号に含まれる音声成分および伴奏成分のうち、音声成分を除去することによって、伴奏成分からなる伴奏信号を生成するものである。この音声成分除去部300は、その生成された伴奏信号を、制御部120を介してアナログ変換部160に供給する。
[0027]
 このように、音楽再生装置100は、音声成分除去部300を設けることによって、音響データ記憶部140または音響データ入力部150からの音響信号に基づいて、その音響信号に含まれる音声成分が抑制された伴奏信号を生成することができる。ここで、音響データ記憶部140または音響データ入力部150から供給される音響データを生成する音響信号符号化装置の一例について以下に図面を参照して説明する。
[0028]
 [音響信号符号化装置の構成例]
 図2は、従来の音響信号符号化装置の一構成を示すブロック図である。ここでは一例として、インテンシティ法による符号化処理を行う音響信号符号化装置700について説明する。この音響信号符号化装置700は、入力線701および702を介して入力された2チャンネルの音響信号を符号化して、その符号化された音響信号を音響符号化データとして出力線759を介して出力するものである。
[0029]
 この音響信号符号化装置700は、周波数スペクトル生成部711および712と、正規化部721および722と、量子化部731および732と、符号化部741および742と、多重化部750と、共有帯域符号化部800とを備える。また、共有帯域符号化部800は、共有帯域選択部810と、量子化部830と、符号化部840とを備える。
[0030]
 周波数スペクトル生成部711および712は、右および左チャンネルの入力線701および702から入力された各チャンネルの音響信号を周波数領域に変換することによって、周波数スペクトルを生成するものである。すなわち、周波数スペクトル生成部711および712は、各チャンネルの音響信号である時間領域信号を周波数成分に変換する。
[0031]
 具体的には、この周波数スペクトル生成部711および712は、一定の時間間隔によりサンプリングされた離散時間信号である音響信号を一定のサンプリング数単位により抽出して、その抽出された時間領域信号をフレームとして生成する。そして、周波数スペクトル生成部711および712は、その生成されたフレームを周波数領域に変換することによって周波数スペクトルを生成する。
[0032]
 この周波数スペクトル生成部711および712は、例えば、各チャンネルの音響信号に対して、高速フーリエ変換(FFT:Fast Fourier Transform)を行うことによって算出されたフーリエ係数を、周波数スペクトルとして生成する。あるいは、この周波数スペクトル生成部711および712は、修正離散余弦変換(MDCT:Modified Discrete Cosine Transform)により算出されたMDCT係数を、周波数スペクトルとして生成する。また、周波数スペクトル生成部711および712は、その生成された各周波数成分を示す周波数スペクトルを正規化部721および722に供給する。
[0033]
 正規化部721および722は、周波数スペクトル生成部711および712から供給された各周波数スペクトルのレベルに基づいて正規化を行うものである。この正規化部721および722は、周波数スペクトル生成部711および712からの周波数スペクトルを所定の周波数帯域ごとに分割する。
[0034]
 また、正規化部721および722は、その分割された分割帯域(スケールファクタバンド)ごとに、その分割帯域における各周波数スペクトルの最大レベルに基づいて正規化基準値(スケールファクタ)を生成する。そして、この正規化部721および722は、分割帯域に対応する各周波数スペクトルの振幅レベルに基づくパワー値を、その分割帯域の正規化基準値に基づいて正規化する。すなわち、正規化部721および722は、分割帯域ごとに各周波数スペクトルのレベルであるパワー値を正規化することによって、分割帯域ごとの正規化成分を生成する。
[0035]
 また、正規化部721および722は、信号線726および728を介して、その正規化されたパワー値である正規化値を、量子化部731、量子化部732および共有帯域選択部810に供給する。これとともに、正規化部721および722は、信号線727および729を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の正規化基準値を多重化部750に供給する。
[0036]
 量子化部731および732は、正規化部721および722から供給された正規化値を分割帯域ごとに量子化するものである。この量子化部731および732は、分割帯域ごとに設定される量子化ステップ数により、正規化されたパワー値を量子化する。この量子化部731および732は、例えば、正規化されたパワー値(0乃至1)を一定の量子化ステップ幅により離散値に変換する。すなわち、量子化部731および732は、分割帯域ごとに正規化値を量子化することによって、分割帯域ごとの量子化成分を生成する。
[0037]
 また、量子化部731および732は、信号線736および738を介して、その量子化されたパワー値である量子化値を符号化部741および742に供給する。これとともに、量子化部731および732は、信号線737および739を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の量子化ステップ数を多重化部750に供給する。
[0038]
 符号化部741および742は、符号化テーブルを参照して、量子化部731および732からの量子化値を分割帯域ごとに符号化するものである。この符号化部741および742は、例えば、符号化テーブルとして固定長または可変長のコードブックを参照して、量子化値に基づいて所定のビット長を有する符号に変換する。このように、参照される符号化テーブルに基づいて量子化値を符号化することによって、量子化値の情報量を圧縮することができる。
[0039]
 また、符号化部741および742は、信号線746および748を介して、符号化された量子化値を符号化データとして多重化部750に供給する。これとともに、符号化部741および742は、信号線747および749を介して、符号化された音響信号を復号する際に必要となるため、参照した符号化テーブルのテーブル識別情報を分割帯域ごとに供給する。
[0040]
 共有帯域符号化部800は、同一分割帯域における2チャンネルの正規化値の相関性が高い場合に、その分割帯域における一方のチャンネルの正規化値のみを符号化する共有帯域符号化処理を行うものである。この共有帯域選択部810は、正規化部721からの左チャンネルの正規化値と、正規化部722からの右チャンネルの正規化値との相関性が高い分割帯域を共有帯域として選択する。
[0041]
 この共有帯域選択部810は、分割帯域ごとに右チャンネルおよび左チャンネルの正規化値に基づいて相関度を算出して、その算出された相関度が一定の相関度閾値を超えた場合には、この分割帯域における一方のチャンネルの正規化値を共有帯域として選択する。また、共有帯域選択部810は、その選択された共有帯域を示す共有帯域情報を、信号線819を介して多重化部750に供給する。
[0042]
 また、共有帯域選択部810は、その選択された共有帯域における一方のチャンネルの正規化値を、信号線818を介して量子化部830に供給する。この共有帯域選択部810は、例えば、選択された共有帯域における左チャンネルの正規化値を量子化部830に供給する。
[0043]
 量子化部830は、共有帯域選択部810から供給された正規化値を量子化するものである。この量子化部830の機能については、量子化部731および732と同様のものであるため、ここでの詳細な説明を省略する。この量子化部830は、信号線839を介して量子化ステップ数を多重化部750に供給するとともに、信号線838を介して量子化値を符号化部840に供給する。
[0044]
 符号化部840は、量子化部830から供給された量子化値を符号化するものである。この符号化部840の機能については、符号化部741および742と同様のものであるため、ここでの詳細な説明を省略する。この符号化部840は、信号線849を介してテーブル識別情報を多重化部750に供給するとともに、信号線848を介して符号化データを多重化部750に供給する。
[0045]
 多重化部750は、正規化部721および722と、共有帯域選択部810と、量子化部731、732および830と、符号化部741、742および840とからそれぞれ供給されるデータを1つの符号列に多重化するものである。この多重化部750は、2チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データと、共有帯域符号化部800からの共有帯域情報、正規化基準値、量子化ステップ数、テーブル識別情報および符号化データとを多重化する。すなわち、多重化部750は、これらのデータを時間分割により多重化することによって、1つの符号列(ビットストリーム)を生成する。
[0046]
 また、多重化部750は、例えば、共有帯域選択部810から供給された共有帯域情報に基づいて、その共有帯域情報に対応する分割帯域における量子化部731および732と符号化部741および742とからのデータを多重化する対象から除外する。これにより、2チャンネルの周波数スペクトルのうち、相関性が高い分割帯域における一方のチャンネルの周波数スペクトルのみが符号化された符号化データを多重化することができる。
[0047]
 また、多重化部750は、生成された1つの符号列を音響符号化データとして出力線759に出力する。この多重化部750は、例えば、出力線759を介して図1に示した音響データ入力部150に音響符号化データを供給する。また、この多重化部750は、例えば、出力線759を介して音響符号化データを外部記憶装置などに供給する。
[0048]
 このように、音響信号符号化装置700は、共有帯域符号化部800を設けて、相関性の高い分割帯域における2チャンネルの符号化データのうち一方のチャンネルの符号化データのみを多重化することによって、音響符号化データ量を削減する。ここで、正規化部721および722により分割される分割帯域における周波数スペクトルについて以下に図面を参照して簡単に説明する。
[0049]
 [音響信号の周波数成分に対する周波数帯域の分割例]
 図3は、正規化部721および722において分割される周波数スペクトルに関する一例を示す概念図である。図3の(a)は、左チャンネルの正規化部721により音響信号の周波数成分である周波数スペクトルが所定帯域ごとに分割された分割帯域を示す概念図である。図3の(b)は、図3の(a)に示した分割帯域における周波数スペクトルを示す概念図である。
[0050]
 図3の(a)には、左チャンネル音響信号成分720として、周波数スペクトル生成部711により生成された左チャンネルの周波数スペクトルの包絡線725と、9つの分割帯域B[0]乃至B[9]とが示されている。ここでは、縦軸を左チャンネルにおける周波数成分のパワーPlとし、横軸を周波数に相当する周波数スペクトル番号(インデックス)fとする。
[0051]
 分割帯域B[0]乃至B[9]は、正規化部721により、周波数スペクトル生成部711により生成された周波数スペクトルが、9つに分割された周波数帯域を示す。この分割帯域B[0]乃至B[9]のレベル(高さ)は、分割帯域における周波数スペクトルの最大レベルに基づいて算出された正規化基準値(スケールファクタ)を示す。なお、ここでは、低域側の周波数成分に対する人間の聴覚の感度が高いことを考慮して、低域側の分割帯域を狭く、高域になるほど分割帯域を広くするように設定する例を示している。
[0052]
 図3の(b)には、分割帯域B[0]およびB[1]に含まれる第0乃至第4の周波数スペクトルのレベルPl(f)が示されている。これらの周波数スペクトルのレベルPl(f)は、第f番の周波数スペクトルの振幅レベルに基づいて算出されたパワー値を示す。例えば、第f番のフーリエ係数の2乗に基づいて算出された値である。なお、ここでは、分割帯域Bのインデックスを[i]として表わす。
[0053]
 このように、音響信号符号化装置700において音響信号を符号化する際には、複数の周波数スペクトルfを分割帯域B[i]ごとに関連付けて符号化を行う。次に音響信号符号化装置700により生成された音響符号化データを復号する音響信号復号処理部200の構成例について以下に図面を参照して説明する。
[0054]
 [音響信号復号処理部200の構成例]
 図4は、本発明の第1の実施の形態における音響信号復号処理部200の一構成例を示すブロック図である。音響信号復号処理部200は、復号部210と、左チャンネル逆量子化部221と、右チャンネル逆量子化部222と、共有帯域逆量子化部223と、選択部231および232と、逆正規化部241および242と、音響信号生成部251および252とを備える。
[0055]
 復号部210は、信号線129から供給される符号列である音響符号化データを復号するものである。この復号部210は、音響符号化データを、各チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データに分離する。また、復号部210は、その分離された音響符号化データのうち符号化データおよびテーブル識別情報を抽出して、その抽出されたテーブル識別情報により特定される復号テーブルを参照することによって、符号化データを量子化値に復号する。
[0056]
 また、復号部210は、分離された音響符号化データのうち、左および右チャンネルの量子化ステップ数を、信号線214および215を介して左チャンネル逆量子化部221および右チャンネル逆量子化部222にそれぞれ供給する。これとともに、復号部210は、右チャンネルおよび左チャンネルの分割帯域ごとの量子化値を、信号線211および212を介して左チャンネル逆量子化部221および右チャンネル逆量子化部222にそれぞれ供給する。
[0057]
 また、復号部210は、信号線213を介して、分離された音響符号化データのうち共有帯域情報により特定される共有帯域の量子化値およびこれに対応する量子化ステップ数を共有帯域逆量子化部223に供給する。また、復号部210は、信号線216および217を介して、分離された音響符号化データのうち共有帯域情報に基づいて、共有帯域逆量子化部223からの出力を選択するための選択信号を選択部231および232に供給する。すなわち、復号部210は、共有帯域逆量子化部223からの共有帯域に対応する出力を、両方のチャンネルの逆正規化部241および242に同時に供給する。
[0058]
 また、復号部210は、信号線218および219を介して、分離された音響符号化データのうち、および右チャンネルの正規化基準値を、逆正規化部241および242に分割帯域ごとにそれぞれ供給する。
[0059]
 左および右チャンネル逆量子化部221および222は、分割帯域ごとに、量子化ステップ数に基づいて量子化値を逆量子化するものである。この左および右チャンネル逆量子化部221および222は、信号線211および212からの分割帯域ごとの量子化値を、信号線214および215からの量子化ステップ数に基づいて各チャンネルの正規化値を生成する。
[0060]
 すなわち、左チャンネル逆量子化部221は、信号線211からの左チャンネルの量子化値を、信号線214からの量子化ステップ数に基づいて左チャンネルの正規化値を生成する。右チャンネル逆量子化部222は、信号線212からの右チャンネルの量子化値を、信号線215からの量子化ステップ数に基づいて右チャンネルの正規化値を生成する。
[0061]
 また、左および右チャンネル逆量子化部221および222は、その生成された各チャンネルの正規化値を選択部231および232を介して逆正規化部241および242にそれぞれ供給する。
[0062]
 共有帯域逆量子化部223は、共有帯域情報により特定される共有帯域における量子化値を、これに対応する量子化ステップ数に基づいて逆量子化するものである。この共有帯域逆量子化部223は、信号線213から供給される量子化値および量子化ステップ数に基づいて、共有帯域における正規化値を生成する。この共有帯域逆量子化部223は、その生成された正規化値を選択部231および232を介して逆正規化部241および242にそれぞれ供給する。
[0063]
 選択部231および232は、復号部210からの選択信号に基づいて、共有帯域における正規化値と、共有帯域以外の分割帯域における正規化値とを選択して、その選択した正規化値を逆正規化部241および242に出力するものである。この選択部231および232は、例えば、共有帯域逆量子化部223から共有帯域に対応する正規化値が供給された場合には、復号部210からの選択信号に基づいて、逆正規化部241および242の両者に対して同一の共有帯域に対応する正規化値を出力する。
[0064]
 一方、選択部231および232は、左および右チャンネル逆量子化部221および222から正規化値が供給された場合には、復号部210からの選択信号に基づいて、逆正規化部241および242に対して各チャンネルの正規化値を出力する。
[0065]
 逆正規化部241および242は、分割帯域ごとに、正規化基準値に基づいて正規化値を逆正規化するものである。この逆正規化部241および242は、選択部231および232からの分割帯域ごとの正規化値を、信号線218および219からの正規化基準値により各チャンネルの周波数スペクトルを生成する。
[0066]
 すなわち、左チャンネル逆量子化部221は、選択部231からの正規化値と、信号線218からの正規化基準値とに基づいて、左チャンネルの周波数スペクトルのパワー値を生成する。また、右チャンネル逆量子化部222は、選択部232からの正規化値と、信号線219からの正規化基準値とに基づいて、右チャンネルの周波数スペクトルのパワー値を生成する。また、逆正規化部241および242は、その生成された各チャンネルの周波数スペクトルを音響信号生成部251および252にそれぞれ供給する。
[0067]
 音響信号生成部251および252は、逆正規化部241および242から供給された各チャンネルの周波数スペクトルに基づいて、各チャンネルの音響信号を生成するものである。すなわち、この音響信号生成部251および252は、周波数領域のデータである周波数スペクトルを時間領域の信号である音響信号に変換する。この音響信号生成部251および252は、例えば、各チャンネルの周波数スペクトルに対して高速フーリエ逆変換(IFFT:Inverse FFT)を行うことによって、フレーム単位により時間領域信号を復元する。あるいは、この音響信号生成部251および252は、逆修正離散余弦変換(IMDCT:Inverse MDCT)によりフレーム単位により時間領域信号を復元する。
[0068]
 また、音響信号生成部251および252は、その生成された各チャンネルの音響信号を、左および右チャンネル信号線291および292にそれぞれ供給する。すなわち、音響信号生成部251および252は、音声成分除去部300に対して、右チャンネルおよび左チャンネルの音響信号を供給する。なお、本発明の実施の形態では、音響信号生成部251および252などにより、符号化された音響信号を復号することによって生成された音響信号を圧縮信号という。
[0069]
 このように、音響信号復号処理部200では、共有帯域逆量子化部223および選択部231および232を設けることによって、音響信号符号化部700により符号化された音響符号化データを復号することができる。なお、音響信号復号処理部200により復号された両チャンネルの音響信号における共有帯域のうち、両チャンネルの正規化基準値が等しい共有帯域においては、その共有帯域における周波数分布が略等しくなる。
[0070]
 なお、ここでは、2チャンネルの音響信号を復号する音響信号復号処理部200の構成例について説明したが、これに限定されるものではなく、3チャンネル以上の音響信号を復号するようにしてもよい。次に音響信号復号処理部200または制御部120から供給される音響信号に含まれる音声成分を低減する音声成分除去部300の構成例について以下に図面を参照して説明する。
[0071]
 [音声成分除去部300の構成例]
 図5は、本発明の第1の実施の形態における音声成分除去部300の一構成例を示すブロック図である。この音声成分除去部300は、信号線290に含まれる左および右チャンネル信号線291および292を介して音響信号復号処理部200から供給される各チャンネルの音響信号における音声成分を低減して伴奏信号として出力する。
[0072]
 また、ここでは、2チャンネル以上の複数の音響信号のうち、略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号が、左および右チャンネル信号線291および292から供給されることを想定する。
[0073]
 音声成分除去部300は、周波数スペクトル生成部311および312と、差分スペクトル算出部320と、低レベル帯域判定部330と、レベル調整係数保持部340と、置換スペクトル生成部350とを備える。さらに、音声成分除去部300は、スペクトル置換部360および伴奏信号生成部370を備える。
[0074]
 周波数スペクトル生成部311および312は、左および右チャンネル信号線291および292からの各チャンネルの音響信号を周波数成分に変換することによって、周波数スペクトルを生成するものである。この周波数スペクトル生成部311および312の機能は、図2に示した周波数スペクトル生成部711および712と同様のものであるため、ここでの詳細な説明を省略する。
[0075]
 周波数スペクトル生成部311は、その生成した左チャンネルの周波数成分を示す各周波数スペクトルを、差分スペクトル算出部320、低レベル帯域判定部330および置換スペクトル生成部350に供給する。また、周波数スペクトル生成部312は、その生成した右チャンネルの各周波数スペクトルを差分スペクトル算出部320に供給する。
[0076]
 差分スペクトル算出部320は、周波数スペクトル生成部311および312からの同一周波数に対応する周波数スペクトルのレベルの差分絶対値を、差分スペクトルとして算出する算出部である。すなわち、この差分スペクトル算出部320は、複数チャンネルの音響信号のうち、略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する。このように、右チャンネルの周波数スペクトルと、左チャンネルの周波数スペクトルとの差分を算出することによって、音響信号における音声成分を低減することができる。
[0077]
 この差分スペクトル算出部320は、左チャンネルの周波数スペクトルのレベルであるパワー値から右チャンネルの周波数スペクトルのパワー値を減算した減算値の絶対値を、差分スペクトルのパワー値として算出する。この差分スペクトル算出部320は、例えば、左チャンネルにおける第0番の周波数スペクトルのパワー値から、右チャンネルにおける第0番の周波数スペクトルのパワー値を減算することによって、その差分絶対値を第0番の差分スペクトルとして算出する。
[0078]
 また、差分スペクトル算出部320は、その算出された差分スペクトルを、低レベル帯域判定部330およびスペクトル置換部360に供給する。なお、差分スペクトル算出部320は、請求の範囲に記載の差分スペクトル算出部の一例である。
[0079]
 低レベル帯域判定部330は、差分スペクトル算出部320により算出される差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定するものである。この低レベル帯域判定部330は、周波数スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と、差分スペクトルの各々のレベルとを比較する。
[0080]
 この低レベル帯域判定部330は、例えば、事前に設定された低レベル閾値と、全ての差分スペクトルの振幅レベルに基づくパワー値とを比較する。その他の例として、この低レベル帯域判定部330は、比較対象の差分スペクトルに対応する左チャンネルの周波数スペクトルのレベルに基づいて低レベル閾値を設定して、その設定された低レベル閾値と差分スペクトルとを比較する。この例において、低レベル帯域判定部330は、左チャンネルの周波数スペクトルにおける平均値や大局的なエンベロープなどを用いるようにしてもよい。
[0081]
 また、低レベル帯域判定部330は、その比較結果に基づいて、差分スペクトルのレベルが低レベル閾値未満であるか否かを差分スペクトルごとに判断する。そして、低レベル帯域判定部330は、低レベル閾値未満である差分スペクトルを低レベル帯域と判定する。すなわち、低レベル帯域判定部330は、例えば、低レベル閾値と、差分スペクトルのレベルとの差分が一定の条件を超えた場合には、その差分スペクトルを低レベル帯域と判定する。
[0082]
 また、低レベル帯域判定部330は、その低レベル帯域と判定された差分スペクトルを別のスペクトルに置き換えるために、置換情報を差分スペクトルごとに生成する。この低レベル帯域判定部330は、例えば、低レベル帯域と判定した場合には、真(TRUE)を示す置換情報を生成し、低レベル帯域でないと判定した場合には、偽(False)を示す置換情報を生成する。
[0083]
 また、低レベル帯域判定部330は、その生成された置換情報をスペクトル置換部360に供給する。なお、低レベル帯域判定部330は、請求の範囲に記載の低レベル帯域判定部の一例である。
[0084]
 置換スペクトル生成部350は、差分スペクトルが低レベル帯域と判定された場合に差分スペクトルの成分を別の成分に置き換えるための置換スペクトルを、その差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成するものである。すなわち、この置換スペクトル生成部350は、差分スペクトルを置き換えるための置換スペクトルを2チャンネルの周波数スペクトルのうち少なくとも一方に基づいて生成する。
[0085]
 この置換スペクトル生成部350は、例えば、左チャンネルの周波数スペクトルと、レベル調整係数保持部340に保持された所定のレベル調整係数とに基づいて、置換スペクトルを生成する。この置換スペクトル生成部350は、左チャンネルの周波数スペクトルと、当該周波数スペクトルに対応するレベル調整係数との乗算値を、置換スペクトルのレベルとして生成する。
[0086]
 また、置換スペクトル生成部350は、その生成された置換スペクトルをスペクトル置換部360に供給する。なお、置換スペクトル生成部350は、請求の範囲に記載の置換スペクトル生成部の一例である。
[0087]
 レベル調整係数保持部340は、置換スペクトルのレベルを調整するためのレベル調整係数を保持するものである。このレベル調整係数保持部340は、例えば、予め定められたレベル調整係数を保持する。この場合において、レベル調整係数保持部340は、例えば、音声帯域に対応するレベル調整係数が、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい数値であるレベル調整係数を保持する。すなわち、置換スペクトル生成部350により、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい音声帯域のレベル調整係数と、左チャンネルの周波数スペクトルとに基づいて置換スペクトルが生成される。また、レベル調整係数保持部340は、その保持されたレベル調整係数を置換スペクトル生成部350に出力する。
[0088]
 スペクトル置換部360は、差分スペクトル算出部320により算出された各差分スペクトルのうち低レベル帯域に対応する差分スペクトルを、置換スペクトルに置き換えるものである。このスペクトル置換部360は、低レベル帯域判定部330からの置換情報に基づいて、差分スペクトル算出部320からの差分スペクトルを、置換スペクトル生成部350からの置換スペクトルに置き換える。
[0089]
 このスペクトル置換部360は、具体的には、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに変換する。このスペクトル置換部360は、例えば、第1番の差分スペクトルに対応する置換情報が真(TRUE)を示す場合には、左チャンネルにおける第1番の周波数スペクトルに基づいて生成された置換スペクトルを、新たな第1番の差分スペクトルとして置き換える。
[0090]
 また、スペクトル置換部360は、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに置き換えて、伴奏信号生成部370に出力する。一方、スペクトル置換部360は、低レベル帯域でないと判定された差分スペクトルのレベルをそのまま伴奏信号生成部370に出力する。なお、スペクトル置換部360は、請求の範囲に記載のスペクトル置換部の一例である。
[0091]
 伴奏信号生成部370は、スペクトル置換部360から出力された全周波数帯域における周波数スペクトルを時間領域の信号に変換することによって、伴奏信号を生成するものである。この伴奏信号生成部370は、スペクトル置換部360から出力された周波数成分を示す周波数スペクトルである周波数領域のデータを、時間領域の信号である伴奏信号に変換する。
[0092]
 この伴奏信号生成部370は、例えば、周波数スペクトルに対して高速フーリエ逆変換を行うことによって、フレーム単位により時間領域信号を復元する。その他の例として、この伴奏信号生成部370は、逆修正離散余弦変換により時間領域信号をフレーム単位ごとに復元する。
[0093]
 また、伴奏信号生成部370は、その生成された伴奏信号を信号線128に出力する。すなわち、伴奏信号生成部370は、その伴奏信号を制御部120に供給して、スピーカ180から伴奏音として出力する。なお、伴奏信号生成部370は、請求の範囲に記載の伴奏信号生成部の一例である。
[0094]
 このように、低レベル帯域判定部330を設けることによって、差分スペクトル算出部320により算出された差分スペクトルのうち、低レベル帯域に対応する差分スペクトルを判定することができる。また、置換スペクトル生成部350を設けることによって、差分スペクトルの近似する周波数特性を有する左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成することができる。これにより、本来の差分スペクトルの周波数特性に近似する置換スペクトルを生成することができるため、より自然な差分スペクトルに補正することができる。
[0095]
 また、スペクトル置換部360を設けることによって、低レベル帯域の周波数スペクトルのレベルを、置換スペクトル生成部350により生成された置換スペクトルのレベルに置き換えることができる。ここで、差分スペクトル算出部320により算出される差分スペクトルについて以下に図面を参照して説明する。
[0096]
 [差分スペクトル算出部320による音響信号の周波数分布例]
 図6は、左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。ここでは、ボーカルの音声が中央に定位し、伴奏における各楽器の定位が散在する右および左チャンネルの音響信号であるステレオ信号を減算部321において減算することによって差分信号を生成することを想定する。
[0097]
 図6の(a)および(b)は、左チャンネル信号成分として、左チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。図6の(c)および(d)は、右チャンネル信号成分として、右チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。また、図6の(a)乃至(d)における縦軸をパワーとし、横軸を周波数とする。
[0098]
 図6の(a)には、左チャンネルの音響信号に含まれる伴奏成分Pliが示されている。この左チャンネルの伴奏成分Pliは、主に、200Hz以下の周波数帯域に大きなパワーが分布する。図6の(b)には、左チャンネルの音響信号に含まれる音声成分Plvが示されている。この左チャンネルの音声成分Plvは、主に、200Hz乃至2KHzの周波数帯域に大きなパワーが分布する。
[0099]
 図6の(c)には、右チャンネルの音響信号に含まれる伴奏成分Priが示されている。この右チャンネルの伴奏成分Priは、左チャンネルの伴奏成分Pliの周波数分布とは異なるが、主に、200Hz以下の周波数帯域に大きなパワーが分布する。図6の(d)には、右チャンネルの音響信号に含まれる音声成分Prvが示されている。この右チャンネルの音声成分Prvは、左チャンネルの音声成分Plvと等しい周波数分布であり、200Hz乃至2KHzの周波数帯域に大きなパワーが分布する。
[0100]
 このように、ボーカル音声が中央に定位するステレオ信号においては、左チャンネルの音声成分と、右チャンネルの音声成分とが互いに略等しい周波数分布を示す。これに対し、伴奏成分については、各楽器の定位が空間的に散らばっているため、左チャンネルおよび右チャンネルの周波数分布が互いに異なる傾向がある。
[0101]
 図6の(e)および(f)は、図6の(a)乃至(d)に示される右および左チャンネルの音響信号の差分絶対値により生成される差分信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。ここでは、縦軸をパワーとし、横軸を周波数とする。
[0102]
 図6の(e)には、差分信号に含まれる伴奏成分Pdiが示されている。この差分信号の伴奏成分Pdiは、右および左チャンネルの伴奏成分PliおよびPriの周波数分布が異なるため、両チャンネルの周波数成分により相殺される度合いが小さい。
[0103]
 図6の(f)には、差分信号に含まれる音声成分Pdvが示されている。また、ここでは、右または左チャンネルの音声成分PlvまたはPrvの周波数分布が破線により示されている。差分信号における音声成分Pdvは、右および左チャンネルの音声成分PlvおよびPrvの周波数分布が互いに等しいため、両チャンネルの周波数成分により音声成分が相殺される。
[0104]
 このように、ボーカル音声が中央に定位する2チャンネルの音響信号においては、一方のチャンネルの音響信号から、他方のチャンネルの音響信号を減算することによって、音声成分が抑制された伴奏信号を生成することができる。なお、ここでは、時間領域において生成される差分信号について説明したが、2チャンネルの音響信号を周波数スペクトルに変換した後、これらの差分絶対値により算出された差分スペクトルに基づいて差分信号を生成する場合においても同様に音声成分が抑制される。すなわち、互いに略等しい周波数分布を示す音声成分が含まれる2チャンネルの音響信号において、これらの周波数スペクトルの差分により算出された差分スペクトルを時間領域の信号に変換することによって、音声成分が抑制された差分信号を生成することができる。
[0105]
 しかしながら、図2に示した音響信号符号化装置700などによって圧縮された音響信号が復号された圧縮後の音響信号に基づいて差分信号を生成すると、その差分信号の周波数成分においてその振幅レベルが極端に低い低レベル帯域が生じる場合がある。このような差分信号における低レベル帯域の発生は、人間の聴覚上、耳障りな雑音として現われてしまう。ここで、復号された圧縮後の音響信号である圧縮信号に基づいて生成された差分信号に生じる低レベル帯域の発生原因に関して以下に図面を参照して説明する。
[0106]
 [量子化誤差による低レベル帯域の発生例]
 図7は、音響信号符号化装置700における量子化部731および732による量子化に起因して生じる低レベル帯域に関する図である。図7の(a)および(b)は、音響信号符号化装置700における正規化部721および722によりそれぞれ生成された左正規化成分771および右正規化成分772の一例を示す図である。図7の(c)は、左正規化成分771および右正規化成分772の差分絶対値である正規化差分絶対値773を示す図である。
[0107]
 図7の(d)および(e)は、音響信号符号化装置700における量子化部731および732により、左正規化成分771および右正規化成分772がそれぞれ量子化された左量子化成分781および右量子化成分782の一例を示す図である。図7の(f)は、左量子化成分781および右量子化成分782の差分絶対値である量子化差分絶対値783を示す図である。
[0108]
 図7の(a)には、左チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の正規化値Plが示されている。図7の(b)には、右チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の正規化値Prが示されている。
[0109]
 図7の(c)には、右および左チャンネルにおける周波数スペクトル(f1乃至f4)の正規化値の差分絶対値Pdが示されている。この周波数スペクトル(f1乃至f4)の差分絶対値Pdは、互いに異なったレベルを示す。
[0110]
 図7の(d)には、左チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の量子化値Qが示されている。例えば、第f1番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Qが「2」に設定される。
[0111]
 図7の(e)には、右チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の量子化値Qが示されている。例えば、第f1番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Qが左チャンネルと同じ「2」に設定される。
[0112]
 図7の(f)には、右および左チャンネルにおける同一の周波数スペクトル(f1乃至f4)の量子化値の差分絶対値Qが示されている。これらの周波数スペクトル(f1乃至f4)の差分絶対値Qは、図7の(c)に示した差分絶対値773とは異なり、全て「0」となる。これは、各チャンネルの正規化値が量子化されることによって、周波数スペクトル(f1乃至f4)の正規化値が5つの量子化値Q(0乃至4)に限定されることに起因する。すなわち、量子化により生じる量子化誤差によって、第i番の分割帯域B[i]における各周波数スペクトル(f1乃至f4)の量子化差分絶対値Qが全て「0」になる。
[0113]
 このように、正規化部721および722により生成された正規化成分771および7772が互いに異なっていても、量子化部731および732において量子化されることにより、右および左チャンネルの量子化値が同一となってしまう場合がある。この場合において、両チャンネルの量子化値が同一となった第i番の分割帯域B[i]に対応する正規化基準値が互いに一致するときは、この第i番の分割帯域B[i]に対応する周波数帯域が差分信号における低レベル帯域となる。
[0114]
 [共有帯域符号化による低レベル帯域の発生例]
 図8は、音響信号符号化装置700における共有帯域符号化部800による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。ここでは、共有帯域符号化部800により、左および右チャンネルの正規化成分の相関度が高い第i番の分割帯域B[i]が共有帯域と判定され、その共有帯域における左チャンネルの正規化成分が量子化させることを想定している。
[0115]
 図8の(a)および(b)は、音響信号符号化装置700における正規化部721および722によりそれぞれ生成された左正規化成分771および右正規化成分774の一例を示す図である。図8の(c)は、左正規化成分771および右正規化成分774の差分絶対値である正規化差分絶対値775を示す図である。
[0116]
 図8の(d)および(e)は、共有帯域符号化部800により、左正規化成分771によって生成された量子化成分が、右および左チャンネルの量子化成分781および右量子化成分784として共有される例を示す図である。図7の(f)は、左量子化成分781および右量子化成分784の差分絶対値である量子化差分絶対値785を示す図である。
[0117]
 図8の(a)には、左チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の正規化値Plが示されている。図8の(b)には、右チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の正規化値Prが示されている。
[0118]
 図8の(c)には、右および左チャンネルにおける周波数スペクトル(f1乃至f4)の正規化値の差分絶対値Pdが示されている。この周波数スペクトル(f1乃至f4)の差分絶対値Pdは、互いに異なったレベルを示す。
[0119]
 図8の(d)には、左チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の量子化値Qが示されている。この4つの周波数スペクトル(f1乃至f4)の量子化値は、図7の(d)と同様のものである。
[0120]
 図8の(e)には、右チャンネルにおける第i番の分割帯域B[i]に含まれる4つの周波数スペクトル(f1乃至f4)の量子化値Qが示されている。この右チャンネルの4つの周波数スペクトル(f1乃至f4)の量子化値Qは、左チャンネルの量子化値Qと同じ値を示す。すなわち、この周波数スペクトル(f1乃至f4)の量子化値Qは、共有帯域符号化部800により第i番の分割帯域B[i]が共有帯域と判定されたことによって、左チャンネルの量子化値Qが、右チャンネルの量子化値Qにも用いられることを示している。
[0121]
 図8の(f)には、右および左チャンネルにおける周波数スペクトル(f1乃至f4)の量子化値の差分絶対値Qが示されている。この周波数スペクトル(f1乃至f4)の差分絶対値Qは、図8の(c)に示した差分絶対値773とは異なり、全て「0」となる。これは、共有帯域符号化部800により、左チャンネルの分割帯域B[i]における周波数スペクトルの正規化値が、両チャンネルの正規化値として共有されることに起因する。
[0122]
 このように、正規化部721および722により生成された正規化成分771および774が異なっていても、共有帯域符号化部800により生成された量子化値成分が両チャンネルの量子化値として共有されるため、復号時において量子化値が互いに等しくなる。このため、共有帯域符号化部800により第i番の分割帯域[i]の正規化値が共有された符号化データを復号して、その復号された圧縮信号に基づいて差分スペクトルを算出すると、第i番の分割帯域[i]に対応する差分スペクトルが低レベル帯域となる。
[0123]
 [圧縮信号における低レベル帯域の発生例]
 図9は、本発明の第1の実施の形態における差分スペクトル算出部320により算出された差分スペクトルに基づく分割帯域B[i]の一例を示す概念図である。ここでは、便宜上、図3の(a)に示した周波数スペクトル包絡線725のようなスペクトル包絡線を省略している。
[0124]
 図9の(a)および(b)は、周波数スペクトル生成部311および312により生成された、左および右チャンネルの音響信号における圧縮信号成分313および314を例示する図である。図9の(c)は、差分スペクトル算出部320により算出された差分スペクトルに基づく差分絶対値成分321を例示する図である。ここでは、縦軸を分割帯域B[i]に対応する正規化基準値(スケールファクタ)の大きさとし、横軸を周波数とする。
[0125]
 左および右チャンネル圧縮信号成分313および314は、符号化された音響信号を復号して復元された圧縮信号における左および右チャンネルの周波数分布を、10個の分割帯域B[0]乃至[9]により観念的に示している。なお、この分割帯域B[i]には、図3の(b)に示したとおり、複数の周波数スペクトルが含まれている。
[0126]
 差分絶対値成分321は、左および右チャンネル圧縮信号成分313および314における周波数スペクトルの差分絶対値の周波数分布を、10個の分割帯域B[0]乃至[9]により観念的に示している。ここで、第1番の分割帯域B[1]は、図7で述べたように、量子化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが著しく低下する低レベル帯域である。また、第5、第7および第8の分割帯域B[5]、B[7]およびB[8]は、図8で述べたとおり、共有帯域符号化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが大きく低下する低レベル帯域である。
[0127]
 このように、量子化または共有帯域符号化などの処理によって、差分スペクトル算出部320により算出された差分スペクトルのレベルが極端に低くなる低レベル帯域が生じる場合がある。このような低レベル帯域を有する伴奏信号がスピーカ180から出力されると、受聴者は、その出力された伴奏信号を耳障りな音として感じる場合がある。そこで、本発明の第1の実施の形態では、低レベル帯域判定部330により、低レベル帯域を判定して、その判定された低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える。ここで、低レベル帯域における差分スペクトルを置換スペクトルに置き換える例について以下に図面を参照して説明する。
[0128]
 [音声成分除去部300による差分スペクトルの置換え例]
 図10は、本発明の第1の実施の形態における音声成分除去部300により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
[0129]
 図10の(a)は、置換スペクトル生成部350に供給される左チャンネル圧縮信号成分313を示す図である。図10の(b)は、図9の(c)に示した差分絶対値成分321における低レベル帯域の差分スペクトルを、スペクトル置換部360により置換スペクトルに置き換えた後の差分絶対値成分361を示す図である。ここでは、縦軸を分割帯域B[i]に対応する正規化基準値(スケールファクタ)の大きさとし、横軸を周波数とする。また、左チャンネル圧縮信号成分313は、図9の(a)に示したものと同様であるため、ここでの説明を省略する。
[0130]
 置換後における差分絶対値成分361は、低レベル帯域判定部330により低レベル帯域と判定された、差分絶対値成分321における分割帯域B[1]、B[5]、B[7]およびB[8]の差分スペクトルが置換スペクトルに置き換えられた周波数分布を示す。ここでは、便宜上、周波数分布として、周波数スペクトルではなく、分割帯域B[0]乃至B[9]により示している。
[0131]
 これらの分割帯域B[1]、B[5]、B[7]およびB[8]の置換スペクトルは、置換スペクトル生成部350により、低レベル帯域と判定された差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成される。これらの置換スペクトルのレベルは、置換スペクトル生成部350により、低レベル帯域に対応する周波数スペクトルのレベルと、レベル調整係数保持部340におけるレベル調整係数とを乗算することによって算出される。
[0132]
 この例では、第1番の分割帯域B[1]に含まれる置換スペクトルのレベルは、第1番の分割帯域B[1]に対応するレベル調整係数g1と、左チャンネルの分割帯域B[1]に含まれる各周波数スペクトルPlとの乗算値により生成される。また、第5番の分割帯域B[5]に含まれる置換スペクトルのレベルは、第5番の分割帯域B[5]に対応するレベル調整係数g2と、左チャンネルの分割帯域B[5]に含まれる各周波数スペクトルPlとの乗算値により生成される。
[0133]
 また、第7番の分割帯域B[7]に含まれる置換スペクトルのレベルは、第7番の分割帯域B[7]に対応するレベル調整係数g3と、左チャンネルの分割帯域B[7]に含まれる各周波数スペクトルPlとの乗算値により生成される。また、第5番の分割帯域B[8]に含まれる置換スペクトルのレベルは、第8番の分割帯域B[8]に対応するレベル調整係数g4と、左チャンネルの分割帯域B[8]に含まれる各周波数スペクトルPlとの乗算値により生成される。
[0134]
 このように、低レベル帯域に対応する差分スペクトルを、左チャンネルの周波数スペクトルにレベル調整係数が乗算された置換スペクトルに置き換えることによって、伴奏信号における低レベル帯域を解消することができる。次に、低レベル帯域を解消するための置換スペクトルのレベルを調整するレベル調整係数の周波数特性について以下に図面を参照して簡単に説明する。
[0135]
 [レベル調整係数の周波数特性例]
 図11は、本発明の第1の実施の形態におけるレベル調整係数保持部340に保持されたレベル調整係数の周波数特性341の一例を示す図である。ここでは、横軸を周波数とし、縦軸をレベル調整係数の大きさとする。
[0136]
 レベル調整係数周波数特性341は、置換スペクトル生成部350により生成される置換スペクトルのレベルを調整するためのレベル調整係数g(f)の周波数特性を示す。このレベル調整係数周波数特性341は、音声成分に対応する中音域の音声帯域(fvl乃至fvh)におけるレベル調整係数と、音声帯域以外の帯域に対応するレベル調整係数との大きさが異なる。
[0137]
 このレベル調整係数周波数特性341における音声帯域以外の帯域に対応するレベル調整係数g(f)は「1.0」である。これにより、置換スペクトル生成部350により生成される置換スペクトルのレベルは、左チャンネルの周波数スペクトルのレベルがそのまま適用されることになる。
[0138]
 一方、レベル調整係数周波数特性341における音声帯域(fvl乃至fvh)に対応するレベル調整係数g(f)はgvである。このレベル調整係数gvは「1.0」より小さい値である。受聴者によって差分信号における音声成分が十分に小さくなったと感じるのは0.1程度であるため、このレベル調整係数gvは、0.1程度に設定するのが望ましい。しかしながら、差分信号における周波数特性によっては、0.1程度に設定しても不自然に感じる場合があるため、このような場合には、レベル調整係数gvを0.2乃至0.3程度に設定するようにしてもよい。
[0139]
 このように、音声帯域(fvl乃至fvh)以外の帯域に対応するレベル調整係数に比べて、音声成分を含む音声帯域に対応するレベル調整係数gvを小さく設定することによって、音声成分が十分に抑制された、違和感のない伴奏信号を生成することができる。次に、低レベル帯域判定部330により、低レベル帯域に対応する差分スペクトルを判定するための判定手法について以下に図面を参照して説明する。
[0140]
 [低レベル帯域に対応する差分スペクトルの判定手法]
 図12は、本発明の第1の実施の形態における低レベル帯域判定部330による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。ここでは、左チャンネルスペクトル包絡線315と、左チャンネルスペクトル平滑線331と、差分スペクトル包絡線322と、低レベル閾値線332とが示されている。また、ここでは、縦軸をパワーとし、横軸を周波数とする。
[0141]
 左チャンネルスペクトル包絡線315は、周波数スペクトル生成部311により生成された左チャンネルの周波数スペクトルPl(f)の包絡線を示す。この周波数スペクトルのレベルPl(f)は、大局的には、周波数fが大きくなるほど小さくなる。
[0142]
 左チャンネルスペクトル平滑線331は、左チャンネルスペクトル包絡線315を平滑化することにより生成される平滑線SMT(f)である。この例では、平滑線SMT(f)は、左チャンネルの周波数スペクトルのレベルに基づいて直線の傾きを算出することによって生成される。
[0143]
 なお、左チャンネルスペクトル平滑線331は、例えば、移動平均により生成するようにしてもよい。また、ここでは、左チャンネルの周波数スペクトルに基づいて平滑線331を算出する例について示したが、差分スペクトル包絡線322に基づいて平滑線SMT(f)を生成するようにしてもよい。
[0144]
 差分スペクトル包絡線322は、差分スペクトル算出部320により算出された差分スペクトルD(f)の包絡線である。この差分スペクトル包絡線322は、レベル低下が急峻である第1および第2の低レベル帯域Δfa(fla乃至fha)およびΔfb(flb乃至fhb)を示す。また、この差分スペクトルのレベルD(f)は、大局的には、左チャンネルスペクトル包絡線315と同じように、周波数fが大きくなるに連れて小さくなる。このように、差分スペクトルD(f)および左チャンネルの周波数スペクトルPl(f)は、大局的に近似する特性を有する傾向がある。
[0145]
 なお、ここでは、差分スペクトル包絡線322における第1および第2の低レベル帯域(ΔfaおよびΔfb)に対応する差分スペクトルのレベルは互いに異なっている。これは、量子化または共有帯域符号化により左および右チャンネルの量子化値が互いに一致する帯域を有する符号化データが復号される際に、各チャンネルの周波数スペクトルが周波数領域から時間領域に変換されることに起因する。この変換処理により、左および右チャンネルの共有帯域における周波数スペクトルのレベルに僅かな差が生じるため、差分スペクトル包絡線322における第1および第2の低レベル帯域(ΔfaおよびΔfb)におけるスペクトルレベルに差が生じている。
[0146]
 低レベル閾値線332は、左チャンネルスペクトル平滑線331と、一定の閾値係数とに基づいて設定される低レベル閾値TH(f)の線である。この閾値係数は、想定される低レベル帯域のレベルに応じて設定されるものである。なお、閾値係数が大きすぎると、低レベル帯域判定部330により低レベル帯域でない帯域を低レベル帯域と誤判定する場合があるため、閾値係数は極力小さい値に設定するのが望ましい。
[0147]
 このように、低レベル帯域判定部330は、左チャンネルの周波数スペクトルのレベルPl(f)と閾値係数とを用いることによって、差分スペクトルの大局的な周波数特性に近似し易い低レベル閾値線332を設定することができる。これにより、低レベル帯域判定部330は、全周波数帯域に対して一定の閾値を設けた場合に比べて、より正確な低レベル帯域に対応する差分スペクトルを判定することができる。なお、ここでは、左チャンネルの周波数スペクトルに基づいて低レベル閾値線332を生成する例について説明したが、右チャンネルの周波数スペクトルまたは2チャンネルの周波数スペクトルを加算したものを用いるようにしてもよい。
[0148]
 [音声成分除去部300の動作例]
 次に本発明の第1の実施の形態における音声成分除去部300の動作について図面を参照して説明する。
[0149]
 図13は、本発明の第1の実施の形態における音声成分除去部300による伴奏信号生成方法の処理手順例を示すフローチャートである。
[0150]
 まず、周波数スペクトル生成部311および312により、左および右チャンネル信号線291および292から供給されたステレオ信号に基づいて、チャンネルごとにN個の周波数スペクトルが生成される(ステップS911)。
[0151]
 そして、低レベル帯域判定部330により、左チャンネルにおけるN個の周波数スペクトルのレベルPl(0乃至N-1)に基づいて、左チャンネルのスペクトル平滑線SMT(f)が算出される(ステップS912)。続いて、差分スペクトルの算出対象となる各チャンネルの周波数スペクトルPl(f)およびPr(f)のスペクトル番号fが「0」に設定される(ステップS913)。
[0152]
 この後、周波数スペクトル生成部311および312から、左および右チャンネルにおける第0番の周波数スペクトルのレベルPl(0)およびPr(0)がそれぞれ出力される(ステップS914)。そして、差分スペクトル算出部320により、右および左チャンネルにおける第0番の周波数スペクトルの差分(Pl(0)-Pr(0))の絶対値である第0番の差分スペクトルD(0)が算出される(ステップS915)。なお、ステップS915は、請求の範囲に記載の差分スペクトル算出手順の一例である。
[0153]
 そして、低レベル帯域判定部330により、その算出された第0番の差分スペクトルD(0)が低レベル帯域に対応する差分スペクトルであるか否かを判定する低レベル帯域判定処理が実行される(ステップS930)。そして、スペクトル置換部360により、第0番の差分スペクトルD(0)に対応する置換情報Info(0)が真(TRUE)であるか否かが判断される(ステップS916)。
[0154]
 そして、置換情報Info(0)が真(TRUE)である場合には、スペクトル置換処理が実行される(ステップS940)。一方、置換情報Info(0)が真(TRUE)でない場合には、置換スペクトル生成部350によって第0番の差分スペクトル(0)が置換スペクトルに置き換えられることなく、ステップS917に進む。
[0155]
 次に、スペクトル番号fに「1」が加算される(ステップS917)。そして、その加算されたスペクトル番号fがスペクトル数N未満であるか否かが判断される(ステップS918)。そして、スペクトル番号fがスペクトル数N未満である場合には、ステップS914に戻り、スペクトル番号fがスペクトル数Nと一致するまで、ステップS914乃至S918およびS930の一連の処理が繰り返される。
[0156]
 一方、スペクトル番号fがスペクトル数Nと一致した場合には、伴奏信号生成部370により、スペクトル置換部360から出力されたN個の差分スペクトルD(0乃至N-1)が時間領域信号に変換されることによって伴奏信号が生成される(ステップS919)。これにより、左および右チャンネル信号線291および291から供給されたステレオ信号に含まれる音声成分が抑制された伴奏信号生成処理が終了する。なお、ステップS919は、請求の範囲に記載の伴奏信号生成手順の一例である。
[0157]
 [低レベル帯域判定部330の動作例]
 図14は、本発明の第1の実施の形態における低レベル帯域判定部330による低レベル帯域判定処理(ステップS930)の処理手順例を示すフローチャートである。
[0158]
 まず、ステップS912の処理において生成されたスペクトル平滑線SMT(f)に一定の閾値係数αが乗算された低レベル閾値TH(f)が算出される(ステップS931)。なお、この例では、ステップS912において、全ての周波数スペクトルに基づいてスペクトル平滑線SMT(f)を生成する例について説明したが、過去の一定数の周波数スペクトルPl(f)の平均値をスペクトル平滑線SMT(f)とするようにしてもよい。
[0159]
 そして、差分スペクトル算出部320から出力された差分スペクトルのレベルD(f)が、低レベル閾値TH(f)未満であるか否が判断される(ステップS932)。すなわち、差分スペクトル算出部320から出力された差分スペクトルD(f)が低レベル帯域に対応する差分スペクトルであるか否かが判定される。
[0160]
 そして、差分スペクトルD(f)が、低レベル閾値TH(f)未満である場合には、その差分スペクトルのレベルを置換スペクトルのレベルに置き換えるために、置換情報Info(f)が真(TRUE)に設定される(ステップS933)。すなわち、差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する。なお、ステップS932およびS933は、請求の範囲に記載の低レベル帯域判定手順の一例である。
[0161]
 一方、差分スペクトルD(f)が、低レベル閾値TH(f)以上である場合には、その差分スペクトルD(f)を置換スペクトルに置き換える必要が無いため、置換情報Info(f)が偽(FALSE)に設定される(ステップS934)。これらのステップS933またはS934の処理が実行されて、低レベル帯域判定処理が終了する。
[0162]
 [置換スペクトル生成部350およびスペクトル置換部360の動作例]
 図15は、本発明の第1の実施の形態におけるスペクトル置換部360によるスペクトル置換処理(ステップS940)の処理手順例を示すフローチャートである。
[0163]
 まず、置換スペクトル生成部350により、レベル調整係数保持部340からレベル調整係数g(f)が取得される(ステップS941)。続いて、置換スペクトル生成部350により、左チャンネルの周波数スペクトル生成部311から周波数スペクトルPl(f)が取得される(ステップS942)。
[0164]
 そして、置換スペクトル生成部350により、その取得されたレベル調整係数g(f)と、左チャンネルの周波数スペクトルPl(f)とを乗算することによって、置換スペクトルR(f)が算出される(ステップS943)。すなわち、置換スペクトル生成部350により、差分スペクトルを置き換えるための置換スペクトルを左チャンネルの音響信号における周波数スペクトルに基づいて生成される。なお、ステップS943は、請求の範囲に記載の置換スペクトル生成手順の一例である。
[0165]
 続いて、スペクトル置換部360により、その算出された置換スペクトルR(f)に、低レベル帯域に対応する差分スペクトルD(f)を置き換えることによって、新たな差分スペクトルD(f)が生成されて(ステップS944)、スペクトル置換処理が終了する。なお、ステップS944は、請求の範囲に記載のスペクトル置換手順の一例である。
[0166]
 このように、本発明の第1の実施の形態では、左チャンネルの周波数スペクトルPl(f)に基づいて生成される置換スペクトルに、低レベル帯域に対応する差分スペクトルD(f)を置き換えることによって、違和感のない伴奏信号を生成することができる。
[0167]
 また、図11に示したように、音声帯域に対応するレベル調整係数g(f)を他の帯域に比べて小さく設定することによって、伴奏信号の音声成分を十分に抑制することができる。しかしながら、この場合において、伴奏信号における伴奏成分が大きいときは、音声帯域に対応する置換スペクトルのレベルが他の差分スペクトルのレベルに比べて相対的に小さくなり過ぎてしまい、聴覚上、違和感の残る伴奏信号となってしまうことがある。
[0168]
 これに対して、伴奏成分の大きさに応じて音声帯域に対応する置換スペクトルのレベルを調整することにより、置換スペクトルおよび他の差分スペクトルのレベル差が大きくなり過ぎることを抑制するために改良したものが、次に説明する第2の実施の形態である。
[0169]
 <2.第2の実施の形態>
 [音声成分除去部300の構成例]
 図16は、本発明の第2の実施の形態における音声成分除去部300の一構成例を示す図である。この音声成分除去部300は、図5に示した置換スペクトル生成部350に代えて、音声係数設定部651および置換スペクトル生成部652を備えている。ここでは、音声係数設定部651および置換スペクトル生成部652以外の構成は、図5と同様のものであるため、図5と同一符号を付してここでの説明を省略する。
[0170]
 音声係数設定部651は、周波数スペクトル生成部311からの左チャンネルの周波数スペクトルと、レベル調整係数保持部340における音声帯域に対応するレベル調整係数とに基づいて、音声係数を設定するものである。この音声係数設定部651は、左チャンネルの全体の周波数スペクトルにおける音声帯域以外の帯域および音声帯域に対応する周波数スペクトルの両者のレベル比に基づいて、音声帯域に対応する音声係数を設定する。
[0171]
 この音声係数設定部651は、例えば、左チャンネルの周波数スペクトルのうち、音声帯域以外に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて音声係数を設定する。すなわち、音声係数設定部651は、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定する。
[0172]
 また、音声係数設定部651は、その設定された音声係数と、レベル調整係数保持部340における音声帯域以外に対応するレベル調整係数とを置換スペクトル生成部652に供給する。なお、音声係数設定部651は、請求の範囲に記載の音声係数設定部の一例である。
[0173]
 置換スペクトル生成部652は、左チャンネルの周波数スペクトルと、その周波数スペクトルに対応する音声係数設定部651からの音声係数またはレベル調整係数とに基づいて置換スペクトルを生成する。この置換スペクトル生成部652は、周波数スペクトル生成部311からの左チャンネルの周波数スペクトルと、音声係数設定部651により設定された音声係数とに基づいて置換スペクトルを生成する。
[0174]
 この置換スペクトル生成部652は、例えば、左チャンネルの周波数スペクトルのレベルと、音声係数設定部651からの音声係数またはレベル調整係数とを乗算することによって、置換スペクトルのレベルを算出する。また、置換スペクトル生成部652は、その算出された置換スペクトルをスペクトル置換部360に供給する。なお、置換スペクトル生成部652は、図5に示した置換スペクトル生成部350に対応する。また、置換スペクトル生成部652は、請求の範囲に記載の置換スペクトル生成部の一例である。
[0175]
 このように、音声係数設定部651を設けることによって、左チャンネルの周波数スペクトルのレベルに応じて、音声帯域に対応する置換スペクトルのレベルを調整することができる。ここで、音声係数設定部651による音声係数の設定手法に関する例について図面を参照して以下に説明する。
[0176]
 [音声係数の設定手法の一例]
 図17は、本発明の第2の実施の形態における音声係数設定部651による音声係数の設定手法に関する一例を示す図である。ここでは、左チャンネルスペクトル包絡線Pl(f)316と、伴奏帯域平均値Piaと、音声帯域平均値Pvaとが示されている。また、縦軸をパワー値とし、横軸を周波数とする。
[0177]
 左チャンネルのスペクトル包絡線Pl(f)は、周波数スペクトル生成部311により生成された左チャンネルの周波数スペクトルPl(f)の包絡線を示す。伴奏帯域平均値Piaは、伴奏帯域(0乃至fvl)における周波数スペクトルPl(f)の平均値を示す。この伴奏帯域平均値Piaは、音声係数設定部651により算出される。音声帯域平均値Pvaは、音声帯域(fvl乃至fvh)における周波数スペクトルPl(f)の平均値を示す。この音声帯域平均値Pvaは、音声係数設定部651により算出される。
[0178]
 この場合において、音声係数設定部651は、例えば、下式に基づいて音声係数Vを算出する。ここで、gvは、音声帯域に対応するレベル調整係数保持部340におけるレベル調整係数である。
   V = gv×(Pia/Pva)
[0179]
 上式より、伴奏帯域平均値Piaが大きくなるほど、レベル調整係数gvに基づく音声係数Vは大きくなり、音声帯域平均値Pvaが大きくなるほど、レベル調整係数gvに基づく音声係数Vは小さくなる。
[0180]
 このように、音声帯域平均値Pvaに対して伴奏帯域平均値Piaが大きい場合には、音声係数Vはレベル調整係数gvより大きな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが大きくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。
[0181]
 一方、音声帯域平均値Pvaに対して伴奏帯域平均値Piaが小さい場合には、音声係数Vはレベル調整係数gvより小さな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが小さくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。また、この場合には、音声成分に対応する置換スペクトルのレベルを低減するため、一定のレベル調整係数gvに比べて、伴奏信号における音声成分をさらに抑制することができる。
[0182]
 このように、本発明の第2の実施の形態では、音声係数設定部651を設けることによって、音声帯域に対応する置換スペクトルのレベルを、左チャンネルの周波数スペクトルの特性に応じて調整することができる。すなわち、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルの周波数特性に基づいて、音声帯域に対応する置換スペクトルのレベルを調整することができる。
[0183]
 これにより、第1の実施の形態に比べて、伴奏信号における差分スペクトルと置換スペクトルとのレベル差により生じる聴覚ノイズを抑制することができる。次に、音声係数設定部651の動作についてスペクトル置換処理のフローチャートを参照して以下に説明する。
[0184]
 [スペクトル置換処理の処理手順例]
 図18は、本発明の第2の実施の形態における音声成分除去部300におけるスペクトル置換処理(ステップS950)の処理手順例を示すフローチャートである。このステップS950処理は、図13に示したステップS940の処理に対応する。また、ここでは、音声係数設定部651により、周波数スペクトル生成部311からの周波数スペクトルのレベルに基づいて伴奏帯域平均値Piaおよび音声帯域平均値Pvaが算出されていることを想定する。また、レベル調整係数保持部340には、図11に示した音声帯域に対応するレベル調整係数gvが保持されていることとする。
[0185]
 まず、音声係数設定部651により、レベル調整係数保持部340からレベル調整係数g(f)が取得される(ステップS951)。続いて、置換スペクトル生成部652により、周波数スペクトル生成部311から左チャンネルの周波数スペクトルPl(f)が取得される(ステップS952)。
[0186]
 この後、音声係数設定部651により、スペクトル番号fが音声帯域に対応する番号か否かが判断される(ステップS953)。そして、スペクトル番号fが音声帯域に対応する番号でない場合には、置換スペクトル生成部652において、レベル調整係数g(f)と、左チャンネルの周波数スペクトルPl(f)との乗算により、置換スペクトルR(f)が算出される(ステップS958)。
[0187]
 一方、スペクトル番号fが音声帯域に対応する番号である場合には、伴奏帯域平均値Piaおよび音声帯域平均値Pvaが取得される(ステップS954)。続いて、音声係数設定部651により、音声帯域平均値Pvaに対する伴奏帯域平均値Piaの割合に、音声帯域に対応するレベル調整係数gvを乗じた音声係数Vが算出される(ステップS955)。
[0188]
 続いて、置換スペクトル生成部652により、その算出された音声係数Vと、左チャンネルの周波数スペクトルPl(f)とを乗算することによって、置換スペクトルR(f)が算出される(ステップS956)。なお、ステップS953乃至S956およびS958は、請求の範囲に記載の置換スペクトル生成手順の一例である。
[0189]
 そして、スペクトル置換部360により、その算出された置換スペクトルR(f)が差分スペクトルD(f)として置き換えられて(ステップS957)、スペクトル置換処理が終了する。なお、ステップS957は、請求の範囲に記載のスペクトル置換手順の一例である。
[0190]
 このように、本発明の第2の実施の形態では、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルにおける伴奏成分の大きさに応じて、音声帯域に対応する置換スペクトルのレベルを適切に調整することができる。
[0191]
 このように、本発明の実施の形態によれば、圧縮信号における周波数スペクトルに基づいて伴奏信号を生成する場合において、低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えることによって、違和感のない伴奏信号を生成することができる。すなわち、差分信号の周波数特性に近似する左チャンネルの周波数スペクトルに基づいて差分信号の周波数成分を補正することによって、より自然な伴奏信号を生成することができる。
[0192]
 なお、本発明の実施の形態では、左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成する例について説明したが、周波数スペクトル生成部312からの右チャンネルの周波数スペクトルに基づいて置換スペクトルを生成するようにしてもよい。その他の例として、右および左チャンネルの周波数スペクトルのレベルに基づいて置換スペクトルを生成するようにしてもよい。この場合における音声成分除去部300の構成例を第3の実施の形態として以下に図面を参照して説明する。
[0193]
 <3.第3の実施の形態>
 図19は、本発明の第3の実施の形態における音声成分除去部300の一構成例を示すブロック図である。音声成分除去部300は、図5に示した音声成分除去部300に加えて周波数スペクトル加算部380を備えている。ここでは、周波数スペクトル加算部380以外の構成は、図5に示したものと同様であるため、同一符号を付してここでの説明を省略する。
[0194]
 周波数スペクトル加算部380は、周波数スペクトル生成部311および312からそれぞれ供給される右および左チャンネルの周波数スペクトルを加算して、その加算値を2により除算するものである。すなわち、周波数スペクトル加算部380は、左および右チャンネルの周波数スペクトルの平均値を算出する。また、周波数スペクトル加算部380は、その算出された周波数スペクトルの平均値を置換スペクトル生成部350および低レベル帯域判定部330に供給する。
[0195]
 このように、本発明の第3の実施の形態では、周波数スペクトル加算部380を設けることによって、右および左チャンネルの両者の周波数特性の平均値に基づいて置換スペクトルにより差分信号の周波数成分を補正することができる。これにより、右および左チャンネルの音響信号に含まれる成分の偏りが取り除かれるため、より自然なスペクトル補正を行うことができる。すなわち、2チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて置換スペクトルを生成することによって、伴奏信号に対する聴覚ノイズを抑制することができる。
[0196]
 なお、本発明の実施の形態では、伴奏信号生成部370の後段に、伴奏成分を増強するために、低域の周波数成分を増幅する増強フィルタや、音声成分を減衰するために、中域の周波数成分を減衰させる減衰フィルタなどを設けるようにしてもよい。
[0197]
 なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
[0198]
 また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(CompactDisc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-rayDisc(登録商標))等を用いることができる。

符号の説明

[0199]
 100 音楽再生装置
 110 操作受付部
 120 制御部
 130 表示部
 140 音響データ記憶部
 150 音響データ入力部
 160 アナログ変換部
 170 アンプ
 180 スピーカ
 200 音響信号復号処理部
 210 復号部
 221 左チャンネル逆量子化部
 222 右チャンネル逆量子化部
 223 共有帯域逆量子化部
 231、232 選択部
 241 逆正規化部
 251 音響信号生成部
 300 音声成分除去部
 311、312 周波数スペクトル生成部
 320 差分スペクトル算出部
 330 低レベル帯域判定部
 340 レベル調整係数保持部
 350 置換スペクトル生成部
 360 スペクトル置換部
 370 伴奏信号生成部
 380 周波数スペクトル加算部
 651 音声係数設定部
 652 置換スペクトル生成部

請求の範囲

[請求項1]
 複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、
 前記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、
 前記差分スペクトルを置き換えるための置換スペクトルを前記2チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、
 前記差分スペクトル算出部により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換部と、
 前記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部と
を具備する音響信号処理装置。
[請求項2]
 前記置換スペクトル生成部は、前記2チャンネルの音響信号における少なくとも一方の周波数スペクトルと前記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて前記置換スペクトルを生成する請求項1記載の音響信号処理装置。
[請求項3]
 前記置換スペクトル生成部は、音声帯域以外の帯域に対応する前記レベル調整係数に比べて小さい前記音声帯域の前記レベル調整係数と前記少なくとも一方の周波数スペクトルのレベルとに基づいて前記置換スペクトルを生成する請求項2記載の音響信号処理装置。
[請求項4]
 前記2チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および前記音声帯域に対応する前記周波数スペクトルのレベル比に基づいて前記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、
 置換スペクトル生成部は、前記少なくとも一方の周波数スペクトルと前記音声係数設定部により設定された音声係数とに基づいて前記置換スペクトルを生成する
請求項1記載の音響信号処理装置。
[請求項5]
 前記音声係数設定部は、前記音声帯域以外の帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を大きく設定し、前記音声帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を小さく設定する請求項4記載の音響信号処理装置。
[請求項6]
 前記低レベル帯域判定部は、前記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と前記差分スペクトルの各々のレベルとに基づいて前記低レベル帯域を判定する請求項1記載の音響信号処理装置。
[請求項7]
 前記低レベル帯域判定部は、前記2チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した前記低レベル閾値と前記差分スペクトルのレベルとを用いて前記低レベル帯域を判定する請求項6記載の音響信号処理装置。
[請求項8]
 複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
 前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
 前記差分スペクトルを置き換えるための置換スペクトルを前記2チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
 前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
 前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
を具備する伴奏信号生成方法。
[請求項9]
 複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる2チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
 前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
 前記差分スペクトルを置き換えるための置換スペクトルを前記2チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
 前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
 前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
をコンピュータに実行させるプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]