PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 19.11.2019 at 4:00 PM CET
Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2007004397) ACOUSTIC SIGNAL PROCESSING APPARATUS, ACOUSTIC SIGNAL PROCESSING METHOD, ACOUSTIC SIGNAL PROCESSING PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM
Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters
明 細書

音響信号処理装置、音響信号処理方法、音響信号処理プログラムおよび コンピュータに読み取り可能な記録媒体

技術分野

[0001] この発明は、音響信号を処理することにより音響効果をかけて再生する音響信号処 理装置、音響信号処理方法、音響信号処理プログラムおよびコンピュータに読み取 り可能な記録媒体に関する。ただし、この発明の利用は、上述の音響信号処理装置 、音響信号処理方法、音響信号処理プログラムおよびコンピュータに読み取り可能な 記録媒体に限らない。

背景技術

[0002] 多チャンネルの音響信号を処理することにより音響効果をかけて再生する音響機 器が広く使用されている。たとえば、音響機器において、曲内容解析を行って最適な イコライザ特性となるように自動的にイコライザ設定をする技術がある。ここでは、曲の 最初と最後のうち、拍手パターンと一致しているときには、ライブ盤と判断してィコライ ザ設定を、ライブ盤向きに設定する(たとえば、特許文献 1参照。)。

[0003] 特許文献 1 :特開 2001— 85962号公報

発明の開示

発明が解決しょうとする課題

[0004] し力、しながら、一般に、 5. lchなどのサラウンド成分で、はっきりと後方に定位させる 音以外はライブ会場の雰囲気を出すために無相関な信号が入っていることが多い。 また、イコライザ、リパーブに代表とされる信号処理による音響処理は楽曲そのものに 適用すると、音が不自然になることがある。そのため、従来からライブ、場の雰囲気を 出す成分だけに処理を加えることが切望されてきた。また、イコライザは本来、スピー 力からリスナーまでの伝達特性を整えるのが目的であるのに対し、楽音以外の成分 に音響効果をかけることを考えていなかったという問題が一例として挙げられる。 課題を解決するための手段

[0005] 請求項 1の発明にかかる音響信号処理装置は、複数チャンネルの音響信号を時間

フレーム単位で切り出す切り出し手段と、前記切り出し手段によって切り出された所 定の時間フレームに含まれる複数チャンネルの信号のそれぞれの間の相関値を求 める相関演算手段と、前記切り出し手段によって切り出された所定のチャンネルの信 号にっレ、て、スペクトルの特徴を示すスペクトル情報を求めるスペクトル演算手段と、 前記相関演算手段によって求められた相関値および前記スぺ外ル演算手段によつ て求められたスペクトル情報に基づいて、前記所定のチャンネルの信号に掛け合わ せる係数を算出する係数算出手段と、前記係数算出手段によって算出された係数を 前記所定のチャンネルの信号に掛け合わせ、掛け合わされた信号を、前記所定のチ ヤンネルの他のチャンネルに割り振る割り振り手段と、を備えることを特徴とする。

[0006] また、請求項 10の発明にかかる音響信号処理方法は、複数チャンネルの音響信 号を時間フレーム単位で切り出す切り出し工程と、前記切り出し工程によって切り出 された所定の時間フレームに含まれる複数チャンネルの信号のそれぞれの間の相関 値を求める相関演算工程と、前記切り出し工程によって切り出された所定のチャンネ ルの信号にっレ、て、スペクトルの特徴を示すスペクトル情報を求めるスペクトル演算 工程と、前記相関演算工程によって求められた相関値および前記スペクトル演算ェ 程によって求められたスペクトル情報に基づいて、前記所定のチャンネルの信号に 掛け合わせる係数を算出する係数算出工程と、前記係数算出工程によって算出され た係数を前記所定のチャンネルの信号に掛け合わせ、掛け合わされた信号を、前記 所定のチャンネルの他のチャンネルに割り振る割り振り工程と、を含むことを特徴とす る。

[0007] また、請求項 11の発明に力かる音響信号処理プログラムは、請求項 10に記載の音 響信号処理方法をコンピュータに実行させることを特徴とする。

[0008] また、請求項 12の発明にかかるコンピュータに読み取り可能な記録媒体は、請求 項 11に記載の音響信号処理プログラムを記録したことを特徴とする。

図面の簡単な説明

[0009] [図 1]図 1は、この発明の実施の形態にかかる音響信号処理装置の機能的構成を示 すブロック図である。

[図 2]図 2は、この発明の実施の形態にかかる音響信号処理方法の処理を示すフロ Ο 一チャートである。

園 3]図 3は、この実施例に力かる音響信号処理装置の機能的構成を示すブロック図 〇

である。

[図 4]図 4は、 DSP内部の信号処理フローを示すブロック図である。

園 5]図 5は、係数制御器の機能的構成を説明するブロック図である。

[図 6]図 6は、音響信号処理方法の処理を説明するフローチャートである。

園 7]図 7は、実施例 2にかかる係数制御器の機能的構成を説明するブロック図であ る。

符号の説明

切り出し部

102 相関演算部

103 スペクトル演算部

104 係数算出部

105 割り振り部

301 音源

302 DSP

303 マイコン

304 D/A変換器

305 アンプ

306 スピーカ

401 係数制御器

402, 403 乗算部

404, 405 フイノレタ

502, 512 時間フレーム切り出し部

520 相関演算部

530, 531 スペクトル幅算出部

540 タイマー

550 係数算出部

601 , 611 スペクトル算出部

620 係数算出部

発明を実施するための最良の形態

[0011] 以下に添付図面を参照して、この発明にかかる音響信号処理装置、音響信号処理 方法、音響信号処理プログラムおよびコンピュータに読み取り可能な記録媒体の好 適な実施の形態を詳細に説明する。

[0012] 図 1は、この発明の実施の形態にかかる音響信号処理装置の機能的構成を示すブ ロック図である。この実施の形態の音響信号処理装置は、切り出し部 101、相関演算 部 102、スペクトル演算部 103、係数算出部 104および割り振り部 105により構成さ れている。

[0013] 切り出し部 101は、複数チャンネルの音響信号を時間フレーム単位で切り出す。切 り出し部 101は、複数チャンネルの音響信号を時間方向で窓かけして切り出すことも できる。相関演算部 102は、切り出し部 101によって切り出された所定の時間フレー ムに含まれる複数チャンネルの信号のそれぞれの間の相関値を求める。スペクトル 演算部 103は、切り出し部 101によって切り出された所定のチャンネルの信号につい て、スぺタトノレの特徴を示すスぺクトノレ情報を求める。

[0014] 係数算出部 104は、相関演算部 102によって求められた相関値およびスぺクトノレ 演算部 103によつて求められたスペクトル情報に基づレ、て、所定のチャンネルの信 号に掛け合わせる係数を算出する。係数算出部 104は、相関値に反比例した値を前 記係数として算出することもできる。割り振り部 105は、係数算出部 104によって算出 された係数を所定のチャンネルの信号に掛け合わせ、掛け合わされた信号を、所定

[0015] なお、スペクトル演算部 103は、所定のチャンネルの信号のスペクトル幅を求めるこ とができる。この場合、係数算出部 104は、スペクトル幅を時間フレームの時間長で 割った値に比例した値を係数として算出することもできる。また、係数算出部 104は、 時間フレームの始点からの時間に反比例した値と時間フレームの終点までの時間に 反比例した値とを加えた合算値に比例した値を係数として算出することもできる。

[0016] また、スペクトル演算部 103は、所定のチャンネルの信号のスペクトルを求めること ができる。この場合、係数算出部 104は、所定のチャンネルの信号におけるスぺタト ルの、ターゲットとなるスペクトルに対する差分に反比例した値を係数として算出する ことちできる。

[0017] この複数のチャンネルの音響信号は、フロント左チャンネル、フロント右チャンネル、 センターチャンネル、サラウンド左チャンネル、サラウンド右チャンネルのそれぞれの 信号を含むことができる。この場合、割り振り部 105は、係数算出部 104がサラウンド 左チャンネルについて係数を算出した場合、フロント左チャンネル、フロント右チャン ネル、センターチャンネル、サラウンド右チャンネルのそれぞれに信号を割り振ること ができる。また、この場合、割り振り部 105は、係数算出部 104がサラウンド右チャン ネルについて係数を算出した場合、フロント左チャンネル、フロント右チャンネル、セ ンターチヤンネル、サラウンド左チャンネルのそれぞれに信号を割り振ることもできる。

[0018] 図 2は、この発明の実施の形態にかかる音響信号処理方法の処理を示すフローチ ヤートである。まず、切り出し部 101は、複数チャンネルの音響信号を時間フレームご とに切り出す (ステップ S201)。相関演算部 102は、切り出し部 101によって切り出さ れた所定の時間フレームに含まれる複数チャンネルの信号のそれぞれの間の相関 値を求める(ステップ S202)。スペクトル演算部 103は、切り出し部 101によって切り 出された所定のチャンネルの信号について、スぺタトノレの特徴を示すスぺクトノレ情報 を求める(ステップ S203)。

[0019] 係数算出部 104は、相関演算部 102によって求められた相関値およびスぺクトノレ 演算部 103によって求められたスペクトル情報に基づいて係数を算出する (ステップ S204)。この係数は、所定のチャンネルの信号にかけあわせる係数である。割り振り 部 105は、係数算出部 104によって算出された係数を所定のチャンネルの信号に掛 け合わせ、カナあわされた信号を、所定のチャンネルの他のチャンネルに割り振る( ステップ S205)。

[0020] 以上説明した実施の形態により、チャンネル間の相関性およびスペクトルの特徴に したがって特定の成分を他のチャンネルに割り振ることができる、たとえば、サラウンド 成分のうち、楽曲以外の成分を抽出することができる。そして、たとえば楽曲以外の 成分をフロントチャンネルに振ることにより、拍手に囲まれてライブを聞いているかの ような臨場感を与えることができる。

実施例

[0021] (実施例 1)

図 3は、この発明にかかる音響信号処理装置の構成を説明するブロック図である。 音源 301は、音響信号を記述したデジタル信号を出力する。音源 301は、たとえば、 DVDや CDなどのパッケージメディアや、 HDDにリツビングしたものによって記録し ておくことができる。また、デジタル信号のデータ形式は、ステレオ音源でも 5. lchな どのマルチチャンネル音源でもよレ、。

[0022] DSP (Digital Signal Processor) 302は、ソースである音源 301からデジタル信 号を受け取って音響効果を加える。ここで、 DSP302は、音源 301に関する情報をマ イコン 303とやりとりし、その内容によって処理内容を変更することができる。 DSP30 2内部では、音源 301の音響的な性質、およびマイコン 303からの情報にしたがって 処理係数を求める。この音響信号処理装置では、通常イコライザやリバーブなどの信 号処理が用いられる。しかし、それらは通常、楽曲によらず一定の係数を用いるため 、楽曲の特徴に応じた再生が必ずしもできるとは限らない。

[0023] DZA変換器 304は、 DSP302から出力された信号をアナログ信号に変換する。変 換されたアナログ信号は、アンプ 305によって増幅され、スピーカ 306を介して音響 再生される。

[0024] このように、音響信号処理装置では、音源 301からの信号を、 DSP302力 S受け取つ て、マイコン 303と連携して信号処理する。そして、信号処理された信号は DZA変 換器 304でアナログ信号に変換され、アンプ 305およびスピーカ 306を介して音響 再生される。

[0025] 図 4は、 DSP内部の信号処理フローを示すブロック図である。ここでは、音源 301か ら DSP302に 5ch入力された場合の信号処理フローを示す。具体的には、フロント左 チャンネル in)、フロント右チャンネル(R in )、センターチャンネル(C in )、サラウンド左 チャンネル(SL in )、サラウンド右チャンネル(SR in )の信号が入力される。そして、フロ ント左チャンネル(L out )、フロント右チャンネル(R out )、センターチャンネル(C out )、サラ ゥンド左チャンネル(SL )、サラウンド右チャンネル(SR )の信号がそれぞれ出力

される。

[0026] まず、係数制御器 401にサラウンド左(SL in )成分と、サラウンド右(SR in )成分とが入 力される。次に、係数制御器 401は、サラウンド左(SL m )成分と、サラウンド右(SR in ) 成分とを解析する。係数制御器 401は、解析結果に基づいて、他チャンネルへの配 分量 a S a SRを求める。係数制御器 401からの出力は、サラウンド成分を解析しながら 随時更新していく。

[0027] 乗算部 402, 403は、求められた配分量 a S a SRをサラウンド成分に掛け合わせる。

配分量 a Sは、サラウンド左成分に掛け合わせ、配分量 a SRは、サラウンド右成分に掛 け合わせる。そして、フィルタ 404でイコライザやリバーブなどの効果(F)を加え、他 チャンネルへ振り分ける。

[0028] たとえば、サラウンド左成分の配分量 a Sを求めた場合、フロント左チャンネル (L in )、 フロント右チャンネル(R in ) ,センターチャンネル(C in )、サラウンド右チャンネル(SR in ) に配分される。たとえば、サラウンド左成分の配分量 a SRを求めた場合、フロント左チヤ ンネル(SL in )、フロント右チャンネル(SR in )、センターチャンネル(C in )、サラウンド左 チャンネル (SL m )に配分される。そして、配分した結果、フロント左チャンネル (L out ) フロント右チャンネル(R out )、センターチャンネル(C)、サラウンド左チャンネル(SL out

)、サラウンド右チャンネル (SR out )の信号がそれぞれ出力される。

[0029] DSP302を図 4のように構成することにより、 DVDのライブ盤などで、サラウンド成 分の楽曲以外の成分のみに音響効果をかけることが可能になる。楽音以外である確 率の高い成分を抽出するように係数制御器 401を設計し、それをフロントチャンネル に振ることで、例えば拍手に囲まれてライブを聞いているかのような、臨場感を楽しむ ことが可能になる。また、テレビの野球放送などで応援団の特徴的な音(例えば応援 ラッパ、歓声)などを周囲から音量を大きめに再生することで、まるで応援団の中に混 じって野球観戦してレ、る雰囲気が楽しめる。

[0030] 図 5は、係数制御器の機能的構成を説明するブロック図である。係数制御器 401に はサンプリングされた 2チャンネルのサラウンド信号 SL in (n), SR in (n)が入力される。 左サラウンド信号 501 [SL in (n) ]は、時間フレーム切り出し部 502に入力され、右サラ ゥンド信号 511 [SR (n) ]は、時間フレーム切り出し部 512に入力される。

[0031] 時間フレーム切り出し部 502および 512では、サラウンド信号 SL in (n) , SR in (n)を それぞれ、時間方向で窓かけして、信号 F S F SRを切り出す。ここでは、切り出した信 号 F S F SRのフレーム長を、 fftlenとする。

[0032] 相関演算部 520は、切り出した信号 F S , F SRの相関値 pを算出する。一方、スぺタト ル幅算出部 530 531は、切り出した信号 F S F SRのスペクトル幅 w S w SRを算出する

。スペクトル幅算出部 530 531は、信号系列を FFTして得られた振幅スペクトルから 、あるスレツショノレドを超えるものの本数をカウントすることにより、スペクトル幅 w S w S

Rを求める。スペクトル幅 W , W

S SRは、例えば、ホワイトノイズのように広帯域な信号で は、限りなく長さ fftlenに近づくので、白色性を示す指標と言える。係数算出部 550 は、相関値 P、スペクトル幅 w S , w SRに加え、タイマー 540力、ら得られる 1トラック内の 時間 tから、他チャンネルに振るための係数値 a S , a SRを算出する。算出式は、例えば 式(1)および式(2)に示す式を用いる。

[0033] [数 1]


fflien p Vend ~ t t J

[0034] [数 2]


[0035] この式の意図することは以下の 3点である。(1)帯域幅の狭い信号のときには、係数 a S , a SRを小さくする。広帯域信号のときにはその逆で、大きくなる。(2)相関の小さい 場合には係数 a S , a SRを大きくし、相関が大きい場合はその逆に小さくする。(3)時間 がそのトラックの始め、もしくは終わりに近いほど、係数 a S , a SRを大きくする。トラックの 中間あたりでは逆に小さくする。 t endは 1曲の時間の長さを表す。

[0036] これらは、「広帯域」の「チャンネル間の相関が低い」、拍手などの信号は「曲の終わ りか、始め」に入っているという性質を用いている。このような信号をなるベく他のチヤ ンネルに振ることで、まるで、拍手に囲まれているかのような再生が可能になる。

[0037] なお、式(1)および式(2)は、右辺に比例する量である。楽曲を中心に聞きたい人

や、雰囲気重視で聞きたい人など好みはまちまちなので、ここでは配分比だけ式から 算出する。後は音響効果を加えるところで、ユーザの好みで配分量を決めることがで きる。

[0038] 係数をかけた出力は、他のチャンネルから出力させる。例えば、左サラウンド信号( SL m )に係数をかけた信号は、 SLスピーカ以外から出力する。音響効果をつけた信 号と、直接音成分を別のスピーカから出すことでなるべく音色変化(カラーレーシヨン )を軽減する。色々な方向から音が出ることで、より自然で拡がりのある音が出せる副 次的な効能もある。

[0039] 図 6は、音響信号処理方法の処理を説明するフローチャートである。まず、各チャン ネルからのサラウンド信号を抽出する(ステップ S601)。次に、時間フレーム切り出し 部 502, 512が、信号を時間フレームごとに切り出す (ステップ S602)。次に、相関演 算部 520が、両チャンネルの相関値 pを演算する(ステップ S603)。次に、スペクトル 幅演算部 530, 531が、切り出したフレームの信号についてスペクトル幅 w S , w SRを 算出する(ステップ S604)。次に、係数算出部 550は、各チャンネルについて係数 a S

, a SRを算出する(ステップ S605)。

[0040] 次に、乗算部 402, 403は、係数 a , a SRをサラウンド信号 SL in (n) , SR in (n)にそれ ぞれ力けあわせる(ステップ S606)。接卜け合わされた信号は、フイノレタ 404, 405によ つてフィルタリングして (ステップ S607)、得られた信号を他のチャンネルに割り振り( ステップ S608)、一連の処理を終了する。

[0041] なお、算出された係数出力にローパスフィルタのような平滑化フィルタをかけてもよ レ、。相関値、スペクトルパターン等は時々刻々変わっていくため、係数変動は実際に はかなり大きい。そのため、他チャンネルに振られる信号のエネルギーは、そのまま 適用すると変動幅、分散が大きく信号レベルが不安定になってしまう。係数出力を平 滑化することで、係数変動が滑らかになり、不安定さは解消される。

[0042] また、サラウンド LRの 2chに適用している力フロント 2chで係数生成することも可 能である。もしくは、フロント LR&サラウンド LRの 2組 X 2の 4ch力も係数を生成する ことも可能である。この場合、 CDのような 2chの場合は LRで一組にして係数生成す る。一般に拍手等の楽音以外の成分はサラウンド成分に入れるとされるが、フロント

成分にも入っている場合がしばしばある。サラウンド成分以外の信号も監視すること で、よりバラエティに富む再生方法が可能になる。

[0043] また、 F S , F SRは、出力するスピーカ 306によって係数、処理内容を変えてもよい。

出力するスピーカ 306ごとに係数を変え、信号をより無相関的にすることで、より拡が りのある音場表現が可能になる。

[0044] (実施例 2)

図 7は、実施例 2にかかる係数制御器の機能的構成を説明するブロック図である。 まず、図 5の場合と同様に、係数制御器 401にはサンプリングされた 2チャンネルのサ ラウンド信号 SL (n) , SR (n)が入力される。そして、左サラウンド信号 501 [SL (n)

]は、時間フレーム切り出し部 502に入力され、右サラウンド信号 511 [SR (n) ]は、 時間フレーム切り出し部 512に入力される。

[0045] 時間フレーム切り出し部 502および 512では、サラウンド信号 SL in (n) SR in (n)を それぞれ、時間方向で窓かけして、フレーム長を fftlenとする信号 F S , F SRを切り出 す。

[0046] 相関演算部 520は、切り出した信号 F S , F SRの相関値 pを算出する。一方、スぺタト ル算出部 601 611は、切り出した信号 F S , F SRのスペクトル S S , S SRを算出する。係 数算出部 620は、相関値 pおよびスペクトル S S , S SRから、他チャンネルに振るため の係数値 a S , a SRを算出する。算出式は、例えば、式(3)および式 (4)に示す式を用 いる。

[0047] [数 3]

aSL " (3)

SsL - °taget

[0048] [数 4]

1 ■(4)

P SsR ~ ^taget

[0049] この式の意図することは以下の 2点である。(1)スペクトルがスペクトルのター

力 遠いときは、係数 a , a を小さくする。スペクトルのターゲットに近いときにはその 逆で、大きくなる。(2)相関の小さい場合には係数 a Sし, a SRを大きくし、相関が大きい 場合はその逆に小さくする。

[0050] スペクトル幅算出部 530, 531によってスペクトル幅を求めるのではなぐスペクトル 算出部 601 , 611によって FFTスペクトルを用いて、ある特定のスペクトルに近いとき に高い重みをつけるように、スペクトルを求めてもよレ、。この例では、トラック分けされ ていないテレビなどの音信号を想定し、時間情報を用いていなレ、。もちろん、 DVD 等のパッケージメディアの場合には、実施例 1の算出法のように時間情報を入れても よい。

[0051] この場合、拍手だけではなぐ声援などの声、野球観戦などでの応援ラッパなど、そ の場にいる雰囲気を出すための音は数多く存在している。特徴的なスペクトルをもつ 音だけに着目して、その音源に囲まれている雰囲気を出すことも可能にする。

[0052] 以上説明した実施例によれば、 2ch信号をペアにして音源解析する。それにより、 楽曲以外の部分を取り出して臨場感を高めることができる。また、音響効果はィコライ ザ以外のものにも適用することができる。ここで、リバーブ等の場の雰囲気を演出する 効果と合わせて使うことがふさわしレ、。

[0053] 一般に、 5. lchなどのサラウンド成分で、はっきりと後方に定位させる音以外はライ ブ会場の雰囲気を出すために無相関な信号が入っていることが多い。そこで、サラウ ンド成分 2chの相関を調べることにより、所望の音を前方に定位させることができる。 また、スペクトル幅、時間情報、相関値から算出するのでより精度を高めることができ る。

[0054] また、イコライザ、リパーブに代表とされる信号処理による音響処理は楽曲そのもの に適用すると、音が不自然になることがある。それに対し、この実施例では、ライブ、 場の雰囲気を出す成分だけに処理を加えることができる。

[0055] イコライザは本来、スピーカからリスナーまでの伝達特性を整えるのが目的である。

この実施例では、主に楽音以外の成分に音響効果をかけることが主眼におかれる。 これに対し、この実施例の適用はイコライザに限定しなレ、。よりリアルな場の雰囲気の ためには、例えば残響制御などとの組み合わせが考えられる。

[0056] 以上の実施例は、ホーム、カーオーディオ (特にサラウンド再生機器)、テレビ(特に 地上波放送、サラウンド再生対応)、コンサートホール、ライブ会場などの音場支援装 置などに適用することができる。

[0057] なお、本実施の形態で説明した音響信号処理方法は、予め用意されたプログラム をパーソナルコンピュータやワークステーションなどのコンピュータで実行することによ り実現すること力 Sできる。このプログラムは、ハードディスク、フレキシブルディスク、 C D_ROM、 M〇、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、 コンピュータによって記録媒体から読み出されることによって実行される。またこのプ ログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体 であってもよい。

[0058] 以上の実施の形態により、たとえば DVDのライブ盤などで、サラウンド成分の楽曲 以外の成分のみに音響効果をかけることが可能になる。楽音以外である確率の高い 成分を抽出するように係数制御器を設計し、それをフロントチャンネルに振ることで、 例えば拍手に囲まれてライブを聞いているかのような、臨場感を楽しむことが可能に なる。また、テレビの野球放送などで応援団の特徴的な音 (例えば応援ラッパ、歓声) などを周囲から音量を大きめに再生することで、まるで応援団の中に混じって野球観 戦している雰囲気が楽しめる。