Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2019065447) DISPOSITIF DE MÉLANGE DE SIGNAL ACOUSTIQUE ET SUPPORT DE STOCKAGE LISIBLE PAR ORDINATEUR
Document

明 細 書

発明の名称 音響信号のミキシング装置及びコンピュータ可読記憶媒体

技術分野

0001  

背景技術

0002   0003   0004  

先行技術文献

特許文献

0005  

発明の概要

発明が解決しようとする課題

0006  

課題を解決するための手段

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12  

図面

1   2   3   4A   4B   4C   5   6A   6B  

明 細 書

発明の名称 : 音響信号のミキシング装置及びコンピュータ可読記憶媒体

技術分野

[0001]
 本発明は、複数のマイクロフォンで収音した音響信号のミキシング技術に関する。

背景技術

[0002]
 現在、ヘッドマウントディスプレイを使用したバーチャルリアリティ(VR)システムが提供されている。この様なVRシステムにおいては、ヘッドマウントディスプレイを装着したユーザの視野に相当する映像をディスプレイに表示する。
[0003]
 これら映像と共にヘッドマウントディスプレイのスピーカから出力される音は、例えば、複数のマイクロフォン(以下、マイクと呼ぶ。)により収音される。図1は、この収音方法の一例を示す図である。図1によると、マイク51~58の計8個のマイクが、位置60を中心とする所定半径の円周上に配置されている。マイク51~マイク58のそれぞれが収音した音響信号をそのままミキシングしてスピーカに出力すると、マイク51~マイク58のそれぞれが収音した音が同じレベルでスピーカから出力される。例えば、ヘッドマウントディスプレイに、図1の参照符号61及び62で示す範囲の映像が表示されているときにマイク51~マイク58のそれぞれが収音した音を同じレベルで再生すると、ユーザが見ている範囲と、音場の範囲とに乖離が生じる。
[0004]
 特許文献1は、音場の伸縮率に基づき2つのマイクにより収音した音響信号を処理して右(R)チャネルと左(L)チャネルの2つの音響信号を生成し、Rチャネル及びLチャネルの2つの音響信号で1組のスピーカを駆動することで、音場の範囲を調整する構成を開示している。

先行技術文献

特許文献

[0005]
特許文献1 : 特許第3905364号公報

発明の概要

発明が解決しようとする課題

[0006]
 特許文献1は、2つのマイクで収音した音響信号の音場の範囲を調整することを開示しているが、3つ以上のマイクで収音した音響信号の音場の範囲を調整することを開示してはいない。

課題を解決するための手段

[0007]
 本発明の一態様によると、複数のマイクロフォンで収音した音響信号をミキシングするミキシング装置は、前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの2つのマイクロフォンの組それぞれに対応して設けられ、対応する前記組の前記2つのマイクロフォンが出力する音響信号を処理して第1音響信号と第2音響信号を出力する様に構成された処理部と、各組に対応する前記処理部が出力する前記第1音響信号を加算して出力する様に構成された第1加算部と、各組に対応する前記処理部が出力する前記第2音響信号を加算して出力する様に構成された第2加算部と、を備え、前記処理部は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記2つのマイクロフォンが出力する音響信号を処理する。

図面の簡単な説明

[0008]
[図1] 収音方法の一例を示す図。
[図2] 一実施形態によるミキシング装置の構成図。
[図3] 一実施形態による音響信号処理部の構成図。
[図4A] 一実施形態による処理部での処理の説明図。
[図4B] 一実施形態による処理部での処理の説明図。
[図4C] 一実施形態による処理部での処理の説明図。
[図5] 一実施形態による区間の説明図。
[図6A] 一実施形態による各係数決定の説明図。
[図6B] 一実施形態による各係数決定の説明図。

発明を実施するための形態

[0009]
 以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
[0010]
 図2は、本実施形態によるミキシング装置10の構成図である。ミキシング装置10の音響信号処理部11には、複数のマイク50それぞれから音響信号が入力される。複数のマイク50は、例えば、図1に示す様に、位置60を中心とする所定半径の円周上に配置される。なお、円周上でなく、例えば、直線上や、任意の曲線状等、地理的に異なる位置に複数のマイク50を配置する構成であっても良い。また、位置60に複数の指向性のマイクをそれぞれ異なる方向に向けて配置して収音することもできる。音響信号処理部11は、複数のマイク50それぞれからの音響信号に基づき右チャネル(R)の音響信号(以下、音響信号R)と左チャネル(L)の音響信号(以下、音響信号L)の2つの音響信号を出力する。これら2つの音響信号は、1組のスピーカを駆動するために使用される。
[0011]
 まず、図3を用いて、音響信号処理部11について説明する。本実施形態において、配置位置が隣り合うマイク50を1つの組とする。例えば、図1の配置においては、マイク51とマイク52が1つの組であり、マイク52とマイク53が1つの組である。以下、同様に、マイク57とマイク58が1つの組であり、マイク58とマイク51が1つの組である。つまり、図1の配置においては計8個の組ができる。この様に、閉じた曲線状に複数のマイクを配置する場合、N個のマイクに対してN個の組ができる。一方、直線状に複数のマイクを配置する等、閉じていない線状に複数のマイクを配置する場合には、N個のマイクに対して(N-1)個の組ができる。なお、閉じた曲線状に複数のマイクを配置する場合であっても、その一部の区間にマイクを配置する場合には、N個のマイクに対して(N-1)個の組を生成する構成とすることもできる。
[0012]
 音響信号処理部11には、図3に示す様に、組数に応じた処理部が設けられる。図3においては、第1処理部~第N処理部の計N個の処理部が設けられている。なお、第1処理部~第N処理部における処理は同様である。処理部は、処理対象の組の2つのマイクから入力される音響信号に基づき右チャネルの音響信号Rと、左チャネルの音響信号Lを出力する。
[0013]
 以下、処理部での処理について説明する。まず、マイクAが収音した音響信号を音響信号Aと呼び、マイクBが収音した音響信号を音響信号Bと呼び、処理部には、音響信号A及び音響信号Bが入力されるものとする。処理部は、音響信号A及び音響信号Bを所定の時間区間毎に離散フーリエ変換する。以下では、音響信号A及び音響信号Bを離散フーリエ変換した周波数領域の信号を、それぞれ、信号A及び信号Bとする。処理部は、以下の式(1)により信号A及び信号Bから周波数領域の信号R(右チャネル)及び信号L(左チャネル)を生成する。なお、式(1)で示す処理は、信号A及び信号Bそれぞれの各周波成分(ビン)に対して行われる。そして、処理部は、周波数領域の信号R及び信号Lを離散逆フーリエ変換して、音響信号Rと音響信号Lの2つの音響信号を出力する。R合成部は、第1処理部~第N処理部のそれぞれが出力する音響信号Rを加算して1つの音響信号Rを出力する。同様に、L合成部は、第1処理部~第N処理部のそれぞれが出力する音響信号Lを加算して1つの音響信号Lを出力する。R合成部及びL合成部が出力する音響信号R及び音響信号Lは、上述した様に、それぞれ、Rチャネルのスピーカ及びLチャネルのスピーカを駆動するために使用される。
[0014]
[数1]


[0015]
 式(1)において、fは処理対象の周波数(ビン)であり、Φは2つの音響信号A及び音響信号Bの偏角の主値である。したがって、式(1)においてf及びΦは処理対象の音響信号A及び音響信号Bに応じて決まる値である。一方、式(1)において、m 、m 、τ及びκは係数決定部が決定して処理部それぞれに通知する変数である。以下、それぞれの変数の技術的な意味について説明する。
[0016]
 m 及びm は減衰係数であり0以上1以下の値である。なお、m は信号Aの減衰量を決定し、m は信号Bの減衰量を決定する。以下では、m をマイクAの減衰係数と呼び、m をマイクBの減衰係数と呼ぶものとする。
[0017]
 κはスケーリング(拡縮)係数であり、音場の範囲を決定する。なお、スケーリング係数κは、0以上2以下の値である。例えば、図4Aに示す様に、マイクAとマイクBが配置されているものとする。ここで、m 及びm を1に設定し、τを0に設定するものとする。つまり、行列M及びTについては、信号A及び信号Bを何ら変化させない値に設定するものとする。このときに、κを1とすると、信号R=信号A及び信号L=信号Bとなる。つまり、信号R及び信号Lは、信号Aと信号Bと同じであり、よって、信号R及び信号Lを離散逆フーリエ変換して得られる音響信号R及び音響信号Lは、それぞれ、マイクA及びマイクBが収音した時間領域の信号と同じである。したがって、例えば、マイクA及びマイクBの位置にスピーカを置いて音響信号R及び音響信号Lでそれぞれを駆動すると、マイクA及びBが配置されている方向における音場の範囲は図4Aの様に、マイクA及びマイクBの収音範囲と同等になる。例えば、音源C及びDが図4Aに示す位置あるものとする。なお、位置63は、マイクAとマイクBとを結ぶ直線の中間位置である。この場合、再生される音において、音源C及び音源Dの音像の位置は、音源C及び音源Dの配置位置と同じ位置となる。
[0018]
 一方、m 及びm を1に設定し、τを0に設定したときに、κを1より小さくすると、図4Bに示す様に、音場の範囲はκが1のときより短くなる。このとき、例えば、マイクA及びBの位置にスピーカを置いて音響信号R及び音響信号Lで駆動すると、音源Cの音像の位置は、音源Cの配置位置と同じ中間位置63になる。しかしながら、音源Dの音像の位置は、音源Dの配置位置より中間位置63に近づく様になる。逆に、κを1より大きくすると、音場の範囲はκが1のときより長くなる。この様に、スケーリング係数κは音場の範囲を拡大・縮小させる係数である。
[0019]
 τはシフト係数であり、-x~+xの範囲の値をとる。上述した様にτ=0のとき、行列Tは、信号A及び信号Bに何ら影響を与えない。一方、τ=0以外のとき、行列Tは、信号A及び信号Bにそれぞれ同じ絶対値で異なる符号の位相変化を与える。したがって、音像の位置がτの値に応じてマイクA又はマイクBの方向にシフトする。なお、シフトの方向は、τの正負に応じて決定され、τの絶対値が大きくなる程、そのシフト量は大きくなる。図4Cは、図4Bに示す音場の範囲となる様なκとしたうえで、τを0以外の値に設定したときの音場の範囲を示している。音源C及びDの音像の位置は、図4Bに示すときから図の左側にシフトしている。つまり、音場が左側にシフトしている。なお、図4A~図4Cにおいては、説明のためスピーカをマイクA及びマイクBの位置に置くものとしたが、RチャネルとLチャネルの2つのスピーカを設置する距離は任意の距離とすることができる。この場合、音場の範囲はスピーカの配置距離に応じたものにもなる。
[0020]
 上述した様に、音響処理部11の係数決定部は、第1処理部~第N処理部それぞれの係数、つまり、m 、m 、τ及びκを決定し、第1処理部~第N処理部に通知する。以下、音響処理部11の係数決定部が、各処理部の係数をどの様に決定するかについて説明する。係数決定部には、区間判定部12(図2)より区間を示す区間情報が入力される。区間情報は、複数のマイクが配置された直線又は曲線に沿った区間で示される。例えば、図1に示す様に、マイク51~58が円周上に配置されており、その中心位置における角度とその方向をユーザ指定したものとする。つまり、線61と線62との間の範囲をユーザが指定したものとする。この場合、図5に示す様に、複数のマイクが配置された円周と線61及び線62との2つの交点の範囲である区間64が区間情報により示されることになる。なお、図5においては、説明の簡略化のため、円周の形状を直線で示している。
[0021]
 音響処理部11の係数決定部は、複数のマイクそれぞれの配置位置を示す情報を保持しており、区間情報が示す区間64と、マイクの配置位置に基づきマイクの組を分類する。図6A及び図6Bは、組の分類の説明図である。図6A及び図6Bの丸はマイクをそれぞれ示している。まず、係数決定部は、区間64内に少なくとも1つのマイクが含まれるか否かを判定する。区間64内に少なくとも1つのマイクが含まれる場合、係数決定部は、図6Aに示す様に、区間64に2つのマイクが含まれる組を第1組とし、区間64には2つのマイクが共に含まれない組を第2組とし、区間64に1つのマイクが含まれるが他方のマイクが区間64に含まれない組を第3組とする。一方、区間64内にマイクが1つも含まれない場合、係数決定部は、図6Bに示す様に、区間64に最も近い2つのマイクの組を第3組とし、それ以外のマイクの組を第2組とする。
[0022]
 以下、第1組から第3組それぞれについて、対応する処理部が使用する係数をどの様に決定するかについて説明する。なお、以下では、ある組の処理部が使用する係数を、単に、「組の係数」と表現する。また、第3組の2つのマイクの間における区間64の長さを、図6A及び図6Bに示す様にL1とし、この長さL1の区間を重複区間と呼ぶものとする。また、第3組の2つのマイクの間における区間64以外の区間を非重複区間と呼ぶものとする。図6Aの場合、距離L2で示す区間が非重複区間であり、図6Bにおいては、区間64の両側に2つの非重複区間が存在する。
[0023]
 係数決定部は、第1組については、例えば、τは0とし、κを1とし、減衰係数については2つのマイクとも1にする。つまり、音場の拡縮、シフトを行わせず、減衰量については2つのマイクが収音する音響信号共、減衰させない値とする。
[0024]
 一方、係数決定部は、第3組のスケーリング係数κと、シフト係数τについては、音場の範囲が重複区間に応じたものとなる様に決定する。つまり、係数決定部は、第3組のスケーリング係数κを、重複区間の長さL1に基づき決定する。具体的には、例えば、第3組の2つのマイク間の距離Lとすると、L1/Lの拡縮率となる様に当該第3組に対するスケーリング係数κを決定する。したがって、係数決定部は、第3組の重複区間の長さが短くなる程、音場の範囲を短くする様に当該第3組のスケーリング係数κを決定する。また、係数決定部は、重複区間の中心位置に音場の中心位置がくるように第3組のシフト係数τを決定する。したがって、係数決定部は、2つのマイクの配置位置の中心と重複区間の中心との距離に応じて第3組のシフト係数を決定する。また、係数決定部は、第3組の2つのマイクの減衰係数をそれぞれ1に設定する。あるいは、係数決定部は、第3組のうち、区間64に含まれるマイクの減衰係数を1、又は、第1組の2つのマイクの減衰係数と同じ値にし、区間64に含まれないマイクの減衰係数については、区間64に含まれるマイクの減衰量より大きい減衰量となる様に減衰係数を設定する。あるいは、係数決定部は、第3組の区間64に含まれないマイクの減衰係数については、非重複区間の長さ、つまり、マイクの配置位置から区間64までの最短距離L2が大きくなる程、減衰量が大きくなる様に設定することができる。
[0025]
 さらに、係数決定部は、第2組については、第1組と同様に、例えば、τは0とし、κを1とする。しかしながら、2つのマイクの減衰係数については、第1組及び第3組のマイクに対して設定した減衰係数より減衰量が大きくなる値に設定する。一例として、係数決定部は、第2組の2つのマイクの減衰係数を減衰量が最大となる値、つまり、0に設定、或いは、0に近い所定の値に設定する。
[0026]
 例えば、図5の区間64の場合、マイク51とマイク52の組と、マイク52とマイク53の組は共に第3組であり、その他の組は総て第2組となる。上記の通りに各係数を決定することで、マイク51とマイク52の位置に音源があるとしたとき(以下、音源51と音源52と呼ぶ。)、音源51の音像の位置が位置61になり、音源52の音像の位置が位置65となる。同様に、マイク53とマイク52の位置に音源があるとしたとき(以下、音源53と音源52と呼ぶ)、音源53の音像の位置が位置62になり、音源52の音源の位置が位置65となる。また、第2組のマイクに対する減衰量は大きいためこれらの組からの音響信号は、音響信号処理部11が出力する音響信号R及び音響信号Lには殆ど含まれなくなる。以上の構成により、音響信号処理部11が出力する音響信号R及び音響信号Lでステレオスピーカを駆動すると、ユーザが指定した区間に対応する音場が再現できる。
[0027]
 最後に、区間判定部12は、ユーザ操作に基づき区間を判定する。例えば、ユーザが区間を直接指定する場合、区間判定部12は、ユーザが区間を指定する操作を受け付ける受付部として機能する。この場合、ユーザが指定した区間を音響信号処理部11に出力する。一方、例えば、VRのヘッドマウントディスプレイでの映像の視聴や、360度パノラマ映像のタブレットでの視聴に適用する場合、区間判定部12は、ユーザが見ている映像の範囲に基づき区間を計算し、計算した区間を音響信号処理部11に出力する。
[0028]
 本発明によるミキシング装置10は、プロセッサ及び記憶部を含むコンピュータを上記ミキシング装置10として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。コンピュータプログラムは、記憶部に記憶され、プロセッサが当該プログラムを実行することで、図2の各部の機能が実現される。
[0029]
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

請求の範囲

[請求項1]
 複数のマイクロフォンで収音した音響信号をミキシングするミキシング装置であって、
 前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの2つのマイクロフォンの組それぞれに対応して設けられ、対応する前記組の前記2つのマイクロフォンが出力する音響信号を処理して第1音響信号と第2音響信号を出力する様に構成された処理部と、
 各組に対応する前記処理部が出力する前記第1音響信号を加算して出力する様に構成された第1加算部と、
 各組に対応する前記処理部が出力する前記第2音響信号を加算して出力する様に構成された第2加算部と、
を備えており、
 前記処理部は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記2つのマイクロフォンが出力する音響信号を処理する、ミキシング装置。
[請求項2]
 ユーザ操作を受け付ける様に構成された受付部と、
 前記ユーザ操作に基づき各組を分類し、各組の分類結果に基づき前記処理部それぞれが使用する前記拡縮係数、前記シフト係数及び前記減衰係数を決定する様に構成された決定部と、
をさらに備えている、請求項1に記載のミキシング装置。
[請求項3]
 前記複数のマイクロフォンは所定の線上に沿って配置され、前記組の前記2つのマイクロフォンは、前記所定の線上において隣り合うマイクロフォンであり、
 前記ユーザ操作は、前記所定の線上における区間を指定する操作であり、
 前記決定部は、
 前記区間内に少なくとも1つのマイクロフォンが含まれる場合、前記区間内に2つのマイクロフォンが含まれる組を第1組、前記区間内に2つのマイクロフォンが含まれない組を第2組、前記区間内に1つのマイクロフォンのみが含まれる組を第3組に分類し、
 前記区間内に1つもマイクロフォンが含まれない場合、前記区間の両端それぞれに最も近い2つのマイクロフォンの組を前記第3組に分類し、それ以外の組を前記第2組に分類する様にさらに構成されている、請求項2に記載のミキシング装置。
[請求項4]
 前記決定部は、前記第1組及び前記第2組に対応する前記処理部が使用する前記拡縮係数を音場の拡縮が無い値に決定し、前記第1組及び前記第2組に対応する前記処理部が使用するシフト係数を音場のシフトが無い値に決定する様にさらに構成されている、請求項3に記載のミキシング装置。
[請求項5]
 前記決定部は、前記第3組に対応する前記処理部が使用する前記拡縮係数を、前記第3組の2つのマイクロフォンの間における前記区間の長さに応じて決定し、前記第3組に対応する前記処理部が使用するシフト係数を、前記第3組の2つのマイクロフォンの配置位置の中心と、前記第3組の2つのマイクロフォンの間における前記区間の中心との距離に応じて決定する様にさらに構成されている、請求項3に記載のミキシング装置。
[請求項6]
 前記決定部は、前記第1組の2つのマイクロフォンが出力する2つの音響信号の減衰係数及び前記第3組の2つのマイクロフォンが出力する2つの音響信号の減衰係数を、前記第2組の2つのマイクロフォンが出力する2つの音響信号の減衰係数より減衰量が小さくなる値に決定する様にさらに構成されている、請求項3に記載のミキシング装置。
[請求項7]
 前記決定部は、前記第1組の2つのマイクロフォンが出力する2つの音響信号の減衰係数を減衰量が0となる値に決定する様にさらに構成されている、請求項3に記載のミキシング装置。
[請求項8]
 前記決定部は、前記第3組の前記区間内に含まれるマイクロフォンが出力する音響信号の減衰係数を、前記第1組の2つのマイクロフォンが出力する2つの音響信号の減衰係数と同じにする様にさらに構成されている、請求項6に記載のミキシング装置。
[請求項9]
 前記決定部は、前記第3組の前記区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、前記第1組の2つのマイクロフォンが出力する2つの音響信号の減衰係数より減衰量が大きくなる値に決定する様にさらに構成されている、請求項6に記載のミキシング装置。
[請求項10]
 前記決定部は、前記第3組の前記区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、前記区間との距離に応じて決定する様にさらに構成されている、請求項9に記載のミキシング装置。
[請求項11]
 前記決定部は、前記第2組の2つのマイクロフォンが出力する2つの音響信号の減衰係数を減衰量が最大となる値に決定する様にさらに構成されている、請求項6に記載のミキシング装置。
[請求項12]
 コンピュータプログラムを格納するコンピュータ可読記憶媒体であって、
 前記コンピュータプログラムは、1つ以上のプロセッサを有する装置の前記1つ以上のプロセッサで実行されると、前記装置に、
 複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの2つのマイクロフォンの組それぞれについて、前記組の前記2つのマイクロフォンが出力する音響信号を処理して第1音響信号と第2音響信号を出力することと、
 各組について出力された前記第1音響信号を加算して出力することと、
 各組について出力された前記第2音響信号を加算して出力することと、
を実行させる命令を含み、
 前記第1音響信号と前記第2音響信号を出力することは、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記2つのマイクロフォンが出力する音響信号を処理することを含む、コンピュータ可読記憶媒体。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4A]

[ 図 4B]

[ 図 4C]

[ 図 5]

[ 図 6A]

[ 図 6B]