処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2021038833 - 音響空間生成装置

Document

明 細 書

発明の名称 音響空間生成装置

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006   0007   0008  

発明の効果

0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062  

符号の説明

0063  

請求の範囲

1   2  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13  

明 細 書

発明の名称 : 音響空間生成装置

技術分野

[0001]
 本発明は、音響空間生成装置に関する。

背景技術

[0002]
 カメラの前で人が動作することにより、その動作に応じた楽音データを自動的に作成し、それを演奏することのできる楽音生成装置が知られている。例えば下記特許文献1には、カメラの被写体である人の運動に反応して、その動きの位置と変化量に基づいて楽音データを作成し、これを音として出力する楽音生成装置の構成が開示されている。この楽音生成装置によれば、演奏者は、音楽を自動演奏する装置の操作や楽器の演奏をするための知識や技術を習得する必要がなく、カメラの前で運動するだけで、即興的な演奏を容易に行うことができる。

先行技術文献

特許文献

[0003]
特許文献1 : 特許第3643829号公報

発明の概要

発明が解決しようとする課題

[0004]
 上述したように被写体の動きと反応する音を出力する装置が知られているが、被写体の動きについて従来技術とは異なる観点から認識し、これにより生じる新たな楽音を奏でることのできる装置があれば、被写体の動きに応じて生成される楽音をより一層楽しむことができる。このような点に鑑み、本発明では、物体の動きの状態(例えば演奏者の動作)に応じて生成される楽音をより一層楽しむことができるように、物体の動きの状態を従来技術とは異なる観点から認識して、これにより生じる新たな楽音を奏でる装置を提供することを主たる目的とする。
[0005]
 また、上記特許文献1記載の楽音生成装置では、カメラの被写体における動きの位置の特定、並びに、被写体の動きの変化量の算出の双方を行う必要がある。したがって、上記楽音生成装置は、演奏する際のデータ処理の負担が大きくなる可能性を有している。このような点に鑑み、本発明では、物体の動きの状態に基づく即興的な演奏をより一層容易に行うことができる装置を提供することも目的とする。

課題を解決するための手段

[0006]
 本発明は、「動く」と「止まる」の単純動作に着眼し、身体表現や、呼吸法、「間」、「間」、ものごとのON/OFFなどの様々な動作の時間的感覚(間隔)を音あるいは音節にすることを目的として着想されたものである。そして、本発明では、主として物体の「運動(動き)」と「静止」との反復に着眼し、これを元に特定の音階による旋律(メロディー)や音節、音響空間を生成・組織化する装置を提供する。
[0007]
 すなわち、本発明は、物体を撮影するカメラと、物体を照射する光源と、カメラから画像を取得する入力部と、映像のフレームに応じて、発生する音を選択する処理部と、処理部により選択された音を出力する複数のスピーカーと、を備え、処理部は、フレームの光量と当該フレームの直前のフレームの光量とを比較して、予め設定された光量の閾値に基づいて、物体が動きの状態か静止の状態であるかを判定し、動きの状態であると判定されるとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、複数のスピーカーの一つを割り当て、割り当てられたスピーカーから音を出力させ、第1の単位時間で動きの状態が第1の所定の回数連続で発生し、第1の所定の回数連続で発生した回数が第2の所定の回数に達し、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、所定の音に対し、複数のスピーカーのうち特定のスピーカーが割り当てられたとき、音楽構造プログラムにより、特定のスピーカーからサイン波を発生させ、第1の単位時間で動きの状態が第1の所定回数連続で発生し、第1の所定回数連続で発生した回数が第3の所定の回数に達したとき、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、選択された音に対して、特定のスピーカーが割り当てられたとき、音楽構造プログラムにより、特定のスピーカーから第1の残響音を出力させ、第1の単位時間で動きの状態が第4の所定の回数連続で発生したとき、音楽構造プログラムにより、第2の残響音を所定の順序でスピーカーから出力させる音響空間生成装置である。
[0008]
 また、本発明は、物体の状態を検出可能なセンサと、センサから信号を取得する入力部と、信号に応じて、発生する音を選択する処理部と、処理部により選択された音を出力する複数のスピーカーと、を備え、処理部は、信号と当該信号の直前の信号とを比較して、予め設定された信号の閾値に基づいて、物体が動きの状態か静止の状態であるかを判定し、動きの状態であると判定されるとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、複数のスピーカーの一つを割り当て、割り当てられたスピーカーから音を出力させ、第1の単位時間で動きの状態が第1の所定の回数連続で発生し、第1の所定の回数連続で発生した回数が第2の所定の回数に達し、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、所定の音に対し、複数のスピーカーのうち特定のスピーカーが割り当てられたとき、音楽構造プログラムにより、特定のスピーカーからサイン波を発生させ、第1の単位時間で動きの状態が第1の所定回数連続で発生し、第1の所定回数連続で発生した回数が第3の所定の回数に達したとき、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、選択された音に対して、特定のスピーカーが割り当てられたとき、音楽構造プログラムにより、特定のスピーカーから第1の残響音を出力させ、第1の単位時間で動きの状態が第4の所定の回数連続で発生したとき、音楽構造プログラムにより、第2の残響音を所定の順序でスピーカーから出力させる音響空間生成装置である。

発明の効果

[0009]
 本発明の音響空間生成装置では、物体(例えば被写体)の動きに基づいてその運動及び静止の各状態を判定し、各状態の頻度や周期、回数等に応じて音を選択し、選択した音を楽音として出力する。したがって、本発明によれば、物体の動きの態様に応じた楽音を容易に奏でることができ、このような楽音を奏でる音響空間を容易に提供することができる。また、本発明によれば、物体の運動と静止との反復動作に基づき生成された新たな音節の楽音や音響を奏でることができる。

図面の簡単な説明

[0010]
[図1] 実施形態に係る音響空間生成装置の一例を示す概略図であり、(a)は正面側から見た図、(b)は上方から見た図である。
[図2] 図1の音響空間生成装置の要部を示すブロック図である。
[図3] 図1の音響空間生成装置の使用状態の一例を示す図である。
[図4] 図1の音響空間生成装置の動作の一例を示すフローチャートである。
[図5] 所定音程の音を出力する際の処理部の処理を示すフローチャートである。
[図6] 音程のオーディオファイルを示す図である。
[図7] 処理部の動作の一例を説明するための図である。
[図8] サイン波の発生処理を示すフローチャートである。
[図9] 処理部の動作の一例を説明するための図である。
[図10] 第1残響音の出力処理を示すフローチャートである。
[図11] 処理部の動作の一例を説明するための図である。
[図12] 第2残響音の出力処理を示すフローチャートである。
[図13] 処理部の動作の一例を説明するための図である。

発明を実施するための形態

[0011]
 以下、本発明の実施形態について図面を参照しながら説明する。ただし、本発明はこれに限定されるものではない。また、図面においては実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。図1は、実施形態に係る音響空間生成装置100の構成の一例についてその概略を示す図であり、(a)は正面側から見た図、(b)は上方から見た図である。なお、図1(a)は手前側の壁部11bを透過した状態を示し、図1(b)は天井部11cを透過した状態を示している。
[0012]
 実施形態に係る音響空間生成装置100は、特定の音階による旋律や音節を生成し、それが奏でられる音響空間10を生成する装置である。実施形態では、音響空間10は、音楽を奏でる空間である。
[0013]
 実施形態では、音響空間10は、構造体11の内部空間である。構造体11は、コンテナ状の構造物であり、中空かつ移動可能に形成されている。構造体11は、例えば図1に示すように、平面視で略正方形の床面11aと、床面11aの各辺部から起立する壁面11bと、上記内部空間を塞ぐように床面11aの上方に配置される天井面11cと、を含み構成される。音響空間10は、構造体11の床面11a、壁面11b、及び天井面11cにより画定される空間である。なお、音響空間10は、上述した構造体11のようなコンテナ状の構造物の内部空間に限定されず、音を伝播可能なすべての空間が適用可能である。すなわち、音響空間10は、例えば、コンサートホールやイベントホールなどの建物の内部空間や、地下空間であってもよい。また、音響空間10は、閉じられた空間であることに限定されず、例えば、屋外ステージ上の空間や、地表の空間などであってもよい。この場合、後述する、カメラ20や、光源30、台40、複数のスピーカー50などは、例えば屋外ステージ上や地表に設置される。
[0014]
 音響空間生成装置100は、カメラ20と、光源30と、台40と、複数のスピーカー50と、情報処理装置60(図2参照)と、を備える。カメラ20、光源30、及び台40は、音響空間10の内部に設置されているが、音響空間10の外部に設置されてもよい。例えば、カメラ20等は、音響空間10から離れた場所に設置されてもよい。
[0015]
 カメラ20は、被写体(物体)(すなわち使用者Uの手)H(図3参照)の動きを撮影可能な装置である。カメラ20は、天井部11c付近において下方に向けた状態で設置されている。カメラ20は、被写体Hを上方から撮影し、被写体Hの動画を撮像する。カメラ20は、音響空間10において平面視における中央部分に配置されている。カメラ20は、空中で支持されており、例えば、壁部11bから水平方向に延びる支持金具(不図示)により支持されている。なお、カメラ20は、上記構成に限定されず、カメラ20の向きや、設置場所、設置方法などについては任意に設定可能であり、例えば、カメラ20は、上方や水平方向に向けて設置されてもよいし、天井部11cに対して固定した状態で設置されてもよいし、天井部11cから吊り下げられた状態で設けられてもよい。
[0016]
 カメラ20は、被写体Hを連続的に撮像し、撮影した画像を情報処理装置60に送信する。具体的には、カメラ20は、予め設定されたフレームレートで被写体Hを撮影し、フレームごとに画像データとして情報処理装置60の入力部61(図2参照)に入力する。カメラ20は情報処理装置60とデータ通信可能に接続されており、画像データは有線(例えばUSBやEthernet(登録商標))あるいは無線(例えば各種電波通信やインターネット)を介してカメラ20から入力部61に送信される。カメラ20のフレームレートは、被写体Hの動きの速度や情報処理装置60の性能などに応じて設定される。実施形態においては、カメラ20のフレームレートは、40fps(frames per second)に設定される。この場合、カメラ20は、毎秒40回の頻度で被写体Hを撮影し、毎秒40枚の頻度で取得したフレーム画像を情報処理装置60に送信する。なお、カメラ20のフレームレートは、40fpsに限定されず、例えば25fps、30fps、50fps、60fpsなどに設定されてもよい。
[0017]
 光源30は、被写体Hを照射する光を発する器具や装置等である。光源30は、音響空間10の内部において、平面視中央部分の天井部11c付近に配置されている。光源30は、例えば、LEDのスポットライトである。スポットライトとは音響空間10の一部を集中的に照らす照明である。光源30は、下方に向けた状態で設置されており、真下に向けて光Lを射出する。これにより、台40の上面41の一部の領域R(図3参照)に光Lが投射される。光源30は、カメラ20と一体的に設けられている。なお、光源30は、上記構成に限定されず、例えば、アーク灯や、白熱電球、蛍光灯、太陽光などであってもよいし、台40の周囲を含む広範囲を均一に照らすものなどであってもよい。また、光源30は、射出する光Lの方向や、設置場所、設置方法などについても任意に設定可能であり、例えば、上方や水平方向に光Lを射出するように設置されてもよいし、カメラ20とは個別に設置されてもよい。
[0018]
 台40は、光源30の下方の床部11a上に設置されている。台40の高さは、例えば起立した姿勢の使用者(演奏者)Uの腰の位置に相当する高さに設定されている(図3参照)。台40は、床部11a表面のほぼ中央に設置されており、高さ90センチメートル(cm)、縦横の長さがそれぞれ45センチメートルの直方体形状となっている。台40の上面41は、平面状であり、光源30の射出光Lが照射される領域Rの全てを含むように配置されている。なお、台40は、上記構成に限定されず、その形状やサイズ、配置などについて適宜変更が可能である。また、音響空間生成装置100において、このような台40を設置するか否かは任意である。
[0019]
 上述したように、光源30から真下に向けて光Lが射出される。光源30から射出された光Lは、そのまま下方に進むと台40の上面41の例えば円形状の領域Rを照射する。このとき、光源30を頂点としかつ台40の上面41を底面とする略円錐状の空間が、全体的に暗く設定された音響空間10において部分的に光Lに照らされた状態となる。このような、光源30の光Lに照らされた略円錐状の空間を光照射空間S(図3参照)という。
[0020]
 音響空間10にはスピーカー50が5つ設置されている。これら5つのスピーカー50は、情報処理装置60により生成された音楽データに基づく音を出力する。これら第1スピーカー51、第2スピーカー52、第3スピーカー53、第4スピーカー54、及び第5スピーカー55は、それぞれ所定方向に音を放出する放音部51a,52a,55aを有する。
[0021]
 第5スピーカー55は、音響空間10において、平面視における中央部かつ上側に配置されている。第5スピーカー55は、カメラ20の上面に設けられ、放音部55aを上方に向けた状態で設置されている。
[0022]
 他方、第1スピーカー51、第2スピーカー52、第3スピーカー53、及び第4スピーカー54は、音響空間10において、底部に配置され、第5スピーカー55を中心とする同一円周上に等間隔となるように配置されている。第1~第4スピーカー51~54は、略正方形状の床面11aの4つの隅部にそれぞれ設置されている。また、第1~第4スピーカー51~54のそれぞれは、放音部51a,52a,55aを音響空間10の中央側に向けた状態、かつ、若干上方に向けて放音するように水平方向に対して5°~25°度程度上方に傾けた状態で設置されている。
[0023]
 なお、音響空間生成装置100の備える複数のスピーカー50は、上記した第1~第5スピーカー51~55の構成に限定されない。すなわち、音響空間10内におけるスピーカー51等の設置数や、スピーカー51等のそれぞれの配置、放音部51a等の向きなどは適宜変更可能である。具体的には、例えば、音響空間生成装置100の備えるスピーカーの数は、2つ以上4つ以下、あるいは6つ以上であってもよい。また、例えば、5つのスピーカー50を構成する全てのスピーカー51~55は、音響空間10において、上部に配置されてもよいし、底部に配置されてもよいし、中央部分を囲むように配置されてもよい。また、例えば、第5スピーカー55は、下方に放音するように放音部55aを下方に向けた状態でカメラ20から離間させて設置されてもよいし、第1~第4スピーカー51等は水平方向に放音するように設置されてもよい。また、第1~第5スピーカー51等は、全て同一の構成のスピーカーであるが、これらの一部あるいは全ては異なる構成のスピーカーであってもよい。
[0024]
 情報処理装置60は、例えばコンピュータから構成される。情報処理装置60は、第1~第5スピーカー51等及びカメラ20のそれぞれと有線又は無線通信を介して通信可能に接続されている。情報処理装置60は、カメラ20の映像を取得すると共に、第1~第5スピーカー51等から所定の音を出力させる。情報処理装置60は、音響空間10の外部に設置されるが、音響空間10の内部に設置されてもよい。図2は、音響空間生成装置100の要部を示すブロック図である。図2に示すように、情報処理装置60は、入力部61と処理部62と記憶部63とを有している。
[0025]
 入力部61は、カメラ20の映像を取得する。入力部61は、カメラ20の撮像した複数のフレームを画像データとして取得する。処理部62は、入力された画像データに基づいて所定の処理を行い、被写体Hの動作の状態に応じた音程を選択して、選択した音程の各音をスピーカー50から出力させる。なお、処理部62におけるデータ処理等については後述する。また、処理部62は、例えばCPUを含む構成により実現される。記憶部63は、カメラ20から入力された画像データや、処理部62が生成したデータなどを記憶する。また、記憶部63は、処理部62の処理を実行するためのプログラムや、後述する音楽構造プログラム及び空間構造プログラムも記憶している。記憶部63は、例えばメモリやハードディスクなどにより実現される。
[0026]
 次に、音響空間生成装置100の使用方法について説明する。図3は、音響空間生成装置100の使用状態の一例を示す図である。図3に示すように、使用者Uは、台40の背面側に立ち、光照射空間Sに手Hを入れた状態で、手Hを動かしたり止めたりする動作を行う。音響空間生成装置100はこのように使用される。このとき、使用者Uは、光照射空間Sに左右両方の手Hあるいは片方の手Hを入れ、その手Hを、例えば、上下方向や左右方向に動かしたり、回転させたり、指を動かしたり、手Hのひらを拡げたり閉じたりといった運動をしたり、手Hの動きを一時的に止めたりする。このような手Hの一連の動作はカメラ20に撮影される。そして、スピーカー50から手Hの動作に応じて生成された音が出力される。
[0027]
 続いて、音響空間生成装置100の動作について説明する。図4は、音響空間生成装置100の動作の一例を示すフローチャートである。以下では、音響空間生成装置100の動作について、図4のフローチャートに即して説明する。
[0028]
 先ず、カメラ20で被写体(物体)Hの動画を撮像する(ステップS01)。そして、カメラ20の撮影した画像データをから情報処理装置60に送信する(ステップS02)。例えば図3に示す使用状態においては、カメラ20は、予め設定されたフレームレートで、光照射空間S内の手Hを連続的に撮影し、フレームごとに画像データとして情報処理装置60の入力部61に入力する。
[0029]
 フレームごとの画像データ(フレーム画像)が入力部61に入力されると、処理部62は、当該画像データに基づく所定の処理及び所定の動作を実行する(ステップS03)。そして、スピーカー50から楽音などが出力される(ステップS04)。スピーカー50から出力される音は、処理部62において選択された所定の音程の音により構成される旋律(メロディー)や音節を有する。
[0030]
 スピーカー50から出力される音は、所定の条件を満たすことにより、このような旋律や音節の音に加えて、サイン波(正弦波)音や、残響音を含む。なお、スピーカー50からサイン波音が出力される条件並びに残響音が出力される条件等については後述する。
[0031]
 音響空間生成装置100のステップS01~ステップS04の動作により、被写体Hの動作に応じて自動作曲された楽音がスピーカー50から奏でられ、これにより音響空間10が生成される。
[0032]
 続いて、ステップS03の処理部62の処理の内容について具体的に説明する。図5は、所定音程の音を出力する際の処理部62の処理を示すフローチャートである。なお、処理部62の処理は、例えば、記憶部63に記憶されたプログラムに基づき自動的に実行される。
[0033]
 処理部62は、図5に示すように、先ず、フレーム画像を取得する(ステップS11)。次いで、処理部62は、当該フレームの画像データの光量と、当該フレームの直前に取得したフレームの画像データの光量を比較する(ステップS12)。ステップS12では、フレーム画像の全領域の光量を比較するが、これに代えて、フレーム画像における一部の所定領域の光量を比較するようにしてもよい。
[0034]
 続いて、光量の差が閾値以上か否かを判定する(ステップS13)。ステップS13では、処理部62は、当該フレームの画像データの光量と、当該フレームの直前に取得したフレームの画像データの光量との差が、閾値以上か、閾値未満かについて判定する。閾値は、所定の光量の値であり、予め設定されて記憶部63に記憶される。
[0035]
 処理部62は、上記した光量の差が閾値以上の場合(ステップS13において「YES」の場合)、被写体Hが「動き」(motion)の状態と判定する(ステップS14)。そして、処理部62は、被写体Hが動きの状態と判定すると、動作感知シグナルを1つ発生する(ステップS15)。
[0036]
 一方、処理部62は、上記した光量の差が閾値未満と判定して場合(ステップS13において「NO」の場合)、被写体Hが「静止」(stop)の状態と判定する(ステップS24)。処理部62は、被写体Hが静止の状態と判定した場合、休止・余韻シグナルを1つ発生するようにしても構わない(ステップS25)。
[0037]
 処理部62は、ステップS15において動作感知シグナルが1つ発生すると、予め設定され記憶された音楽構造プログラムに基づき出力音の音程を1つ選択する(ステップS16)。ステップS16では、音楽構造プログラムに基づき、例えば、図6に示すデータを有するファイルから出力する音の音程が選択される。この場合、図6記載の42個の音程のデータ(A1~A42)から1つの音程が選択される。なお、ステップS16で選択される音程は、図6記載の42個の音程のデータ(A1~A42)に代えて、例えば音響ノイズなどの録音素材から選択されてもよい。また、ステップS16では、図6記載の42個の音程のデータ(A1~A42)のうち複数の音程が同時に選択されてもよい。
[0038]
 処理部62は、ステップS16に続いて、予め設定され記憶された空間構造プログラムにより、選択された音程の音に対してスピーカーを割り当てる(ステップS17)。ステップS17では、選択された音程の各音に対して、空間構造プログラムに基づき、5つのスピーカー51~55のうちいずれか一つのスピーカーが割り当てられる。なお、ステップS16において同時に複数の音程が選択される場合、ステップS17では、選択された複数の音程のそれぞれに対して、5つのスピーカー51~55のうちいずれか一つのスピーカーが割り当てられる。
[0039]
 図6は、音程のオーディオファイルを示す図である。図6には、例えば42個の音程に関するデータが示されている。図6において、A1~A42は、42個の音程の通し番号である。これら42個の音程が、ステップS16において選択可能な音程である。また、MIDI番号は、ノートナンバーやノート番号ともいい、MIDI(Musical Instrument Digital Interface)での音の高さ、音域を表す数値である。同時発音数とは、同時に出力可能な音の数をいい、レイヤー数に相当する値でもある。また、動作感知シグナルが127回発生した場合の各音程の出現頻度とは、動作感知シグナルが127回発生した場合に各音程がどのくらいの回数で選択されるかを示している。また、動作感知シグナルが20回発生した場合のSP1/SP2/SP3/SP4/SP5の出力頻度とは、動作感知シグナルが20回発生し、所定の音程の音が20回選択された場合において、第1スピーカー51(SP1)、第2スピーカー52(SP2)、第3スピーカー53(SP3)、第4スピーカー54(SP4)、及び第5スピーカー55(SP5)のそれぞれにどれくらいの回数で割り当てられるかを示している。
[0040]
 各音程の出現頻度、並びに、各音程の音の各スピーカーの割り当て頻度に関する数値は予め設定されている。ステップS16及びステップS17では、これらの出現頻度及び割り当て頻度に関する数値に応じて、自動的に、音程の選択やスピーカー50の割り当てがなされる。
[0041]
 図5に戻り、処理部62は、割り当てられたスピーカー50から所定音程の音を出力させる(ステップS18)。ステップS18では、選択された音程の音を、割り当てられたスピーカー50から出力させる。なお、スピーカー50が連続音を出力する場合において、かかる連続音を構成する各音に対して割り当てるスピーカー51等を変えるなどして(例えば、上記連続音を構成する音ごとに異なるスピーカー51等を割り当てるなど)、スピーカー50から音を音響空間10内で上下左右に動くように出力させてもよい。
[0042]
 図7は、処理部62の動作の一例を説明するための図である。処理部62の上述した処理により、図7にも示されるように、被写体Hが動きの状態の場合、音楽構造プログラムに基づき選択された音程の音がスピーカー50から出力される。一方、被写体Hが静止の状態にある場合、スピーカー50は一時的に音を出力しない休止状態となり、その結果、音響空間10は、無音あるいは余韻を発する状態となる。したがって、被写体Hが動きの状態を連続的に続けると、所定音程の音が連続的に出力されるので、質感としての音が生成される。他方、被写体Hがその動きの状態の中で、静止の状態を適宜挟むと、音により運動と運動との間が表現されるとともに、音の余韻を聞くことができる。その結果、旋律(メロディー)や音節の奏でる音響空間10が生成される。
[0043]
 また、上述したステップS03の処理において、処理部62は、所定の条件下で、スピーカー50からサイン波を発生させる。このサイン波は、上記した所定音程の音の波形に対して合成された状態で出力される。そこで、このようなサイン波の発生に関する処理部62の処理について説明する。
[0044]
 図8は、処理部62におけるサイン波の発生処理を示すフローチャートである。処理部62は次の処理を実行する。図8に示すように、動作感知シグナルが第1の単位時間で第1の所定の回数連続で発生したか否かを判定する(ステップS31)。すなわち、第1の単位時間で動きの状態が第1の所定の回数連続で発生したか否かを判定する。発生したと判定した場合(ステップS31の「YES」の場合)、ステップS31における第1の所定の回数連続で発生した回数が、第2の所定の回数に到達したか判定する(ステップS32)。到達したと判定した場合(ステップS32の「YES」の場合)、第2の単位時間以上静止の状態であった後に動作感知シグナルが発生したか否か判定する(ステップS33)。そして、第2の単位時間以上静止の状態であった後に、動きの状態であると判定された場合(ステップS33の「YES」の場合)、さらに、所定の音に対して複数のスピーカー50のうち特定のスピーカー51等が割り当てられたとき(ステップS34の「YES」のとき)、特定のスピーカー51等からサイン波を発生させる(ステップS35)。なお、上記したサイン波の発生処理において、静止の状態の判定は、動作感知シグナルの不発生により認識してもよいし、休止・余韻シグナルを検知することにより認識してもよい。
[0045]
 具体的には、例えば次のとおりである。図9は、処理部62の動作の一例を説明するための図である。第1の単位時間は例えば180msに、第1の所定の回数は例えば1~30回に、第2の単位時間は例えば500msに、第2の所定の回数は例えば10回に、それぞれ予め設定される。なお、これらの設定値は記憶部63に記憶される。処理部62は、図9に示すように、180ms以下の期間で動作感知シグナルが1~30回連続で発生し、その周期の合計が10回に達し、さらに500ms以上静止の状態であった後に動作感知シグナルを検知すると、例えば第5スピーカー55を割り当て、第5スピーカー55から60~90秒間、第1サイン波を発生させる。また、処理部62は、ステップS33の動作感知シグナルの発生により選択された音程の音が、図6の42個の音程のデータのうち例えばA19~A25のいずれかの音程の音であった場合には、第1サイン波に加えて第2サイン波を発生させる。第2サイン波は、後述する第3サイン波と第4サイン波を10秒の音量カーブによって合成したものである。ここで、第3サイン波とは、ステップS33の動作感知シグナルの発生により選択された音程の2オクターブ上の周波数のサイン波である。第4サイン波とは、第3サイン波に対して0.5~11Hzの周波数が加算されたサイン波である。第2サイン波は、例えば第5スピーカー55から10秒間出力される。なお、第4サイン波において、数値が変更される際、1500~4000ms時間補完を用いて到達値に達する。
[0046]
 さらに、上述したステップS03の処理において、処理部62は、所定の条件下で、スピーカー50から第1残響音を出力させる。そこで、続いて、第1残響音の出力に関する処理部62の処理について説明する。
[0047]
 図10は、第1残響音の出力処理を示すフローチャートである。処理部62は次の処理を実行する。図10に示すように、動作感知シグナルが第1の単位時間で第1の所定の回数連続で発生したか否かを判定する(ステップS41)。発生したと判定した場合(ステップS31の「YES」の場合)、ステップS41における第1の所定の回数連続で発生した回数が、第3の所定の回数に到達したか判定する(ステップS42)。到達したと判定した場合(ステップS42の「YES」の場合)、続いて、第2の単位時間以上静止の状態であった後に動作感知シグナルが発生したか否か判定する(ステップS43)。そして、第2の単位時間以上静止の状態であった後に、動きの状態であると判定された場合(ステップS43の「YES」の場合)、さらに、選択された音に対して複数のスピーカー50のうち特定のスピーカーが割り当てられたとき(ステップS44の「YES」のとき)、特定のスピーカー50から第1残響音を出力させる(ステップS45)。
[0048]
 具体的には、例えば次のとおりである。図11は、処理部62の動作の一例を説明するための図である。第1の単位時間、第1の所定の回数、及び第2の単位時間は、予め、例えば上記値に設定される。また、第3の所定の回数は、例えば3~5回に設定される。なお、これらの設定値は記憶部63に記憶される。処理部62は、図11に示すように、180ms以下の期間で動作感知シグナルが1~30回連続で発生した周期を1とカウントし、3~5カウント目に達したとき、さらに、500ms以上静止の状態であった後に動作感知シグナルを検知すると、例えば第5スピーカー55を割り当て、60~90秒間、第5スピーカー55から第1残響音を出力させる。このとき、上記した500ms以上静止後の動作感知シグナルに基づいて選択された音程の音に対して割り当てられたスピーカーが第5スピーカー55である場合、第1残響音は、第5スピーカー55から上記音程の音に合成して出力させる。
[0049]
 さらにまた、上述したステップS03の処理において、処理部62は、所定の条件下で、スピーカー50から第2残響音を出力させる。そこで、続いて、第2残響音の出力に関する処理部62の処理について説明する。
[0050]
 図12は、第2残響音の出力処理を示すフローチャートである。処理部62は次の処理を実行する。図12に示すように、動作感知シグナルが第1の単位時間で第4の所定の回数連続で発生したか否かを判定する(ステップS51)。発生したと判定した場合(ステップS51の「YES」の場合)、さらに、選択された音に対して複数のスピーカー50のうち特定のスピーカーが割り当てられたとき(ステップS52の「YES」のとき)、特定のスピーカー50から第2残響音を出力させる(ステップS53)。
[0051]
 具体的には、例えば次のとおりである。図13は、処理部62の動作の一例を説明するための図である。予め、第1の単位時間は、例えば上記値に設定される。また、第4の所定の回数は、例えば30回に設定される。なお、これらの設定値は記憶部63に記憶される。図13に示すように、処理部62は、180ms以下の期間で動作感知シグナルが30回連続で発生すると、スピーカー50から第2残響音を出力させる。処理部62は、第2残響音を、例えば、図6記載の42個の音程のデータのうちA1~A18、A70~A79の音程の音に対して合成させた上で、3~10秒間出力させる。また、処理部62は、第2残響音を、例えば、第1スピーカー51と第2スピーカー52から出力させるとともに、1秒の音響移動を経て第3スピーカー53と第4スピーカー54からも出力させる。
[0052]
 上述したように、処理部62は、ステップS11~ステップS18の処理によってスピーカー50から所定音程の音を出力させる。また、処理部62は、ステップS31~ステップS35の処理によってスピーカー50からサイン波を発生させる。さらに、処理部62は、ステップS41~ステップS45の処理によってスピーカー50から第1残響音を出力させる。さらにまた、処理部62は、ステップS51~ステップS53の処理によってスピーカー50から第2残響音を出力させる。
[0053]
 以上のように、音響空間生成装置100では、入力部 61(センサ入力を通じて、「動く・静止」の反復(動作/静止時間のバリエーション)を判定する処理部62から発せられる動作感知シグナルにより、記憶部63に実装された音楽構造プログラム及び空間構造プログラムを介した音響空間10を生成する。そして、音響空間生成装置100によれば、被写体Hの動きに基づいてその運動及び静止の各状態を判定し、各状態の頻度や周期、回数等に応じて音を選択し、選択した音を楽音として出力する。したがって、音響空間生成装置100によれば、物体の動きの態様に応じた楽音を容易に奏でることができ、このような楽音を奏でる音響空間10を容易に提供することができる。また、音響空間生成装置100によれば、物体の運動と静止との反復動作に基づき生成され新たな音節の楽音や音響を奏でることができる。また、所定条件下において、サイン波を合成したことで生じる音や、第1残響音、第2残響音などを含むユニークな楽音を奏でる音響空間10を提供することができる。
[0054]
 また、音響空間生成装置100では、動作する被写体Hに対して光Lが照射されるので、使用者Uは、光Lに照らされた被写体Hの動きを見ながら、即興的な音楽を演奏あるいは鑑賞することが可能である。これにより、音響空間生成装置100によれば、使用者Uが即興的な音楽を視覚上の変化とともに楽しむことのできる新たなエンターテイメント性を備えた音響空間10を提供することができる。そして、音響空間生成装置100によれば、動きと静止の状態から生まれる、身体表現やヨガや福祉など身体の呼吸と関係する音を、使用者Uに体感又は聴取させるので、使用者Uに対して、単に音楽を体感又は聴取させるだけでなく、その精神の向上にも寄与することができる。
[0055]
 続いて、上記実施形態に係る音響空間生成装置100の変形例について説明する。上記音響空間生成装置100では、被写体を撮影するカメラ20と、被写体Hを照射する光源30と、を備える構成であったが、カメラ20及び光源30の双方に代えて、物体の状態を検出可能なセンサを備える構成としてもよい。そこで、以下では、変形例に係る音響空間生成装置の構成について、具体的に説明する。
[0056]
 上記した変形例に係る音響空間生成装置の構成において、物体の状態を検出可能なセンサとしては、例えば物体との距離を検出可能な距離センサなどが適用可能である。なお、カメラ20も物体の動きを検出可能なセンサの一つである。
[0057]
 このような変形例に係る音響空間生成装置の入力部及び処理部の動作は、上述した入力部61及び処理部62の動作と同様である。ただし、変形例に係る入力部は、例えばセンサから物体までの距離に応じた信号を、連続的にセンサから取得する。また、変形例の処理部は、取得した信号を直前に取得した信号と比較して、その差が閾値以上であれば、物体の動きの状態と判定する。閾値は、信号に関する値であって、予め設定される。なお、これ以降の処理部の処理については上記した処理部62と同様である。すなわち、変形例では、物体の状態を検出可能なセンサと、センサから信号を取得する入力部と、上記信号に応じて、発生する音を選択する処理部と、処理部により選択された音を出力する複数のスピーカー50と、を備え、処理部は、信号と当該信号の直前の信号とを比較して、予め設定された信号の上記閾値に基づいて、物体が動きの状態か静止の状態であるかを判定し、動きの状態であると判定されるとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、複数のスピーカー50の一つを割り当て、割り当てられたスピーカーから音を出力させる。変形例に係る音響空間生成装置のその他の構成については上記した実施形態に係る音響空間生成装置100と同様である。変形例に係る音響空間生成装置の処理部は、上記音程の音に加えて、各状態の頻度や周期、回数等に応じてサイン波や、第1残響音、第2残響音を複数のスピーカー50から出力させる。
[0058]
 このような変形例によれば、音響空間生成装置をより一層簡易な構成で実現できる。したがって、例えば、音響空間生成装置を動画カメラ機能付き小型PCで構成することも可能となる。その結果、音響空間生成装置を子供用の音楽教材などに適用することも容易となる。
[0059]
 また、音響空間生成装置100は、上記変形例の他に、次のような構成とすることも可能である。具体的には、例えば、処理部は、センサを実装した升目を踏んだ状態と当該升目から足を離した状態とを判別したり、ブザーのスイッチのON/OFFを判別したりして、予め設定された信号の閾値に基づいて、物体が動きの状態か静止の状態かを判定してもよい。つまり、例えば、足との接触を感知可能なセンサを用いて、足が升目に接触しているときと離間しているときとで異なる信号(例えば、接触しているときは1、離間しているときは0)を当該センサから処理部に出力したり、ブザーのONの状態を検知可能なセンサを用いて、ブザーのスイッチがONのときとOFFのときとで異なる信号(例えば、ONのときは1、OFFのときは0)を当該センサから処理部に出力したりする。そして、処理部は、センサから取得した信号を直前に取得した信号と比較して、その差が閾値以上か(例えば1以上か)判別する。これにより、処理部は、物体が動きの状態(動作に変化のある状態)か静止の状態(動作に変化のない状態)であるかを判定する(例えば、上記差が1の場合には動きの状態、上記差が0の場合には静止の状態と判定する)。そして、処理部は、動きの状態であると判定するとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、複数のスピーカーの一つを割り当て、割り当てられたスピーカーから音を出力させる。また、上記音程の音に加えて、各状態の頻度や周期、回数等に応じてサイン波や、第1残響音、第2残響音を複数のスピーカー50から出力させる。
[0060]
 また、音響空間生成装置100において、処理部は、入力された音声情報(例えば、マイクに入力された音声)において、予め設定された信号の閾値に基づいて、アタック(つまり、音が決然として強く出ること、音の出だし、おとの立ち上がり)の有無を判別して、物体が動きの状態か静止の状態かを判定してもよい。つまり、例えば、音響空間生成装置100は物体の音声を拾うための音声認識装置であるマイクを備え、処理部は、センサであるマイクから取得した音声信号を直前に取得した音声信号と比較して、その差(例えば音量の差)が、予め設定された閾値以上か判別し、物体が動きの状態か静止の状態かを判定するようにしてもよい。
[0061]
 以上、本発明の実施形態及び変形例について説明したが、本発明の技術範囲は、上記の実施形態に限定されるものではない。例えば、カメラ等のセンサで動きを検知される物体については、手Hに限定されず、例えば、人の足や全身であってもよいし、人が把持する物(例えば棒)などであってもよいし、木の葉の影や、波などであってもよい。また、音響空間生成装置100の備える複数のスピーカー50は、実施形態のように複数の据置型のスピーカー51等から構成されてもよいし、使用者Uの両耳に音を直接出力する一対のスピーカーを備えた、ヘッドホンや両耳用イヤホンなどであってもよい。また、音響空間生成装置100の生成する音響空間10は、現実の空間であったが、仮想的な空間であってもよい。すなわち、例えば、音響空間生成装置100のスピーカー50としてヘッドホンあるいは両耳用イヤホンが適用される場合、音響空間生成装置100は、スピーカー50を装着した使用者Uに対して、仮想の音響空間を提供する。また、上記した実施形態及び変形例では、物体(被写体)の動きを検出可能なセンサを用いて物体の状態について動きの状態(motion)と静止の状態(stop)とを判別する等の処理をしてその結果に応じた音を生成するが、ここで、物体(被写体)の動きは、現実の物体の動きに限定されない。つまり、本発明の音響空間生成装置は、例えば、仮想現実(VR)やゲーム内(OpenGL(登録商標)描画上など)における特定の架空の場所における物体の動きの動作について動きの状態(motion)と静止の状態(stop)とを判別する等の処理をしてこれに応じた音を生成するようにしてもよい。また、音響空間生成装置100は、その記憶部63にそれぞれ異なる条件(閾値等)が設定されたアルゴリズムを有する複数の音楽構造プログラムが格納され、上記ステップS16の処理を、これら複数の音楽構造プログラムから適宜選択して実行したり、複数の音楽構造プログラムを同時に実行したりするものであってもよい。この場合、複数の音楽構造プログラムは、例えば、それぞれ異なるレイヤーに分けた状態で記憶部63に格納される。これにより、音響空間生成装置100の使用環境や実装場所の数に応じて、音楽構造プログラムを適宜選択することができるともに、音楽構造プログラムの改良や追加も容易となる。
[0062]
 また、本発明の音響空間生成装置は、例えば、自然環境の木の枝にランダムに多数のスピーカー51等を設置したシステムの構成や、平面(例えば、絵画や、本、壁面(例えば、縦と横の長さがそれぞれ10cmやそれぞれ5mなどの正方形状の壁面))において超小型のスピーカー51等やセンサを複数散りばめた製品の構成、光源30でもある複数の街灯にセンサとスピーカー51等を実装した環境システムの構成、などにより実現されてもよい。また、本発明の音響空間生成装置は、複合的な即興アンサンブル装置・楽器を構成するものであってもよい。この場合の音響空間生成装置は、例えば、図6記載の各音程ファイルが割り当てられる42個のナンバー(A1~A42)に対して、他の録音素材へ変更/割り当てる、もしくは、記憶部63に実装された他の音楽構造プログラム(レイヤー)の動作を関連つける、などの処理を行う構成であってもよい。すなわち、例えば、上記ステップS16において、音程ナンバー「A2」が選択された場合、ノイズ録音素材と、マイクから集音・出力を本音響空間内でリアルタイムに流し、その後、音程ナンバー「A2」や他のナンバーが1回または複数回選択されたら、マイクの集音出力を消し、同時に、他の音楽構造プログラム/レイヤーを動作させる、などの処理を行う構成であってもよい。なお、上記実施形態の音響空間生成装置100では複数のスピーカー50を備えているが、スピーカー51等は1つであっても構わない。

符号の説明

[0063]
 H 被写体、手(物体)
 20 カメラ(センサ)
 30 光源 
 50,51,52,53,54,55 スピーカー
 61 入力部
 62 処理部
 100 音響空間生成装置

請求の範囲

[請求項1]
 物体を撮影するカメラと、
 前記物体を照射する光源と、
 前記カメラから画像を取得する入力部と、
 前記映像のフレームに応じて、発生する音を選択する処理部と、
 前記処理部により選択された音を出力する複数のスピーカーと、を備え、
 前記処理部は、
 前記フレームの光量と当該フレームの直前のフレームの光量とを比較して、予め設定された光量の閾値に基づいて、前記物体が動きの状態か静止の状態であるかを判定し、
 動きの状態であると判定されるとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、前記複数のスピーカーの一つを割り当て、割り当てられたスピーカーから前記音を出力させ、
 第1の単位時間で前記動きの状態が第1の所定の回数連続で発生し、前記第1の所定の回数連続で発生した回数が第2の所定の回数に達し、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、所定の音に対し、前記複数のスピーカーのうち特定のスピーカーが割り当てられたとき、前記音楽構造プログラムにより、前記特定のスピーカーからサイン波を発生させ、
 前記第1の単位時間で前記動きの状態が前記第1の所定回数連続で発生し、前記第1の所定回数連続で発生した回数が第3の所定の回数に達したとき、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、選択された音に対して、前記特定のスピーカーが割り当てられたとき、前記音楽構造プログラムにより、前記特定のスピーカーから第1の残響音を出力させ、
 前記第1の単位時間で前記動きの状態が前記第4の所定の回数連続で発生したとき、前記音楽構造プログラムにより、第2の残響音を所定の順序で前記スピーカーから出力させる音響空間生成装置。
[請求項2]
 物体の状態を検出可能なセンサと、
 前記センサから信号を取得する入力部と、
 前記信号に応じて、発生する音を選択する処理部と、
 前記処理部により選択された音を出力する複数のスピーカーと、を備え、
 前記処理部は、
 前記信号と当該信号の直前の信号とを比較して、予め設定された信号の閾値に基づいて、前記物体が動きの状態か静止の状態であるかを判定し、
 動きの状態であると判定されるとき、動作感知シグナルを発生し、予め記憶された音楽構造プログラムにより、出力する音程を選択し、予め記憶された空間構造プログラムにより、選択された音程の各音に対して、前記複数のスピーカーの一つを割り当て、割り当てられたスピーカーから前記音を出力させ、
 第1の単位時間で前記動きの状態が第1の所定の回数連続で発生し、前記第1の所定の回数連続で発生した回数が第2の所定の回数に達し、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、所定の音に対し、前記複数のスピーカーのうち特定のスピーカーが割り当てられたとき、前記音楽構造プログラムにより、前記特定のスピーカーからサイン波を発生させ、
 前記第1の単位時間で前記動きの状態が前記第1の所定回数連続で発生し、前記第1の所定回数連続で発生した回数が第3の所定の回数に達したとき、第2の単位時間以上静止の状態であった後に、動きの状態であると判定されたとき、且つ、選択された音に対して、前記特定のスピーカーが割り当てられたとき、前記音楽構造プログラムにより、前記特定のスピーカーから第1の残響音を出力させ、
 前記第1の単位時間で前記動きの状態が前記第4の所定の回数連続で発生したとき、前記音楽構造プログラムにより、第2の残響音を所定の順序で前記スピーカーから出力させる音響空間生成装置。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]