Einige Inhalte dieser Anwendung sind momentan nicht verfügbar.
Wenn diese Situation weiterhin besteht, kontaktieren Sie uns bitte unterFeedback&Kontakt
1. (WO2019044157) SOUND PICKUP DEVICE, SOUND PICKUP METHOD, AND PROGRAM
Document

明 細 書

発明の名称 収音装置、収音方法、及びプログラム

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

0004   0005   0006   0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125  

産業上の利用可能性

0126  

符号の説明

0127  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3A   3B   4   5   6   7   8   9   10   11   12   13A   13B   13C   14A   14B   14C   15   16   17   18   19  

明 細 書

発明の名称 : 収音装置、収音方法、及びプログラム

技術分野

[0001]
 本開示は、目的音を収音する収音装置、収音方法、及びプログラムに関する。

背景技術

[0002]
 特許文献1は、一人以上の参加者による談話を記録したデータから、どの参加者がいつ発話したかを推定するための推定装置を開示している。この推定装置は、マイクロホンから出力される音響信号から得られる情報と、カメラから出力される映像信号から得られる情報とを統合することによって、談話参加者が発話した確率を算出している。これにより、談話参加者が発話のない状況で移動した場合であっても、談話参加者の位置を追跡することを可能にしている。

先行技術文献

特許文献

[0003]
特許文献1 : 特許第5215826号公報

発明の概要

[0004]
 本開示は、目的音の収音の精度を向上させる収音装置、収音方法、及びプログラムを提供する。
[0005]
 本開示の一態様の収音装置は、音源となる物体から出力される目的音を収音するための収音装置であって、第1の入力部と、第2の入力部と、制御部とを有する。第1の入力部は、カメラによって生成された画像データの入力を受ける。第2の入力部は、マイクアレイから出力される音響信号の入力を受ける。制御部は、目的音を収音する方向を決定する。制御部は、検出部と、推定部と、重み付け部と、決定部とを含む。検出部は、画像データに基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報を出力する。推定部は、音響信号に基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報を出力する。重み付け部は、カメラの撮影状況に応じて物体位置情報の重みを設定する。決定部は、物体位置情報と物体位置情報の重みと音源位置情報とに基づいて、目的音を収音する方向を決定する。
[0006]
 これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
[0007]
 本開示の収音装置、収音方法、及びプログラムによれば、カメラの撮影状況及びマイクアレイの受音状況に応じて収音方向が決定されるため、目的音の収音の精度が向上する。

図面の簡単な説明

[0008]
[図1] 図1は、第1実施形態の収音装置の構成を示すブロック図である。
[図2] 図2は、第1実施形態の制御部の機能を示すブロック図である。
[図3A] 図3Aは、マイクアレイのみを使用した場合の収音方向を説明するための図である。
[図3B] 図3Bは、マイクアレイとカメラを使用した場合の収音方向を説明するための図である。
[図4] 図4は、第1実施形態における収音方法を示すフローチャートである。
[図5] 図5は、顔位置の検出単位の領域を説明するための図である。
[図6] 図6は、顔の識別を説明するための図である。
[図7] 図7は、顔の確率を説明するための図である。
[図8] 図8は、画像確度の判定を示すフローチャートである。
[図9] 図9は、音源位置の推定を説明するための図である。
[図10] 図10は、音源の確率を説明するための図である。
[図11] 図11は、音響確度の判定を示すフローチャートである。
[図12] 図12は、画像確度と音響確度の重みを示す図である。
[図13A] 図13Aは、顔の確率の一例を示す図である。
[図13B] 図13Bは、音源の確率の一例を示す図である。
[図13C] 図13Cは、図13Aと図13Bとにより算出される収音方向を示す図である。
[図14A] 図14Aは、顔の確率の他の例を示す図である。
[図14B] 図14Bは、音源の確率の他の例を示す図である。
[図14C] 図14Cは、図14Aと図14Bとにより算出される収音方向を示す図である。
[図15] 図15は、第2実施形態の収音装置の構成を示すブロック図である。
[図16] 図16は、第3実施形態における制御部の機能を示すブロック図である。
[図17] 図17は、第4実施形態における顔位置の検出単位の領域を説明するための図である。
[図18] 図18は、他の実施形態の制御部の機能を示すブロック図である。
[図19] 図19は、他の実施形態の制御部の機能を示すブロック図である。

発明を実施するための形態

[0009]
 (本開示の基礎となった知見)
 特許文献1の推定装置において、談話参加者が発話した確率を精度良く算出するためには、カメラから出力される映像信号から得られる情報とマイクロホンから出力される音響信号から得られる情報とが正確である必要がある。よって、映像信号から得られる情報と音響信号から得られる情報とが正確でない場合には、談話参加者が発話した確率を精度良く算出することができない。
[0010]
 本開示は、カメラから出力される映像信号から得られる情報及びマイクアレイから出力される音響信号から得られる情報の精度がよくない場合であっても、目的音の収音の精度を向上させる収音装置を提供する。具体的には、本開示の収音装置は、映像信号から得られる情報に対してカメラの撮影状況に応じた重みを設定し、且つ音響信号から得られる情報に対してマイクアレイの受音状況に応じた重みを設定する。これによって、本開示の収音装置は、精度良く目的音の収音方向を決定する。
[0011]
 (第1実施形態)
 以下、第1実施形態について、図面を参照しながら説明する。本実施形態では、人物の音声を目的音として収音する例について説明する。本実施形態では、カメラの撮影状況に応じた重みは、人物の顔が画像データに含まれている確からしさを示す確度に基づいて、設定される。また、マイクアレイの受音状況に応じた重みは、目的音が音響信号に含まれている確からしさを示す確度に基づいて、設定される。「確度」とは、確実さの度合いのことである。
[0012]
 1. 収音装置の構成
 図1は、本開示の第1実施形態の収音装置の構成を示している。収音装置1は、カメラ10、マイクアレイ20、制御部30、記憶部40、入出力インタフェース部50、及びバス60を備える。収音装置1は、例えば、会議中の人の音声を収音する。収音装置1は、一例では、カメラ10、マイクアレイ20、制御部30、記憶部40、入出力インタフェース部50、及びバス60が一体化された専用の収音機である。
[0013]
 なお、別の例では、収音装置1は、カメラ10とマイクアレイ20のいずれか一方又は両方を内蔵していなくてもよい。この場合、収音装置1は、外付けのカメラ10又はマイクアレイ20と電気的に接続される。例えば、収音装置1は、カメラ10を備えたスマートフォンなどの電子機器であって、マイクアレイ20を備えた外部機器と電気的及び機械的に接続されてもよい。
[0014]
 カメラ10は、CCDイメージセンサ、CMOSイメージセンサ、又はNMOSイメージセンサなどを備える。カメラ10は、映像信号である画像データを生成して、出力する。
[0015]
 マイクアレイ20は、複数のマイクロホンを備える。マイクアレイ20は、音波を受信して電気信号である音響信号に変換して出力する。
[0016]
 制御部30は、カメラ10から得られた画像データと、マイクアレイ20から得られた音響信号に基づいて、収音方向を決定する。制御部30は、決定した収音方向に基づいて、音響信号から目的音を取り出す。制御部30は、半導体素子などで実現可能である。制御部30は、例えば、マイコン、CPU、MPU、DSP、FPGA、ASICで構成することができる。
[0017]
 記憶部40は、カメラ10から得られた画像データ及びマイクアレイ20から得られた音響信号を格納する。記憶部40は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
[0018]
 入出力インタフェース部50は、所定の通信規格(例えばLAN、WiFi、Bluetooth(登録商標)、USB、HDMI(登録商標))に準拠して外部機器との通信を行う回路を含む。
[0019]
 バス60は、カメラ10、マイクアレイ20、制御部30、記憶部40、及び入出力インタフェース部50を電気的に接続する信号線である。
[0020]
 制御部30が画像データを記憶部40から取り出すときは、制御部30が画像データの入力部に相当する。制御部30が音響信号を記憶部40から取り出すときは、制御部30が音響信号の入力部に相当する。入出力インタフェース部50が収音装置1に外付けされたカメラ10から画像データを入力するときは、入出力インタフェース部50が画像データの入力部に相当する。入出力インタフェース部50が収音装置1に外付けされたマイクアレイ20から音響信号を入力するときは、入出力インタフェース部50が音響信号の入力部に相当する。
[0021]
 図2は、制御部30の機能を示している。制御部30の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
[0022]
 制御部30は、物体位置検出部31、音源位置推定部32、重み付け部300、収音方向決定部36、及びビームフォーム部37を含む。
[0023]
 物体位置検出部31は、カメラ10によって生成された画像データvから物体の位置を検出する。本実施形態では、検出対象となる物体は人の顔である。物体位置検出部31は、検出した物体の位置を示す情報である物体位置情報を出力する。具体的には、物体位置情報は、動画1フレーム分又は静止画1枚分に相当する画像データv内の複数の領域のそれぞれの画像が顔である確率P(θ,φ|v)を示す情報である。画像データv内の各領域の座標系の位置は、カメラ10の設計情報に基づいて、カメラ10の画角の水平角θ及び垂直角φと対応付けられる。
[0024]
 音源位置推定部32は、マイクアレイ20から得られる音響信号sから、音源の位置を推定する。本実施形態では、音源は、音声を発する人である。音源位置推定部32は、推定した音源の位置を示す情報である音源位置情報を出力する。具体的には、音源位置情報は、水平角θ及び垂直角φによって特定される位置に音源が存在する確率P(θ,φ|s)を示す情報である。
[0025]
 重み付け部300は、画像データvに基づいて、物体位置情報である確率P(θ,φ|v)に重み付けを行う。また、重み付け部300は、音響信号sに基づいて、音源位置情報である確率P(θ,φ|s)に重み付けを行う。
[0026]
 重み付け部300は、画像確度判定部33、音響確度判定部34、及び重み設定部35を含む。画像確度判定部33は、画像データvに基づいて画像確度CMvを判定する。画像確度CMvは、顔が画像データvに含まれている確からしさを示す確度である。すなわち、画像確度CMvは、物体位置情報である確率P(θ,φ|v)の信頼性を表す。音響確度判定部34は、音響信号sに基づいて音響確度CMsを判定する。音響確度CMsは、目的音である音声が音響信号に含まれている確からしさを示す確度である。すなわち、音響確度CMsは、音源位置情報である確率P(θ,φ|s)の信頼性を表す。
[0027]
 重み設定部35は、画像確度CMvに基づいて、物体位置情報の重みWvを設定する。画像確度CMvに基づいて設定された物体位置情報の重みWvは、カメラ10の撮影状況に応じた値になる。重み設定部35は、音響確度CMsに基づいて、音源位置情報の重みWsを設定する。音響確度CMsに基づいて設定された音源位置情報の重みWsは、マイクアレイ20の受音状況に応じた値になる。
[0028]
 収音方向決定部36は、物体位置情報である確率P(θ,φ|v)及びその重みWvと、音源位置情報である確率P(θ,φ|s)及びその重みWsとに基づいて、収音方向を決定する。
[0029]
 ビームフォーム部37は、決定された収音方向に基づいて、音響信号sから目的音を取り出す。これにより、雑音が低減された、クリアな音声を収音できる。
[0030]
 図3Aは、マイクアレイ20のみを使用した場合の収音方向を模式的に示している。図3Bは、マイクアレイ20とカメラ10を使用した場合の収音方向を模式的に示している。図3Aに示すように、マイクアレイ20から出力される音響信号のみによって収音方向を決定した場合、周囲の雑音(スピーカの音)が人の音声よりも大きいときに、音源の方向として雑音の方向が検出される。この場合、大きな雑音を収音してしまい、人の音声をクリアに収音することができない。しかし、図3Bに示すように、カメラ10を併用した場合、カメラ10の画像データに含まれる人の顔の位置を検出することによって、人がいる方向を音源の方向として特定できる。
[0031]
 一方、カメラ10の撮影状況に応じて、画像データvから得られる顔位置の検出の精度は変化する。例えば、暗い環境で撮影されて生成された画像データvでは、顔の位置を誤検出する場合がある。よって、本実施形態においては、顔の確率P(θ,φ|v)に対して、カメラ10の撮影状況に応じた重み付けを行う。また、マイクアレイ20の受音状況に応じて、音響信号sから得られる音源位置の推定の精度も変わる。例えば、雑音が大きすぎると、音響信号sから目的音の音源の位置を正確に推定できない場合がある。よって、本実施形態においては、音源の確率P(θ,φ|s)に対して、マイクアレイ20の受音状況に応じた重み付けを行う。そして、重み付けされた確率P(θ,φ|v),P(θ,φ|s)に基づいて、収音方向を決定する。
[0032]
 2. 収音装置の動作
 図4は、制御部30による収音動作を示している。
[0033]
 物体位置検出部31は、カメラ10によって生成された画像データvに基づいて、顔の位置を検出する(S1)。具体的には、物体位置検出部31は、画像データv内において水平角θ及び垂直角φで特定される位置の画像が顔である確率P(θ,φ|v)を算出する。顔の位置の検出方法は、任意である。一例として、顔の位置の検出は、動画1フレーム分又は静止画1枚分に相当する画像データvを複数の領域に分割して、各領域が顔の特徴と一致しているか否かを判定することによって行う(「Rapid Object Detection using a Boosted Cascade of Simple Features」 ACCEPTED CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2001を参照)。以下、この顔検出の方法について説明する。
[0034]
 図5は、画像データvにおける顔位置の検出単位の領域r(θ,φ)を示している。物体位置検出部31は、画像データvを複数の領域r(θ,φ)に分割し、各領域r(θ,φ)の画像が顔であるか否かを判定する。なお、図5では、画像データvを格子状に分割し、それぞれの軸をθ、φに対応付けたが、全周カメラを使用した場合は、円周状にθ、φを対応付けるようにしても良い。
[0035]
 図6は、顔の識別の一例を示している。物体位置検出部31は、例えば、N個の弱識別器310(弱識別器310(1)~310(N))を備える。弱識別器310(1)~310(N)は、それぞれ、顔の特徴を示す情報を有する。顔の特徴を示す情報は、N個の弱識別器310のそれぞれにおいて、異なる。物体位置検出部31は、領域r(θ,φ)が顔であると判定した回数C(r(θ,φ))を計算する。具体的には、物体位置検出部31は、最初に、一つ目の弱識別器310(1)によって、領域r(θ,φ)が顔であるか否かを判定する。弱識別器310(1)が、領域r(θ,φ)は顔でないと判定した場合、「C(r(θ,φ))=0」となる。一つ目の弱識別器310(1)が、領域r(θ,φ)は顔であると判定した場合は、二つ目の弱識別器310(2)が、一つ目の弱識別器310(1)とは異なる顔の特徴の情報を用いて、領域r(θ,φ)が顔であるか否かを判定する。二つ目の弱識別器310(2)が、領域r(θ,φ)が顔であると判定した場合、三つ目の弱識別器310(3)が、領域r(θ,φ)が顔であるか否かを判定する。このように、動画1フレーム分又は静止画1枚分に相当する画像データvに対して、領域r(θ,φ)毎に、N個の弱識別器310を用いて顔であるか否かを判定する。例えば、N個の弱識別器310の全てが領域r(θ,φ)は顔であると判定した場合、顔であると判定された回数は「C(r(θ,φ))=N」となる。
[0036]
 顔を検出するときの領域r(θ,φ)の大きさは、一定であってもよいし、可変であってもよい。例えば、顔を検出するときの領域r(θ,φ)の大きさは、動画の1フレーム分又は静止画1枚分の画像データv毎に変わってもよい。
[0037]
 物体位置検出部31は、画像データv内の領域r(θ,φ)の全てについて、顔であるか否かの判定を行う。そして、物体位置検出部31は、下記式(1)によって、画像データv内において水平角θ及び垂直角φで特定される位置の画像が顔である確率P(θ,φ|v)を算出する。
[0038]
[数1]


[0039]
 なお、水平角θのみで顔の位置を検出できる場合は、下記式(2)によって、顔の確率P(θ|v)を算出してもよい。
[0040]
[数2]


[0041]
 図7は、画像データv内における水平角θで特定される位置の画像が顔である確率P(θ|v)を例示している。確率P(θ|v)が高いほど、その水平角θに顔がある可能性が高いことを表している。
[0042]
 図4に示すように、物体位置検出部31によって顔の位置が検出されると、画像確度判定部33は、顔が画像データvに含まれている確からしさを示す画像確度CMvを判定する(S2)。具体的には、画像確度判定部33は、カメラ10によって生成された画像データvに基づいて、画像確度CMvを設定する。なお、画像確度CMvの判定(S2)は、顔の位置を検出する(S1)よりも前に行ってもよい。
[0043]
 図8は、画像確度CMvの判定方法(S2の詳細)の一例を示している。図8の例では、画像確度判定部33は、画像データvの平均輝度Yaveに基づいて、画像確度CMvを判定する。画像確度判定部33は、まず、画像データvの平均輝度Yaveを算出する(S201)。それから、画像確度判定部33は、平均輝度Yaveを推奨輝度(Ymin_base~Ymax_base)と比較する(S202)。推奨輝度は、最小推奨輝度(Ymin_base)から最大推奨輝度(Ymax_base)までの範囲を有する。推奨輝度を示す情報は、予め記憶部40に格納されている。平均輝度Yaveが最小推奨輝度よりも低ければ(S203でYes)、画像確度判定部33は、画像確度CMvを「Yave/Ymin_base」に設定する(S204)。平均輝度Yaveが最大推奨輝度よりも高ければ(S205でYes)、画像確度判定部33は、画像確度CMvを「Ymax_base/Yave」に設定する(S206)。平均輝度Yaveが推奨輝度の範囲内であれば(S205でNo)、画像確度判定部33は、画像確度CMvを「1」に設定する(S207)。平均輝度Yaveが最小推奨輝度Ymin_baseよりも低かったり、最大推奨輝度Ymax_baseよりも高かったりすれば、顔を誤検出する場合がある。よって、平均輝度Yaveが推奨輝度の範囲内のときは画像確度CMvを最大値「1」に設定し、平均輝度Yaveが推奨輝度より高い、或いは、低いほど画像確度CMvを低くする。
[0044]
 図4に示すように、音源位置推定部32は、マイクアレイ20から出力された音響信号sに基づいて、音源の位置を推定する(S3)。具体的には、物体位置検出部31は、水平角θ及び垂直角φで特定される位置に音源が存在する確率P(θ,φ|s)を算出する。音源の位置の推定方法は、任意である。例えば、音源の位置の推定は、CSP(Cross-Power Spectrum Phase Analysis)法又はMUSIC(Multiple Signal Classification)法を使用して行うことができる。以下、CSP法を使用して、音源の位置を推定する例について説明する。
[0045]
 図9は、人の音声(音波)がマイクアレイ20のマイクロホン20 及び20 に到来する状態を模式的に示している。マイクロホン20 及び20 間の距離dに応じて、音波がマイクロホン20 及び20 に到来するときに時間差τが生じる。
[0046]
 音源位置推定部32は、水平角θにおいて、音源が存在する確率P(θ|s)を、CSP係数(相関関数)を用いた下記式(3)により算出する。
[0047]
[数3]


[0048]
 ここで、CSP係数は、下記式(4)によって求めることができる(電子情報通信学会論文誌 D-IIVol.J83-D-II No.8 pp.1713-1721、「マイクロホンアレーを用いたCSP法に基づく複数音源位置推定」を参照)。式(4)において、nは時間、S (n)はマイクロホン20 で受音した音響信号、S (n)はマイクロホン20 で受音した音響信号を示している。式(4)において、DFTは、離散フーリエ変換を示す。また、*は共役複素数を示す。
[0049]
[数4]


[0050]
 時間差τは、音速c、マイクロホン20 ,20 間の距離d、及びサンプリング周波数F を用いて、下記式(5)によって表せる。
[0051]
[数5]


[0052]
 よって、下記式(6)に示すように、式(3)のCSP係数を式(5)によって時間軸から方向軸に変換することによって、水平角θにおいて音源が存在する確率P(θ|s)を算出できる。
[0053]
[数6]


[0054]
 なお、上記で示した確率P(θ|s)の算出方法では、2つのマイクロホン20i及び20jを使用した例を示しているが、2つ以上のマイクロホンを使用して、音源が存在する確率P(θ|s)を算出してもよい。また、垂直角φにおける音源が存在する確率P(φ|s)は、水平角θにおける確率P(θ|s)と同様に、CSP係数と時間差τによって算出できる。また、確率P(θ|s)及び確率P(φ|s)に基づいて、確率P(θ,φ|s)を算出できる。
[0055]
 図10は、水平角θにおける音源が存在する確率P(θ|s)を例示している。確率P(θ|s)が高いほど、その水平角θに目的音の音源が存在する可能性が高いことを表している。
[0056]
 図4に示すように、音源位置推定部32によって音源の位置が推定されると、音響確度判定部34は、音声が音響信号sに含まれている確からしさを示す音響確度CMsを判定する(S4)。具体的には、音響確度判定部34は、マイクアレイ20から出力される音響信号sに基づいて、音響確度CMsを設定する。なお、音響確度CMsの判定(S4)は、音源の位置を推定する(S3)よりも前に行ってもよい。
[0057]
 図11は、音響確度CMsの判定方法(S4の詳細)の一例を示している。図11の例では、音響確度判定部34は、マイクアレイ20が受信した音の音声らしさを判定する。具体的には、音響確度判定部34は、人の音声GMM(Gausian Mixture Model)と非音声GMMを用いて、音響確度CMsを算出する。音声GMMと非音声GMMは、予め学習して生成されたものである。音声GMMと非音声GMMを示す情報は記憶部40に格納されている。
[0058]
 音響確度判定部34は、まず、音響信号sにおける音声GMMによる尤度Lvを算出する(S401)。次に、音響確度判定部34は、音響信号sにおける非音声GMMによる尤度Lnを算出する(S402)。それから、音響確度判定部34は、音響確度CMsを「CMs=Lv/Ln」に設定する(S403)。
[0059]
 図4に示すように、重み設定部35は、画像確度CMvに基づいて顔の確率P(θ,φ|v)に重みWvを設定し、且つ音響確度CMsに基づいて音源の確率P(θ,φ|s)に重みWsを設定する(S5)。図12は、画像確度CMv,音響確度CMsと、重みWv,Wsとの対応付けを示している。このように、重みWv,Wsは、単調増加関数によって、確度CMv,CMsに応じて決定される。
[0060]
 図4に示すように、重みWv,Wsが設定されると、収音方向決定部36は、収音方向を決定する(S6)。具体的には、収音方向決定部36は、顔の確率P(θ,φ|v)とその重みWv、及び音源の確率P(θ,φ|s)とその重みWsを用いて、音源である人物がいる確率P(θ,φ)を下記式(7)によって算出する。それから、下記式(8)により、確率P(θ,φ)が最大となる水平角θ、垂直角φを収音方向として決定する。なお、確率P(θ,φ|s)の対数については下記式(9)によって表現できる。
[0061]
[数7]


[0062]
[数8]


[0063]
[数9]


[0064]
 図13A~図13Cは、水平角θを決定するときの一例を示している。図13Aは、顔の確率の一例を示している。図13Bは、音源の確率の一例を示している。図13Cは、図13Aと図13Bとにより算出される収音方向を示している。画像データvの平均輝度Yaveが高い場合、画像確度CMvは高くなり、物体位置情報の重みWvは大きくなる。また、音響信号sにおいて雑音が大きいと、音響確度CMsは小さくなり、音源位置情報の重みWsは小さくなる。よって、平均輝度Yaveが高い場合及び雑音が大きい場合は、重みの大きい顔の確率P(θ|v)が優先されて、水平角θが決定される。
[0065]
 図14A~図14Cは、水平角θを決定するときの他の例を示している。図14Aは、顔の確率の他の例を示している。図14Bは、音源の確率の他の例を示している。図14Cは、図14Aと図14Bとにより算出される収音方向を示している。画像データvの平均輝度Yaveが低い場合、画像確度CMvは低くなり、物体位置情報の重みWvは小さくなる。また、音響信号sにおいて雑音が小さいと、音響確度CMsは大きくなり、音源位置情報の重みWsは大きくなる。よって、平均輝度Yaveが低い場合及び雑音が小さい場合は、重みの大きい音源の確率P(θ|s)が優先されて、水平角θが決定される。
[0066]
 図4に示すように、ビームフォーム部37は、決定された収音方向θ,φに基づいて、音響信号sに含まれる目的音である音声を収音する(S7)。
[0067]
 なお、図4のステップS1~S4を実行する順序は、任意である。
[0068]
 3. 効果及び補足
 本開示の収音装置1は、音源となる物体から出力される目的音を収音するための収音装置である。収音装置1は、カメラ10によって生成された画像データvの入力を受ける第1の入力部(制御部30、または入出力インタフェース部50)と、マイクアレイ20から出力される音響信号sの入力を受ける第2の入力部(制御部30、または入出力インタフェース部50)と、画像データv及び音響信号sに基づいて収音する方向θ,φを決定する制御部30と、を有する。制御部30は、物体位置検出部31と、音源位置推定部32と、重み付け部300と、収音方向決定部36とを含む。物体位置検出部31は、画像データvに基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報P(θ,φ|v)を出力する。音源位置推定部32は、音響信号sに基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報P(θ,φ|s)を出力する。重み付け部300は、物体位置情報に対してカメラ10の撮影状況に応じた重みWvを設定し、且つ音源位置情報に対してマイクアレイ20の受音状況に応じた重みWsを設定する。収音方向決定部36は、物体位置情報P(θ,φ|v)と物体位置情報の重みWvと音源位置情報P(θ,φ|s)と音源位置情報の重みWsとに基づいて、収音する方向θ,φを決定する。
[0069]
 このように、カメラ10の撮影状況に応じた重みWvとマイクアレイ20の受音状況に応じた重みWsを使用して収音する方向θ,φを決定しているため、物体位置情報P(θ,φ|v)と音源位置情報P(θ,φ|s)の信頼性が高いほうの情報を優先させることができる。よって、物体位置情報P(θ,φ|v)又は音源位置情報P(θ,φ|s)の精度がよくない場合であっても、精度良く目的音の収音方向を決定することができる。これにより、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0070]
 具体的には、重み付け部300は、物体が画像データに含まれている確からしさを示す画像確度CMvに基づいて物体位置情報の重みWvを設定し、且つ目的音が音響信号に含まれている確からしさを示す音響確度CMsに基づいて音源位置情報の重みWsを設定する。画像確度CMvは、カメラ10の撮影状況に応じた値である。また、音響確度CMsは、マイクアレイ20の受音状況に応じた値である。よって、画像確度CMv及び音響確度CMsに基づいて重みWv,Wsを設定することによって、カメラ10の撮影状況及びマイクアレイ20の受音状況に応じた重みWv,Wsを設定することができる。これにより、精度良く目的音の収音方向を決定することができる。
[0071]
 (第2実施形態)
 本実施形態の収音装置1は、物体位置情報の重みWvをセンサの出力に基づいて設定する。
[0072]
 図15は、第2実施形態の収音装置の構成を示すブロック図である。第2実施形態の収音装置1は、センサ部70を備える。センサ部70は、周囲の明るさを検知する輝度センサ、物体までの距離を検知する距離センサ、及び加速度センサのうちの少なくとも1つを含む。第2実施形態の収音装置1は、画像確度判定部33を備えない。重み設定部35は、センサ部70の出力に基づいて、物体位置情報の重みWvを設定する。例えば、重み設定部35は、輝度センサが検知した輝度に基づいて、輝度が高いほど物体位置情報の重みWvが大きくなるように、重みWvを設定してもよい。重み設定部35は、距離センサが検知した物体までの距離に基づいて、距離が近いほど物体位置情報の重みWvが大きくなるように、重みWvを設定してもよい。加速度が大きい場合は画像がブレている可能性があるため、重み設定部35は、加速度センサが検知した加速度に基づいて、加速度が大きいほど物体位置情報の重みWvが小さくなるように、重みWvを設定してもよい。
[0073]
 センサ部70の出力はカメラ10の撮影状況に応じた値であるため、本実施形態においても、精度良く目的音の収音方向を決定することができる。
[0074]
 (第3実施形態)
 本実施形態の収音装置1は、画像データvから発話区間を検出して収音を制御する。
[0075]
 図16は、第3実施形態における制御部30の機能を示している。第3実施形態の制御部30は、発話区間検出部38を備える。発話区間検出部38は、例えば、口唇が開いている状態の特徴量を示す情報を備え、その情報に基づいて画像データvにおいて口唇が開いているか否かを判定する。これにより、発話区間検出部38は、発話の開始時点及び終了時点を検出する。発話の開始時点から発話の終了時点までが発話区間である。あるいは、音響信号sを入力とし、音響特徴に基づいて発話区間の検出を実施するようにしても良い。または、画像データvおよび音響信号sの双方の特徴量に基づいて発話区間の検出を実施するようにしても良い。
[0076]
 図16において、収音部80は、物体位置検出部31、音源位置推定部32、画像確度判定部33、音響確度判定部34、重み設定部35、収音方向決定部36、及びビームフォーム部37により構成される。収音部80は、発話区間検出部38によって検出された発話区間内において、目的音を収音する。例えば、物体位置検出部31は、発話区間に対応する画像データvから顔の位置を検出してもよい。収音方向決定部36は、検出された発話区間においてのみ、収音方向を決定してもよい。ビームフォーム部37は、検出された発話区間に対応する音響信号sのみから、目的音を収音してもよい。
[0077]
 なお、口唇の開閉に基づく発話区間の検出は、物体位置検出部31が行ってもよい。例えば、物体位置検出部31は、顔を検出した領域r(θ,φ)内において、口唇の開閉を判定してもよい。
[0078]
 (第4実施形態)
 本実施形態の収音装置1は、画像データvの複数の領域毎に、顔の確率Pに重みWvを設定する。以下、図2および図17を参照して、本実施形態を説明する。
[0079]
 物体位置検出部31は、画像データvを複数の領域に分割し、各領域の画像が顔であるか否かを判定する。すなわち、物体位置検出部31は、各領域の画像が顔である確率Pを算出する。
[0080]
 本実施形態では、図17に示すように、複数の領域のうち、2以上の領域で顔が検出されている。すなわち、領域raには音声を発している顔が含まれ、領域rbには音声を発していない顔が含まれている。さらに、領域毎にカメラ10の撮影状況が異なっている。具体的には、複数の領域のうち、領域raの画像においては、カメラ10の撮影状況に応じて、平均輝度が高すぎたり、低すぎたりしている。例えば、領域raの周辺のみに光が強く当たったり、光がほとんど当たらなかったりする場合に、このようなことが起こる。一方、領域rbの画像においては、平均輝度は顔を検出するのに適切な値である。そのため、領域raの画像に含まれる人物が音声を発しているのにもかかわらず、領域raの画像に含まれる顔の確率Pが、領域rbの画像に含まれる顔の確率Pよりも低くなってしまう。これにより、音声を発していない領域rbの人物が音声を発していると誤検出されてしまうことがある。
[0081]
 そこで、本実施形態の重み設定部35は、複数の領域のうち、検出した顔の位置に対応する領域raの平均輝度に基づいて、領域raの画像確度CMvを算出する。例えば、重み設定部35は、領域raの平均輝度が高すぎたり、低すぎたりした場合には、画像確度CMvが低くなるように、領域raの画像確度CMvを算出する。そして、重み設定部35は、領域raの画像確度CMvが低い場合に、領域raの物体位置情報の重みWvが高くなるように、物体位置情報の重みWvを設定する。つまり、重み設定部35は、領域raの画像確度CMvに基づいて、領域raの物体位置情報の重みWvを設定する。
[0082]
 以上のように、重み設定部35は、複数の領域のうち、人物の位置に対応する領域raの平均輝度に基づいて画像確度CMvを算出する。そのため、例えば、領域raの撮影状況に応じて、領域raの平均輝度が高すぎたり、低すぎたりした場合でも、領域raの画像に顔が含まれる確率が適切に算出される。
[0083]
 なお、重み設定部35は、平均輝度に基づく以外に、領域raの画像の輝度の分散に基づいて、画像確度CMvを算出してもよい。
[0084]
 また、重み設定部35は、領域raに顔の一部のみが含まれている場合に、画像確度CMvを低く設定してもよい。すなわち、重み設定部35は、領域raに顔の一部のみが含まれている場合に、画像確度CMvに基づいて、領域raの物体位置情報の重みWvが高くなるように、物体位置情報の重みWvを設定してもよい。これにより、画像v内で音声を発している人物にオクルージョンが発生しても、音声を発している人物の顔の確率が適切に算出される。
[0085]
 (他の実施形態)
 以上のように、本出願において開示する技術の例示として、第1~第4実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第1~第4実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
[0086]
 第1実施形態においては、重み設定部35は、物体位置情報の重みWvおよび音源位置情報の重みWsを設定している。しかし、本開示はこれに限定されない。重み設定部35は、物体位置情報の重みWvまたは音源位置情報の重みWsの一方のみを設定してもよい。すなわち、重み付け部300は、画像確度判定部33または音響確度判定部34の一方のみを含んでいてもよい。この例について、図18と図19を参照して説明する。
[0087]
 図18に示すように、他の実施形態の重み付け部300は、音響確度判定部34を含んでいない。すなわち、重み設定部35は、物体位置情報の重みWvのみを設定する。この場合、収音方向決定部36は、物体位置情報P(θ,φ|v)と、物体位置情報の重みWvと、音源位置情報P(θ,φ|s)とに基づいて、目的音を収音する方向を決定する。具体的には、収音方向決定部36は、第1実施形態における式(7)の重みWsを1に設定し、式(7)を用いることで、目的音を収音する方向を決定できる。このような構成であっても、第1実施形態の収音装置1と同様に、物体位置情報の重みWvを用いることで、撮影状況に応じた誤検出を抑制することができる。
[0088]
 また、図19に示すように、他の実施形態の別の重み付け部300は、画像確度判定部33を含んでいない。すなわち、重み設定部35は、音源位置情報の重みWsのみを設定する。この場合、収音方向決定部36は、物体位置情報P(θ,φ|v)と、音源位置情報P(θ,φ|s)と、音源位置情報の重みWsとに基づいて、目的音を収音する方向を決定する。具体的には、収音方向決定部36は、第1実施形態における式(7)の重みWvを1に設定し、式(7)を用いることで、目的音を収音する方向を決定できる。このような構成であっても、第1実施形態の収音装置1と同様に、音源位置情報の重みWsを用いることで、マイクアレイ20の受音状況に応じた誤検出を抑制することができる。
[0089]
 第1実施形態においては、人の顔を検出する例について説明したが、人の音声を収音する場合、検出対象の物体は、人の顔に限らず、人として認識できる部分であればよい。例えば、検出される物体は、人の身体又は唇であってもよい。
[0090]
 第1実施形態においては、画像データvの平均輝度Yaveに基づいて、画像確度CMvを判定したが、画像確度CMvの判定を別の方法で行ってもよい。例えば、画像データvの輝度の分散に基づいて、画像確度CMvを判定してもよい。具体的には、例えば、画像データvの輝度の分散Ystdが推奨分散Ystd_baseよりも小さければ、画像確度判定部33は、画像確度CMvを「Ystd/Ystd_base」に設定する。分散Ystdが推奨分散Ystd_base以上であれば、画像確度判定部33は、画像確度CMvを「1」に設定する。
[0091]
 画像確度CMvの判定のさらに別の方法として、画像データvの輝度ヒストグラムを用いても良い。例えば、輝度ヒストグラムが低輝度又は高輝度に集中しているときは画像確度CMvを低く設定し、輝度ヒストグラムが低輝度から高輝度まで幅広く分散しているときは画像確度CMvを高く設定する。
[0092]
 また、画像データvのフォーカスが合っているかどうかに基づいて、画像確度CMvを判定してもよい。
[0093]
 第1実施形態においては、音響確度CMsを、音声GMMによる尤度Lv及び非音声GMMによる尤度Lnに基づいて判定したが、音響確度CMsの判定を別の方法で行ってもよい。例えば、音響確度判定部34は、音響信号sを音源分離技術によって音声と非音声に分離し、音声と非音声のパワー比に基づいて、音響確度CMsを算出してもよい。音源分離技術として、例えば、ブラインド音源分離(Blind Source Separation)を用いてもよい。
[0094]
 第1実施形態では、確度CMv,CMsに基づいて重みWv,Wsを設定したが、重みWv,Wsは確度CMv,CMsと同一の値であってもよい。
[0095]
 上記実施形態において、画像確度CMvと音響確度CMsの両方が、例えば、所定値以下であれば、前回設定した収音方向θ,φを今回の収音方向として決定してもよい。
[0096]
 上記実施形態では、収音方向として、水平角θ及び垂直角φを決定する場合について説明したが、水平角θ及び垂直角φの少なくともいずれか一方のみで、目的音を発する物体の位置を特定できる場合は、水平角θ及び垂直角φの少なくともいずれか一方を決定するだけであってもよい。
[0097]
 上記実施形態においては、人の音声を目的音として収音したが、目的音は人の音声に限らない。例えば、目的音は、車の音又は動物の鳴き声であってもよい。目的音が車の音である場合は、車の特徴を示す情報に基づいて、領域r(θ,φ)内の画像が車である確率P(θ,φ|v)を算出してもよい。また、車の音のGMMに基づいて、音響確度CMsを設定してもよい。
[0098]
 (実施形態の概要)
 (1)本開示の収音装置は、音源となる物体から出力される目的音を収音するための収音装置であって、カメラによって生成された画像データ(v)の入力を受ける第1の入力部と、マイクアレイから出力される音響信号(s)の入力を受ける第2の入力部と、画像データ(v)及び音響信号(s)に基づいて、目的音を収音する方向(θ,φ)を決定する制御部と、を有する。制御部は、検出部と、推定部と、重み付け部と、決定部とを含む。検出部は、画像データ(v)に基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報(P(θ,φ|v))を出力する。推定部は、音響信号(s)に基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報(P(θ,φ|s))を出力する。重み付け部は、物体位置情報に対してカメラの撮影状況に応じた重み(Wv)を設定する。決定部は、物体位置情報(P(θ,φ|v))と物体位置情報の重み(Wv)と音源位置情報(P(θ,φ|s))とに基づいて、目的音を収音する方向(θ,φ)を決定する。
[0099]
 これにより、物体位置情報P(θ,φ|v)の信頼性を考慮することによって、精度良く目的音の収音方向を決定することができる。よって、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0100]
 (2)(1)の収音装置において、重み付け部は、物体が画像データに含まれている確からしさを示す画像確度(CMv)に基づいて物体位置情報の重みを設定してもよい。
[0101]
 これにより、物体位置情報に対してカメラの撮影状況に応じた重み(Wv)を精度良く設定することができる。
[0102]
 (3)(2)の収音装置において、重み付け部は、画像データの平均輝度又は輝度の分散に基づいて、画像確度(CMv)を算出してもよい。
[0103]
 これにより、撮影時の照明環境に応じた重み(Wv)を精度良く設定することができる。
[0104]
 (4)(2)の収音装置において、検出部は、画像データを複数の領域に分割し、重み付け部は、複数の領域のうち、検出した物体の位置に対応する一の領域の平均輝度又は輝度の分散に基づいて、画像確度を算出してもよい。
[0105]
 これにより、領域の撮影状況に応じて、領域の平均輝度が高すぎたり、低すぎたりした場合でも、領域の画像に物体が含まれる確率を適切に算出することができる。
[0106]
 (5)(1)~(4)の収音装置において、重み付け部は、マイクアレイの受音状況に応じて音源位置情報の重みを設定し、決定部は、物体位置情報と物体位置情報の重みと音源位置情報と音源位置情報の重みに基づいて、目的音を収音する方向を決定するとしてもよい。
[0107]
 これにより、物体位置情報P(θ,φ|v)及び音源位置情報P(θ,φ|s)の信頼性が高いほうの情報を優先させることによって、精度良く目的音の収音方向を決定することができる。よって、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0108]
 (6)(5)の収音装置において、重み付け部は、目的音が音響信号に含まれている確からしさを示す音響確度(CMs)に基づいて音源位置情報の重みを設定するとしてもよい。
[0109]
 これにより、また、音源位置情報に対してマイクアレイの受音状況に応じた重み(Ws)を精度良く設定することができる。
[0110]
 (7)(6)の収音装置において、重み付け部は、音響信号に含まれる目的音と非目的音の尤度比又はパワー比に基づいて、音響確度(CMs)を算出してもよい。
[0111]
 これにより、受音時の周囲の状況に応じた重み(Ws)を精度良く設定することができる。
[0112]
 (8)(1)の収音装置は、周囲の明るさを検知する輝度センサ、物体までの距離を検知する距離センサ、又は加速度センサのうちの少なくとも1つを含むセンサ部をさらに有してもよい。重み付け部は、センサ部の出力に基づいて、物体位置情報の重み(Ws)を設定してもよい。
[0113]
 これにより、撮影時の状況に応じた重み(Wv)を精度良く設定することができる。
[0114]
 (9)(1)の収音装置は、カメラ及びマイクアレイのうちの少なくとも一方を備えてもよい。
[0115]
 これにより、例えば、カメラを備えた収音装置にマイクアレイのみを外付けすることによって、目的音を精度良く収音することができる。
[0116]
 (10)(1)の収音装置において、検出部は、物体として、人の身体、顔、又は唇を検出してもよい。
[0117]
 これにより、人の音声を精度良く収音することができる。
[0118]
 (11)また、本開示の別の収音装置は、音源となる物体から出力される目的音を収音するための収音装置であって、カメラによって生成された画像データ(v)の入力を受ける第1の入力部と、マイクアレイから出力される音響信号(s)の入力を受ける第2の入力部と、画像データ(v)及び音響信号(s)に基づいて、目的音を収音する方向(θ,φ)を決定する制御部と、を有する。制御部は、検出部と、推定部と、重み付け部と、決定部とを含む。検出部は、画像データ(v)に基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報(P(θ,φ|v))を出力する。推定部は、音響信号(s)に基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報(P(θ,φ|s))を出力する。重み付け部は、マイクアレイの受音状況に応じて音源位置情報の重みを設定する。決定部は、物体位置情報(P(θ,φ|v))と音源位置情報(P(θ,φ|s))と音源位置情報の重み(Ws)とに基づいて、目的音を収音する方向(θ,φ)を決定する。
[0119]
 これにより、音源位置情報(P(θ,φ|s))の信頼性を考慮することによって、精度良く目的音の収音方向を決定することができる。よって、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0120]
 (12)本開示の収音方法は、音源となる物体から出力される目的音を収音するための収音方法であって、カメラによって生成された画像データ(v)の入力を受けるステップと、マイクアレイから出力される音響信号(s)の入力を受けるステップと、画像データ(v)に基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報(P(θ,φ|v))を出力するステップと、音響信号(s)に基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報(P(θ,φ|s))を出力するステップと、カメラの撮影状況に応じて物体位置情報の重み(Wv)を設定するステップと、物体位置情報(P(θ,φ|v))と物体位置情報の重み(Wv)と音源位置情報(P(θ,φ|s))とに基づいて、目的音を収音する方向(θ,φ)を決定するステップと、を含む。
[0121]
 これにより、物体位置情報P(θ,φ|v)の信頼性を考慮することによって、精度良く目的音の収音方向を決定することができる。よって、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0122]
 (13)また、本開示の別の収音方法は、音源となる物体から出力される目的音を収音するための収音方法であって、カメラによって生成された画像データ(v)の入力を受けるステップと、マイクアレイから出力される音響信号(s)の入力を受けるステップと、画像データ(v)に基づいて、物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した物体の位置を示す情報である物体位置情報(P(θ,φ|v))を出力するステップと、音響信号(s)に基づいて、音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した音源の位置を示す情報である音源位置情報(P(θ,φ|s))を出力するステップと、マイクアレイの受音状況に応じて音源位置情報の重み(Ws)を設定するステップと、物体位置情報(P(θ,φ|v))と音源位置情報(P(θ,φ|s))と音源位置情報の重み(Ws)とに基づいて、目的音を収音する方向(θ,φ)を決定するステップと、を含む。
[0123]
 これにより、音源位置情報P(θ,φ|s)の信頼性を考慮することによって、精度良く目的音の収音方向を決定することができる。よって、マイクアレイ20から出力された音響信号sから、決定された収音方向の音を抽出することによって、目的音を精度良く収音することができる。
[0124]
 (14)本開示のプログラムは、コンピュータに上記収音方法を実行させる。
[0125]
 本開示の全請求項に記載の収音装置及び収音方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

産業上の利用可能性

[0126]
 本開示の収音装置は、例えば、会話中の人の音声を収音する装置として、有用である。

符号の説明

[0127]
  1    収音装置
  10   カメラ
  20   マイクアレイ
  30   制御部
  31   物体位置検出部
  32   音源位置推定部
  33   画像確度判定部
  34   音響確度判定部
  35   重み設定部
  36   収音方向決定部
  37   ビームフォーム部
  38   発話区間検出部
  40   記憶部
  50   入出力インタフェース部
  60   バス
  70   センサ部
  300  重み付け部

請求の範囲

[請求項1]
 音源となる物体から出力される目的音を収音するための収音装置であって、
 カメラによって生成された画像データの入力を受ける第1の入力部と、
 マイクアレイから出力される音響信号の入力を受ける第2の入力部と、
 前記目的音を収音する方向を決定する制御部と、
 を有し、
 前記制御部は、
  前記画像データに基づいて、前記物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した前記物体の位置を示す情報である物体位置情報を出力する検出部と、
  前記音響信号に基づいて、前記音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した前記音源の位置を示す情報である音源位置情報を出力する推定部と、
  前記カメラの撮影状況に応じて前記物体位置情報の重みを設定する重み付け部と、
  前記物体位置情報と前記物体位置情報の重みと前記音源位置情報とに基づいて、前記目的音を収音する方向を決定する決定部と、
 を含む、収音装置。
[請求項2]
 前記重み付け部は、
  前記物体が前記画像データに含まれている確からしさを示す画像確度に基づいて前記物体位置情報の重みを設定する、
 請求項1に記載の収音装置。
[請求項3]
 前記重み付け部は、前記画像データの平均輝度又は輝度の分散に基づいて、前記画像確度を算出する、請求項2に記載の収音装置。
[請求項4]
 前記検出部は、前記画像データを複数の領域に分割し、
 前記重み付け部は、前記複数の領域のうち、検出した前記物体の位置に対応する一の領域の平均輝度又は輝度の分散に基づいて、前記画像確度を算出する、請求項2に記載の収音装置。
[請求項5]
 前記重み付け部は、前記マイクアレイの受音状況に応じて前記音源位置情報の重みを設定し、
 前記決定部は、前記物体位置情報と前記物体位置情報の重みと前記音源位置情報と前記音源位置情報の重みに基づいて、前記目的音を収音する方向を決定する、請求項1~4のいずれかに記載の収音装置。
[請求項6]
 前記重み付け部は、
  前記目的音が前記音響信号に含まれている確からしさを示す音響確度に基づいて前記音源位置情報の重みを設定する、
 請求項5に記載の収音装置。
[請求項7]
 前記重み付け部は、前記音響信号に含まれる前記目的音と非目的音の尤度比又はパワー比に基づいて、前記音響確度を算出する、請求項6に記載の収音装置。
[請求項8]
 周囲の明るさを検知する輝度センサ、前記物体までの距離を検知する距離センサ、又は加速度センサのうちの少なくとも1つを含むセンサ部をさらに有し、
 前記重み付け部は、前記センサ部の出力に基づいて、前記物体位置情報の重みを設定する、
 請求項1に記載の収音装置。
[請求項9]
 前記カメラ又は前記マイクアレイのうちの少なくとも一方を備える、請求項1に記載の収音装置。
[請求項10]
 前記検出部は、前記物体として、人の身体、顔、又は唇を検出する、請求項1に記載の収音装置。
[請求項11]
 音源となる物体から出力される目的音を収音するための収音装置であって、
 カメラによって生成された画像データの入力を受ける第1の入力部と、
 マイクアレイから出力される音響信号の入力を受ける第2の入力部と、
 前記目的音を収音する方向を決定する制御部と、
 を有し、
 前記制御部は、
  前記画像データに基づいて、前記物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した前記物体の位置を示す情報である物体位置情報を出力する検出部と、
  前記音響信号に基づいて、前記音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した前記音源の位置を示す情報である音源位置情報を出力する推定部と、
  前記マイクアレイの受音状況に応じて前記音源位置情報の重みを設定する重み付け部と、
  前記物体位置情報と前記音源位置情報と前記音源位置情報の重みとに基づいて、前記目的音を収音する方向を決定する決定部と、
 を含む、収音装置。
[請求項12]
 前記重み付け部は、
  前記目的音が前記音響信号に含まれている確からしさを示す音響確度に基づいて前記音源位置情報の重みを設定する、
 請求項11に記載の収音装置。
[請求項13]
 前記重み付け部は、前記音響信号に含まれる前記目的音と非目的音の尤度比又はパワー比に基づいて、前記音響確度を算出する、請求項12に記載の収音装置。
[請求項14]
 音源となる物体から出力される目的音を収音するための収音方法であって、
 カメラによって生成された画像データの入力を受けるステップと、
 マイクアレイから出力される音響信号の入力を受けるステップと、
 前記画像データに基づいて、前記物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した前記物体の位置を示す情報である物体位置情報を出力するステップと、
 前記音響信号に基づいて、前記音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した前記音源の位置を示す情報である音源位置情報を出力するステップと、
 前記カメラの撮影状況に応じて前記物体位置情報の重みを設定するステップと、
 前記物体位置情報と前記物体位置情報の重みと前記音源位置情報とに基づいて、前記目的音を収音する方向を決定するステップと、
 を含む、収音方法。
[請求項15]
 音源となる物体から出力される目的音を収音するための収音方法であって、
 カメラによって生成された画像データの入力を受けるステップと、
 マイクアレイから出力される音響信号の入力を受けるステップと、
 前記画像データに基づいて、前記物体の水平方向又は垂直方向の少なくともいずれか一方における位置を検出し、検出した前記物体の位置を示す情報である物体位置情報を出力するステップと、
 前記音響信号に基づいて、前記音源の水平方向又は垂直方向の少なくともいずれか一方における位置を推定し、推定した前記音源の位置を示す情報である音源位置情報を出力するステップと、
 前記マイクアレイの受音状況に応じて前記音源位置情報の重みを設定するステップと、
 前記物体位置情報と前記音源位置情報と前記音源位置情報の重みとに基づいて、前記目的音を収音する方向を決定するステップと、
 を含む、収音方法。
[請求項16]
 コンピュータに請求項14又は15に記載の収音方法を実行させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3A]

[ 図 3B]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13A]

[ 図 13B]

[ 図 13C]

[ 図 14A]

[ 図 14B]

[ 図 14C]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]