Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2019030855) DISPOSITIF ET PROCÉDÉ DE DÉTERMINATION D'ÉTAT D'INCAPACITÉ DE CONDUITE
Document

明 細 書

発明の名称 運転不能状態判定装置および運転不能状態判定方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046  

産業上の利用可能性

0047  

符号の説明

0048  

請求の範囲

1   2   3   4   5   6  

図面

1   2   3   4   5   6   7  

明 細 書

発明の名称 : 運転不能状態判定装置および運転不能状態判定方法

技術分野

[0001]
 この発明は、車両を運転する運転者の運転不能状態を判定する技術に関するものである。

背景技術

[0002]
 車両を運転する運転者を撮像した撮像画像から運転者の運転不能状態を判定する技術がある。撮像画像から運転者の運転不能状態を検出する方法の1つとして、撮像画像から運転者の顔を検出できない状態が一定時間継続して検知した場合に、運転不能状態と検出する方法がある。
 例えば、特許文献1には、車両に搭載されたカメラが撮像した撮像画像から、運転者の顔を逐次検出し、車両の走行中に検出した運転者の顔が画像の所定範囲から外れている場合に、運転者が運転不能状態であることを検出する運転不能状態検出装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特開2016-27452号公報

発明の概要

発明が解決しようとする課題

[0004]
 上述した特許文献1に記載された運転不能状態検出装置では、運転者の顔が、例えば運転者の手、またはタオルの遮蔽物によって遮られた場合に、運転者の顔の画像を所定範囲内で検出することができず、運転者が運転不能状態であると誤検出する場合があるという課題があった。
[0005]
 この発明は、上記のような課題を解決するためになされたもので、運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することを目的とする。

課題を解決するための手段

[0006]
 この発明に係る運転不能状態判定装置は、車両内の撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から、運転者の顔を検出する顔検出部と、画像取得部が取得した撮像画像から判定領域画像を取得する判定領域取得部と、顔検出部が運転者の顔を検出できない状態が、第1の閾値時間継続した場合に、判定領域取得部が取得した撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分に基づいて運転者の状態を判定する状態判定部とを備えるものである。

発明の効果

[0007]
 この発明によれば、運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することができる。

図面の簡単な説明

[0008]
[図1] 実施の形態1に係る運転不能状態判定装置の構成を示すブロック図である。
[図2] 図2A、図2Bは、実施の形態1に係る運転不能状態判定装置の顔検出部および判定領域取得部の処理の一例を示す図である。
[図3] 図3A、図3Bは、実施の形態1に係る運転不能状態判定装置のハードウェア構成例を示す図である。
[図4] 図4A、図4B、図4C、図4Dは、実施の形態1に係る運転不能状態判定装置の第1の状態判定部の判定処理を示す図である。
[図5] 実施の形態1に係る運転不能状態判定装置の動作を示すフローチャートである。
[図6] 実施の形態1に係る運転不能状態判定装置の注意喚起状態での動作を示すフローチャートである。
[図7] 実施の形態1に係る発明の運転不能状態判定装置の判定結果に基づく表示例を示す図である。

発明を実施するための形態

[0009]
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、実施の形態1に係る運転不能状態判定装置100の構成を示すブロック図である。
 運転不能状態判定装置100は、まず、運転者の顔を検出する処理を行い、当該顔の検出に成功しなかった場合に、車室内の撮像装置から取得した第1の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した第2の運転席の画像とを比較する。運転不能状態判定装置100は、第1の運転席の撮像画像と、第2の運転席の画像との比較結果に基づいて、運転者が運転不能状態であるか否かを判定する。
[0010]
 詳細は後述するが、運転不能状態判定装置100は、第1の運転席の撮像画像と第2の運転席の撮像画像との差分を算出する。運転不能状態判定装置100は、算出した差分が基準値以上である場合は、運転者が運転不能状態でないと判定する。一方、運転不能状態判定装置100は、算出した差分が基準値未満である場合は、運転者が運転不能状態であると判定する。
 これにより、運転不能状態判定装置100は、運転者の顔が運転者の手またはタオル等の遮蔽物で覆われているために、運転者の顔の検出に成功しなかった場合に、運転者が運転不能状態であると誤判定するのを防止することができる。
[0011]
 図1に示すように、運転不能状態判定装置100は、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部(状態判定部)104、比較画像蓄積部105、顔情報取得部106および第2の状態判定部107を備える。
 運転不能状態判定装置100には、カメラ200、警告装置300および車両制御装置400が接続されている。
 カメラ200は、運転不能状態判定装置100を搭載した車両の車室内を撮像する撮像装置である。カメラ200は、例えば赤外線カメラである。カメラ200は、運転席に着座した運転者の少なくとも頭部を撮影可能な位置に設置される。また、カメラ200は、1台または複数台で構成される。
[0012]
 警告装置300は、運転不能状態判定装置100の判定結果に基づいて、車両の運転者に対して音声または音声と表示によって、注意喚起を示す情報または警告を示す情報を生成する。警告装置300は、生成した注意喚起を示す情報または警告を示す情報の出力制御を行う。警告装置300を構成する、例えばスピーカ、またはスピーカおよびディスプレイは、出力制御に基づいて、注意喚起を示す情報または警告を示す情報を音声出力、または音声出力および表示する。
 車両制御装置400は、運転不能状態判定装置100の判定結果に基づいて、車両の走行を制御する。
[0013]
 運転不能状態判定装置100の各構成について説明する。
 画像取得部101は、カメラ200が撮像した撮像画像を取得する。撮像画像は、運転者が運転席に一般的な運転姿勢で着座している場合に、当該運転者の少なくとも頭部が映るように撮像された画像である。画像取得部101は、取得した撮像画像を顔検出部102および判定領域取得部103に出力する。
 顔検出部102は、画像取得部101により取得された撮像画像を解析して輝度値の分布を検出する。顔検出部102は、検出した輝度値の分布と、予め学習により得られた照合用の輝度値の分布とを比較して、撮像画像から運転者の顔を検出する処理を行う。ここで、照合用の輝度値の分布は、人の顔が撮像された複数の撮像画像を用いて人の顔が撮像されている場合の輝度値の分布を学習して得られた、統計的な輝度値の分布のパターンを示すものである。顔検出部102は、運転者の顔を検出できなかった場合には、第1の状態判定部104および判定領域取得部103に対して、顔検出の失敗を示す情報を出力する。また、顔検出部102は、運転者の顔を検出した場合には、顔情報取得部106に対して、顔検出の成功を示す情報および撮像画像を出力する。
[0014]
 判定領域取得部103は、顔検出部102から顔検出の失敗を示す情報が入力されると、画像取得部101が取得した撮像画像から判定領域の画像(以下、判定領域画像と記載する)を取得する。ここで判定領域は、運転席のヘッドレストを全て含む領域である。また、判定領域は、車種毎の運転座席の位置およびカメラ200の位置に基づいて予め設定される領域である。また、判定領域は、運転席の座席の前後方向への調整幅、運転席の座席の傾きの調整幅、および運転席のヘッドレストの上下方向への調整幅を考慮して定められた領域である。判定領域取得部103は、取得した判定領域画像を、第1の状態判定部104に出力する。
[0015]
 図2は、実施の形態1に係る運転不能状態判定装置100の顔検出部102および判定領域取得部103の処理の一例を示す図である。
 図2Aは、運転席を正面から撮像した撮像画像における判定の例を示し、図2Bは運転席を斜め前方から撮像した撮像画像における判定領域の例を示した図である。なお、図2Aおよび図2Bでは、顔検出部102が運転者Xの顔Xaの検出に成功する場合を例に示している。
 顔検出部102は、図2Aおよび図2Bで示した撮像画像Aから運転者Xの顔Xaを検出する。
 判定領域取得部103は、撮像画像Aから予め定められた領域である判定領域Bの画像を取得する。判定領域Bは、運転席のヘッドレストHを全て含む領域である。判定領域取得部103は、取得した判定領域Bの画像を第1の状態判定部104に出力する。
[0016]
 第1の状態判定部104は、顔検出部102から顔検出の失敗を示す情報が入力されると、運転者の状態を判定する。第1の状態判定部104は、判定領域取得部103から入力された顔検出の際に用いられた撮像画像における判定領域画像と、予め撮像された比較画像における判定領域画像とを比較する。第1の状態判定部104は、得られた比較結果に基づいて運転者の状態を判定する。ここで、比較画像は、カメラ200によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した撮像画像である。
[0017]
 具体的には、顔検出部102は、顔検出に失敗すると顔検出に成功するまで繰り返し顔検出を実行する。第1の状態判定部104は、注意喚起が必要であると判定する時間(以下、第1の閾値時間と記載する)継続して、顔検出部102から繰り返し顔検出の失敗を示す情報が入力されると、顔検出の際に用いられた撮像画像における判定領域画像と、比較画像における判定領域画像との差分を算出する。第1の状態判定部104は、算出した差分と基準値とに基づいて、運転者が注意喚起を必要としている状態(以下、注意喚起状態と記載する)であるか判定を行う。さらに、第1の状態判定部104は、注意喚起状態が、第2の閾値時間継続した場合、運転者が運転不能状態であると判定する。ここで、第2の閾値時間とは、第1の閾値時間に対して、運転者が運転不能状態であると判断する時間を加算した時間である。
 第1の状態判定部104は、運転者が注意喚起状態であると判定した場合、または運転者が運転不能状態であると判定した場合、当該判定結果を、警告装置300または車両制御装置400に出力する。
[0018]
 比較画像蓄積部105は、第1の状態判定部104が判定領域画像を比較する際に参照する比較画像を蓄積する。比較画像は、カメラ200によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した撮像画像である。
[0019]
 顔情報取得部106は、顔検出部102から顔検出の成功を示す情報および顔検出の際に用いられた撮像画像が入力されると、当該撮像画像を解析して、運転者の顔の構成要素、例えば目、鼻および口の位置情報を取得する。顔情報取得部106は、取得した運転者の顔の構成要素の位置情報から、運転者の開眼度、および運転者の顔向き等、運転不能状態を判定するための顔情報を取得する。顔情報取得部106は、取得した顔情報を、第2の状態判定部107に出力する。
[0020]
 第2の状態判定部107は、顔情報取得部106が取得した顔情報から、例えば開眼度または顔向きを検出する。第2の状態判定部107は、取得した開眼度または顔向き等から、運転者が運転不能状態であるか否か判定を行う。第2の状態判定部107は、運転者が運転不能状態であると判定した場合、当該判定結果を、警告装置300または車両制御装置400に出力する。
[0021]
 次に、運転不能状態判定装置100のハードウェア構成例を説明する。
 図3Aおよび図3Bは、運転不能状態判定装置100のハードウェア構成例を示す図である。
 運転不能状態判定装置100における画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107の各機能は、処理回路により実現される。即ち、運転不能状態判定装置100は、上記各機能を実現するための処理回路を備える。当該処理回路は、図3Aに示すように専用のハードウェアである処理回路100aであってもよいし、図3Bに示すようにメモリ100cに格納されているプログラムを実行するプロセッサ100bであってもよい。
[0022]
 図3Aに示すように、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107が専用のハードウェアである場合、処理回路100aは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)、またはこれらを組み合わせたものが該当する。画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
[0023]
 図3Bに示すように、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107がプロセッサ100bである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ100cに格納される。プロセッサ100bは、メモリ100cに記憶されたプログラムを読み出して実行することにより、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107の各機能を実現する。即ち、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107は、プロセッサ100bにより実行されるときに、後述する図5および図6に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ100cを備える。また、これらのプログラムは、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107の手順または方法をコンピュータに実行させるものであるともいえる。
[0024]
 ここで、プロセッサ100bとは、例えば、CPU(Central Processing Unit)、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などのことである。
 メモリ100cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
[0025]
 なお、画像取得部101、顔検出部102、判定領域取得部103、第1の状態判定部104、顔情報取得部106および第2の状態判定部107の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、運転不能状態判定装置100における処理回路100aは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
[0026]
 次に、第1の状態判定部104の詳細について、図4を参照しながら説明する。
 図4は、実施の形態1に係る運転不能状態判定装置100の第1の状態判定部104の判定処理を示す図である。図4Aは比較画像蓄積部105に蓄積された比較画像における判定領域の画像、図4Bから図4Dは顔検出時の撮像画像および当該撮像画像における判定領域の画像の一例を示している。図4Aは、運転者が着座していない運転席の座席を撮像した比較画像における判定領域の画像を示している。また、図4Bは運転者の顔が遮蔽物で遮られていない状態を示し、図4Cは運転者の顔が遮蔽物で遮られている状態を示し、図4Dは運転者の顔が前傾している状態を示している。
[0027]
 図4Aの比較画像における判定領域Cの画像と、図4Bから図4Dの顔検出時の撮像画像Aにおける判定領域Ba,Bb,Bcの画像とは、同一領域を撮像した画像となる。
 まず、図4Aの比較画像と、図4Bの顔検出時の撮像画像との比較について説明する。第1の状態判定部104は、撮像画像Aにおける判定領域Baの画像と、比較画像における判定領域Cの画像とを比較し、比較された2つの画像のヘッドレストが撮像された領域の差分を算出する。第1の状態判定部104は、比較画像における判定領域Cの画像と、撮像画像Aにおける判定領域Baとの差分を、ヘッドレストが撮像された領域Haと領域Hbとの差分に基づいて算出する。
 第1の状態判定部104は、ヘッドレストが撮像された領域の差分を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、判定領域画像の輝度の少なくともいずれかを用いて算出する。
[0028]
 次に、図4Aの比較画像と、図4Cの顔検出時の撮像画像との比較について説明する。
第1の状態判定部104は、撮像画像Aにおける判定領域Bbの画像と、比較画像における判定領域Cの画像とを比較し、比較された2つの画像のヘッドレストが撮像された領域の差分を算出する。第1の状態判定部104は、比較画像の判定領域Cの画像と撮像画像Aの判定領域Bbの画像との差分を、ヘッドレストが撮像された領域Haと領域Hcとの差分に基づいて算出する。
[0029]
 次に、図4Aの比較画像と、図4Dの顔検出時の撮像画像との比較について説明する。第1の状態判定部104は、撮像画像Aにおける判定領域Bcの画像と、比較画像における判定領域Cの画像とを比較し、比較された2つの画像のヘッドレストが撮像された領域の差分を算出する。第1の状態判定部104は、比較画像の判定領域Cの画像と撮像画像Aの判定領域Bcの画像との差分を、ヘッドレストが撮像された領域Haと領域Hdとの差分に基づいて算出する。
[0030]
 第1の状態判定部104が、図4Aの比較画像における判定領域Cの画像と、運転者の顔が遮蔽物で遮られていない状態を示す図4Bの撮像画像Aにおける判定領域Baの画像との比較を行う場合、比較画像における判定領域Cの画像のうちヘッドレストが撮像された領域Haの割合を100%とし、撮像画像Aにおける判定領域Baの画像のうちヘッドレストが撮像された領域Hbの割合を、例えば20%と算出する。第1の状態判定部104は、領域Haの割合(100%)と、領域Hbの割合(20%)の差分割合(80%)を算出し、算出した差分割合が予め定めておいた基準値(例えば、50%)以上であると判定する。第1の状態判定部104は、判定結果から撮像画像Aのヘッドレストが運転者の頭部等で十分に隠れており、比較画像と比べて大きく差異があると判定する。
[0031]
 一方、第1の状態判定部104が、図4Aの比較画像における判定領域Cの画像と、運転者の顔が遮蔽物で遮られた状態を示す図4Cの撮像画像Aにおける判定領域Bbの画像との比較を行う場合、比較画像における判定領域Cの画像のうちヘッドレストが撮像された領域Haの割合を100%とし、撮像画像Aにおける判定領域Bbの画像のうちヘッドレストが撮像された領域Hcの割合を、例えば20%と算出する。第1の状態判定部104は、領域Haの割合(100%)と、領域Hcの割合(20%)の差分割合(80%)を算出し、算出した差分割合が予め定めておいた基準値(例えば、50%)以上であると判定する。第1の状態判定部104は、判定結果から撮像画像Aのヘッドレストが運転者の頭部等で十分に隠れており、比較画像と比べて大きく差異があると判定する。
[0032]
 また、第1の状態判定部104が、図4Aの比較画像における判定領域Cの画像と、運転者の顔が前傾している状態を示す図4Dの撮像画像Aにおける判定領域Bcの画像との比較を行う場合、比較画像における判定領域Cの画像のうちヘッドレストを撮像した領域Haの割合を100%とし、撮像画像Aにおける判定領域Bcの画像のうちヘッドレストを撮像した領域Hdの割合を例えば80%と算出する。第1の状態判定部104は、領域Haの割合(100%)と、領域Hdの割合(80%)の差分割合(20%)を算出し、算出した差分割合が予め定めておいた基準値(例えば、50%)未満であると判定する。第1の状態判定部104は、判定結果から撮像画像Aのヘッドレストが運転者の頭部等で隠れておらず、比較画像と比べて大きな差異がないと判定する。
[0033]
 第1の状態判定部104は、算出した差分割合が、予め定められた基準値未満であった場合には、運転者が注意喚起を必要とする状態であると判定する。
 例えば、図4Aの比較画像における判定領域Cの画像と、図4Bの撮像画像Aにおける判定領域Baの画像との比較では、第1の状態判定部104は、領域Haと領域Hbとの差分割合が基準値以上であることから、運転者Xが注意喚起を必要とする状態ではないと判定する。
 同様に、図4Aの比較画像における判定領域Cの画像と、図4Cの撮像画像Aにおける判定領域Bbの画像との比較では、第1の状態判定部104は、領域Haと領域Hcとの差分割合が基準値以上であることから、運転者Xが注意喚起を必要とする状態ではないと判定する。
 一方、例えば、図4Aの比較画像における判定領域Cと、図4Dの撮像画像Aにおける判定領域Bcの画像との比較では、領域Haと領域Hdとの差分割合が基準値未満であることから、第1の状態判定部104は、運転者Xが注意喚起を必要とする状態であると判定する。
[0034]
 次に、運転不能状態判定装置100の動作について説明する。
 運転不能状態判定装置100の動作は、第1の状態判定部104が、運転者が注意喚起状態であると判定していない場合の動作と、第1の状態判定部104が、運転者が注意喚起状態であると既に判定している場合の動作とに分けて説明する。
 まず、図5のフローチャートを参照しながら、第1の状態判定部104が、運転者が注意喚起状態であると判定していない場合の、運転不能状態判定装置100の動作について説明する。
 図5は、実施の形態1に係る運転不能状態判定装置100の動作を示すフローチャートである。図5のフローチャートの処理が行われる前提として、第1の状態判定部104が、運転者が注意喚起状態であると判定していないものとする。
[0035]
 画像取得部101が撮像画像を取得すると(ステップST1)、顔検出部102は取得された撮像画像から運転者の顔を検出する処理を行う(ステップST2)。顔検出部102は、ステップST2の処理により、撮像画像から運転者の顔検出に成功したか否か判定を行う(ステップST3)。顔検出に成功した場合(ステップST3;YES)、顔検出部102は、顔情報取得部106に対して顔検出に成功したことを示す情報と撮像画像とを出力する。顔情報取得部106は、顔検出部102から入力された撮像画像から、運転者の顔情報を取得し(ステップST4)、第2の状態判定部107に出力する。第2の状態判定部107は、ステップST4で取得された運転者の顔情報に基づいて、運転者が運転不能状態であるかの判定処理を実行する(ステップST5)。その後、フローチャートは処理を終了する。
[0036]
 一方、顔検出に失敗した場合(ステップST3;NO)、顔検出部102は、判定領域取得部103および第1の状態判定部104に対して顔検出に失敗したことを示す情報を出力する。判定領域取得部103は、ステップST1で取得された撮像画像から判定領域の画像を取得し(ステップST6)、第1の状態判定部104に出力する。第1の状態判定部104は、顔検出部102から顔検出に失敗したことを示す情報が入力されると、カウンタ(図示しない)が起動済みであるか否か判定を行う(ステップST7)。カウンタが起動済みでない場合(ステップST7;NO)、第1の状態判定部104はカウンタのカウントを開始し(ステップST8)、カウンタのカウントアップを行う(ステップST9)。一方、カウンタが起動済みである場合(ステップST7;YES)、フローチャートはステップST9の処理に進む。
[0037]
 第1の状態判定部104は、カウンタのカウント値を参照し、第1の閾値時間が経過したか否か判定を行う(ステップST10)。第1の閾値時間が経過していない場合(ステップST10;NO)、フローチャートは処理を終了する。一方、予め設定した第1の閾値時間が経過した場合(ステップST10;YES)、第1の状態判定部104は、ステップST6で取得された判定領域画像のヘッドレストを撮像した領域の割合と、比較画像のヘッドレストを撮像した領域の割合との差分を算出する(ステップST11)。
[0038]
 第1の状態判定部104は、ステップST11で算出した差分が、基準値以上であるか否か判定を行う(ステップST12)。差分が基準値以上である場合(ステップST12;YES)、第1の状態判定部104は、運転者が運転不能状態ではないと判定し、処理を終了する。一方、差分が基準値未満であると判定した場合(ステップST12;NO)、第1の状態判定部104は、運転者が注意喚起状態であると判定する(ステップST13)。第1の状態判定部104は、ステップST13の判定結果を警告装置300または車両制御装置400に出力し(ステップST14)、処理を終了する。
[0039]
 次に、図6のフローチャートを参照しながら、第1の状態判定部104が、運転者が注意喚起状態であると判定済みである場合の、運転不能状態判定装置100の動作について説明する。
 図6は、実施の形態1に係る運転不能状態判定装置100の注意喚起状態での動作を示すフローチャートである。図6のフローチャートの処理が行われる前提として、第1の状態判定部104が、図5のフローチャートのステップST13において、注意喚起状態であると判定しているものとする。
 画像取得部101が撮像画像を取得すると(ステップST21)、顔検出部102は取得された撮像画像から運転者の顔を検出する処理を行う(ステップST22)。顔検出部102は、ステップST22の処理により撮像画像から運転者の顔検出に成功したか否か判定を行う(ステップST23)。顔検出に成功した場合(ステップST23;YES)、顔検出部102は、顔検出に成功したことを示す情報を第1の状態判定部104に出力する。第1の状態判定部104、顔検出に成功したことを示す情報が入力されると、運転者への注意喚起を解除する(ステップST24)。
[0040]
 一方、顔検出に失敗した場合(ステップST23;NO)、顔検出部102は、顔検出に失敗したことを示す情報を第1の状態判定部104に出力する。第1の状態判定部104は、顔検出に失敗したことを示す情報が入力されると、カウンタのカウントアップを行う(ステップST25)。第1の状態判定部104は、カウンタのカウント値を参照し、第2の閾値時間が経過したか否か判定を行う(ステップST26)。第2の閾値時間が経過していない場合(ステップST26;NO)、フローチャートは処理を終了する。
[0041]
 一方、第2の閾値時間が経過した場合(ステップST26;YES)、第1の状態判定部104は、運転者が運転不能状態であると判定する(ステップST27)。第1の状態判定部104は、ステップST27の判定結果を警告装置300または車両制御装置400に出力する(ステップST28)。第1の状態判定部104は、カウンタをリセットし(ステップST29)、処理を終了する。
 なお、図5および図6のフローチャートはそれぞれ1周期の処理を示したものであり、運転者が運転中である場合には、当該フローチャートの処理が繰り返し実施される。
[0042]
 以上のように、この実施の形態1の運転不能状態判定装置100は、車両内の撮像画像を取得する画像取得部101と、取得された撮像画像から、運転者の顔を検出する顔検出部102と、取得された撮像画像から判定領域画像を取得する判定領域取得部103と、運転者の顔を検出できない状態が、第1の閾値時間継続した場合に、取得された撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分に基づいて運転者の状態を判定する第1の状態判定部104とを備えるように構成した。
 従って、実施の形態1の運転不能状態判定装置100は、撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分と基準値との比較により、運転者の顔が正常位置に位置していると判定することができる。運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することができる。
[0043]
 また、この実施の形態1によれば、第1の状態判定部104は、差分が基準値未満である場合に、運転者が注意喚起状態であると判定し、さらに運転者が注意喚起状態であると判定し、且つ顔検出部102が運転者の顔を検出できない状態が第2の閾値時間継続した場合に、運転者が運転不能状態であると判定するように構成したので、運転者の運転不能状態をより精度よく判定することができる。
[0044]
 上述した実施の形態1で示した運転不能状態判定装置100において、運転者が注意喚起を必要とする状態であると判定した場合、または運転者が運転不能状態であると判定した場合、外部の警告装置300が音声により警告を行う。
 また、警告装置300はディスプレイに運転不能状態と判定していることを表示し、当該運転不能状態との判定を解除する入力を受け付けるボタンを表示してもよい。
 図7は、実施の形態1に係る発明の運転不能状態判定装置100の判定結果を運転者に通知する一例を示す図である。
 ディスプレイ301には、運転不能状態判定装置100の判定結果302と、当該判定結果を解除するためのボタン303が表示される。判定結果302は、例えば「運転不能状態と判定中」と表示される。また、ボタン303は、例えば「正常状態にリセット」と表示される。
[0045]
 運転者は、ディスプレイ301に表示された判定結果302を参照し、自身が運転不能状態でない場合には、ボタン303を押下することにより、運転不能状態判定装置100に、判定結果を解除させることができる。
[0046]
 なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

産業上の利用可能性

[0047]
 この発明に係る運転不能状態判定装置は、判定精度の向上が求められるドライバモニタリングシステム等に用いられるのに適している。

符号の説明

[0048]
 100 運転不能状態判定装置、101 画像取得部、102 顔検出部、103 判定領域取得部、104 第1の状態判定部、105 比較画像蓄積部、106 顔情報取得部、107 第2の状態判定部。

請求の範囲

[請求項1]
 車両内の撮像画像を取得する画像取得部と、
 前記画像取得部が取得した撮像画像から、運転者の顔を検出する顔検出部と、
 前記画像取得部が取得した撮像画像から判定領域画像を取得する判定領域取得部と、
 前記顔検出部が前記運転者の顔を検出できない状態が、第1の閾値時間継続した場合に、前記判定領域取得部が取得した前記撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分に基づいて前記運転者の状態を判定する状態判定部とを備えた運転不能状態判定装置。
[請求項2]
 前記比較画像は、前記運転者が着座していない運転席を撮像した撮像画像であることを特徴とする請求項1記載の運転不能状態判定装置。
[請求項3]
 前記状態判定部は、基準値以上の前記差分を検出した場合に、前記運転者が注意喚起状態でないと判定することを特徴とする請求項1または請求項2記載の運転不能状態判定装置。
[請求項4]
 前記状態判定部は、前記差分が基準値未満である場合に、前記運転者が注意喚起状態であると判定することを特徴とする請求項1または請求項2記載の運転不能状態判定装置。
[請求項5]
 前記状態判定部は、前記運転者が注意喚起状態であると判定し、且つ前記顔検出部が前記運転者の顔を検出できない状態が第2の閾値時間継続した場合に、前記運転者が運転不能状態であると判定することを特徴とする請求項4記載の運転不能状態判定装置。
[請求項6]
 画像取得部が、車両内の撮像画像を取得するステップと、
 顔検出部が、前記取得された撮像画像から、運転者の顔を検出するステップと、
 判定領域取得部が、前記取得された撮像画像から判定領域画像を取得するステップと、
 状態判定部が、前記運転者の顔を検出できない状態が、第1の閾値時間継続した場合に、前記取得された前記撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分に基づいて前記運転者の状態を判定するステップとを備えた運転不能状態判定方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]