Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021002520 - METHOD FOR DETERMINING LANE DEPARTURE WARNING USING DRIVER CONDITION MONITORING

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2   3   4   5   6   7  

발명의 상세한 설명

기술적 과제

8   9  

과제 해결 수단

10   11   12   13   14   15   16   17  

발명의 효과

18   19  

도면의 간단한 설명

20   21   22   23   24   25   26  

발명의 실시를 위한 최선의 형태

27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66  

산업상 이용가능성

67  

청구범위

1   2   3   4   5   6   7  

도면

1   2a   2b   2c   2d   3a   3b   4a   4b   5a   5b   6  

명세서

발명의 명칭 : 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법

기술분야

[1]
본 발명은 운전자 상태 모니터링을 이용하여 차선 이탈 경보 여부를 판단하는 방법에 관한 것으로서, 보다 상세하게는 운전자의 졸음 운전이나 전방 미주시 정도를 모니터링하여 차선 이탈 경보 또는 차선 근접 경보를 수행함으로써 안전 운전을 도모할 수 있도록 한 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법에 관한 것이다.

배경기술

[2]
ADAS(Advanced Driver Assistance System)는 운전 중 발생할 수 있는 상황을 차량 스스로 인지하고 상황을 판단하여 구동 장치와 차량 탑재 장치 등을 제어하는 기술이다. ADAS는 복잡한 차량 제어 프로세스에서 운전자를 돕고 보완하며, 궁극적으로는 자율주행 기술의 토대를 위해 개발되었다.
[3]
ADAS 중의 하나로서 차선 이탈 경보 시스템(LDWS: Lane Departure Warning system)은 차량에 설치된 카메라에서 전방 또는 전방과 주변 도로를 촬영하여 차선을 인식하고, 차선이 이탈되는 경우 경보를 울리는 장치이다. 종래 많은 LDWS는 차선 인식 기술 및 차선 이탈 여부를 판단하는 기술 방향으로 발전되어 왔다. 대한민국 특허등록 제10-0355933호 “차선 이탈 경보장치 및 방법”대한민국 특허등록 제10-1018033호 “차선 이탈 경보 방법 및 시스템”대한민국 특허등록 제10-1031846호 “도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법”대한민국 등록특허 제10-1067437호 “차선 검출방법 및 이를 이용한 차선 이탈 검출시스템”대한민국 등록특허 제10-1392850호 “영상인식 기반의 차선 이탈 감지 방법 및 시스템”등은 그러한 차선 인식, 차선 이탈 판단에 대하여 기재하고 있다.
[4]
그런데, 종래의 차선 이탈 경보 시스템의 문제점 중 하나는 잦은 경보이다. 예를 들어, 운전자가 정상적으로 차선을 변경하고자 하는 의도를 가질 경우, 차선 이탈 경보는 제한될 필요가 있다. 운전자의 의도에 반하는 경보는 자칫 운전 집중도를 저하시킬 수 있기 때문이다.
[5]
대부분의 완성차 업체에서는 방향 지시등이 작동하지 않는 경우에만 차선 이탈 경보를 실행하는 것으로 불필요한 경보를 제한하고 있다. 하지만, 주변에 차량이 없는 경우, 또는, 운전자들이 방향 지시등을 조작하지 않는 운전 습관을 가진 경우 등 많은 경우에 있어서 운전자의 차선 변경 의도와 수반되어 방향 지시등이 조작되지 않는 경우가 있다.
[6]
따라서 불필요한 차선 이탈 경보를 방지하는 강화된 방안이 요구되고 있다.
[7]

발명의 상세한 설명

기술적 과제

[8]
본 발명은 방향 지시등의 작동 여부와 무관하게 운전자의 상태를 모니터링하여 차선 이탈 경보를 발생시키며, 차선 이탈 상태 및 차선 근접 상태를 구분하여 검출하고, 차선 이탈 시에는 운전자의 전방 주시도를 엄격하게 판정하여 경보를 발생시키며, 차선 근접 시에는 운전자의 전방 주시도를 완화하여 판정하여 경보를 발생시킴으로써, 불필요한 경보를 방지하는 동시에 전방 주시 태만 시에 조기 경보를 수행할 수 있으며, 궁극적으로는 안전 운전을 도모할 수 있도록 한 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 제공함에 그 목적이 있다.
[9]

과제 해결 수단

[10]
본 발명의 일실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, (a) 차선 인식 카메라에서 촬영된 영상으로부터 차량 주변의 차선을 인식하여 차선 정보를 추출하는 단계; (b) 운전자 인식 카메라에서 촬영된 영상으로부터 운전자 안면 특징점을 추출하는 단계; (c) 상기 차선 정보로부터 차량이 좌측 차선 또는 우측 차선을 이탈한 차선 이탈 상태, 또는, 차량이 좌측 차선 또는 우측 차선에 소정 거리 이내로 진입하는 차선 근접 상태에 위치하고 있는지를 판단하는 단계; (d) 상기 단계(c)에서 상기 차선 이탈 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 운전자 안면 기울기가 차량 전방을 중심축으로 하여 소정의 제1 각도를 초과하는 경우 경보를 발생시키는 단계; 및 (e) 상기 단계(c)에서 상기 차선 근접 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제1 각도보다 큰 제2 각도를 초과하는 경우 경보를 발생시키는 단계를 포함한다.
[11]
본 발명의 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 상기 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 상기 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 상기 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함한다.
[12]
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 안면 기울기는 상기 양안 각각의 끝점 위치 정보, 상기 눈동자 위치 정보, 상기 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 상기 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정된다.
[13]
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 제1 각도는 13도 내지 17도의 범위에서 선택되며, 상기 제2 각도는 28도 내지 32도의 범위에서 선택된다.
[14]
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 단계(c)에서 차선 이탈 상태 또는 차선 근접 상태로 판단되는 경우, 상기 운전자의 안면 특징점으로부터 운전자가 졸음 운전 상태 또는 운전자 미인식 상태로 인식되면 경보를 발생시키는 단계를 더 포함한다.
[15]
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 졸음 운전 상태는 상기 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정되거나, 상기 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 상기 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지를 판단하여 결정된다.
[16]
본 발명의 또 다른 실시예에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 상기 운전자 미인식 상태는 상기 운전자의 얼굴 윤곽선의 위치 정보가 허용치 이상으로 변경되는 경우 결정된다.
[17]

발명의 효과

[18]
본 발명의 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법에 따르면, 차선 이탈 상태 및 차선 근접 상태를 구분하여 검출하며, 운전자의 안면 특징점을 이용하여 운전자의 안면 기울기를 측정하고, 차선 이탈 상태에서는 안면 기울기가 제1 각도를 초과하는 경우 경보를 발생시키며, 차선 근접 상태에서는 안면기울기가 제1 각도보다 큰 제2 각도를 초과하는 경우 경보를 발생시킴으로써, 불필요한 경보를 방지하는 동시에 전방 주시 태만 시에 조기 경보를 수행하여 안전 운전을 도모할 수 있도록 하는 효과가 있다.
[19]

도면의 간단한 설명

[20]
도 1은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현하기 위한 장치 구성을 예시한 블록도,
[21]
도 2a 내지 2d는 차량의 차선 근접 및 차선 이탈 상태를 예시한 도면,
[22]
도 3a 및 3b는 운전자의 정상 상태 및 운전자가 미인식 되는 상태를 예시한 도면,
[23]
도 4a 및 4b는 운전자의 정상 상태 및 전방 미주시 상태를 예시한 도면,
[24]
도 5a 및 5b는 운전자의 정상 상태 및 졸음 운전 상태를 예시한 도면, 및
[25]
도 6은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 예시한 흐름도이다.
[26]

발명의 실시를 위한 최선의 형태

[27]
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
[28]
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
[29]
[30]
본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법은, 종래 경보 억제 방법과 달리 운전자의 상태, 예컨대, 졸음 운전 상태, 운전자 미인식 상태, 운전자 전방 미주시 상태에 따라 경보 여부를 판단한다. 따라서 차량이 방향 지시등의 동작 없이 차선을 이탈하거나 차선에 근접하는 경우에도 운전자가 정상적인 주의로 운전하는 경우 경보를 억제할 수 있다.
[31]
나아가, 본 발명의 차선 이탈 경보 판단 방법은 차선 이탈 상태 및 차선 근접 상태에 따라 각기 다른 판단 기준으로 경보 발생 여부를 결정한다. 이하에서 구체적으로 설명하겠지만, 차량이 차선을 이탈한 상태에서는 엄격한 기준으로 운전자의 전방 미주시 상태를 판단한다. 실시예에서 운전자의 안면 기울기가 소정의 제1 각도(예컨대, 13 내지 17도에서 선택된 각도)를 초과하는 경우 경보를 발생시킨다. 차량이 차선에 근접되는 상태에서는 보다 완화된 기준으로 운전자의 전방 미주시 상태를 판단한다. 실시예에서 운전자의 안면 기울기가 제1 각도보다 큰 제2 각도(예컨대, 28 내지 32도에서 선택된 각도)를 초과하는 경우 경보를 발생시킨다. 따라서 불필요한 경보를 억제하는 동시에 운전자의 전방 미주시에 의한 차선 이탈 위험을 조기에 경보할 수 있게 된다.
[32]
[33]
도 1은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현하기 위한 장치 구성을 예시한 블록도이다.
[34]
도 1을 참조하면, 본 발명의 차선 이탈 경보 판단 방법을 구현하기 위해, 차량에는 차선 인식 카메라(110)와 운전자 인식 카메라(210)가 설치되며, 각 카메라에서 촬영된 영상으로부터 차선 정보를 추출하고 차선 근접도 및 이탈 여부를 판단하는 수단과 운전자 안면 특징점을 추출하고 운전자 이탈 상태, 전방 미주시 상태 졸음 운전 상태를 판단하는 수단이 구비된다.
[35]
차선 인식 카메라(110)는 차량 전방에 설치되는 카메라를 포함한다. 차량 전방에 설치된 카메라는 차량의 주행 도로 상의 도로 표면을 촬영하는 수단이다. 추가로, 차선 인식 카메라(110)는 차량 주변을 모니터링하기 위한 카메라, 예컨대, 측방 카메라 및 후방 카메라를 더 포함할 수 있다.
[36]
차선 정보 추출부(120)는 차선 인식 카메라(110)에서 촬영된 영상으로부터 차선과 관련된 정보들을 추출한다. 예컨대, 차선에 해당되는 에지 성분을 추출하고, 추출된 에지 성분들로부터 차선 후보 객체를 결정한다. 그리고, 차선 후보 객체를 허프 변환 등으로 변환하며, 필터링하여 최종 차선을 결정한다. 차선 정보 추출부(120)가 차선 정보를 추출하는 과정은 배경기술에서 열거된 선행특허들에 관련 기술이 잘 기재되어 있으며, 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 구현함에 있어, 차선 정보 추출 기술은 알려진 기술 중 어떤 기술을 적용하여도 무방하다.
[37]
차선 근접도 판단부(130)는 차량이 차선에 근접된 정도를 판단하는 수단이다. 예컨대, 차량의 GPS 정보를 보정하여 차선의 정확한 위치를 산출한 후에 차선의 위치에 대한 근접도를 판단할 수 있다. 다른 예로서, 차선에 대한 상대적 위치를 영상 인식을 바탕으로 연산하는 것으로 차선 근접도를 판단할 수 있다.
[38]
차선 이탈 판단부(140)는 차량이 차선을 이탈했는지 여부를 판단하는 수단이다. 차량의 좌측 바퀴가 좌측 차선을 침범했는지, 또는, 우측 바퀴가 우측 차선을 침범했는지 여부를 판단한다. 예를 들어, 차선 정보 추출부(120)에서 양측 차선의 폭을 연산하고, 차량의 폭 정보와 좌우측 차선에 대한 근접도 등을 이용하여 차선 이탈 여부를 판단할 수 있다. 그리고 차량 내 장치된 자이로 센서 등에서 검출된 차량의 기울기 상태 등을 추가로 고려하여 차선 이탈 여부를 판단할 수 있다.
[39]
[40]
도 2a 내지 2d는 차량의 차선 근접 및 차선 이탈 상태를 예시한 도면이다. 도 2a 내지 2d를 참조하여 본 발명에서 차선 근접도 및 차선 이탈 상태를 판단하는 과정에 대하여 설명한다. 도시된 예시는 차량이 양측의 차선과 충분한 공간을 두어 위치된 상태를 도시하였으나, 이는 발명의 이해를 돕기 위한 예시일 뿐이며 본 발명을 특정하는 예시는 아니다.
[41]
도 2a는 차량(500)이 양측 차선(530)의 중앙에 위치한 상태로 주행하는 상태를 예시하고 있다. 이 경우, 차선 이탈 경보는 발생되지 않는다.
[42]
도 2b는 차량(500)이 제2 근접선(510)을 침범한 상태를 예시하고 있다. 이하의 실시예에서, 차량(500)이 제2 근접선(510)을 침범한 상태를 차량이 차선 근접도2에 도달한 상태로 지칭하여 설명한다. 본 발명에서는 차량이 차선 근접도2에 도달한 상태에서 운전자의 전방 주시 상태가 매우 불량한 경우(즉, 전방 주시 상태에 대하여 완화된 제한을 두어) 경보를 발생시킨다. 따라서, 실제 차선 이탈이 일어나기 전에 조기 경보를 하여 운전자의 경각심을 일깨운다.
[43]
도 2c는 차량(500)이 제1 근접선(520)을 침범한 상태를 예시하고 있다. 이하의 실시예에서, 차량(500)이 제2 근접선(520)을 침범한 상태를 차량이 차선 근접도1에 도달한 상태로 지칭하여 설명한다. 본 발명에서는 차량이 차선 근접도1에 도달한 상태에서 운전자의 전방 주시 상태가 불량한 경우(즉, 차선 근접도1에 비해 강하된 제한을 두어) 경보를 발생시킨다. 따라서, 차선 이탈이 실제 발생할 수 있는 상황 직전에 조기 경보를 할 수 있다.
[44]
도 2d는 차량(500)이 차선(530)을 이탈한 상태를 예시하고 있다. 이와 같은 차선 이탈 상태에서는 운전자의 전방 주시 상태가 미미하게 불안한 경우(즉, 매우 엄격한 제한을 두어) 경보를 발생시킨다.
[45]
[46]
다시 도 2를 참조하면, 운전자 인식 카메라(210)는 차량 내부에서 운전자를 지향하여 설치되는 카메라로서, 운전자의 얼굴을 촬영하기 위한 수단이다.
[47]
운전자 안면 특징점 추출부(220)는 운전자 인식 카메라(210)에서 촬영된 영상으로부터 운전자 안면 특징점을 추출한다. 도 3 내지 도 5에 도시된 바와 같이, 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함한다.
[48]
운전자 이탈 판단부(230)는 운전자가 운전석에서 이탈했는지 여부를 판단하는 수단이다. 예를 들어, 운전자가 차량 바닥에 떨어진 물건을 줍기 위해 고개를 숙인 경우 등을 검출하는 수단으로, 운전자의 얼굴 윤곽선 위치 정보가 허용치 이상으로 변경되는 경우 운전자 미인식 상태로 결정한다.
[49]
도 3a는 운전자의 정상 상태를 예시하고 있는데 반해, 도 3b는 얼굴 윤곽선이 검출되어야 하는 위치에 운전자의 얼굴 윤곽선과 얼굴 윤곽선 내의 특징점이 검출되지 않는 상태를 예시하고 있다. 도 3b는 발명의 이해를 돕기 위해 운전자의 얼굴이 전혀 검출되지 않는 상태를 예시하고 있지만, 도 3b의 점선 내에 운전자의 얼굴 윤곽선이 50% 미만으로 검출되거나, 상기한 운전자 안면 특정점들 중 30% 이상이 미검출 되는 상태를 운전자 미인식 상태로 결정할 수 있다.
[50]
전방 미주시 판단부(240)는 운전자 안면 특징점을 이용하여 운전자의 전방 미주시 상태를 판단하는 수단이다. 본 발명에서 전방 미주시 상태는 운전자의 안면 기울기로 판단하며, 운전자의 안면 기울기에 따라 복수의 단계로 전방 미주시 상태를 결정한다.
[51]
운전자 안면 기울기는 운전자 안면 특징점들 중 양안 각각의 끝점 위치 정보, 눈동자 위치 정보, 코의 돌출 시작점 및 돌출 끝점 위치 정보, 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정된다.
[52]
도 4a는 운전자의 정상 상태로서, 운전자 안면 기울기가 0도인 상태를 예시하고 있다. 이와 대비하여, 도 4b는 안면 기울기가 소정 각도로 경사진 상태(운전자를 기준으로 우측으로 틀어진 상태)를 예시하고 있다.
[53]
이하의 실시예에서 운전자 안면 기울기가 제1 각도(예컨대, 15도)를 초과하는 상태를 제1 전방 미주시 상태로 지칭한다. 그리고, 운전자 안면 기울기가 제2 각도(예컨대, 30도)를 초과하는 상태를 제2 전방 미주시 상태로 지칭한다. 운전자 안면 기울기가 제3 각도(예컨대, 40도)를 초과하는 상태를 제3 전방 미주시 상태로 지칭한다.
[54]
졸음 운전 판단부(250)는 운전자의 졸음 상태 여부를 판단하는 수단이다. 졸음 운전 상태는 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정될 수 있다. 다른 예로서, 졸음 운전 상태는 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지(예를 들어, 운전자가 하품을 하는 경우 등과 같이)를 판단하여 결정될 수 있다.
[55]
도 5a에 예시된 운전자 정상 상태와 대비하여, 도 5b는 운전자가 졸음 운전을 하는 상태를 예시하고 있으며, 졸음 운전 판단부(250)는 이와 같은 운전자 졸음 상태를 검출한다.
[56]
[57]
도 6은 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 예시한 흐름도이다. 도 6을 참조하여, 본 발명에 따른 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법을 설명하면 다음과 같다.
[58]
단계 ST110에서 차선 인식 카메라(110)로 촬영된 영상으로부터 차선을 인식하는 것으로 프로세스가 시작된다(ST110). 그리고, 차선 정보 추출부(120)는 촬영된 영상으로부터 차선 정보를 추출한다(ST120). 한편, 이와 병행하여 운전자 안면 특징점 추출부(220)는 운전자 인식 카메라(210)에서 촬영된 영상으로부터 운전자 안면 특징점을 추출한다. 그리고, 운전자 이탈 판단부(230)는 운전자 미인식 상태를, 전방 미주시 판단부(240)는 상기한 제1 전방 미주시 상태 내지 제3 전방 미주시 상태를, 졸음 운전 판단부(250)는 운전자 졸음 상태를 각각 판단한다.
[59]
추출된 차선 정보를 이용하여, 차선 이탈 상태인지 여부를 판단하고(ST130), 차선 근접도1에 도달했는지 여부를 판단하고(ST140), 차선 근접도2에 도달했는지 여부를 판단한다(ST150).
[60]
차선 이탈 상태, 차선 근접도1 상태, 차선 근접도2 상태 중 어느 하나의 상태에 도달한 경우에도 졸음 운전이 검출되거나 운전자 미인식 상태가 검출되면(ST160, ST170, ST180), 경보를 발생시킨다(ST230). 만약, 졸음 운전 상태나 운전자 미인식 상태가 검출되지 않는다면 다음 단계(ST190, ST210, ST220)로 진행된다.
[61]
본 발명에서는 운전자의 안면 기울기에 따라 각기 다른 경보 억제 기준을 갖는다. 먼저, 차선 이탈 상태에서 안면 기울기가 제1 각도를 초과했는지 여부를 판단한다(ST190). 안면 기울기가 약간이라도 변경된다면 단계 ST230으로 진행하여 경보를 발생시킨다. 즉, 차선 이탈 상태에서는 경보 발생 기준을 엄격하게 한다.
[62]
만약, 차량이 차선 근접도1에 도달한 상태라면, 안면 기울기가 제2 각도를 초과했는지 여부를 판단하고(ST210), 판단 결과 ‘예’로 판단되면 경보를 발생시킨다(ST230). 제2 각도는 제1 각도에 비해 큰 값을 갖는 각도로서, 운전자의 안면 기울기가 좀 더 틀어진 경우에, 즉, 차선 이탈 상태에 비해 좀 더 완화된 기준을 가지고 경보를 발생시킨다.
[63]
만약, 차량이 차선 근접도2에 도달한 상태라면, 안면 기울기가 제3 각도를 초과했는지 여부를 판단하고(ST220), 판단 결과 ‘예’로 판단되면 경보를 발생시킨다(ST230). 제3 각도는 제2 각도에 비해 큰 값을 갖는 각도로서, 운전자의 안면 기울기가 상당히 틀어진 경우에, 조기 경보를 하여 실체 차선 이탈이 발생되기 전에 경보가 발생될 수 있도록 한다.
[64]
[65]
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.
[66]

산업상 이용가능성

[67]
본 발명은 차량의 차선 이탈 방지에 이용 가능하다.

청구범위

[청구항 1]
(a) 차선 인식 카메라에서 촬영된 영상으로부터 차량 주변의 차선을 인식하여 차선 정보를 추출하는 단계; (b) 운전자 인식 카메라에서 촬영된 영상으로부터 운전자 안면 특징점을 추출하는 단계; (c) 상기 차선 정보로부터 차량이 좌측 차선 또는 우측 차선을 이탈한 차선 이탈 상태, 또는, 차량이 좌측 차선 또는 우측 차선에 소정 거리 이내로 진입하는 차선 근접 상태에 위치하고 있는지를 판단하는 단계; (d) 상기 단계(c)에서 상기 차선 이탈 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 운전자 안면 기울기가 차량 전방을 중심축으로 하여 소정의 제1 각도를 초과하는 경우 경보를 발생시키는 단계; 및 (e) 상기 단계(c)에서 상기 차선 근접 상태로 판단되는 경우, 상기 운전자 안면 특징점으로부터 운전자 안면 기울기가 차량 전방을 중심축으로 하여 상기 제1 각도보다 큰 제2 각도를 초과하는 경우 경보를 발생시키는 단계 를 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 2]
제1항에 있어서, 상기 운전자 안면 특징점은 운전자의 얼굴 윤곽선의 위치 정보, 상기 얼굴 윤곽선 내에 위치한 양안 각각의 끝점 위치 정보, 상기 양안 각각의 끝점 사이에 위치한 눈동자 위치 정보, 상기 얼굴 윤곽선 내에 위치한 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 얼굴 윤곽선 내에 위치한 입술의 상하단 및 좌우단 위치 정보를 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 3]
제2항에 있어서, 상기 운전자 안면 기울기는 상기 양안 각각의 끝점 위치 정보, 상기 눈동자 위치 정보, 상기 코의 돌출 시작점 및 돌출 끝점 위치 정보, 상기 입술의 상하단 및 좌우단 위치 정보 중 어느 하나가 상기 차량 전방을 중심축으로 한 정상 위치와 대비하여 상하좌우로 위치 이동한 정도로부터 측정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 4]
제3항에 있어서, 상기 제1 각도는 13도 내지 17도의 범위에서 선택되며, 상기 제2 각도는 28도 내지 32도의 범위에서 선택되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 5]
제2항 내지 제4항 중 어느 한 항에 있어서, 상기 단계(c)에서 차선 이탈 상태 또는 차선 근접 상태로 판단되는 경우, 상기 운전자의 안면 특징점으로부터 운전자가 졸음 운전 상태 또는 운전자 미인식 상태로 인식되면 경보를 발생시키는 단계를 더 포함하는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 6]
제5항에 있어서, 상기 졸음 운전 상태는 상기 양안 각각의 끝점 위치 정보로부터 각 양안의 끝점 간의 거리가 넓어지는지를 판단하여 결정되거나, 상기 눈동자 위치 정보가 미검출 되는지를 판단하여 결정되거나, 상기 입술의 상단 위치와 하단 위치 간의 간격이 미리 정해진 간격 이상으로 벌어지는지를 판단하여 결정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.
[청구항 7]
제5항에 있어서, 상기 운전자 미인식 상태는 상기 운전자의 얼굴 윤곽선의 위치 정보가 허용치 이상으로 변경되는 경우 결정되는 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법.

도면

[도1]

[도2a]

[도2b]

[도2c]

[도2d]

[도3a]

[도3b]

[도4a]

[도4b]

[도5a]

[도5b]

[도6]