Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020196933 - DISPOSITIF ÉLECTRONIQUE POUR VÉHICULE ET PROCÉDÉ DE COMMANDE DE DISPOSITIF ÉLECTRONIQUE POUR VÉHICULE

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2  

발명의 상세한 설명

기술적 과제

3   4   5  

과제 해결 수단

6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26  

발명의 효과

27   28   29   30   31  

도면의 간단한 설명

32   33   34   35   36   37  

발명의 실시를 위한 최선의 형태

38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

도면

1   2   3   4   5   6   7   8   9   10a   10b   11a   11b   11c  

명세서

발명의 명칭 : 차량용 전자 장치 및 차량용 전자 장치의 동작 방법

기술분야

[1]
본 발명은 차량용 전자 장치 및 차량용 전자 장치의 동작 방법에 관한 것이다.

배경기술

[2]
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 자율 주행 차량은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다. 자율 주행 차량에서 사용자는 운전을 할 필요가 없기 때문에, 자율 주행 차량은, 사용자에게 다양한 정보를 제공할 수 있다. 여러 정보들 중에서 사용자가 필요로하고 이용 가능한 정보를 제공하는 시스템에 대한 연구가 필요하다.

발명의 상세한 설명

기술적 과제

[3]
본 발명은 상기한 문제점을 해결하기 위하여, 위치 기반의 POI 정보를 사용자에게 제공하는 차량용 전자 장치를 제공하는데 목적이 있다.
[4]
또한, 본 발명은, 위치 기반의 POI 정보를 사용자에게 제공하는 차량용 전자 장치를 제공하는데 목적이 있다.
[5]
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

과제 해결 수단

[6]
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 전자 장치는, 차량 외부의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 적어도 하나의 오브젝트를 검출하고, 차량 주변의 POI(Point of Interest) 데이터를 획득하고, 상기 영상 데이터의 타임 스탬프(timestamp)에 기초하여, 상기 영상 데이터에 POI 데이터를 동기화(synchronize)하는 프로세서;를 포함한다.
[7]
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 POI 데이터를 상기 오브젝트와 매칭한다.
[8]
본 발명의 실시예에 따르면, 메모리;를 더 포함하고, 상기 프로세서는, 차량에 구비된 카메라로부터 상기 영상 데이터를 수신하고, 차량에 구비된 통신 장치를 이용하여, 외부 서버로부터 상기 POI 데이터를 수신하고, 상기 메모리에, 상기 영상 데이터 및 상기 POI 데이터를 분리하여 저장한다.
[9]
본 발명의 실시예에 따르면, 상기 프로세서는, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, 상기 POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성한다.
[10]
본 발명의 실시예에 따르면, 상기 프로세서는, 제1 시점부터 상기 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하고, 상기 제1 시점은, 상기 제1 신호 수신 시점에서부터 기 설정된 시간 이전의 시점으로 정의된다.
[11]
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 기 설정된 시간 길이의 세그먼트(segment) 단위로, 상기 영상 데이터와 상기 POI 데이터가 동기화된 데이터를 생성한다.
[12]
본 발명의 실시예에 따르면, 상기 프로세서는, 제1 세그먼트가 생성되는 중에 상기 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 상기 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성한다.
[13]
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우, 적어도 어느 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성한다.
[14]
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 POI 데이터에 기초한 POI 리스트를 상기 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성한다.
[15]
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 영상의 그래픽 객체가, 상기 그래픽 객체와 대응되는 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성한다.
[16]
본 발명의 실시예에 따른 차량용 전자 장치의 동작 방법은, 적어도 하나의 프로세서가, 차량 외부의 영상 데이터를 획득하는 단계; 적어도 하나의 프로세서가, 상기 영상 데이터에 기초하여 적어도 하나의 오브젝트를 검출하는 단계; 적어도 하나의 프로세서가, 차량 주변의 POI(Point of Interest) 데이터를 획득하는 단계; 및 적어도 하나의 프로세서가, 상기 영상 데이터의 타임 스탬프(timestamp)에 기초하여, 상기 영상 데이터에 POI 데이터를 동기화(synchronize)하는 단계;를 포함한다.
[17]
본 발명의 실시예에 따르면, 상기 동기화하는 단계는, 적어도 하나의 프로세서가, 상기 POI 데이터를 상기 오브젝트와 매칭하는 단계;를 포함한다.
[18]
본 발명의 실시예에 따르면, 상기 영상 데이터를 획득하는 단계는, 적어도 하나의 프로세서가, 차량에 구비된 카메라로부터 상기 영상 데이터를 수신하는 단계; 및 적어도 하나의 프로세서가, 상기 영상 데이터를 메모리에 저장하는 단계;를 포함하고, 상기 POI 데이터를 획득하는 단계는, 적어도 하나의 프로세서가, 차량에 구비된 통신 장치를 이용하여, 외부 서버로부터 상기 POI 데이터를 수신하는 단계; 및 적어도 하나의 프로세서가, 상기 메모리에, 상기 영상 데이터와 분리하여 상기 POI 데이터를 저장하는 단계;를 포함한다.
[19]
본 발명의 실시예에 따르면, 적어도 하나의 프로세서가, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, 상기 POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 더 포함한다.
[20]
본 발명의 실시예에 따르면, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 제1 시점부터 상기 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 포함하고, 상기 제1 시점은, 상기 제1 신호 수신 시점에서부터 기 설정된 시간 이전의 시점으로 정의된다.
[21]
본 발명의 실시예에 따르면, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 상기 기 설정된 시간길이의 세그먼트(segment) 단위로, 상기 영상 데이터와 상기 POI 데이터가 동기화된 데이터를 생성하는 단계;를 포함한다.
[22]
본 발명의 실시예에 따르면, 상기 동기화된 데이터를 생성하는 단계는, 적어도 하나의 프로세서가, 제1 세그먼트가 생성되는 중에 상기 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 상기 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 포함한다.
[23]
본 발명의 실시예에 따르면, 적어도 하나의 프로세서가, 상기 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우, 적어도 어느 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성하는 단계;를 더 포함한다.
[24]
본 발명의 실시예에 따르면, 적어도 하나의 프로세서가, 상기 POI 데이터에 기초한 POI 리스트를 상기 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성하는 단계;를 더 포함한다.
[25]
본 발명의 실시예에 따르면, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 상기 영상의 그래픽 객체가 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성하는 단계;를 포함한다.
[26]
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

발명의 효과

[27]
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
[28]
첫째, 차량의 현재 위치에 기반하여 근처의 POI 정보를 제공함으로써 사용자가 해당 POI 정보를 바로 이용할 수 있는 효과가 있다.
[29]
둘째, POI 데이터를 영상 데이터와 별도로 저장하고, 상황에 따라 동기화하여 사용자에게 제공함으로써 프로세싱 부하 관리에 유리한 효과가 있다.
[30]
셋째, 사용자 편의성이 증대되는 효과가 있다.
[31]
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도면의 간단한 설명

[32]
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
[33]
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
[34]
도 3은 본 발명의 실시예에 따른 전체 시스템을 설명하는데 참조되는 도면이다.
[35]
도 4는 본 발명의 실시예에 따른 차량용 전자 장치의 제어 블럭도이다.
[36]
도 5는 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
[37]
도 6 내지 도 11c는 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.

발명의 실시를 위한 최선의 형태

[38]
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
[39]
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
[40]
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
[41]
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
[42]
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[43]
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
[44]
도 1을 참조하면, 본 발명의 실시예에 따른 차량(10)은, 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
[45]
차량(10)에는 전자 장치(100)가 포함될 수 있다. 전자 장치(100)는, 사용자에게 POI(Point of Interest) 정보를 증강 현실(augmented reality, AR)로 제공할 수 있다.
[46]
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
[47]
도 2를 참조하면, 차량(10)은, 차량용 전자 장치(100), 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
[48]
차량용 전자 장치(100)는, 사용자에게 POI(Point of Interest) 정보를 증강 현실로 제공할 수 있다. 차량용 전자 장치(100)는, 영상 데이터와 POI 데이터를 동기화하고, 동기화된 데이터에 기초하여 영상을 재생할 수 있다. 재생되는 영상에는, POI 정보가 포함될 수 있다. 차량용 전자 장치(100)는, 사용자와 인터렉션할 수 있다. 차량용 전자 장치(100)는, 사용자 입력에 기초한 신호를 수신하고, 수신한 신호에 따라 출력을 제어할 수 있다.
[49]
사용자 인터페이스 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다.
[50]
오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
[51]
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버, 방송국) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
[52]
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
[53]
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
[54]
차량 구동 장치(250)는, 차량(10)내 각종 장치의 구동을 전기적으로 제어하는 장치이다. 차량 구동 장치(250)는, 파워 트레인 구동부, 샤시 구동부, 도어/윈도우 구동부, 안전 장치 구동부, 램프 구동부 및 공조 구동부를 포함할 수 있다. 파워 트레인 구동부는, 동력원 구동부 및 변속기 구동부를 포함할 수 있다. 샤시 구동부는, 조향 구동부, 브레이크 구동부 및 서스펜션 구동부를 포함할 수 있다.
[55]
한편, 안전 장치 구동부는, 안전 벨트 제어를 위한 안전 벨트 구동부를 포함할 수 있다.
[56]
ADAS(260)는, 오브젝트 검출 장치(210)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. ADAS(260)는, 생성된 신호를, 사용자 인터페이스 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
[57]
ADAS(260)는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
[58]
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
[59]
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
[60]
센싱부(270)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
[61]
센싱부(270)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
[62]
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
[63]
한편, 센싱부는, 텐션 센서를 포함할 수 있다. 텐션 센서는, 안전 벨트의 텐션 상태에 기초하여 센싱 신호를 생성할 수 있다.
[64]
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
[65]
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
[66]
도 3은 본 발명의 실시예에 따른 전체 시스템을 설명하는데 참조되는 도면이다.
[67]
도 4는 본 발명의 실시예에 따른 차량용 전자 장치의 제어 블럭도이다.
[68]
도 3 내지 도 4를 참조하면, 시스템은, 차량(10), 이동 단말기(20) 및 외부 장치(30)를 포함할 수 있다. 차량(10)은, 적어도 하나의 통신망을 통해, 이동 단말기(20) 및 외부 장치(30)와 신호를 교환할 수 있다.
[69]
차량(10)은, 도 1 및 도 2를 참조하여 설명한 바와 같다. 차량(10)은, 차량용 전자 장치(100)를 포함할 수 있다.
[70]
차량용 전자 장치(100)는, 통신 장치(220)를 통해, 이동 단말기(20) 및 외부 장치(30)와 신호를 교환할 수 있다. 실시예에 따라, 차량용 전자 장치(100)는 이더넷 스위치 허브를 거쳐 통신 장치(220)에 연결될 수 있다. 프로세서(170)는, 인터페이스부(180) 및 통신 장치(220)를 통해, 이동 단말기(20)와 신호를 교환할 수 있다. 프로세서(170)는, 이동 단말기(20)로부터 데이터를 수신하고, 이동 단말기(20)에 데이터를 전송할 수 있다. 프로세서(170)는, 인터페이스부(180) 및 통신 장치(220)를 통해, 외부 장치(30)와 신호를 교환할 수 있다. 프로세서(170)는, 외부 장치(30)로부터 데이터를 수신하고, 외부 장치(30)에 데이터를 전송할 수 있다.
[71]
차량용 전자 장치(100)는, 메모리(140), 프로세서(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.
[72]
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
[73]
메모리(140)는, 차량(10)에 구비된 카메라로부터 수신된 영상 데이터를 저장할 수 있다. 메모리(140)는, 차량(10)에 구비된 통신 장치(220)를 이용하여 외부 서버(34)로부터 수신된 POI 데이터를 저장할 수 있다. 메모리(140)는, 영상 데이터 및 POI 데이터를 분리하여 저장할 수 있다.
[74]
인터페이스부(180)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(140), 차량 구동 장치(250), ADAS(260), 센싱부(170) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
[75]
인터페이스부(180)는, 위치 데이터 생성 장치(280)로부터, 차량(10) 위치 데이터를 수시할 수 있다. 인터페이스부(180)는, 센싱부(270)로부터 주행 속도 데이터를 수신할 수 있다. 인터페이스부(180)는, 오브젝트 검출 장치(210)로부터, 차량 주변 오브젝트 데이터를 수신할 수 있다.
[76]
전원 공급부(190)는, 전자 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 전자 장치(100)의 각 유닛에 전원을 공급할 수 있다.
[77]
프로세서(170)는, 메모리, 인터페이스부(180), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
[78]
프로세서(170)는, POI 애플리케이션(110)을 포함할 수 있다. POI 애플리케이션은, 프로세서(170)에 설치될 수 있다. POI 애플리케이션(110)은, 이하에서 설명되는 POI 관련한 동작을 수행할 수 있다.
[79]
프로세서(170)는, 차량 외부의 영상 데이터를 획득할 수 있다. 프로세서(170)는, 차량(10)에 구비된 카메라로부터 영상 데이터를 수신할 수 있다. 카메라는 오브젝트 검출 장치(210)의 하위 구성으로 분류될 수 있다. 카메라는, 차량(10)의 외부 영상을 획득할 수 있다. 카메라는, 차량(10)의 전방, 후방, 좌측방, 우측방 영상을 획득할 수 있다. 카메라는, 획득된 영상의 데이터를 프로세서(170)에 전송할 수 있다.
[80]
프로세서(170)는, 영상 데이터에 기초하여 적어도 하나의 오브젝트를 검출할 수 있다. 여기서, 오브젝트는, POI의 대상이 되는 건물, 상점, 랜드마크, 관광지, 식당, 유적지 등일 수 있다.
[81]
프로세서(170)는, 차량 주변의 POI(Point of Interest) 데이터를 획득할 수 있다. 프로세서(170)는, 차량(10)에 구비된 통신 장치(220)를 이용하여, 외부 서버(34)로부터 POI 데이터를 수신할 수 있다. 프로세서(170)는, 차량(10)의 위치 정보를 외부 서버(34)에 전송할 수 있다. 외부 서버(34)는, 차량(10)의 위치에서 거리 이내에 위치한 POI를 결정하고, POI에 대한 데이터를 프로세서(170)에 제공할 수 있다.
[82]
프로세서(170)는, 메모리(140)에 영상 데이터 및 POI 데이터를 분리하여 저장할 수 있다. POI 데이터는 영상 데이터에 비해 데이터량이 작아, 메모리(140) 기반의 관리가 가능하다. 사용자 입력에 기초한 신호가 수신되는 경우, POI 데이터와 영상 데이터가 분리되어 있기 때문에, POI 내비게이션 이나 POI 선택과 같은 동작이 가능하다. 또한, 하나의 화면에 담기는 POI 대상 객체의 개수에 대한 제한을 없앨 수 있는 장점도 있다. 또한 영상 데이터 내에 POI 데이터를 메타 데이터로 넣는 동작은 프로세싱 부하가 걸리는 작업이기도 하다.
[83]
프로세서(170)는, 영상 데이터의 타임 스탬프(timestamp)에 기초하여, 영상 데이터에 POI 데이터를 동기화(synchronize)할 수 있다. 프로세서(170)는, 영상 재생시의 타임 스탬프(예를 들면, Video PTS)에 기초하여, 영상 데이터와 POI 데이터를 동기화할 수 있다. 프로세서(170)는, 차량(10)의 운행 중 상시로, 영상 데이터와 POI 데이터를 동기화하여 메모리(140)에 저장할 수 있다. 프로세서(170)는, POI 데이터를 영상 데이터에 기초하여 검출된 오브젝트와 매칭할 수 있다.
[84]
프로세서(170)는, 제1 사용자 입력에 기초한 제1 신호를 수신할 수 있다. 예를 들면, 프로세서(170)는, 사용자의 터치 모듈(211) 조작에 의해 생성되는 신호를 USB Hub를 거쳐 수신할 수 있다. 프로세서(170)는, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성할 수 있다. 프로세서(170)는, 제어 신호를 디스플레이(214)에 전송할 수 있다.
[85]
프로세서(170)는, 제1 시점부터 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성할 수 있다. 여기서, 제1 시점은, 제1 신호 수신 시점에서 기 설정된 시간 이전의 시점으로 정의될 수 있다. 예를 들면, 프로세서(170)는, 제1 사용자 입력이 이루어진 시점으로부터 30초 이전까지 동기화된 영상 데이터에 기초한 영상을 재생할 수 있다. 재생되는 영상의 분량은 30초일 수 있다.
[86]
프로세서(170)는, 기 설정된 시간 길이의 세그먼트(segment) 단위로, 영상 데이터와 POI 데이터가 동기화된 데이터를 생성할 수 있다. 프로세서(170)는, 실시간으로 세그먼트 단위의 동기화 데이터를 생성하고, 메모리(140)에 저장할 수 있다. 프로세서(170)는, 저장된 세그먼트 단위의 동기화 데이터는, 기 설정 시간 이후에 삭제할 수 있다. 프로세서(170)는, 제1 세그먼트가 생성되는 중에 상기 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 상기 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성할 수 있다. 이경우, 재생 시간의 총 합은 상술한 기 설정된 시간 길이일 수 있다. 예를 들면, 재생 시간의 총 합은 30초일 수 있다.
[87]
프로세서(170)는, 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호를 수신할 수 있다. 예를 들면, 프로세서(170)는, 사용자의 터치 모듈(211) 조작에 의해 생성되는 신호를 USB Hub를 거쳐 수신할 수 있다. 프로세서(170)는, 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우, 적어도 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성할 수 있다. 프로세서(170)는, 통신 장치(220)를 이용하여 POI에 대한 상세 정보를 외부 서버(34)로부터 수신할 수 있다.
[88]
프로세서(170)는, POI 데이터에 기초한 POI 리스트를 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성할 수 있다. 프로세서(170)는, 제어 신호를 디스플레이(214)에 제공할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)과 POI의 상대적인 위치 관계에 기초하여, POI 리스트를 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성할 수 있다.
[89]
프로세서(170)는, 영상에 담기는 POI 정보를 증강 현실로 표시할 수 있다. 프로세서(170)는, 영상의 그래픽 객체가, 상기 그래픽 객체와 대응되는 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성할 수 있다. 프로세서(170)는, 제어 신호를 디스플레이(214)에 제공할 수 있다.
[90]
프로세서(170)는, 사이니지 클라이언트(signage client)(121), 미디어 플레이어(122), POI 디텍터(123), 보이스 에이전트(voice agent)(123) 및 플릿 클라이언트(fleet client)(125)를 포함할 수 있다.
[91]
사이니지 클라이언트(121)는, 사이니지 컨텐츠를 획득하기 위해, 적어도 하나의 외부 서버와 통신할 수 있다. 미디어 플레이어(media player)(122)는, 컨텐츠를 재생할 수 있다. POI 디텍터(point of interes detector)(123)는, GPS 정보를 기초로 POI 서버와 통신하여, POI 서버와 신호, 정보, 데이터를 교환할 수 있다. POI 디텍터는, 영상 데이터에 기초하여, 오브젝트를 검출할 수 있다. 보이스 에이전트(voice agent)(124)는, 사용자의 음성 명령에 기초하여 제어 신호를 생성할 수 있다. 플릿 클라이언트(fleet client)(125)는, 관제 서버와 연결되어 관제 명령을 차량에 포함되는 적어도 하나의 전자 장치(예를 들면, 오브젝트 검출 장치, 메인 ECU, 주행 시스템)에 전달하는 역할을 하며, 차량 센서 데이터를 서버로 전송함으로써 중앙 관제 및 Control을 가능하게 한다.
[92]
한편, 터치 모듈(211), 카메라(212), 마이크(213) 및 디스플레이(214)는, 사용자 인터페이스 장치(200)의 하위 구성으로 분류될 수 있다.
[93]
전자 장치(100)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 전자 장치(110), 메모리, 인터페이스부(180), 전원 공급부 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
[94]
이동 단말기(20)는, 차량(10)과 신호를 교환할 수 있다. 예를 들면, 이동 단말기(20)는, 근거리 통신 방식(예를 들면, 블루투스)를 통해, 차량(10)과 신호를 교환할 수 있다.
[95]
외부 장치(30)는, 적어도 하나의 통신망을 이용해, 차량(10)과 교환할 수 있다. 외부 장치(30)는, 플릿 매니지먼트 서버(Fleet Management Server)(31), 사이니지 서버(Signage Server)(32), 빅데이터 서버(Big Data Server)(33) 및 POI(Point of Interest) 서버(34)를 포함할 수 있다.
[96]
플릿 매니지먼트 서버(31)는, 플릿 클라이언트(125)와의 통신을 통해 차량 제어 및 주행 경로를 설정하며, 예약 서버와 연동하여 차량 제공 서비스를 수행할 수 있다 사이니지 서버(signage server)(32)는, 사이니지 클라이언트(121)과의 통신을 통해, 사이니지 컨텐츠를 제공할 수 있다. 빅 데이터 서버(big data server)(33)는, 제공되는 컨텍스트 정보에 기초하여, 빅데이타를 추출하여 제공할 수 있다. POI 서버(34)는, GPS 정보기반으로 등록된 POI 정보를 제공한다. 예를 들면, POI 서버는, 상가 정보, 대표 상품 정보, 대표 광고 정보, 링크 정보를 제공할 수 있다.
[97]
[98]
도 5는 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
[99]
도 5를 참조하면, 프로세서(170)는, 차량 외부의 영상 데이터를 획득할 수 있다(S510). 영상 데이터를 획득하는 단계(S510)는, 적어도 하나의 프로세서(170)가, 차량(10)에 구비된 카메라로부터 영상 데이터를 수신하는 단계 및 적어도 하나의 프로세서(170)가, 영상 데이터를 메모리(140)에 저장하는 단계를 포함할 수 있다.
[100]
프로세서(170)는, 영상 데이터에 기초하여, 적어도 하나의 오브젝트를 검출할 수 있다(S515).
[101]
프로세서(170)는, 차량의 위치 데이터를 외부 서버(34)에 전송할 수 있다(S520). 외부 서버(34)는, 차량의 위치 데이터에 기초하여, 차량 주변의 POI를 선택하고, POI 데이터를 제공할 수 있다. 프로세서(170)는, 차량 주변의 POI 데이터를 획득할 수 있다(S530). POI 데이터를 획득하는 단계(S530)는, 적어도 하나의 프로세서(170)가, 차량(10)에 구비된 통신 장치(220)를 이용하여, 외부 서버(34)로부터 POI 데이터를 수신하는 단계 및 적어도 하나의 프로세서(170)가, 메모리(140)에 영상 데이터와 분리하여 POI 데이터를 저장하는 단계를 포함할 수 있다.
[102]
프로세서(170)는, 영상 데이터의 타임 스탬프에 기초하여, 영상 데이터에 POI 데이터를 동기화할 수 있다(S540). 동기화 하는 단계(S540)는, 적어도 하나의 프로세서가, POI 데이터를 S515 단계에서 검출된 오브젝트와 매칭하는 단계를 포함할 수 있다.
[103]
프로세서(170)는, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우(S550), POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성할 수 있다(S560). 생성하는 단계(S560)는, 적어도 하나의 프로세서(170)가, 제1 시점부터 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계(S561 단계)를 포함할 수 있다. 여기서, 제1 시점은, 제1 신호 수신 시점에서부터 기 설정된 시간 이전의 시점으로 정의될 수 있다. 생성하는 단계(S561)는, 적어도 하나의 프로세서(170)가, 기 설정된 시간 길이의 세그먼트(segment) 단위로, 영상 데이터와 POI 데이터가 동기화된 데이터를 생성하는 단계(S562 단계)를 포함할 수 있다. 동기화된 데이터를 생성하는 단계(S562)는, 적어도 하나의 프로세서(170)가, 제1 세그먼트가 생성되는 중에 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계를 포함할 수 있다.
[104]
한편, 생성하는 단계(S560)는, 적어도 하나의 프로세서가, 영상의 그래픽 객체가 상기 그래픽 객체에 대응되는 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성하는 단계를 포함할할 수 있다.
[105]
프로세서(170)는, POI 데이터에 기초한 POI 리스트를 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성할 수 있다(S570).
[106]
프로세서(170)는, 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우(S580), 적어도 어느 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성할 수 있다(S590).
[107]
도 6 내지 도 11c는 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
[108]
도 6을 참조하면, 프로세서(170)는, 영상 데이터(610)를 획득할 수 있다. 프로세서(170)는, 차량의 외부를 촬영하는 카메라로부터 영상 데이터(610)를 수신할 수 있다. 프로세서(170)는, 영상 데이터(610)에 기초하여 적어도 하나의 오브젝트를 검출할 수 있다.
[109]
프로세서(170)는, POI 데이터(620)를 획득할 수 있다. 프로세서(170)는, 통신 장치(220)를 이용해, 차량(10)의 위치 데이터를 외부 서버(34)에 전송할 수 있다. 프로세서(170)는, 통신 장치(220)를 이용해, 외부 서버(34)로부터, 차량(10)의 위치 데이터에 기반한 POI 데이터(620)를 수신할 수 있다.
[110]
프로세서(170)는, 영상 데이터(610)와 POI 데이터(620)를 분리하여 메모리(140)에 저장할 수 있다.
[111]
프로세서(170)는, 영상 데이터(610)에 POI 데이터(620)를 동기화할 수 있다. 프로세서(170)는, 검출된 오브젝트에 POI 데이터(620)를 매칭하여 동기화할 수 있다.
[112]
도 7을 참조하면, 프로세서(170)는, 기 설정된 시간 길이(예를 들면, 30초)의 세그먼트 단위로 영상 데이터와 POI 데이터가 동기화된 데이터를 생성할 수 있다. 도 7에 예시된 바와 같이, 프로세서(170)는, 제1 세그먼트 데이터(710), 제2 세그먼트 데이터(720) 및 제3 세그먼트 데이터(730)를 생성할 수 있다. 프로세서(170)는, 시간의 흐름에 따라, 제3 세그먼트 데이터(730)를 생성한 이후에 제2 세그먼트 데이터(720)를 생성하고, 제2 세그먼트 데이터(720)를 생성한 이후에 제1 세그먼트 데이터(710)를 생성할 수 있다.
[113]
제1 세그먼트 데이터(710)를 생성하는 중에, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, 프로세서(170)는, 제1 세그먼트 데이터(710)의 일부와 제2 세그먼트 데이터(720)의 일부에 기초하여 영상을 재생할 수 있다. 이경우, 영상은, 상기 기설정된 시간 길이(예를 들면, 30초)만큼 재생될 수 있다. 프로세서(170)는, 제1 세그먼트 데이터(710) 생성 시작 시점부터 제1 신호 수신 시점까지의 제1 세그먼트 데이터(710)와 제2 세그먼트 데이터(720)에서 기 설정된 시간 길이에서 제1 세그먼트 데이터(710)의 일부의 시간 길이만큼이 제외된 제2 세그먼트 데이터(720)의 일부에 기초하여, 영상을 재생할 수 있다. 제1 세그먼트(710) 및 제2 세그먼트(720)로 구분되지만, 제1 세그먼트(710)가 제2 세그먼트(720)에 연속되므로 영상은 끊임 없이 재생될 수 있다.
[114]
도 8을 참조하면, 외부 서버(34)는, 차량(10)으로부터 차량의 위치 데이터를 수신할 수 있다. 외부 서버(34)는, 복수의 POI에서, 차량(10)의 위치를 기준으로 기 설정 거리 이내에 위치하는 POI(810, 820)를 선택할 수 있다. 외부 서버(34)는, POI에 대응되는 POI 데이터를 생성할 수 있다. 외부 서버(34)는, POI 데이터를 차량용 전자 장치(100)에 제공할 수 있다.
[115]
도 9를 참조하면, POI 디텍터(123)는, 비디오 플레이어(910)에 영상 데이터를 요청할 수 있다(S910). 비디오 플레이어(910)는, 카메라로부터 획득된 영상을 처리하는 소프트웨어 또는 하드웨어일 수 있다. POI 디텍터(123)는, 비디오 플레이어(910)로부터 영상 데이터 및 타임 스탬프 값을 수신할 수 있다(S920).
[116]
POI 디텍터(123)는, 메모리(140)의 POI 레코드 파일(620)에서, 타임 스탬프에 매칭되는 POI 리스트를 검색할 수 있다(S930).
[117]
POI 디텍터(123)는, POI가 동기화된 영상 데이터에 기초하여, 영상을 재생할 수 있다(S940). 사용자 입력에 따라 특정 POI가 선택되는 경우(S950), 프로세서(170)는, POI 서버(34)에, 해당 POI에 대한 상세 정보를 요청할 수 있다. 프로세서(170)는, POI 서버(34)로부터, POI에 대한 상세 정보를 수신할 수 있다(S970). 프로세서(170)는, POI에 대한 상세 정보를 표시할 수 있다(S980).
[118]
도 10a 내지 도 10b를 참조하면, 차량(10)의 윈도우의 일 영역(1010)에 디스플레이(214)가 배치될 수 있다. 디스플레이(214)는, 투명 디스플레이로 구현될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
[119]
프로세서(170)는, 디스플레이(214)에 POI 정보가 포함된 영상을 재생하기 위한 제어 신호를 제공할 수 있다. 프로세서(170)는, 차량(10)이 POI 지점에 근접한 경우, POI 정보를 디스플레이(214)에 표시하기 위한 제어 신호를 제공할 수 있다.
[120]
디스플레이(214)는, 터치 입력부와 레이어를 상호 레이어를 형성하여, 터치 스크린을 구현할 수 있다. 사용자는, 터치 스크린을 통해, 차량용 전자 장치와 상호 작용할 수 있다. 프로세서(170)는, 터치 스크린을 통해, 사용자 입력에 기초하여 생성되는 신호에 따라 동작될 수 있다. 예를 들면, 사용자는, POI 정보를 제공 받기 위해, 터치 스크린을 두번 두드리는 더블 탭 입력을 할 수 있다. 터블 탭 입력은, 상술한 제1 사용자 입력의 일 예일 수 있다. 터치 스크린은, 사용자의 더블 탭 입력을 전기적 신호로 전환할 수 있다. 더블 탭 입력에 기초한 전기적 신호는, 상술한 제1 신호일 수 있다. 프로세서(170)는, 제1 신호를 수신하고, 제1 신호에 따라 정해진 동작을 수행할 수 있다. 예를 들면, 사용자는, POI의 상세 정보를 제공받기 위해, 터치 스크린에 표시된 제1 POI에 대한 터치 입력을 할 수 있다. 제1 POI에 대한 터치 입력은, 상술한 제2 사용자 입력의 일 예일 수 있다. 터치 스크린은, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 터치 입력에 기초한 전기적 신호는, 상술한 제2 신호일 수 있다. 프로세서(170)는, 제2 신호를 수신하고, 제2 신호에 따라 정해진 동작을 수행할 수 있다.
[121]
도 11a 내지 도 11c를 참조하면, 프로세서(170)는, 디스플레이(214)의 일 영역에 동영상(1110)을 재생할 수 있다. 재생되는 영상은, 차량(10) 외부의 영상에 POI 정보가 결합된 영상일 수 있다. 프로세서(170)는, 디스플레이(214)의 일 영역에 재생되는 영상과 함께, POI 리스트(1120)를 표시할 수 있다. 프로세서(170)는, 재생되는 영상에서의 POI 그래픽 객체와 POI 리스트를 매칭하여 표시할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)과 가장 근접한 제1 POI에 대응되는 제1 그래픽 객체(1111)를 하이라이트 처리할 수 있다. 이경우, 프로세서(170)는, POI 리스트에서 제1 그래픽 객체(1111)에 매칭되는 제1 POI 항목(1121)를 하이라이트 처리할 수 있다.
[122]
차량(10)이 이동함에 따라, 가장 근접한 POI가 제1 POI에서 제2 POI로 변경되는 경우, 프로세서(170)는, 하이라이트 처리되는 그래픽 객체를 제1 그래픽 객체(1111)에서 제2 그래픽 객체(1112)로 변경할 수 있다. 이경우, 프로세서(170)는, POI리스트에서 하이라이트 처리되는 제1 POI 항목(1121)을 제2 POI 항목(1122)로 변경할 수 있다. 제2 POI 항목(1122)은, 제2 그래픽 객체에 매칭되는 항목일 수 있다.
[123]
사용자에 의해 제1 POI가 선택된 경우, 프로세서(170)는, 제1 POI에 대한 상세 정보(1150)를 출력할 수 있다. 상세 정보(1150)가 표시되는 상태에서, 추가 정보를 제공받기 위한 사용자 입력(1151 또는 1152에 대한 터치 입력)이 수신되는 경우, 프로세서(170)는, 추가 정보를 출력할 수 있다. 예를 들면, 프로세서(170)는, 제품에 대한 설명이나 광고 동영상 등을 출력할 수 있다.
[124]
한편, 프로세서(170)는, 디스플레이(213)의 일 영역에 차량(10)의 경로(1130) 및 교통 상황 정보(1140)를 표시할 수 있다.
[125]
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
[126]
[부호의 설명]
[127]
10 : 차량
[128]
100 : 차량용 전자 장치

청구범위

[청구항 1]
차량 외부의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 적어도 하나의 오브젝트를 검출하고, 차량 주변의 POI(Point of Interest) 데이터를 획득하고, 상기 영상 데이터의 타임 스탬프(timestamp)에 기초하여, 상기 영상 데이터에 POI 데이터를 동기화(synchronize)하는 프로세서;를 포함하는 차량용 전자 장치.
[청구항 2]
제 1항에 있어서, 상기 프로세서는, 상기 POI 데이터를 상기 오브젝트와 매칭하는 차량용 전자 장치.
[청구항 3]
제 1항에 있어서, 메모리;를 더 포함하고, 상기 프로세서는, 차량에 구비된 카메라로부터 상기 영상 데이터를 수신하고, 차량에 구비된 통신 장치를 이용하여, 외부 서버로부터 상기 POI 데이터를 수신하고, 상기 메모리에, 상기 영상 데이터 및 상기 POI 데이터를 분리하여 저장하는 차량용 전자 장치.
[청구항 4]
제 1항에 있어서, 상기 프로세서는, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, 상기 POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 차량용 전자 장치.
[청구항 5]
제 4항에 있어서, 상기 프로세서는, 제1 시점부터 상기 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하고, 상기 제1 시점은, 상기 제1 신호 수신 시점에서부터 기 설정된 시간 이전의 시점으로 정의되는 차량용 전자 장치.
[청구항 6]
제 5항에 있어서, 상기 프로세서는, 상기 기 설정된 시간 길이의 세그먼트(segment) 단위로, 상기 영상 데이터와 상기 POI 데이터가 동기화된 데이터를 생성하는 차량용 전자 장치.
[청구항 7]
제 6항에 있어서, 상기 프로세서는, 제1 세그먼트가 생성되는 중에 상기 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 상기 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 차량용 전자 장치.
[청구항 8]
제 4항에 있어서, 상기 프로세서는, 상기 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우, 적어도 어느 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성하는 차량용 전자 장치.
[청구항 9]
제 4항에 있어서, 상기 프로세서는, 상기 POI 데이터에 기초한 POI 리스트를 상기 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성하는 차량용 전자 장치.
[청구항 10]
제 4항에 있어서, 상기 프로세서는, 상기 영상의 그래픽 객체가, 상기 그래픽 객체와 대응되는 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성하는 차량용 전자 장치.
[청구항 11]
적어도 하나의 프로세서가, 차량 외부의 영상 데이터를 획득하는 단계; 적어도 하나의 프로세서가, 상기 영상 데이터에 기초하여 적어도 하나의 오브젝트를 검출하는 단계; 적어도 하나의 프로세서가, 차량 주변의 POI(Point of Interest) 데이터를 획득하는 단계; 및 적어도 하나의 프로세서가, 상기 영상 데이터의 타임 스탬프(timestamp)에 기초하여, 상기 영상 데이터에 POI 데이터를 동기화(synchronize)하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
[청구항 12]
제 11항에 있어서, 상기 동기화하는 단계는, 적어도 하나의 프로세서가, 상기 POI 데이터를 상기 오브젝트와 매칭하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
[청구항 13]
제 11항에 있어서, 상기 영상 데이터를 획득하는 단계는, 적어도 하나의 프로세서가, 차량에 구비된 카메라로부터 상기 영상 데이터를 수신하는 단계; 및 적어도 하나의 프로세서가, 상기 영상 데이터를 메모리에 저장하는 단계;를 포함하고, 상기 POI 데이터를 획득하는 단계는, 적어도 하나의 프로세서가, 차량에 구비된 통신 장치를 이용하여, 외부 서버로부터 상기 POI 데이터를 수신하는 단계; 및 적어도 하나의 프로세서가, 상기 메모리에, 상기 영상 데이터와 분리하여 상기 POI 데이터를 저장하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
[청구항 14]
제 11항에 있어서, 적어도 하나의 프로세서가, 제1 사용자 입력에 기초한 제1 신호가 수신되는 경우, 상기 POI 데이터가 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 더 포함하는 차량용 전자 장치의 동작 방법.
[청구항 15]
제 14항에 있어서, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 제1 시점부터 상기 제1 신호 수신 시점까지 동기화된 영상 데이터에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 포함하고, 상기 제1 시점은, 상기 제1 신호 수신 시점에서부터 기 설정된 시간 이전의 시점으로 정의되는 차량용 전자 장치의 동작 방법.
[청구항 16]
제 15항에 있어서, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 상기 기 설정된 시간길이의 세그먼트(segment) 단위로, 상기 영상 데이터와 상기 POI 데이터가 동기화된 데이터를 생성하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
[청구항 17]
제 16항에 있어서, 상기 동기화된 데이터를 생성하는 단계는, 적어도 하나의 프로세서가, 제1 세그먼트가 생성되는 중에 상기 제1 신호가 수신되는 경우, 기 생성된 제1 세그먼트와 상기 제1 세그먼트 이전에 생성된 제2 세그먼트의 일부에 기초한 영상을 재생하기 위한 제어 신호를 생성하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
[청구항 18]
제 14항에 있어서, 적어도 하나의 프로세서가, 상기 영상이 재생되는 상태에서, 제2 사용자 입력에 기초한 제2 신호가 수신되는 경우, 적어도 어느 하나의 POI에 대한 상세 정보를 출력하기 위한 제어 신호를 생성하는 단계;를 더 포함하는 차량용 전자 장치의 동작 방법.
[청구항 19]
제 14항에 있어서, 적어도 하나의 프로세서가, 상기 POI 데이터에 기초한 POI 리스트를 상기 재생되는 영상에 맞춰 표시하기 위한 제어 신호를 생성하는 단계;를 더 포함하는 차량용 전자 장치의 동작 방법.
[청구항 20]
제 14항에 있어서, 상기 생성하는 단계는, 적어도 하나의 프로세서가, 상기 영상의 그래픽 객체가 실제 오브젝트와 매칭된 상태로 표시하기 위한 제어 신호를 생성하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.

도면

[도1]

[도2]

[도3]

[도4]

[도5]

[도6]

[도7]

[도8]

[도9]

[도10a]

[도10b]

[도11a]

[도11b]

[도11c]