Traitement en cours

Veuillez attendre...

PATENTSCOPE sera indisponible durant quelques heures pour des raisons de maintenance le mardi 26.10.2021 à 12:00 PM CEST
Paramétrages

Paramétrages

Aller à Demande

1. WO2020166737 - DISPOSITIF MOBILE ET SON PROCÉDÉ DE COMMANDE

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2   3  

발명의 상세한 설명

기술적 과제

4   5   6  

과제 해결 수단

7   8  

발명의 효과

9   10   11  

도면의 간단한 설명

12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31  

발명의 실시를 위한 형태

32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128   129   130   131   132   133   134   135   136   137   138   139   140   141   142   143   144   145   146   147   148   149   150   151   152   153   154   155   156   157   158   159   160   161   162   163   164   165   166   167   168   169   170   171   172   173   174   175   176   177   178   179   180   181   182   183   184   185   186   187   188   189   190   191   192   193   194   195   196   197   198   199   200   201   202   203   204   205   206   207   208   209   210   211   212   213   214   215   216   217   218   219   220   221   222   223   224   225   226   227   228   229   230   231   232   233   234   235   236   237   238   239   240   241   242   243   244   245   246   247   248   249   250   251   252   253   254   255  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

도면

1a   1b   1c   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17 (R91)   18 (R91)   19   20 (R91)  

명세서

발명의 명칭 : 모바일 디바이스 및 그 제어방법

기술분야

[1]
본 발명은 모바일 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 스마트 폰 등의 모바일 디바이스에서, 저전력 뎁스 카메라(depth camera)에 의해 사용자의 손 움직임을 감지하고, 감지된 사용자의 손 움직임에 기초하는 3차원의 사용자 인터페이스를 제공하여, 사용자가 모바일 디바이스를 터치하지 않고 모바일 디바이스를 다양하게 제어할 수 있는 모바일 디바이스 및 그 제어 방법에 관한 발명이다.

배경기술

[2]
스마트폰, 태블릿PC, 스마트TV, 노트북 등의 터치 스크린을 가진 단말기에는 화면 내에 다양한 객체를 포함하고 있다. 이를 제어하기 위해 일반적으로 사용자가 터치 스크린을 터치한 후, 드래그 드롭 등의 동작을 통하여 객체를 제어한다. 최근에는 사용자가 터치 스크린을 직접 터치하지 않고 음성 또는 사용자의 제스쳐 등을 통해 단말기를 제어하는 방법이 제안되고 있다.
[3]
그러나 종래의 터치를 이용하여 단말기를 제어하는 방법은 손 또는 터치 스크린의 오염으로 인하여 단말기를 잡거나 터치할 수 없는 상황에는 사용할 수 없는 불편함이 있었다. 또한, 종래의 음성을 이용하여 단말기를 제어하는 방법은 주변의 소음이 심하거나, 음성으로 제어되는 다른 장치가 있는 경우에 사용이 어려운 단점이 있다. 그리고 종래의 사용자의 제스쳐를 이용하여 단말기를 제어하는 방법은 입력 제스쳐의 종류가 다양하지 못하고, 복잡한 명령의 실행을 위해서는 사용자의 터치가 요구되는 문제점이 있었다.

발명의 상세한 설명

기술적 과제

[4]
본 발명의 일 실시 예는 뎁스 카메라(depth camera)에 의해 감지된 사용자의 손 움직임에 기초하여 다양한 3차원의 사용자 인터페이스를 제공하는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
[5]
본 발명의 다른 실시 예는 사용자의 손 또는 터치 스크린이 오염되었을 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
[6]
본 발명의 또 다른 실시 예는 음성 인식 기능을 사용하기 어려운 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.

과제 해결 수단

[7]
본 발명의 일실시예에 의한 모바일 디바이스는 적어도 하나의 콘텐츠를 디스플레이하는 터치 스크린(touch screen), 적어도 하나의 오브젝트 및 상기 적어도 하나의 오브젝트의 움직임을 감지하는 뎁스 카메라(depth camera), 그리고 상기 터치 스크린, 상기 카메라 중 적어도 어느 하나를 제어하는 제어부를 포함한다. 특히, 상기 제어부는, 예를 들어 상기 터치 스크린으로부터 이격한 일정 공간 영역 내에 상기 적어도 하나의 오브젝트가 감지된 경우, 상기 감지된 적어도 하나의 오브젝트의 위치에 대응되는 상기 터치 스크린의 제1영역에 인디케이터를 디스플레이 하도록 제어하며, 상기 제1영역이 상기 터치 스크린의 제2영역에 기설정된 시간 이상 오버레이된 경우, 상기 제2영역에서 디스플레이된 상기 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이한다.
[8]
본 발명의 일실시예에 의한 모바일 디바이스의 제어 방법은, 적어도 하나의 콘텐츠를 디스플레이하는 단계, 뎁스 카메라(depth camera)에 의해 상기 모바일 디바이스로부터 이격한 일정 공간 영역 내의 적어도 하나의 오브젝트 및 상기 적어도 하나의 오브젝트의 움직임을 감지하는 단계, 상기 적어도 하나의 오브젝트가 감지된 경우, 상기 감지된 적어도 하나의 오브젝트의 위치에 대응되는 디스플레이의 제1영역에 인디케이터를 디스플레이 하는 단계 및 상기 디스플레이의 제2영역에 기설정된 시간 이상 인디케이터가 위치한 경우, 상기 제2영역에서 디스플레이된 상기 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 단계를 포함한다.

발명의 효과

[9]
본 발명의 일 실시 예에 따르면, 본 발명은 뎁스 카메라(depth camera)에 의해 감지된 사용자의 손 움직임에 기초하여 다양한 3차원의 사용자 인터페이스를 제공하여 사용자 편의성을 향상시킬 수 있다.
[10]
본 발명의 다른 실시 예에 따르면, 본 발명은 사용자의 손 또는 터치 스크린이 오염되었을 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있어 사용자 편의성을 향상시킬 수 있다.
[11]
본 발명의 또 다른 실시 예에 따르면, 본 발명은 음성 인식 기능을 사용하기 어려운 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있어 사용자 편의성을 향상시킬 수 있다.

도면의 간단한 설명

[12]
도 1a는 본 발명과 관련된 모바일 디바이스를 설명하기 위한 블록도이다.
[13]
도 1b 및 1c는 본 발명과 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.
[14]
도 2는 본 발명의 일 실시 예에 따른, 모바일 디바이스를 간략히 도시한 구성도이다.
[15]
도 3은 본 발명의 일 실시 예에 따른, 모바일 디바이스의 제어 방법을 도시한 도면이다.
[16]
도 4는 본 발명의 일 실시 예에 따라, 제1영역이 제2영역에 기설정된 시간 이상 오버레이된 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[17]
도 5는 도 4의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[18]
도 6은 본 발명의 일 실시 예에 따라, 멀티미디어 컨텐츠 재생하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[19]
도 7는 도 6의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[20]
도 8은 본 발명의 일 실시 예에 따라, 제1영역이 터치 스크린의 특정 위치에 위치하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[21]
도 9는 도 8의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[22]
도 10은 본 발명의 일 실시 예에 따라, 제1영역이 특정 기간 동안 제2영역에 오버레이된 경우, 아이콘을 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[23]
도 11은 도 10의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[24]
도 12는 본 발명의 일 실시 예에 따라, 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 수직 방향을 기준으로 변경된 것으로 감지된 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[25]
도 13 및 도 14는 도 12의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[26]
도 15은 본 발명의 일 실시 예에 따라, 멀티미디어 컨텐츠가 재생 중인 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 터치 스크린의 외곽부에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[27]
도 16은 도 15의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[28]
도 17은 본 발명의 일 실시 예에 따라, 브라우저의 컨텐츠를 검색하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[29]
도 18은 도 17의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[30]
도 19은 본 발명의 일 실시 예에 따라, 특정 방향에 디스플레이되는 적어도 하나의 메뉴를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[31]
도 20은 도 19의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.

발명의 실시를 위한 형태

[32]
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
[33]
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
[34]
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
[35]
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
[36]
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[37]
본 명세서에서 설명되는 모바일 디바이스에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
[38]
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 모바일 디바이스에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
[39]
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 모바일 디바이스를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.
[40]
상기 모바일 디바이스(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 모바일 디바이스를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 모바일 디바이스는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
[41]
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 모바일 디바이스(100)와 무선 통신 시스템 사이, 모바일 디바이스(100)와 다른 모바일 디바이스(100) 사이, 또는 모바일 디바이스(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 모바일 디바이스(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
[42]
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
[43]
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
[44]
센싱부(140)는 모바일 디바이스 내 정보, 모바일 디바이스를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 모바일 디바이스는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
[45]
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 모바일 디바이스(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 모바일 디바이스(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
[46]
인터페이스부(160)는 모바일 디바이스(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 모바일 디바이스(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
[47]
또한, 메모리(170)는 모바일 디바이스(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 모바일 디바이스(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 모바일 디바이스(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 모바일 디바이스(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 모바일 디바이스(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 모바일 디바이스(100) 상에 설치되어, 제어부(180)에 의하여 상기 모바일 디바이스의 동작(또는 기능)을 수행하도록 구동될 수 있다.
[48]
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 모바일 디바이스(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
[49]
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 모바일 디바이스(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
[50]
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 모바일 디바이스(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
[51]
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 모바일 디바이스의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 모바일 디바이스의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 모바일 디바이스 상에서 구현될 수 있다.
[52]
도 1 b 및 1c를 참조하면, 개시된 모바일 디바이스(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 모바일 디바이스의 특정 유형에 관련될 것이나, 모바일 디바이스의 특정유형에 관한 설명은 다른 타입의 모바일 디바이스에 일반적으로 적용될 수 있다.
[53]
여기에서, 단말기 바디는 모바일 디바이스(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.
[54]
모바일 디바이스(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 모바일 디바이스(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.
[55]
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.
[56]
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.
[57]
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.
[58]
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.
[59]
모바일 디바이스(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 모바일 디바이스(100)가 구현될 수 있다.
[60]
한편, 모바일 디바이스(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.
[61]
모바일 디바이스(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 사이드 버튼(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.
[62]
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 홈버튼(123a)이 배치되고, 단말기 바디의 측면에 사이드 버튼(123b), 마이크로폰(122) 및 인터페이스부(160)가 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 모바일 디바이스(100)를 일 예로 들어 설명한다.
[63]
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 홈버튼(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
[64]
디스플레이부(151)는 모바일 디바이스(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 모바일 디바이스(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
[65]
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
[66]
또한, 디스플레이부(151)는 모바일 디바이스(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 모바일 디바이스(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
[67]
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
[68]
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
[69]
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
[70]
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
[71]
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 모바일 디바이스(100)의 외관이 보다 심플해질 수 있다.
[72]
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.
[73]
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
[74]
제1 및 사이드 버튼(123a, 123b)은 모바일 디바이스(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 사이드 버튼(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 사이드 버튼(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.
[75]
본 도면에서는 홈버튼(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 홈버튼(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
[76]
제1 및 사이드 버튼(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 홈버튼(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 사이드 버튼(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
[77]
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 모바일 디바이스(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
[78]
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
[79]
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 홈버튼(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 홈버튼(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.
[80]
한편, 모바일 디바이스(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.
[81]
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
[82]
인터페이스부(160)는 모바일 디바이스(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 모바일 디바이스(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
[83]
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
[84]
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
[85]
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
[86]
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
[87]
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
[88]
단말기 바디에는 모바일 디바이스(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
[89]
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
[90]
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
[91]
모바일 디바이스(100)에는 외관을 보호하거나, 모바일 디바이스(100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 모바일 디바이스(100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(151)와 연동되어 모바일 디바이스(100)의 기능을 확장시키도록 구성될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.
[92]
최근 모바일 디바이스(100)는 사용 범위가 확대됨에 따라 수영장이나 목욕탕 등에서도 이용하는 빈도가 많아짐에 따라 방수구조가 도입되고 있다. 전면버튼(123a)은 물리적 버튼에서 디스플레이부에 출력되는 가상 버튼 형태로 전환되는 추세이나, 모바일 디바이스(100)의 측면에 위치하는 사이드 버튼(123b)은 음량조절이나 전원의 On/OFF를 위해 여전히 필요하다.
[93]
물리적 버튼을 구비하는 경우 사이드 버튼(123b)은 사이드 케이스(104)에 형성된 버튼홀(104a)에 삽입되기 때문에 상기 버튼홀(104a)로 물이 유입되는 것을 차단하는 방수부(1238)가 필요하다. 이러한 방수부(1238)는 방수의 성능도 중요하지만, 방수부를 추가함으로써 부피가 커지거나 공정이 복잡해지는 것을 최소화 할 필요가 있다.
[94]
나아가, 본 발명에 적용되는 카메라(도 1a 내지 도 1c에 도시된 카메라(121, 121a, 121b))는 모바일 디바이스의 터치 스크린 주변에 위치하고 있다. 따라서, 상기 모바일 디바이스의 터치 스크린으로부터 일정 거리 이내의 오브젝트(예를 들어, 사용자의 손가락)에 대한 깊이 정보(depth information)를 디텍트 하는 것이 가능하다. 이와 같은 카메라를 깊이 카메라로 명명할 수 있다.
[95]
상기 깊이 카메라를 구현하는 방법으로 2가지 방안을 제시한다. 첫번째 방안은, 멀티 카메라(또는 렌즈)를 사용하는 방법으로서 2개 이상의 카메라를 이용하여 가시광선을 포착하고, 깊이 정보(depth information)를 이용하여 3D 이미지를 생성한다. 두번째 방안은, 카메라 모듈에 심도 센싱(Depth sensing)을 위한 별도의 센서를 탑재하는 방식으로서, 보다 구체적으로는 SL(Structured Light) 및 ToF(Time of Flight) 방식이 적용된다.
[96]
전술한 SL 방식은, 직선이나 격자 무늬 등 특정 패턴의 레이저를 촬영 대상에 방사한 후 대상 표면의 모양에 따라 패턴이 변형된 정보를 분석한다. 나아가, 깊이 정보를 계산한 후, 이미지 센서가 촬영한 사진과 합성하여 3D 기반의 촬영 결과를 도출한다. 이를 구현하기 위하여, 특정 패턴을 송출하는 레이저 적외선(IR) 프로젝터, 적외선 심도 센서, 이미지 센서 및 3D 프로세서 등이 사용될 수 있다.
[97]
반면, 전술한 ToF 방식은, 레이저가 촬영 대상에 갔다가 반사되어 돌아오는 시간을 측정하여 깊이 정보를 계산한 후, 이미지 센서가 촬영한 사진과 합성하여 3D 기반의 촬영 결과를 도출한다. 이를 구현하기 위하여, 레이저 적외선(IR) 프로젝터, 수신 센서, 이미지 센서 및 3D 프로세서 등이 사용될 수 있다.
[98]
[99]
이하에서는,도 2에 도시된 모바일 디바이스(100)를 예로 들어 본 발명의 실시 예들을 설명하기로 한다. 그러나, 본 발명의 일 실시 예에 의한 모바일 디바이스(100)가 도 1a 내지 도 1c에 도시된 모바일 디바이스(100)로 구현될 수도 있음은 물론이다. 그리고, 이하 도 3 내지 도 20을 참조하여, 본 발명의 다양한 실시예들을 상세히 후술할 예정이며, 이전 도면 1을 참조하여 보충 해석 가능하다.
[100]
[101]
이하에서 설명의 편의를 위해 사용자가 손가락으로 터치 스크린(151)으로부터 이격한 일정 공간 영역(300) 내의 가상의 버튼을 누르는 제스쳐(gesture)를 에어 터치 푸쉬(air touch push)라 지칭한다. 그러나, 상기 에어 터치 푸쉬(air touch push)는 상기 제스쳐에 국한되지 않고, 터치 스크린으로부터 이격된 일정한 공간 영역 내에서 뎁스 카메라로 감지할 수 있는 사용자의 손 또는 손가락의 다양한 형상(shape), 제스쳐(gesture) 또는 움직임(movement)을 모두 포함한다.
[102]
또한, 상기 사용자의 에어 터치 푸쉬(air touch push)로 제어 가능한 그래픽 사용자 인터페이스를 에어 터치 GUI(air touch GUI)라 지칭한다. 그러나, 상기 에어 터치 GUI(air touch GUI)는 상기 그래픽 사용자 인터페이스에 국한되지 않고 상기 에어 터치 푸쉬로 제어 가능한 다양한 타입의 인터페이스를 모두 포함한다.
[103]
제1영역, 제2영역 및 제3영역은 컨텐츠가 디스플레이되는 터치 스크린의 일부 또는 전부의 영역을 지칭한다. 상기 영역들은 서로 다른 영역이거나, 동일한 영역일 수 있다. 상기 영역들은 변경 가능한 적어도 하나의 영역을 포함할 수 있다. 또한, 상기 영역들은 서로 겹쳐지거나 겹쳐지지 않을 수 있다. 본 발명에 따른 제어부(180)는 상기 영역에 따라 수신하는 입력을 달리할 수 있다.
[104]
[105]
도 2는 본 발명의 일 실시 예에 따른, 모바일 디바이스(100)를 간략히 도시한 구성도이다.
[106]
도 2를 참조하면, 모바일 디바이스(100)는 무선 통신부(110), 뎁스 카메라(121), 마이크(122), 터치 스크린(151), 스피커(152), 메모리(170), 제어부(180)를 포함할 수 있다.
[107]
무선 통신부(110)는 외부 장치 또는 서버와 통신한다.
[108]
뎁스 카메라(121)는 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지(depth image) 중 적어도 하나를 획득한다. 예를 들면, 상기 뎁스 카메라(121)는 적외선을 기반으로 물체의 2D 이미지와 깊이 이미지(depth image)를 추출할 수 있는 영상 기록 장치일 수 있다. 뎁스 카메라(121)는 적어도 하나의 오브젝트의 절대적 또는 상대적 거리을 감지할 수 있다. 또한, 뎁스 카메라(121)는 감지된 적어도 하나의 오브젝트의 절대적 또는 상대적 거리에 기초하여 적어도 하나의 오브젝트의 3차원 움직임을 감지할 수 있다. 마이크(122)는 외부 오디오 신호를 수신한다.
[109]
터치 스크린(151)은 적어도 하나의 콘텐츠를 화면에 디스플레이한다. 여기서, 콘텐츠는 예를 들어 외부 서버로부터 수신하거나 또는 내부 메모리(170)에 저장되어 있다. 터치 스크린(151)은 사용자의 손 또는 펜 등을 접촉하면 그 위치를 인식할 수 있다.
[110]
스피커(152)는 상기 무선통신부(110)를 통해 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
[111]
메모리(170)는 상기 모바일 디바이스(100)의 동작을 위한 적어도 하나의 데이터를 저장한다. 그리고, 제어부(180)는 상기 메모리에 저장된 적어도 하나의 데이터에 기초하여, 다른 구성요소들을 제어한다.
[112]
제어부(180)는 상기 무선통신부, 상기 뎁스 카메라(121), 상기 마이크(122), 상기 터치 스크린(151), 상기 스피커(152), 상기 메모리(170) 중 적어도 하나를 제어한다.
[113]
제어부(180)는 상기 뎁스 카메라(121)가 적어도 하나의 오브젝트를 감지한 경우, 상기 터치 스크린(151)의 특정 영역에 데이터를 디스플레이할 수 있다. 여기서, 상기 데이터는 모바일 디바이스(100)의 제어를 위한 인터페이스일 수 있다.
[114]
제어부(180)의 자세한 동작에 대한 상세한 설명은 도 3 내지 도 20에서 후술한다.
[115]
[116]
도 3은 본 발명의 일 실시 예에 따른, 모바일 디바이스(100)의 제어 방법을 도시한 도면이다. 본 발명은 제어부(180)에 의하여 수행된다. 물론, 다른 구성요소에 의해 수행되는 것도 본 발명의 권리범위에 속한다.
[117]
아래에서 설명하는 제1영역, 제2영역 및 제3영역은 디스플레이 화면의 임의의 영역이다.
[118]
도 3을 참조하면, 먼저, 적어도 하나의 콘텐츠를 디스플레이한다(S310).
[119]
상기 뎁스 카메라(121)(depth camera)에 의해 상기 모바일 디바이스(100)로부터 이격한 일정 공간 영역 내의 적어도 하나의 오브젝트 및 상기 적어도 하나의 오브젝트의 움직임을 감지한다(S320).
[120]
상기 적어도 하나의 오브젝트가 감지된 경우, 상기 감지된 적어도 하나의 오브젝트의 위치에 대응되는 디스플레이의 제1영역에 인디케이터를 디스플레이한다(S330). 여기서, 상기 디스플레이는 터치 스크린(151)일 수 있다.
[121]
상기 디스플레이의 제2영역에 기설정된 시간 이상 인디케이터가 위치한 다(S340).
[122]
상기 제2영역에서 디스플레이된 상기 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이한다(S350). 여기서, 상기 데이터는 모바일 디바이스(100)의 제어를 위한 인터페이스일 수 있다.
[123]
제어부(180)의 자세한 동작에 대한 상세한 설명은 도 4 내지 도 20에서 후술한다.
[124]
[125]
도 4는 본 발명의 일 실시 예에 따라, 제1영역이 제2영역에 기설정된 시간 이상 오버레이된 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 5는 도 4의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[126]
도 5(a)는 뎁스 카메라(121)가 사용자의 손가락(200)을 감지하는 것을 도시한 도면이다. 도 5(b)는 단축메뉴의 어플리케이션에 대응하는 그래픽 유저 인터페이스(GUI)를 디스플레이하는 것을 도시한 도면이다. 도 5(c) 바탕화면의 어플리케이션에 대응하는 그래픽 유저 인터페이스를 디스플레이하는 것을 도시한 도면이다.
[127]
도 4를 참조하면, 도 4의 제어 방법은 제어부(180)에 의하여 수행된다.
[128]
적어도 하나의 컨텐츠가 디스플레이 되는 모바일 디바이스(100)의 화면을 디스플레이한다(S310a). 여기서, 상기 화면은 모바일 디바이스의 기본 바탕화면일 수 있다.
[129]
뎁스 카메라(121)를 통해 사용자의 손가락(200)을 감지한다(S320a).
[130]
사용자의 손가락(200)이 감지된 경우, 제어부(180)는 인디케이터를 터치 스크린(151)에 디스플레이 한다(S330a).
[131]
인디케이터가 기설정된 시간 이상 터치 스크린(151)의 일정 영역에 위치한다(S341a).
[132]
사용자의 에어 터치 푸쉬(air touch push)를 감지한다(S342a).
[133]
인디케이터가 기설정된 시간 이상 터치 스크린(151)의 일정 영역에 위치하거나 사용자의 에어 터치 푸쉬(air touch push)를 감지한 경우, 제어부(180)는 에어 터치 GUI(air touch GUI)를 팝업(pop-up) 스타일로 디스플레이한다.
[134]
이하 도 5에서 상기 도 4의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[135]
도 5(a) 내지 도 5(c)를 참조하면, 제1영역(410)이 터치 스크린(151)의 제2영역(420)에 기설정된 시간 이상 오버레이된 경우, 제어부(180)는 상기 데이터를 상기 제3영역(430)에 디스플레이 하도록 제어한다. 또한, 터치 스크린(151)으로부터 이격한 일정 공간 영역(300) 내에서, 상기 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 일정한 방향을 기준으로 변경된 것으로 감지된 경우, 제어부(180)는 상기 데이터를 상기 제3영역(430)에 디스플레이 하도록 제어한다. 여기서, 상기 적어도 하나의 오브젝트는 사용자의 손가락(200)이 될 수 있다. 여기서, 제1영역(410)은 사용자의 검지(200)의 위치에 대응되는 터치 스크린(151)의 임의의 영역일 수 있다. 또한, 상기 제2영역(420)은 무선 통신부(110)로부터 수신한 컨텐츠 또는 메모리(170)에 저장된 컨텐츠가 디스플레이되는 터치 스크린(151)의 임의의 영역일 수 있다. 그리고, 제3영역(430)은 상기 적어도 하나의 컨텐츠에 대응하는 데이터를 디스플레이하는 터치 스크린(151)의 임의의 영역일 수 있다. 여기서, 상기 데이터는 그래픽 사용자 인터페이스(GUI)일 수 있다.
[136]
도 5(a)를 참조하면, 뎁스 카메라(121)를 통해 사용자의 손가락(200)을 감지한 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이한다. 예를 들면, 사용자의 손가락(200)이 감지된 경우, 제어부(180)는 점(dot) 모양 또는 포인터(pointer) 모양의 인디케이터를 제1영역(410)에 디스플레이 할 수 있다. 제어부(180)는 터치 스크린(151)으로부터 이격한 일정 공간 영역(300) 내에 사용자의 손가락(200)이 감지된 경우에만 상기 인디케이터를 디스플레이할 수 있다. 여기서, 상기 일정 공간 영역(300)은 터치 스크린(151)의 전부 또는 일부를 커버하는 기둥모양의 영역일 수 있다.
[137]
제어부(180)는 뎁스 카메라(121)를 통하여 상기 터치 스크린(151)으로부터 이격한 일정 공간 영역(300) 내에서, 상기 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 일정한 방향을 기준으로 변경된 것을 감지할 수 있다. 예를 들면, 제어부(180)는 상기 사용자의 손가락(200)이 기설정된 시간이상 일정 영역(300)에 머무르는 것을 감지할 수 있다. 또한, 제어부(180)는 에어 터치 푸쉬(air touch push)를 감지할 수 있다. 여기서, 에어 터치 푸쉬(air touch push)는 사용자가 손가락으로 터치 스크린(151)으로부터 이격한 일정 공간 영역(300) 내의 가상의 버튼을 누르는 제스쳐(gesture)이다.
[138]
사용자의 에어 터치 푸쉬(air touch push)를 감지한 경우, 제어부(180)는 일정 영역에 디스플레이되는 컨텐츠에 대응하는 데이터를 터치 스크린(151)의 일정 영역에 디스플레이할 수 있다. 예를 들면, 사용자의 에어 터치 푸쉬(air touch push)를 감지한 경우, 제어부(180)는 일정 영역에 디스플레이되는 컨텐츠에 대응하는 에어 터치 GUI(air touch GUI)를 터치 스크린(151)의 일정 영역에 디스플레이 할 수 있다. 여기서, 에어 터치 GUI(air touch GUI)는 상기 상기 사용자의 에어 터치 푸쉬(air touch push)로 제어 가능한 그래픽 사용자 인터페이스이다.
[139]
도 5(b)를 참조하면, 제어부(180)는 모바일 디바이스 시스템의 바탕화면을 디스플레이한다. 제어부(180)는 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)이 감지된 경우, 제어부(180)는 인디케이터를 터치 스크린(151)에 디스플레이한다. 인디케이터가 기설정된 시간 이상 제2영역(420)에 위치한 경우, 제어부(180)는 에어 터치 GUI(air touch GUI)를 팝업(pop-up) 스타일로 터치 스크린(151)의 제3영역(430)에 디스플레이할 수 있다. 에어 터치 GUI(air touch GUI)를 디스플레이하는 경우, 제어부(180)는 제3영역(430)에 디스플레이되는 콘텐츠 기능과 관련된 옵션을 디스플레이할 수 있다. 예를 들면, 인디케이터가 기설정된 시간 이상 메일 어플리케이션이 디스플레이되는 영역(420)에 위치한 경우, 제어부(180)는 메일 작성과 관련된 옵션을 포함하는 에어 터치 GUI(air touch GUI)를 메일 어플리케이션의 주변 영역(430)에 디스플레이 할 수 있다.
[140]
도 5(c)를 참조하면, 바탕화면의 어플리케이션 아이콘을 디스플레이하는 영역(420)에 대한 사용자의 에어 터치 푸시를 감지한 경우, 제어부(180)는 해당 어플리케이션에 대응하는 에어 터치 GUI(air touch GUI)를 팝업(pop-up) 스타일로 터치 스크린(151)의 제3영역(430)에 디스플레이할 수 있다. 예를 들면, 제어부(180)는 사진 촬영 또는 비디오 촬영 기능을 실행하는 옵션을 포함하는 에어 터치 GUI(air touch GUI)를 해당 사진 어플리케이션의 주변의 제3영역(430)에 디스플레이할 수 있다.
[141]
[142]
도 6은 본 발명의 일 실시 예에 따라, 멀티미디어 컨텐츠 재생하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 7는 도 6의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[143]
도 7(a)는 멀티미디어 컨텐츠를 디스플레이하는 것을 도시한 도면이다. 도 7(b)는 멀티미디어 컨텐츠에 인디케이터를 오버레이하는 경우, 제어 GUI를 디스플레이하는 것을 도시한 도면이다.
[144]
도 6을 참조하면, 도 6의 제어 방법은 제어부(180)에 의하여 수행된다.
[145]
컨텐츠 재생화면을 디스플레이 한다(S310b). 여기서, 상기 컨텐츠는 멀티미디어 동영상일 수 있다.
[146]
사용자의 손가락(200)을 감지한다(S320b).
[147]
사용자의 손가락(200)을 감지한 경우, 인디케이터를 터치 스크린(151)의 제1영역(410)에 디스플레이한다(S330b).
[148]
사용자의 손가락(200)을 감지한 경우, 제어 GUI(510)를 터치 스크린(151)의 제 3영역(430)에 디스플레이한다. 여기서, 사용자의 손가락(200)을 감지한 경우, 상기 인디케이터(100)와 상기 제어 GUI(510)를 동시에 디스플레이할 수 있다.
[149]
이하 도 7에서 상기 도 6의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[150]
도 5(b), 도 5(c) 및 도 7을 참조하면, 제어부(180)는 제2영역(420)에 디스플레이된 콘텐츠의 타입에 따라 상기 제3영역(430)에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경할 수 있다. 예를 들면, 사용자의 손가락이 디텍트되고, 상기 제2영역(420)에 어플리케이션 아이콘을 디스플레이하는 경우, 제어부(180)는 해당 어플리케이션 아이콘과 관련된 옵션을 제3영역(430)에 디스플레이한다. 사용자의 손가락이 디텍트되고, 상기 제2영역(420)에 멀티미디어 컨텐츠를 디스플레이하는 경우, 제어부(180)는 해당 멀티미디어 컨텐츠 재생의 제어를 위한 제어 GUI(510)를 제3영역(430)에 디스플레이 한다.
[151]
도 7의 상단을 참조하면, 제어부(180)는 터치 스크린(151)에 멀티미디어 컨텐츠의 재생 화면을 디스플레이한다. 제어부(180)는 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)이 감지되지 않은 경우, 제어부(180)는 터치 스크린(151)에 인디케이터를 디스플레이 하지 않을 수 있다.
[152]
검지된 사용자의 검지(200)의 위치가 터치 스크린(151)의 제2영역(420)에 대응되는 경우, 제어부(180)는 인디케이터를 디스플레이 할 수 있다. 여기서, 상기 제2영역(420)은 컨텐츠가 디스플레이되는 영역 중 일부 영역이 될 수 있다. 디텍트된 사용자의 손가락(200)의 위치가 터치 스크린(151)의 제2영역(420)에 대응되지 않는 경우, 제어부(180)는 인디케이터를 디스플레이하지 않을 수 있다. 이는 제어부(180)가 사용자의 손가락 움직임을 지나치게 민감하게 인식하여 시청을 방해하는 것을 방지하기 위함이다.
[153]
도 7의 하단을 참조하면, 사용자의 손가락(200)을 감지한 경우, 제어부(180)는 제1영역(410)에 인디케이터를 디스플레이 할 수 있다. 예를 들면, 사용자의 손가락(200)이 멀티미디어 컨텐츠의 재생화면을 가리키는 제스쳐를 감지한 경우, 제어부(180)는 제1영역(410)에 인디케이터를 디스플레이한다. 여기서 상기 인디케이터는 도트(dot) 모양의 인디케이터가 될 수 있다. 인디케이터를 디스플레이하는 경우, 제어부(180)는 제어 GUI(510)를 터치 스크린(151)의 제3영역(430)에 디스플레이 할 수 있다. 여기서, 제어 GUI(510)는 재생되고 있는 컨텐츠의 제어를 위한 아이콘을 포함하는 그래픽 사용자 인터페이스(GUI)이다.
[154]
제어부(180)는 컨텐츠의 타입에 따라 제3영역(430)에 디스플레이되는 데이터의 구성을 변경할 수 있다. 여기서, 상기 데이터는 제어 GUI(510)일 수 있다. 예를 들면, 뮤직 비디오를 디스플레이하는 경우, 제어부(180)는 재생 아이콘(511), 뒤로 감기 아이콘(512), 빨리 감기 아이콘(513)을 포함하는 제어 GUI(510)를 화면 중앙에 디스플레이 할 수 있다. 다른 예를 들면, 영화를 디스플레이하는 경우, 제어부(180)는 상기 아이콘들을 화면 아래에 디스플레이 할 수 있다. 상기 인디케이터 또는 제어 GUI(510)를 디스플레이하는 경우, 제어부(180)는 컨텐츠가 재생되고 있는 영역의 밝기를 일정 레벨만큼 어둡게 할 수 있다. 이는 사용자의 컨텐츠 감상을 방해하지 않으면서, 제어 GUI의 시인성을 향상시키기 위함이다.
[155]
[156]
도 8은 본 발명의 일 실시 예에 따라, 제1영역이 터치 스크린의 특정 위치에 위치하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
[157]
도 9는 도 8의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[158]
도 9(a)는 멀티미디어 컨텐츠를 재생하는 것을 도시한 도면이다. 도 9(b)는 터치 스크린(151)의 가운데 영역에 인디케이터가 위치하는 경우를 도시한 도면이다. 도 9(c)는 터치 스크린(151)의 우측 영역에 인디케이터가 위치하는 경우를 도시한 도면이다.
[159]
도 8을 참조하면, 도 8의 제어 방법은 제어부(180)에 의하여 수행된다.
[160]
컨텐츠 재생 화면을 디스플레이한다(S310c).
[161]
사용자의 손가락(200)을 감지한다(S320c).
[162]
인디케이터를 디스플레이한다(S330c).
[163]
인디케이터의 위치에 따라 다른 제어 GUI(510)를 디스플레이한다(350c).
[164]
이하 도 9에서 상기 도 8의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[165]
도 9(a) 내지 도 9(c)를 참조하면, 제1영역(410)이 터치 스크린(151)의 특정 위치에 위치하는 경우, 제어부(180)는 상기 특정 위치에 따라 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역(430)에 디스플레이 할 수 있다. 여기서, 제어부(180)는 상기 특정 위치에 따라 상기 데이터를 다르게 디스플레이 할 수 있다. 상기 데이터는 그래픽 사용자 인터페이스(GUI)가 될 수 있다.
[166]
도 9(a)를 참조하면, 제어부(180)는 멀티미디어 컨텐츠의 재생 화면을 터치 스크린(151)에 디스플레이한다. 제어부(180)는 뎁스 카메라(121)를 통해 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)이 감지된 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이한다. 예를 들면, 사용자의 손가락(200)이 멀티미디어 컨텐츠의 재생화면을 가리키는 제스쳐를 감지한 경우, 제어부(180)는 인디케이터를 디스플레이한다.
[167]
[168]
도 9(b)를 참조하면, 제1영역(410)이 화면의 가운데에 위치하는 경우, 제어부(180)는 멀티미디어 컨텐츠의 재생 화면을 제어할 수 있는 제어 GUI(510)를 화면의 가운데 위치하는 제3영역(430)에 디스플레이 한다. 여기서, 상기 제어 GUI(510)는 재생 아이콘(511), 뒤로 감기 아이콘(512), 빨리 감기 아이콘(513)을 포함한다.
[169]
도 9(c)를 참조하면, 제1영역에 표시된 인디케이터가 화면의 우측에 위치하는 경우, 제어부(180)는 멀티미디어 컨텐츠의 볼륨을 제어할 수 있는 제어 GUI(520)를 화면의 오른쪽에 위치하는 제3영역(430)에 디스플레이 한다. 여기서 상기 제어 GUI(520)는 스피커 아이콘(521), 볼륨 컨트롤러(522)를 포함한다.
[170]
도 9(b) 및 도 9(c)를 참조하면, 사용자의 손가락(200)을 감지한 경우, 제어부(180)는 제어 GUI(510) 및 인디케이터를 터치 스크린(151)에 동시에 디스플레이 할 수 있다.
[171]
[172]
도 10은 본 발명의 일 실시 예에 따라, 제1영역이 특정 기간 동안 제2영역에 오버레이된 경우, 아이콘을 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 11은 도 10의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[173]
도 11(a)는 사용자의 손가락(200)을 감지한 경우, 인디케이터 및 제어 GUI(511)를 디스플레이하는 것을 도시한 도면이다. 도 11(b)는 인디케이터를 일정시간 제어 GUI(511)에 위치한 경우, 아이콘을 디스플레이하는 것을 도시한 도면이다. 도 11(c)는 사용자가 인디케이터를 상하방향으로 움직이는 경우, 볼륨을 제어하는 것을 도시한 도면이다. 도 11(d)는 사용자가 인디케이터를 좌우방향으로 움직이는 경우, 재생화면을 제어하는 것을 도시한 도면이다.
[174]
도 10을 참조하면, 도 10의 제어 방법은 제어부(180)에 의하여 수행된다.
[175]
컨텐츠 재생화면을 디스플레이한다(S310d).
[176]
사용자의 검지를 감지한다(S320d).
[177]
사용자의 검지를 감지한 경우, 인디케이터 및 제어 GUI(511)를 디스플레이한다. (S330d, S351d)
[178]
제어 GUI(511)가 디스플레이되는 제3영역(430)에 인디케이터가 기설정된 시간 이상 위치한다(S341d).
[179]
경계(boundary) GUI(530)를 추가로 디스플레이 한다(S352d).
[180]
경계 GUI(530)를 기준으로 인디케이터를 이동한다.(S342d)
[181]
인디케이터의 이동속도 또는 이동 거리에 다라 컨텐츠의 재생을 제어한다(S360d).
[182]
이하, 도 11에서 상기 도 10의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[183]
도 11 (a) 내지 도 11(c)를 참조하면, 제1영역(410)이 제2영역(420)에 제1기간 동안 오버레이 된 경우, 제어부(180)는 제3영역(430)에 제1아이콘(511)을 디스플레이한다. 제1영역(410)이 상기 제3영역(430)에 제2기간 동안 오버레이된 경우, 제어부(180)는 제3영역(430)에 제2아이콘(512, 513)을 추가로 디스플레이할 수 있다.
[184]
제어부(180)는 적어도 하나의 오브젝트의 제1방향으로의 움직임이 감지된 경우, 제1명령을 실행하고, 적어도 하나의 오브젝트의 제2방향으로의 움직임이 감지된 경우, 제2명령을 실행한다. 여기서, 상기 제1방향과 상기 제2방향은 서로 반대방향일 수 있다. 또한, 상기 제1방향과 상기 제2방향은 서로 수직일 수 있다. 그러나, 상기 제1방향과 제2방향의 관계는 상기 예시에 국한되지 않으며, 3차원 공간에서 상호간 다양한 각도를 가질 수 있다.
[185]
터치 스크린(151)에 디스플레이되는 콘텐츠의 타입이 멀티미디어 콘텐츠인 경우, 상기 제1명령 및 상기 제2명령은 상기 멀티미디어 콘텐츠의 재생 속도 또는 재생 볼륨을 제어하기 위한 제어값을 포함하고, 상기 제어부(180)는 상기 적어도 하나의 오브젝트의 위치 정보가 일정한 방향을 기준으로 기설정된 거리 이상 변경된 것으로 감지된 경우, 상기 제1명령 또는 제2명령의 제어값을 변경할 수 있다.
[186]
도 11(a)를 참조하면, 제어부(180)는 멀티미디어 컨텐츠의 재생 화면을 터치 스크린(151)에 디스플레이한다. 제어부(180)는 사용자의 손가락(미도시)을 감지한다. 사용자의 손가락(미도시)을 감지한 경우, 제어부(180)는 인디케이터를 제1영역(410)에 디스플레이한다. 인디케이터를 디스플레이하는 경우, 제어부(180)는 터치 스크린(151)의 제3영역(430)에 제어 GUI(511)를 함께 디스플레이 할 수 있다. 또한, 제어부(180)는 상기 멀티미디어 컨텐츠가 디스플레이되는 제2영역(420)에 인디케이터가 제1기간 동안 오버레이된 경우, 상기 제어 GUI(511)를 디스플레이 할 수 있다. 여기서, 상기 제어 GUI(511)는 멀티미디어 컨텐츠의 재생 화면을 제어하기 위한 제1아이콘(511)일 수 있다. 이는 사용자의 조작 의도가 없어도 사용자의 검지가 임의로 감지되어 제어 GUI가 디스플레이됨으로써 시청을 방해하는 것을 방지하기 위함이다.
[187]
도 11(b)를 참조하면, 제어 GUI(511)가 디스플레이되는 제3영역(430)에 인디케이터가 기설정된 시간 이상 위치한 경우, 제어부(180)는 상기 제3영역(430)에 경계(boundary) GUI(530)를 추가로 디스플레이한다. 경계 GUI(530)를 디스플레이하는 경우, 제어부(180)는 상기 제3영역(430)에 제2아이콘(512, 513)을 추가로 디스플레이할 수 있다. 여기서, 제2아이콘(512, 513)은 뒤로 감기 아이콘(512), 빨리 감기 아이콘(513)이 될 수 있다.
[188]
도 11(c) 및 도 11(d)를 참조하면, 사용자는 상기 경계 GUI(530)를 기준으로 인디케이터를 이동할 수 있다. 제어부(180)는 인디케이터의 이동속도 또는 이동 거리에 따라 컨텐츠의 재생을 제어할 수 있다.
[189]
도 11(c)를 참조하면, 사용자가 인디케이터를 윗 방향 또는 아래 방향으로 움직이는 경우, 제어부(180)는 멀티미티어 컨텐츠의 재생 볼륨을 증가 또는 감소시킬 수 있다. 여기서, 제어부(180)는 인디케이터의 이동거리 또는 이동속도의 변화량에 따라 상기 재생 볼륨의 증가량 또는 감소량을 다르게 제어할 수 있다.
[190]
도 11(d)를 참조하면, 사용자가 인디케이터를 왼쪽 방향 또는 오른쪽 방향으로 움직이는 경우, 제어부(180)는 상기 멀티미디어 컨텐츠를 되감거나 빨리감을 수 있다. 여기서, 제어부(180)는 상기 인디케이터의 이동거리 또는 이동속도의 변화량에 따라 상기 되감기 또는 빨리감기를 다르게 제어할 수 있다.
[191]
[192]
도 12는 본 발명의 일 실시 예에 따라, 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 수직 방향을 기준으로 변경된 것으로 감지된 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 13 및 도 14는 도 12의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[193]
도 13(a)는 모바일 디바이스(100)에서 멀티미디어 컨텐츠를 디스플레이하는 것을 도시한 도면이다. 도 13(b)는 사용자가 터치 스크린(151)의 우측 영역에서 인디케이터를 움직이는 것을 도시한 도면이다. 도 13(c)는 터치 스크린(151)의 우측 영역에 볼륨 제어 GUI(520)를 디스플레이하는 것을 도시한 도면이다.
[194]
도 14(a)는 모바일 디바이스(100)에서 멀티미디어 컨텐츠를 디스플레이하는 것을 도시한 도면이다. 도 14(b)는 사용자가 터치 스크린(151)의 아래 영역에서 인디케이터를 움직이는 것을 도시한 도면이다. 도 14(c)는 터치 스크린(151)의 아래 영역에 재생 제어 GUI(530)를 디스플레이하는 것을 도시한 도면이다.
[195]
도 12를 참조하면, 도 12의 제어 방법은 제어부(180)에 의하여 수행된다.
[196]
컨텐츠 재생화면을 디스플레이한다(S310e).
[197]
사용자의 손가락(200)을 감지한다(S320e).
[198]
인디케이터를 디스플레이한다(S330e).
[199]
특정 방향에 대한 사용자의 검지(200)의 움직임에 따라 컨텐츠를 제어한다(S360e).
[200]
이하 도 13 및 도 14에서 상기 도 12의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[201]
도 13 내지 도 14를 참조하면, 제어부(180)는 특정 방향에 대한 사용자의 검지(200)의 움직임에 따라 컨텐츠를 제어한다. 제어부(180)는 상기 제1영역(410)의 위치에 따라 상기 적어도 하나의 오브젝트의 위치 정보 중 특정 방향의 위치정보만 감지할 수 있다. 여기서 상기 오브젝트는 사용자의 검지(200)일 수 있다.
[202]
도 13(a)을 참조하면, 제어부(180)는 컨텐츠의 재생화면을 디스플레이한다. 여기서 상기 컨텐츠는 멀티미디어 컨텐츠일 수 있다. 제어부(180)는 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)이 감지된 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이한다.
[203]
도 13(b)를 참조하면, 제어부(180)는 특정 방향에 대한 검지의 움직임에 따라 컨텐츠를 제어한다. 상기 특정 방향은 제1영역(410)이 위치하는 터치 스크린(151)의 영역에 따라 달라질 수 있다. 상기 제1영역(410)이 터치 스크린(151)의 우측 영역에 위치한 경우, 제어부(180)는 사용자의 검지(200)의 위치 정보 중 특정 방향(620)의 위치정보만 감지할 수 있다. 예를 들면, 사용자가 검지를 대각선 방향으로 움직이는 경우, 제어부(180)는 사용자의 검지(200)의 위치정보중 상하방향의 이동 정보만 감지할 수 있다. 사용자의 손가락(200)이 상하방향으로 이동하는 것이 감지된 경우, 제어부(180)는 터치 스크린(151)에 디스플레이되는 컨텐츠의 볼륨 또는 밝기를 제어할 수 있다.
[204]
도 13(c)를 참조하면, 상기 제1영역(410)이 터치 스크린(151)의 우측 영역에 위치한 경우, 제어부(180)는 제어 GUI(520)를 디스플레이 할 수 있다. 여기서, 상기 제어 GUI(520)는 스피커 아이콘(521), 볼륨 컨트롤러(522)를 포함할 수 있다.
[205]
도 14(a)을 참조하면, 제어부(180)는 컨텐츠의 재생화면을 디스플레이한다. 여기서 상기 컨텐츠는 멀티미디어 컨텐츠일 수 있다. 제어부(180)는 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)이 감지된 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이한다.
[206]
도 14(b)를 참조하면, 제어부(180)는 특정 방향에 대한 검지의 움직임에 따라 컨텐츠를 제어한다. 상기 특정 방향은 제1영역(410)이 위치하는 터치 스크린(151)의 영역에 따라 달라질 수 있다. 상기 제1영역(410)이 터치 스크린(151)의 아래 영역에 위치한 경우, 제어부(180)는 사용자의 검지(200)의 위치 정보 중 특정 방향(630)의 위치정보만 감지할 수 있다. 예를 들면, 사용자가 검지를 대각선 방향으로 움직이는 경우, 제어부(180)는 사용자의 검지(200)의 위치정보중 좌우방향의 이동 정보만 감지할 수 있다. 사용자의 손가락(200)이 좌우 방향으로 움직이는 것이 감지된 경우, 제어부(180)는 터치 스크린(151)에 디스플레이되는 컨텐츠의 재생을 제어할 수 있다.
[207]
도 14(c)를 참조하면, 상기 제1영역(410)이 터치 스크린(151)의 우측 영역에 위치한 경우, 제어부(180)는 재생 제어 GUI(530)를 디스플레이 할 수 있다. 여기서, 상기 재생 제어 GUI(530)는 컨텐츠의 재생 시간을 제어하는 타임라인(Timeline)을 포함할 수 있다.
[208]
[209]
도 15은 본 발명의 일 실시 예에 따라, 멀티미디어 컨텐츠가 재생 중인 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 터치 스크린의 외곽부에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 16은 도 15의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[210]
도 16(a)는 터치 스크린(151)에 멀티미디어 컨텐츠를 디스플레이하는 것을 도시한 도면이다. 도 16(b)는 컨텐츠의 외곽부에 제어 GUI(540)를 디스플레이하는 것을 도시한 도면이다. 도 16(c)는 사용자가 에어 터치 푸쉬(air touch push)의 홀딩 시간으로 컨텐츠의 재생을 제어하는 것을 도시한 도면이다. 도 16(d)는 사용자가 에어 터치 푸쉬(air touch push)의 푸쉬 속도, 푸쉬 거리에 따라 컨텐츠의 재생을 제어하는 것을 도시한 도면이다.
[211]
도 15를 참조하면, 도 15의 제어 방법은 제어부(180)에 의하여 수행된다.
[212]
컨텐츠 재생 화면을 디스플레이한다(S310f).
[213]
사용자의 손가락(200)을 감지한다(S320f).
[214]
인디케이터를 디스플레이한다(S330f).
[215]
제1영역(410) 주변의 제2영역(420) 외곽부에 제어 GUI(540)를 팝업(pop-up) 스타일로 디스플레이한다(S350f).
[216]
X, Y축의 입력에 따라 컨텐츠를 제어하거나(S361f), 또는Z축으로 푸쉬 후 홀딩 시간, 푸시 속도, 푸쉬 거리에 따라 컨텐츠를 제어한다(S362f).
[217]
이하 도 16에서 상기 도 15의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
[218]
도 16(a) 내지 도 16(d)를 참조하면, 제어부(180)는 상기 제2영역(420)에 디스플레이된 콘텐츠의 타입에 따라 상기 제3영역(430)에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경할 수 있다. 콘텐츠의 타입이 멀티미디어 콘텐츠인 경우, 콘텐츠의 재생을 방해하지 않기 위해 상기 데이터를 콘텐츠의 외곽부에 디스플레이 할 수 있다. 여기서, 상기 데이터는 콘텐츠의 제어를 위한 제어 GUI(540)일 수 있다. 또한, 제어부(180)는 사용자의 검지(200)의 특정 방향으로의 움직임에 따라 특정 명령을 실행할 수 있다. 여기서, 제어부(180)는 상기 사용자의 검지(200)의 위치 정보가 특정 방향을 기준으로 기설정된 거리 이상 변경된 것으로 감지된 경우, 상기 특정 명령의 제어값을 변경할 수 있다. 예를 들면, 상기 특정 명령의 제어값은 상기 멀티미디어 콘텐츠의 재생 속도 또는 재생 볼륨을 제어하기 위한 제어값일 수 있다.
[219]
도 16(a)를 참조하면, 제어부(180)는 컨텐츠의 재생화면을 디스플레이한다. 여기서 상기 컨텐츠는 멀티미디어 컨텐츠일 수 있다. 제어부(180)는 사용자의 손가락(미도시)을 감지한다. 사용자의 손가락(미도시)이 감지된 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이한다.
[220]
도 16(b)를 참조하면, 인디케이터를 디스플레이하는 경우, 제어부(180)는 멀티미디어 컨텐츠의 재생을 제어하기 위한 제어 GUI(540)를 제3영역(430)에 디스플레이 할 수 있다. 여기서, 상기 제어 GUI(540)는 멀티미디어 컨텐츠가 디스플레이되고 있는 제2영역(420)의 우측 외곽부에 디스플레이 될 수 있다. 예를 들면, 상기 제어 GUI(540)는 빨리 감기 아이콘(540)일 수 있다.
[221]
도 16(c)를 참조하면, 사용자가 에어 터치 푸쉬(air touch push)를 특정 시간 이상 유지하는 경우, 제어부(180)는 상기 특정 시간에 따라 컨텐츠의 제어를 위한 제어값을 변경할 수 있다. 여기서, 에어 터치 푸쉬(air touch push)는 사용자가 사용자의 손가락(200)을 z축 방향을 따라 터치 스크린(151) 위의 가상의 일정 공간 영역을 아래로 누르는 동작일 수 있다. 예를 들면, 사용자가 에어 터치 푸쉬(air touch push)를 1초 동안 유지하는 경우, 제어부(180)는 컨텐츠를 1.5배속으로 재생하고, 사용자가 에어 터치 푸쉬(air touch push)를 2초 동안 유지하는 경우, 제어부(180)는 컨텐츠를 2배속으로 재생할 수 있다.
[222]
도 16(d)를 참조하면, 사용자의 에어 터치 푸쉬(air touch push)의 속도 또는 거리에 따라, 제어부(180)는 컨텐츠의 제어를 위한 제어값을 변경할 수 있다. 예를 들면, 사용자가 검지 손가락을 1초에 Z1만큼 움직인 경우, 제어부(180)는 컨텐츠를 2배속으로 재생할 수 있고, 사용자가 검지손가락을 1초에 Z2만큼 움직인 경우, 제어부(180)는 컨텐츠를 1.5배속으로 재생할 수 있다.
[223]
[224]
도 17은 본 발명의 일 실시 예에 따라, 브라우저의 컨텐츠를 검색하는 경우, 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 18은 도 17의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[225]
도 17을 참조하면, 도 17의 제어 방법은 제어부(180)에 의해 수행된다.
[226]
브라우저 어플리케이션의 컨텐츠 검색화면을 디스플레이한다(S310g).
[227]
사용자의 손가락(200)을 감지한다(S320g).
[228]
인디케이터를 디스플레이한다(S330g).
[229]
인디케이터의 위치에 따라 제어 GUI(551, 552)를 디스플레이한다(S350g).
[230]
이하 도 18에서 도 17의 모바일 디바이스(100) 및 제어 방법을 상세히 설명한다.
[231]
도 18을 참조하면, 제어부(180)는 상기 적어도 하나의 오브젝트의 제1방향으로의 움직임이 감지된 경우, 제1명령을 실행하고, 상기 적어도 하나의 오브젝트의 제2방향으로의 움직임이 감지된 경우, 제2명령을 실행할 수 있다. 여기서, 상기 제1방향 및 제2방향은 서로 반대일 수 있다. 예를 들면, 컨텐츠 리스트 목록이 터치 스크린(151)에 디스플레이 되는 경우, 상기 제1방향은 터치 스크린(151)의 위쪽 방향일 수 있고 상기 제2방향은 터치 스크린(151)의 아래 방향일 수 있다. 또한, 상기 제1명령은 상기 목록을 위로 스크롤하는 명령일 수 있고, 상기 제2명령은 상기 목록을 아래로 스크롤하는 명령일 수 있다.
[232]
도 18의 좌측을 참조하면, 제어부(180)는 브라우저 어플리케이션의 컨텐츠 검색화면을 디스플레이한다. 여기서, 상기 검색화면은 컨텐츠 목록일 수 있다. 제어부(180)는 사용자의 손가락(200)을 감지한다. 사용자의 손가락(200)을 감지한 경우, 제어부(180)는 터치 스크린(151)의 제1영역(410)에 인디케이터를 디스플레이할 수 있다. 인디케이터가 터치 스크린(151)의 제2영역(420a, 420b)에 위치하는 경우, 제어부(180)는 터치 스크린(151)의 제3영역(430a, 430b)에 제어 GUI(551, 552)를 디스플레이한다. 예를 들면, 상기 제어부(180)는 상기 제2영역(420a, 420b)에 제1영역(410)이 기설정된 시간 이상 위치한 경우, 상기 제어 GUI(551, 552)를 디스플레이 할 수 있다. 여기서, 상기 제2영역(420a, 420b)은 터치 스크린(151)의 위쪽 또는 아래쪽에 위치하는 임의의 복수의 영역일 수 있다.
[233]
도 18의 우측을 참조하면, 제어부(180)는 터치스크린의 제3영역(430a, 430b)에 제어 GUI(551, 552)를 디스플레이 할 수 있다. 여기서, 제3영역(430a, 430b)은 터치 스크린(151)의 위쪽 또는 아래쪽에 위치하는 임의의 복수의 영역일 수 있다. 예를 들면, 인디케이터가 터치 스크린(151)의 위쪽의 제2영역(420a)에 기설정된 시간 이상 위치한 경우, 터치 스크린(151)의 위쪽의 제3영역(430a)에 반투명한 제어 GUI(551)를 디스플레이할 수 있다. 인디케이터가 터치 스크린(151)의 위쪽 또는 아래쪽에 위치하는 제3영역(430a, 430b)에 오버레이되는 경우, 제어부(180)는 컨텐츠 목록을 위쪽 또는 아래쪽으로 스크롤할 수 있다. 여기서, 상기 제어 GUI(551, 552)은 사용자가 반드시 해당 제어 GUI(551, 552)에 인디케이터를 위치 하지 않더라도 상기 컨텐츠 목록을 스크롤 할 수 있도록 상기 제3영역(430a, 430b)의 일부에 디스플레이될 수 있다. 또한, 상기 제어 GUI(551, 552)는 반투명하게 디스플레이될 수 있다. 이는 상기 제어 GUI(551, 552)가 디스플레이 되는 컨텐츠 목록을 가리지 않아 사용자가 더 많은 정보를 인식할 수 있게 하기 위함이다.
[234]
[235]
도 19은 본 발명의 일 실시 예에 따라, 특정 방향에 디스플레이되는 적어도 하나의 메뉴를 제3영역에 디스플레이하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 20은 도 19의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
[236]
도 20(a)는 브라우저 어플리케이션에서 컨텐츠 검색화면을 디스플레이하는 것을 도시한 도면이다. 도 20(b)는 숏컷 옵션 메뉴(shortcut option menu)를 디스플레이하는 것을 도시한 도면이다. 도 20(c)는 인디케이터의 이동에 따라 특정 어플리케이션에 진입한 것을 도시한 도면이다.
[237]
도 19를 참조하면, 도 19의 제어 방법은 제어부(180)에 의하여 수행된다.
[238]
브라우저 어플리케이션의 컨텐츠 검색화면을 디스플레이한다(S310h).
[239]
사용자의 검지를 감지한다(S320h).
[240]
인디케이터를 디스플레이한다(S330h).
[241]
터치 스크린(151)의 일정 영역에 기설정된 시간 이상 인디케이터가 위치한다(S340h).
[242]
숏컷 옵션 메뉴(shortcut option menu)(560)를 디스플레이한다(S350h). 여기서, 숏컷 옵션 메뉴는 어플리케이션의 빠른 실행을 위하여 제1영역(410)을 중심으로 특정 방향에 디스플레이되는 복수의 메뉴를 말한다.
[243]
인디케이터의 특정 방향으로의 움직임에 따라 특정 어플리케이션을 실행한다(S360h).
[244]
이하 도 20에서 상기 도 19의 모바일 디바이스(100) 및 제어 방법을 상세히 설명한다.
[245]
도 20(a) 내지 도 20(c)를 참조하면, 인디케이터가 제2영역(420)에 기설정된 시간 이상 오버레이된 경우, 제어부(180)는 터치 스크린(151)의 제2영역(420)에서 디스플레이된 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역(430)에 디스플레이한다. 여기서, 상기 데이터는 상기 제1영역(410)을 중심으로 특정 방향에 디스플레이되는 적어도 하나의 메뉴를 포함한다. 적어도 하나의 오브젝트의 특정 방향으로의 움직임이 감지된 경우, 제어부(180)는 상기 적어도 하나의 메뉴에 대응하는 명령를 실행한다.
[246]
[247]
도 20(a)를 참조하면, 제어부(180)는 브라우저 어플리케이션 실행 중 컨텐츠 검색화면을 디스플레이할 수 있다. 제어부(180)는 사용자의 검지를 감지한다. 사용자의 검지를 감지한 경우, 제어부(180)는 인디케이터를 제1영역(410)에 디스플레이한다.
[248]
도 20(b)를 참조하면, 인디케이터가 터치 스크린(151)에 기설정된 시간 이상 머무르는 경우, 제어부(180)는 숏컷 옵션 메뉴(560)를 디스플레이할 수 있다. 여기서, 숏컷 옵션 메뉴(560)는 인디케이터를 중심으로 특정 방향에 디스플레이되는 복수의 메뉴를 포함한다. 예를 들면, 인디케이터가 컨텐츠 목록이 디스플레이되는 제2영역(420)에 기설정된 이상 위치하는 경우, 제어부(180)는 브라우저 어플리케이션 실행 메뉴(562a), 음악 어플리케이션 실행 메뉴(562b), 홈 화면 실행 메뉴(562c), 메시지 어플리케이션 실행 메뉴(562d)를 포함하는 숏컷 옵션 메뉴(560)를 디스플레이할 수 있다.
[249]
도 20(b) 및 도 20(c)를 참조하면, 인디케이터가 특정 방향으로 움직이면, 제어부(180)는 상기 특정 방향에 대응되는 특정 어플리케이션을 실행한다. 예를 들면, 인디케이터가 터치 스크린(151)의 위쪽 방향으로 움직이면, 제어부(180)는 브라우저 어플리케이션을 실행한다.
[250]
[251]
본 발명의 일 실시 예에 따르면, 본 발명은 저전력 뎁스 카메라(depth camera)에 의해 감지된 사용자의 손 움직임에 기초하여 다양한 3차원의 사용자 인터페이스를 제공하여 사용자 편의성을 향상시킬 수 있다.
[252]
본 발명의 다른 실시 예에 따르면, 본 발명은 사용자의 손 또는 터치 스크린이 오염되었을 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있어 사용자 편의성을 향상시킬 수 있다.
[253]
본 발명의 또 다른 실시 예에 따르면, 본 발명은 음성 인식 기능을 사용하기 어려운 경우에도 모바일 디바이스의 터치 없이 모바일 디바이스를 제어할 수 있어 사용자 편의성을 향상시킬 수 있다.
[254]
한편, 본 발명의 모바일 디바이스 제어 방법은 영상표시기기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
[255]
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

청구범위

[청구항 1]
모바일 디바이스에 있어서, 적어도 하나의 콘텐츠를 디스플레이하는 터치 스크린(touch screen); 적어도 하나의 오브젝트 및 상기 적어도 하나의 오브젝트의 움직임을 감지하는 뎁스 카메라(depth camera); 그리고 상기 터치 스크린, 상기 카메라 중 적어도 어느 하나를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치 스크린으로부터 이격한 일정 공간 영역 내에 상기 적어도 하나의 오브젝트가 감지된 경우, 상기 감지된 적어도 하나의 오브젝트의 위치에 대응되는 상기 터치 스크린의 제1영역에 인디케이터를 디스플레이 하도록 제어하며, 상기 제1영역이 상기 터치 스크린의 제2영역에 기설정된 시간 이상 오버레이된 경우, 상기 제2영역에서 디스플레이된 상기 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하도록 제어하는 모바일 디바이스.
[청구항 2]
제2항에 있어서, 상기 제어부는 상기 터치 스크린으로부터 이격한 일정 공간 영역 내에서, 상기 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 일정한 방향을 기준으로 변경된 것으로 감지된 경우, 상기 데이터를 상기 제3영역에 디스플레이 하도록 제어하는 모바일 디바이스.
[청구항 3]
제1항에 있어서, 상기 제어부는 상기 제2영역에 디스플레이된 콘텐츠의 타입에 따라 상기 제3영역에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경하는 모바일 디바이스.
[청구항 4]
제1항에 있어서, 상기 제어부는 상기 제1영역의 위치에 따라 상기 제3영역에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경하는 모바일 디바이스.
[청구항 5]
제1항에 있어서, 상기 제어부는 상기 제1영역의 위치에 따라 상기 적어도 하나의 오브젝트의 위치 정보 중 특정 방향의 위치정보만 감지하는 모바일 디바이스.
[청구항 6]
제1항에 있어서, 상기 데이터는, 상기 콘텐츠의 제어를 위한 적어도 하나의 아이콘을 포함하고, 상기 제어부는 상기 제1영역이 상기 제2영역에 제1기간동안 오버레이된 경우, 상기 제3영역에 제1아이콘을 디스플레이하고, 상기 제1영역이 상기 제3영역에 제2기간동안 오버레이된 경우, 상기 제3영역에 제2아이콘을 추가로 디스플레이하는 모바일 디바이스.
[청구항 7]
제1항에 있어서, 상기 제어부는 상기 적어도 하나의 오브젝트의 제1방향으로의 움직임이 감지된 경우, 제1명령을 실행하고, 상기 적어도 하나의 오브젝트의 제2방향으로의 움직임이 감지된 경우, 제2명령을 실행하며, 상기 제1방향과 상기 제2방향은 서로 반대인 모바일 디바이스.
[청구항 8]
제1항에 있어서, 상기 제어부는 상기 적어도 하나의 오브젝트의 제1방향으로의 움직임이 감지된 경우, 제1명령을 실행하고, 상기 적어도 하나의 오브젝트의 제2방향으로의 움직임이 감지된 경우, 제2명령을 실행하며, 상기 제1방향과 상기 제2방향은 서로 수직인 모바일 디바이스.
[청구항 9]
제7항 또는 제8항에 있어서, 상기 콘텐츠의 타입이 멀티미디어 콘텐츠인 경우, 상기 제1명령 및 상기 제2명령은 상기 멀티미디어 콘텐츠의 재생 속도 또는 재생 볼륨을 제어하기 위한 제어값을 포함하고, 상기 제어부는 상기 적어도 하나의 오브젝트의 위치 정보가 일정한 방향을 기준으로 기설정된 거리 이상 변경된 것으로 감지된 경우, 상기 제1명령 또는 제2명령의 제어값을 변경하는 모바일 디바이스.
[청구항 10]
제1항에 있어서, 상기 데이터는, 상기 제1영역을 중심으로 특정 방향에 디스플레이되는 적어도 하나의 메뉴를 포함하고 상기 제어부는 상기 적어도 하나의 오브젝트의 특정 방향으로의 움직임이 감지된 경우, 상기 적어도 하나의 메뉴에 대응하는 명령를 실행하는 모바일 디바이스.
[청구항 11]
모바일 디바이스의 제어 방법에 있어서, 적어도 하나의 콘텐츠를 디스플레이하는 단계; 뎁스 카메라(depth camera)에 의해 상기 모바일 디바이스로부터 이격한 일정 공간 영역 내의 적어도 하나의 오브젝트 및 상기 적어도 하나의 오브젝트의 움직임을 감지하는 단계; 상기 적어도 하나의 오브젝트가 감지된 경우, 상기 감지된 적어도 하나의 오브젝트의 위치에 대응되는 디스플레이의 제1영역에 인디케이터를 디스플레이 하는 단계; 및 상기 디스플레이의 제2영역에 기설정된 시간 이상 인디케이터가 위치한 경우, 상기 제2영역에서 디스플레이된 상기 적어도 하나의 콘텐츠에 대응하는 데이터를 제3영역에 디스플레이 하는 단계 를 포함하는 모바일 디바이스 제어 방법.
[청구항 12]
제11항에 있어서 상기 터치 스크린으로부터 이격한 일정 공간 영역 내에서, 상기 적어도 하나의 오브젝트의 위치 정보가 기설정된 시간 동안 일정한 방향을 기준으로 변경된 것인지 감지하는 단계를 더 포함하는 모바일 디바이스 제어 방법.
[청구항 13]
제11항에 있어서, 상기 제2영역에 디스플레이된 콘텐츠의 타입을 판단하는 단계; 및 상기 콘텐츠의 타입에 따라 상기 제3영역에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경하는 단계를 더 포함하는 모바일 디바이스 제어 방법.
[청구항 14]
제11항에 있어서, 상기 제1영역의 위치를 판단하는 단계; 및 상기 제1영역의 위치에 따라 상기 제3영역에 디스플레이 되는 상기 데이터의 구성 또는 위치 중 적어도 하나를 변경하는 단계를 더 포함하는 모바일 디바이스 제어 방법.
[청구항 15]
제11항에 있어서, 상기 제1영역의 위치를 판단하는 단계; 및 상기 제1영역의 위치에 따라 상기 적어도 하나의 오브젝트의 위치 정보 중 특정 방향의 위치정보만 감지하는 단계를 더 포함하는 모바일 디바이스 제어 방법.

도면

[도1a]

[도1b]

[도1c]

[도2]

[도3]

[도4]

[도5]

[도6]

[도7]

[도8]

[도9]

[도10]

[도11]

[도12]

[도13]

[도14]

[도15]

[도16]

[도17]   [규칙 제91조에 의한 정정22.03.2019] 

[도18]   [규칙 제91조에 의한 정정22.03.2019] 

[도19]

[도20]   [규칙 제91조에 의한 정정22.03.2019]