Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020111861 - DISPOSITIF OPTIQUE, ET CAMÉRA ET DISPOSITIF ÉLECTRONIQUE COMPRENANT CE DERNIER

Document

명세서

발명의 명칭

기술분야

1   2  

배경기술

3   4   5   6  

발명의 상세한 설명

기술적 과제

7   8   9  

과제 해결 수단

10   11   12   13   14  

발명의 효과

15   16   17   18   19   20   21   22   23  

도면의 간단한 설명

24   25   26   27   28   29   30   31   32   33   34   35  

발명의 실시를 위한 최선의 형태

36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128   129   130   131   132   133   134   135   136   137   138   139   140   141   142   143   144   145   146   147   148   149   150   151   152   153   154   155   156   157   158   159   160   161   162   163   164   165   166   167   168   169   170   171   172   173   174   175   176   177   178   179   180   181   182   183   184   185   186   187   188   189   190   191   192   193   194   195   196   197   198   199   200   201   202   203   204   205   206   207   208   209   210   211   212   213   214   215   216   217   218   219   220   221   222   223   224   225   226   227   228   229   230   231   232   233   234   235   236   237   238   239   240   241   242   243   244   245   246   247   248   249   250   251   252   253   254   255   256   257   258   259   260   261   262   263   264   265   266   267   268   269   270   271   272   273   274   275   276   277   278   279   280   281   282   283   284   285   286   287   288   289   290   291   292   293   294   295   296   297   298   299   300   301   302   303   304   305   306   307   308   309   310   311   312   313   314   315   316   317   318   319   320   321   322   323   324   325   326   327   328   329   330  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

도면

1   2   3a   3b   3c   4   5a   5b   6a   6b   7a   7b   7c   8a   8b   8c   9   10a   10b   10c   11a   11b   11c   12a   12b  

명세서

발명의 명칭 : 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기

기술분야

[1]
본 발명은 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것으로, 보다 상세하게는, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것이다.
[2]
한편, 본 발명은 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것이다.

배경기술

[3]
이동 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 이동 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷, 메시지 송수신 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다. 이러한 멀티미디어 기기의 형태로 구현된 이동 단말기는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다.
[4]
최근 광학 장치에 적용되는 센서의 성능이 발달하면서 상기 광학 장치를 이용한 다양한 기능들이 개발되고 있다. 물체의 움직임을 감지하여 추적하거나, 얼굴 및 눈 영역을 감지하는 기능들에 대한 개발이 이루어지고 있다.
[5]
이와 같은 기능들을 구현함에 있어, 발광소자와 센서의 성능 및 이들의 동작 제어가 중요하다. 종래의 일반적인 프레임 기반의 센서는, 주변 환경의 영향에 따라 물체의 움직임을 정확하게 추적하거나, 눈과 같은 신체의 특정 영역을 정확하게 감지하는데 한계점이 있었다.
[6]
특히, 광의 변화량 차이(contrast)에 따라 동작하는 이벤트 기반의 센서는, 주변에 외부 광원이 있는 경우, 감지하는 contrast가 달라지므로, 밝은 환경에서는 contrast가 낮아 정확한 신호를 감지하기 어렵고, 어두운 환경에서는 contrast가 필요 이상으로 높아 비효율적일 수 있다.

발명의 상세한 설명

기술적 과제

[7]
본 발명은 상기한 문제점을 해결하기 위하여, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기를 제공하는데 목적이 있다.
[8]
또한, 본 발명은, 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기를 제공하는데 목적이 있다.
[9]
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

과제 해결 수단

[10]
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하고, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 제어부를 포함한다.
[11]
한편, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는 상기 발광소자의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어한다.
[12]
한편, 상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력한다.
[13]
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 장치는, 상기와 같은 광학 장치를 포함하고, 렌즈 장치, 이미지 센서, 및 프로세서를 포함한다.
[14]
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자기기는, 상기의 카메라 장치를 포함한다.

발명의 효과

[15]
본 발명에 따르면, 다음과 같은 효과가 있다.
[16]
본 발명의 일 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하고, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 제어부를 포함한다. 따라서, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
[17]
한편, 본 발명의 일 실시예에 따른 광학 장치는, 출력광 방출 주기를 감지되는 물체의 움직임 속도에 따라 가변할 수 있다. 따라서 고속 촬영이 필요한 다양한 전자 기기에서 활용할 수 있다.
[18]
한편, 본 발명의 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는 상기 발광소자의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어한다. 따라서 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
[19]
한편, 본 발명의 또 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력한다. 따라서, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
[20]
또한, 상기 제어부는, 상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출하며, 상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출한다. 따라서, 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있게 된다.
[21]
특히, 복수의 광원을 이용하여 물체의 특정 영역을 감지하고, 글린트를 검출하여, 물체의 시선 방향을 정확하게 판단하고 추적할 수 있는 효과가 있다.
[22]
한편, 본 발명의 일 실시예에 따른 전자기기는, 상기의 광학 장치를 포함한다. 따라서 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한 물체의 특정 영역을 감지하고, 글린트를 검출하여, 물체의 시선 방향을 정확하게 판단하고 추적할 수 있는 효과가 있다.
[23]
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도면의 간단한 설명

[24]
도 1은 본 발명의 실시예에 따른 전자기기의 일 예인 이동 단말기의 외관을 도시한 도면이다.
[25]
도 2는 도 1의 이동 단말기의 블럭도이다.
[26]
도 3a 내지 3c는 본 발명의 실시예에 따른 광학 장치를 도시하는 도면이다.
[27]
도 4는 도 3a 내지 3c의 광학 장치에 포함된 센서에서 신호를 검출하는 원리를 설명하는 도면이다.
[28]
도 5a 내지 5b는 본 발명의 실시예에 따른 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
[29]
도 6a 내지 6b는 본 발명의 실시예에 따른 광학 장치에서 수신광에 따라 출력광을 제어하는 예시에 관한 도면이다.
[30]
도 7a 내지 7c는 본 발명의 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
[31]
도 8a 내지 8c는 본 발명의 다른 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
[32]
도 9는 본 발명의 다른 실시예에 따른 광학 장치를 도시하는 도면이다.
[33]
도 10a 내지 10c는 도 9의 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
[34]
도 11a 내지 11c는 도 9의 제어부의 동작에 관한 플로우 차트이다.
[35]
도 12a 내지 12b는 도 9의 광학 장치의 시선 방향 감지와 캘리브레이션(calibration) 방법을 설명하는 도면이다.

발명의 실시를 위한 최선의 형태

[36]
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
[37]
도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
[38]
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
[39]
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
[40]
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
[41]
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
[42]
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[43]
본 명세서에서 설명되는 전자기기는, 편의상 주로 이동 단말기를 예로 하여 설명하나, 반드시 이에 한정되는 것은 아니다. 여기서 전자기기는 블랙박스(black box)와 같은 차량용 비디오 장치, CCTV(Closed Caption TV), 이동 단말기 등을 포함할 수 있다. 상기 이동 단말기에는 휴대폰, 스마트폰, 노트북 컴퓨터, 디지털 방송용 단말기, PDA(personal digital assistants), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 등이 포함될 수 있다.
[44]
도 1은 본 발명의 실시예에 따른 전자기기의 일 예인 이동 단말기의 외관을 도시한 도면이다. (a)는 이동 단말기의 정면도, (b)는 측면도, (c)는 배면도, (d)는 저면도이다.
[45]
도 1을 참조하면, 이동 단말기(100)의 외관을 이루는 케이스는, 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된다. 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된 공간에는 각종 전자부품들이 내장될 수 있다.
[46]
구체적으로 프론트 케이스(100-1)에는 디스플레이(180), 제1 카메라 장치(195a), 제1 음향출력 모듈(153a) 등이 배치될 수 있다. 그리고, 리어 케이스(100-2)의 측면에는 제1 내지 제2 사용자 입력부(130a, 130b) 등이 배치될 수 있다.
[47]
디스플레이(180)는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이(180)가 터치스크린으로 동작할 수 있다.
[48]
제1 음향출력 모듈(153a)은 리시버 또는 스피커의 형태로 구현될 수 있다. 제1 카메라 장치(195a)는 사용자 등에 대한 이미지 또는 동영상을 촬영하기에 적절한 형태로 구현될 수 있다. 그리고, 마이크(123)는 사용자의 음성, 기타 소리 등을 입력받기 적절한 형태로 구현될 수 있다.
[49]
제1 내지 제2 사용자 입력부(130a, 130b)와 후술하는 제3 사용자 입력부(130c)는 사용자 입력부(130)라 통칭할 수 있다.
[50]
제1 마이크(미도시)는, 리어 케이스(100-2)의 상측, 즉, 이동 단말기(100)의 상측에, 오디오 신호 수집을 위해 배치될 수 있으며, 리어 케이스(100-2)의 하측, 즉, 이동 단말기(100)의 하측에, 제2 마이크(123)가 오디오 신호 수집을 위해 배치될 수 있다.
[51]
리어 케이스(100-2)의 후면에는 제2 카메라 장치(195b), 제3 카메라 장치(195c), 플래시(196), 및 제3 사용자 입력부(130c)가 배치될 수 있다.
[52]
제2 및 제3 카메라 장치(195b, 195c)는 제1 카메라 장치(195a)와 실질적으로 반대되는 촬영 방향을 가지며, 제1 카메라 장치(195a)와 서로 다른 화소를 가질 수 있다. 제2 카메라 장치(195b)와 제3 카메라 장치(195c)는 촬영 범위 확대를 위해 서로 다른 화각을 가질 수 있다. 제3 카메라 장치(195c)에 인접하게는 거울(미도시)이 추가로 배치될 수도 있다. 또한, 제3 카메라 장치(195c) 인접하게 다른 카메라 장치를 더 설치하여 3차원 입체 영상의 촬영을 위해 사용하거나, 추가적인 다른 화각 촬영을 위해 사용할 수도 있다.
[53]
플래시(196)는 제3 카메라(195c)에 인접하게 배치될 수 있다. 플래시(196)는 제3 카메라(195c)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
[54]
리어 케이스(100-2)에는 제2 음향출력 모듈(153b)가 추가로 배치될 수도 있다. 제2 음향출력 모듈은 제1 음향출력 모듈(153a)와 함께 스테레오 기능을 구현할 수 있으며, 스피커폰 모드로 통화를 위해 사용될 수도 있다.
[55]
리어 케이스(100-2) 측에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(미도시)가 장착될 수 있다. 전원공급부(190)는, 예를 들어 충전 가능한 배터리로서, 리어 케이스(100-2)에 일체형으로 구성되거나, 충전 등을 위하여 리어 케이스(100-2)에 착탈 가능하게 결합될 수 있다.
[56]
도 2는 도 1의 이동 단말기의 블럭도이다.
[57]
도 2를 참조하면, 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(175), 단말 제어부(170), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
[58]
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.
[59]
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
[60]
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
[61]
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 이동 단말기(100)에 내장되거나 외장될 수 있다.
[62]
근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), NFC(Near Field Communication) 등이 이용될 수 있다.
[63]
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
[64]
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라 장치(195)와 마이크(123) 등이 포함될 수 있다.
[65]
카메라 장치(195)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 그리고, 처리된 화상 프레임은 디스플레이(180)에 표시될 수 있다.
[66]
카메라 장치(195)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라 장치(195)는 전자 기기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
[67]
마이크(123)는, 디스플레이 오프 모드, 예를 들어, 통화모드, 녹음모드, 또는 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 오디오 신호를 입력받아 전기적인 음성 데이터로 처리할 수 있다.
[68]
한편, 마이크(123)는, 서로 다른 위치에, 복수개로서 배치될 수 있다. 각 마이크에서 수신되는 오디오 신호는 단말 제어부(170) 등에서 오디오 신호 처리될 수 있다.
[69]
사용자 입력부(130)는 사용자가 전자 기기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 사용자의 누름 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이(180)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
[70]
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
[71]
센싱부(140)는 근접센서(141), 압력센서(143), 및 모션 센서(145), 터치 센서(146) 등을 포함할 수 있다.
[72]
근접센서(141)는 이동 단말기(100)로 접근하는 물체나, 이동 단말기(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다. 특히, 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다.
[73]
압력센서(143)는 이동 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다.
[74]
모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 이동 단말기(100)의 위치나 움직임 등을 감지할 수 있다.
[75]
터치 센서(146)는, 사용자의 손가락에 의한 터치 입력 또는 특정 펜에 의한 터치 입력을 감지할 수 있다. 예를 들어, 디스플레이(180) 상에 터치 스크린 패널이 배치되는 경우, 터치 스크린 패널은, 터치 입력의 위치 정보, 세기 정보 등을 감지하기 위한 터치 센서(146)를 구비할 수 있다. 터치 센서(146)에서 감지된 센싱 신호는, 단말 제어부(170)로 전달될 수 있다.
[76]
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)에는 디스플레이(180), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.
[77]
디스플레이(180)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
[78]
한편, 전술한 바와 같이, 디스플레이(180)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(180)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
[79]
음향출력 모듈(153)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향출력 모듈(153)은 이동 단말기(100)에서 수행되는 기능, 예를 들어, 호 신호 수신음, 메시지 수신음 등과 관련된 오디오 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
[80]
알람부(155)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다.
[81]
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
[82]
메모리(160)는 단말 제어부(170)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
[83]
인터페이스부(175)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(175)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
[84]
이동 단말기(100)에는 사용자의 지문을 인식하는 지문 인식 센서가 구비될 수 있으며, 단말 제어부(170)는 지문 인식 센서를 통하여 감지되는 지문정보를 인증 수단으로 이용할 수 있다. 상기 지문 인식 센서는 디스플레이(180) 또는 사용자 입력부(130)에 내장될 수 있다.
[85]
단말 제어부(170)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 단말 제어부(170)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 단말 제어부(170) 내에 하드웨어로 구성될 수도 있고, 단말 제어부(170)와 별도로 소프트웨어로 구성될 수도 있다.
[86]
한편, 단말 제어부(170)는, 애플리케이션 구동을 위한 애플리케이션 프로세서(미도시)를 구비할 수 있다. 또는 애플리케이션 프로세서(미도시)는 단말 제어부(170)와 별도로 마련되는 것도 가능하다.
[87]
그리고, 전원 공급부(190)는 단말 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
[88]
전원 공급부(190)는 연결 포트를 구비할 수 있으며, 연결 포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결될 수 있다. 한편, 전원 공급부(190)는 상기 연결 포트를 이용하지 않고 무선 방식으로 배터리를 충전하도록 이루어질 수 있다.
[89]
도 3a 내지 3c는 본 발명의 실시예에 따른 광학 장치를 도시하는 도면이다.
[90]
도면을 참조하면, 도 3a는, 광학 장치의 일 예로서, 광학 장치(310)는 카메라 장치(320)와 별개의 장치로 구성되고, 도 2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(310)는 카메라 장치(320)와 연동되어 동작할 수 있고, 카메라 장치(320)와 연동되지 않고, 광학 장치(310)만 단말 제어부(170)와 연결되어 동작할 수 있다.
[91]
본 발명의 실시예에 따른 광학 장치(310)는, 특정 파장의 출력광을 방출하는 발광부(316), 출력광에 대응하는 수신광을 수신하는 센서(313), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 발광 제어부(317)를 구비할 수 있다.
[92]
특히, 광학 장치(310)는, 광 출력과 관련하여 발광부(316), 발광 제어부(317)를 구비할 수 있고, 광 수신과 관련하여 조리개(미도시), 렌즈(311), 필터(312), 센서(313), 센서 제어부(314)를 구비할 수 있다.
[93]
발광부(316)는 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자(316-1)를 포함할 수 있다. 상기 발광소자(316-1)는 하나 이상으로 구성될 수 있고, 적외선(Infrared ray)을 방출할 수 있다. 상기 발광소자(316-1)는 전기 신호를 광신호로 바꾸어 주는 레이저 다이오드(Laser diode)일 수 있다. 발광소자(316-1)는 발광 제어부(317)의 제어에 따라 펄스(pulse) 형태로 광을 출력할 수 있다.
[94]
발광부(316)는 복수의 발광소자로 이루어진 면 조명 형태일 수도 있고, 복수의 발광소자가 기설정된 패턴을 형성하도록 배치된 패턴 조명 형태일 수도 있다. 면 조명 형태와 패턴 조명 형태가 함께 포함된 형태일 수도 있다.
[95]
패턴 조명은 기설정된 패턴을 형성하도록 광을 투사할 수 있다. 광이 투사된 물체에서 반사되어 돌아오는 광을 감지하고, 상기 감지 결과에 근거하여 영상 중 일부분의 깊이 정보를 추출할 수 있다. 이와 같이, 기설정된 패턴을 형성하도록 배치된 광을 이용하여 깊이 정보를 추출하는 구조광 방식은 일반적인 기술이므로 구체적인 설명은 생략한다.
[96]
발광 제어부(317)는 센서 제어부(314)로부터 센서(313)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 발광소자(316-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다. 여기서, 변화량은 휘도 변화량 또는 광의 세기 변화량을 의미한다.
[97]
예를 들어, 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어할 수 있다. 이에 따라, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 효과가 있다.
[98]
발광 제어부(317)는 센서 제어부(314)가 전송한 물체의 움직임 정보를 수신하고, 이를 바탕으로 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다. 예를 들어, 물체의 움직임 속도가 빠를수록, 출력광 방출 주기가 짧도록 제어하고, 물체의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
[99]
한편, 발광 제어부(317)는 광학 장치(310)의 움직임 정보를 바탕으로, 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다. 예를 들어, 광학 장치(310)를 포함하는 이동 단말기(100)가 자동차, 로봇, 드론 등과 같이 이동하는 차량(vehicle)에 탑재된 경우, 이동 단말기(100)의 움직임 정보를 바탕으로 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다.
[100]
이동 단말기(100)는 위치나 움직임 정보를 감지하는 모션 센서(145)를 포함할 수 있다. 모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 전자 기기의 위치나 움직임 정보를 센싱할 수 있다. 발광 제어부(317)는 이동 단말기(100)의 단말 제어부로(170)부터 이동 단말기(100)의 속도, 가속도, 방향 중 적어도 하나 이상을 포함하는 정보를 수신할 수 있고, 이를 바탕으로 출력광 방출 주기를 가변할 수 있다.
[101]
구체적으로, 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)의 이동 속도가 증가할수록, 출력광의 방출 주기가 짧아지도록 제어할 수 있다. 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)가 특정 속도 이하로 이동하거나 정지한 경우에는, 출력광 방출 주기를 변경하지 않을 수 있다.
[102]
한편, 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도를 복수의 구간으로 구분하고, 각각의 구간에 대하여 동작 모드를 구분할 수 있다. 발광 제어부(317)는 각각의 동작 모드에서 발광소자(316-1)의 출력광 방출 주기를 다르게 설정할 수 있다. 센서 제어부(314)는 각각의 동작 모드에서 센서(313)의 동작이 출력광 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
[103]
구체적으로, 발광 제어부(317)와 센서 제어부(314)는 정지 모드를 기본 모드로 동작하고, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 발생하는 경우, 움직임 속도가 속하는 구간에 따라 동작하는 모드가 변경되도록 제어할 수 있다.
[104]
발광 제어부(317)는, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 없는 경우, 움직임 속도가 제1 구간에 속한다고 판단하고, 제1 모드로 동작할 수 있다. 발광 제어부(317)는 제1 모드에서 제1 방출 주기로 발광소자(316-1)가 광을 출력하도록 제어할 수 있다. 센서 제어부(314)는 센서(313)의 동작이 상기 제1 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
[105]
이후, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 발생하여 움직임 속도가 제2 구간에 속하는 경우, 발광 제어부(317)는 제2 모드로 동작할 수 있다. 발광 제어부(317)는 제2 모드에서 제2 방출 주기로 발광소자(316-1)가 광을 출력하도록 제어할 수 있다. 센서 제어부(314)는 센서(313)의 동작이 상기 제2 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
[106]
상기 제2 방출 주기는 상기 제 1 방출 주기보다 더 짧을 수 있다.
[107]
마찬가지로, 움직임 속도가 더 증가하여, 제3 구간에 속하는 경우, 발광 제어부(317)와 센서 제어부(314)는 제3 모드로 동작할 수 있다. 제3 모드에서의 발광소자(316-1)의 제3 방출 주기는 상기 제2 방출 주기 및 상기 제 1 방출 주기보다 더 짧을 수 있다.
[108]
따라서, 광학 장치(310)를 포함하는 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도에 따라, 발광소자의 출력광 방출 주기와 센서의 동작을 적응적으로 제어할 수 있다.
[109]
한편, 발광 제어부(317)는 센서 제어부(314)가 전송한 물체의 움직임 정보와 이동 단말기(100)의 단말 제어부(170)로부터 수신한 이동 단말기(100)의 움직임 정보를 모두 이용하여 출력광 방출 주기를 변경할 수도 있다.
[110]
이러한 경우, 발광 제어부(317)와 센서 제어부(314)의 동작 구간은, 이동 단말기(100)의 움직임 정보에 따라, 복수 개로 나뉠 수 있다. 또한, 각각의 동작 구간은, 물체의 움직임 속도에 따라 다시 복수 개의 구간으로 세분화될 수 있다.
[111]
발광 제어부(317)는 물체의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있다.
[112]
발광 제어부(317)는 광학 장치가 차량용 블랙박스 등과 같이 다른 형태의 전자 기기에 포함되는 경우에도 동일하게 출력광 방출 주기를 제어할 수 있다.
[113]
이에 따라, 광학 장치 또는 물체의 움직임 발생에 따라, 광학 장치의 출력광의 방출 주기를 적응적으로 조절할 수 있는 효과가 있다.
[114]
한편, 광학 장치(310)를 포함하는 전자 기기가 CCTV 등과 같은 고정형 장치이거나, 고정된 상태인 경우에는, 발광 제어부(317)는 물체의 움직임 속도만 고려하여 발광 소자의 출력광 방출 주기를 가변하도록 제어할 수 있다.
[115]
발광 제어부(317)와 센서 제어부(314)의 동작 모드는, 사용자의 입력에 따라 설정될 수 있다. 사용자의 입력에 따라, 복수의 모드로 동작할 수도 있고, 하나의 모드로 고정되어 동작할 수도 있다.
[116]
또한, 발광 제어부(317)는 발광소자(316-1)의 출력광 방출 주기 정보를 센서 제어부(314)와 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
[117]
조리개(미도시)는 렌즈(311)로 입사되는 광을 개폐할 수 있다.
[118]
렌즈(311)는 조리개를 거쳐 입사하는 광을 센서(313)로 집광한다.
[119]
필터(312)는 수신광 중 특정 파장의 광만 센서(313)로 통과시킬 수 있다. 상기 특정 파장의 광은 적외선일 수 있다. 따라서 상기 필터(312)는 적외선을 투과하는 대역 통과 필터(band pass filter)일 수 있다.
[120]
센서(313)는, 상기 출력광에 대응하는 수신광 중 필터(312)를 통과한 특정 파장의 수신광을 검출할 수 있다. 상기 센서(313)는 픽셀 기반의 데이터를 센싱하는 비동기 방식의 센서(asynchronous sensor)일 수 있다.
[121]
센서(313)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 이벤트 신호로서, 수신광의 변화량의 크기가 클수록, 센서(313)를 통해 제1 신호가 연속적으로 출력될 수 있다.
[122]
한편, 센서(313)는, 특정 픽셀에 입사되는 수신광의 크기만 출력할 수 있다. 이 경우, 센서 제어부(314)는 센서(313)에서 출력하는 값의 변화량을 파악하고, 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호가 발생한 것으로 판단할 수 있다.
[123]
이하에서는, 편의상 센서(313)에서 제1 신호를 출력하는 것으로 설명한다.
[124]
센서 제어부(314)는 센서(313)에서 출력하는 제1 신호 정보를 상기 발광 제어부(317)로 전송할 수 있다. 또한, 발광 제어부(310)로부터 발광소자(316-1)의 출력광 방출 주기 정보를 수신하고, 센서(313)가 상기 발광소자(316-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(313)의 동작을 제어할 수 있다.
[125]
센서 제어부(314)는, 센서(313)의 동작 구간이 상기 발광소자(316-1)의 온(ON) 구간을 포함하도록 센서(313)를 제어할 수 있다. 상기 동작 구간의 길이는, 센서(313)에 형성된 포토다이오드의 성능 등에 의해 결정될 수 있다.
[126]
따라서 비동기 방식의 센서(313)의 동작 또는 센싱 타이밍을 발광소자(316-1)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
[127]
센서 제어부(314)는 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다. 상기 제1 신호를 이용하여 물체의 움직임을 감지할 수 있다.
[128]
구체적으로, 센서 제어부(314)는, 상기 발광소자의 온(ON) 구간 동안 상기 센서(313)가 출력하는 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고 추적한다. 상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적할 수 있다. 각각의 픽셀에서 얻어진 상기 제1 신호를 바탕으로 움직임 정보를 생성할 수 있다.
[129]
센서 제어부(314)는 이러한 움직임 정보를 발광 제어부(317)와 이동 단말기(100)의 단말 제어부(170)로 전송할 수 있다.
[130]
광학 장치(310)는 카메라 장치(320)와 인접하여 배치될 수 있다. 광학 장치(310)에서 획득한 움직임 정보와 카메라 장치(320)에서 획득한 RGB 이미지는 이동 단말기(100)의 단말 제어부(170)에서 합성되어, 새로운 이미지를 생성할 수 있다. 광학 장치(310)는 카메라 장치(320)와 연동되어 동작할 수 있고, 카메라 장치(320)와 연동되지 않고, 광학 장치(310)만 단말 제어부(170)와 연결되어 동작할 수 있다.
[131]
카메라 장치(320)는, 조리개(미도시), 렌즈(321), 이미지 센서(322), 카메라 제어부(323)를 구비할 수 있다.
[132]
조리개(미도시)는, 렌즈(321)로 입사되는 광을 개폐할 수 있다.
[133]
렌즈(321)는 조리개를 거쳐 입사하는 광을 이미지 센서(322)로 집광한다.
[134]
이미지 센서(322)는 렌즈(321)를 통해 들어온 광을 센싱한다.
[135]
이미지 센서(322)는, RGB 색상을 센싱하기 위해, RGB 필터(미도시)와, 광 신호를 전기 신호로 변환하는 센서 어레이(미도시)를 구비할 수 있다. 상기 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Mental-Oxide Semiconductor)의 형태로 구현될 수 있다.
[136]
이미지 센서(322)는 프레임 기반 센서일 수 있고, 모든 픽셀에서 프레임 단위의 정보를 획득한다. 이에 따라, 이미지 센서(820)는, 각각 RGB 이미지를 센싱하여, 출력할 수 있다.
[137]
카메라 제어부(323)는 이미지 센서(322)가 센싱한 신호를 바탕으로 RGB 이미지를 저장하도록 제어하며, 주변 환경에 따라 카메라의 노출을 제어한다.
[138]
즉, 카메라 제어부(323)는 적절한 노출의 이미지를 얻기 위하여, 조리개 값과 센서의 노출 시간(센싱 시간)을 제어할 수 있다. 이러한 조리개 값 설정과 노출 시간의 설정은 카메라 제어부(323)에 의해 자동으로 제어될 수도 있고, 사용자의 수동 입력에 따라 설정될 수도 있다. 이러한 카메라의 노출 제어는 일반적인 기술이므로 구체적인 설명은 생략한다.
[139]
카메라 제어부(323)는 이동 단말기(100)의 단말 제어부(170)로부터 발광소자(316-1)의 출력광 방출 주기 정보를 수신할 수 있다. 카메라 장치(320)는 광학 장치(310)와 연동하여 동작할 수 있다. 광학 장치(310)와 연동하여 동작하는 경우, 상기 출력광 방출 주기에 맞춰 카메라 장치(320)가 RGB 이미지를 획득할 수 있다.
[140]
카메라 제어부(323)는, 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득이 복수 회 이루어지도록 할 수 있다.
[141]
카메라 제어부(323)는 RGB 이미지 획득 주기 또는 RGB 이미지 획득 횟수를 제어할 수 있다.
[142]
예를 들어, 출력광 방출 주기가 짧아지는 경우, 카메라 제어부(323)는 이에 비례하여 RGB 이미지 획득 주기를 짧아지도록 제어할 수 있고, 출력광 방출 주기가 길어지는 경우, 이에 비례하여 RGB 이미지 획득 주기가 길어지도록 제어할 수 있다. 따라서, 물체의 움직임 정보에 동기화된 이미지를 얻을 수 있는 효과가 있다.
[143]
또는 다른 일 예로, 출력광 방출 주기가 짧아지는 경우, 카메라 제어부(323)는, 상기 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득 횟수가 감소되도록 제어할 수 있고, 출력광 방출 주기가 길어지는 경우, 상기 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득 횟수가 증가되도록 제어할 수 있다. 따라서, 카메라 장치(320)의 이미지 획득 속도가 고정된 상태에서도, 광학 장치(310)와 카메라 장치(320)의 동작을 연동할 수 있는 효과가 있다.
[144]
카메라 제어부(323)는 획득한 RGB 이미지를 이동 단말기(100)의 단말 제어부(170)로 송신할 수 있다. 단말 제어부(170)는 송신된 RGB 이미지와 광학 장치(310)에서 획득한 움직임 정보와 합성를 합성하여, 합성된 새로운 이미지를 생성할 수 있다.
[145]
이동 단말기(100)의 단말 제어부(170)는 상기 발광 제어부(317)로부터 출력광 방출 주기 정보를 수신하고, 상기 센서 제어부(314)로부터 움직임 정보를 수신하며, 상기 카메라 제어부(323)로부터 RGB 이미지를 수신할 수 있다.
[146]
단말 제어부(170)는 움직임 정보와 RGB 이미지를 합성하여, 새로운 이미지를 생성할 수 있다. 생성된 새로운 이미지는 이동 단말기(100)의 메모리(160)에 저장될 수 있고, 필요에 따라 디스플레이(180)를 통해 출력될 수 있다.
[147]
광학 장치(310)가 카메라 장치(320)와 연동되지 않는 경우, 단말 제어부(170)는 센서 제어부(314)로부터 수신한 움직임 정보를 디스플레이(180)를 통해 출력할 수 있다.
[148]
카메라 장치(320)와 광학 장치(310)의 동작 여부 또는 연동 여부는 사용자 입력부(130)를 통해 입력받을 수 있고, 단말 제어부(170)는 입력된 동작 여부 또는 연동 여부에 따라, 카메라 장치(320)와 광학 장치(310)의 온, 오프, 연동을 제어할 수 있다.
[149]
도면을 참조하면, 도 3b는, 광학 장치의 다른 일 예로서, 광학장치(340)는 카메라 장치(350)와 별개의 장치로 구성되고, 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(340)는 카메라 장치(350)와 연동되어 동작할 수 있고, 카메라 장치(350)와 연동되지 않고, 광학 장치(340)만 단말 제어부(170)와 연결되어 동작할 수 있다.
[150]
본 실시예에 따른 광학 장치(340)는, 특정 파장의 출력광을 방출하는 발광부(346), 출력광에 대응하는 수신광을 수신하는 센서(343), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부(347)를 구비할 수 있다.
[151]
도 3a의 광학 장치의 예와 비교하여, 제어부(347)가 센서 제어부(314)와 발광 제어부(317)의 동작을 모두 수행한다는 점에서만 차이가 있다. 따라서 도 3b의 제어부(347)를 제외한 다른 구성요소 모두는 상기 기재한 도3a의 구성요소들과 그 동작이 동일하며, 상기 기재한 도3a의 구성요소들의 동작을 모두 포함한다.
[152]
이하에서는, 제어부(347)의 동작에 대해서만 설명한다.
[153]
제어부는(347)는 센서(343)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 발광소자(346-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다.
[154]
제어부(347)는 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다. 센서(343)에서 출력한 제1 신호를 이용하여 물체의 움직임을 감지할 수 있다.
[155]
구체적으로 상기 발광소자의 온(ON) 구간 동안 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고 추적하며, 상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적할 수 있다. 각각의 픽셀에서 얻어진 상기 제1 신호를 바탕으로 움직임 정보를 생성할 수 있다.
[156]
제어부(347)는 센서(343)가 상기 발광소자(346-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(343)의 동작을 제어할 수 있다.
[157]
제어부(347)는, 센서(343)의 동작 구간이 상기 발광소자(346-1)의 온(ON) 구간을 포함하도록 센서(343)를 제어할 수 있다. 상기 동작 구간의 길이는, 센서(343)에 형성된 포토다이오드의 성능 등에 의해 결정될 수 있다.
[158]
따라서 비동기 방식의 센서(343)의 동작 또는 센싱 타이밍을 발광소자(346-1)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
[159]
또한, 제어부(347)는 물체의 움직임 정보 또는 광학 장치(340)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로 발광소자(346-1)의 출력광 방출 주기를 가변할 수 있다.
[160]
예를 들어, 제어부(347)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
[161]
제어부(347)는 움직임 정보와, 발광소자(346-1)의 출력광 방출 주기 정보를 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
[162]
도면을 참조하면, 도 3c는, 광학 장치의 또 다른 일 예로서, 광학 장치(370)는 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 도 3a의 광학 장치의 예와 비교하여, 제어부(377)가 센서 제어부(314)와 발광 제어부(317)의 동작을 모두 수행한다는 점에서 차이가 있다. 또한, 본 실시예의 센서(373)는 적외선을 수광하는 IR 셀을 추가로 구비할 수 있다는 점에서 차이가 있다.
[163]
본 실시예에 따른 광학 장치(370)는, 특정 파장의 출력광을 방출하는 발광부(376), 출력광에 대응하는 수신광을 수신하는 센서(373), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부(377)를 구비할 수 있다.
[164]
따라서 도 3b의 제어부(377) 및 센서(373)를 제외한 다른 구성요소 모두는 상기 기재한 도3a의 구성요소들과 그 동작이 동일하며, 상기 기재한 도3a의 구성요소들의 동작을 모두 포함한다.
[165]
센서(373)는 픽셀 기반의 데이터를 센싱하는 비동기 방식의 센서(asynchronous sensor)일 수 있다.
[166]
제어부(377)는 센서(373)가 상기 발광소자(376-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(373)의 동작을 제어할 수 있다. 또한, 제어부(377)는 상기 발광소자(376-1)의 오프(OFF) 구간에서도 센서(373)가 동작하도록 제어할 수 있다.
[167]
제어부(377)는 상기 발광소자(376-1)의 온(ON) 구간에서 얻은 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다.
[168]
제어부(377)는 상기 발광소자(376-1)의 오프(OFF) 구간에서 얻은 데이터를 바탕으로 영상 정보를 생성할 수 있다. 따라서 상기 오프(OFF) 구간에서 얻은 데이터는 그레이 값을 포함하는 영상 정보일 수 있고, 상기 온(ON) 구간에서 얻은 데이터와는 다른 값일 수 있다.
[169]
한편, 상기 센서(373)는 일반적인 프레임 기반 센서에서 하나의 픽셀 내에 R, G, B 셀 및 IR 셀을 추가로 포함하는 형태일 수 있다. 따라서, 각각의 셀에는 Red, Green, Blue, IR 광을 투과하는 필터(372)가 포함될 수 있다.
[170]
이 경우, 센서(373)는 상기 기재한 비동기 방식으로 동작하는 것이 아니라, 각 프레임마다 모든 픽셀에 대해서 데이터를 획득한다. 이러한 경우, 발광소자(376-1)에서 발광한 적외선 출력광에 대응하는 수신광은 IR 셀에서 수신할 수 있다.
[171]
제어부(377)는 IR셀에서 센싱한 값을 이전 프레임에서 센싱한 값과 비교하여 수신광의 변화량을 도출할 수 있다. 도출된 수신광의 변화량을 제3 설정값으로 나누어 제1 신호의 횟수를 추출한다. 추출된 제1 신호는 상기 다른 예의 제1 신호와 같이 이벤트 신호로서, 물체의 움직임 발생 및 움직임 속도 등을 연산하는데 사용될 수 있다.
[172]
제어부는(377)는 수신광의 변화량에 따라, 발광소자(376-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다. 출력광 방출 강도 제어는 상기 도 3a의 실시예에 따른 강도 제어와 동일하므로, 구체적인 설명은 생략한다.
[173]
또한, 제어부(377)는 물체의 움직임 정보 또는 광학 장치(370)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로 발광소자(376-1)의 출력광 방출 주기를 가변할 수 있다.
[174]
예를 들어, 제어부(377)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
[175]
이하 도 4 내지 도 8에서는, 편의상 도 3b에 기재된 실시 예에 따른 광학 장치(340) 및 카메라 장치(350)의 구조를 바탕으로 설명한다.
[176]
도 4는 도 3a 내지 3c의 광학 장치에 포함된 센서에서 신호를 검출하는 원리를 설명하는 도면이다.
[177]
도 4의 상단의 그래프(410)는 시간에 따라 이벤트 기반 센서에 입사하는 광량의 변화를 나타내는 그래프이다. 가로축은 시간을, 세로축은 광량의 변화를 나타낸다.
[178]
도 4의 하단의 그래프(420)는 이벤트 기반 센서에 입사하는 광량의 변화에 따라 이벤트 기반 센서에 이벤트(event) 신호를 출력하는 것을 나타내는 그래프이다.
[179]
입사하는 광량이 증가하는 구간(411)에서는, 광의 변화량(증가량)이 설정값 Θev(415) 이상이 될 때마다, 센서에서는 이벤트 신호(421)가 발생한다. 또한, 입사하는 광량이 감소하는 구간(412)에서는, 광의 변화량(감소량)이 설정값 Θev(415) 이상이 될 때마다, 센서에서는 이벤트 신호(422)가 발생한다. 따라서, 센서의 수신광의 변화랑이 클수록 발생하는 이벤트 신호의 개수가 비례하여 증가한다.
[180]
비동기 방식 센서는 이벤트 기반 센서의 하나로, 센서로 입사되는 광을 수광하고, 수신광의 변화량, 즉 이벤트(event)를 감지하여 물체 감지, 감지된 물체의 움직임 추적 등과 같은 다양한 데이터를 획득할 수 있다. 따라서, 프레임 기반 센서와 다르게 모든 픽셀이 아니라, 픽셀에 변화가 발생할 때마다, 또는 변화된 픽셀에 대한 정보를 획득할 수 있다.
[181]
따라서, 비동기 방식 센서를 활용하면, 저용량, 저전력, 데이터의 고속 처리가 가능하다. 프레임 기반 센서는 화면 전체에 대해, 프레임 단위로 데이터를 업데이트하는 것에 비하여, 비동기 방식 센서는 픽셀에 변화가 발생할 때마다, 또는 변화된 픽셀에 대해서만 데이터를 업데이트하기 때문이다. 따라서 빠른 속도로 움직이는 물체의 촬영시에 효과적이다.
[182]
상기 도 3a 내지 3b의 광학 장치에 포함된 센서는 이러한 비동기 방식 센서로 구현될 수 있다.
[183]
도 5a 내지 5b는 본 발명의 실시예에 따른 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
[184]
도 5a는 광학 장치(340)의 발광부(346)의 출력광 발광 주기를 나타낸 도면이다.
[185]
출력광 발광 주기는 발광소자(346-1) 온(ON) 구간(520), 턴-온 구간(511), 턴-오프 구간(512), 발광소자(346-1) 오프(OFF) 구간(530)으로 구성될 수 있다. 따라서 출력광은 펄스 형태의 광으로 출력될 수 있다.
[186]
발광소자(346-1) 온(ON) 구간(520)에서는, 발광소자(346-1)에서 일정한 세기의 출력광을 출력한다. 외부 물체의 움직임 있는 경우, 출력광에 대응하는 수신광의 변화가 발생할 수 있다. 센서(343)에서는 수신광의 변화량을 감지하고 제1 신호를 출력하며, 제어부(347)에서 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적한다.
[187]
센서(343)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 이벤트 신호로서, 수신광의 변화량의 크기가 클수록, 센서(343)를 통해 제1 신호가 연속적으로 출력될 수 있다.
[188]
예를 들어, 제3 설정값이 10이고, 제1 픽셀에 입사되는 수신광의 세기가 0에서 25까지 변화하며, 제2 픽셀에 입사되는 수신광의 세기가 0에서 73까지 변화하는 경우, 센서(343)의 상기 제1 픽셀에서는 2회의 제1 신호가 출력되며, 상기 제2 픽셀에서는 7회의 제1 신호가 출력된다.
[189]
따라서, 제1 신호의 출력 횟수를 카운팅하면 특정 영역에서의 수신광의 변화 정도를 파악할 수 있고, 이를 바탕으로 물체의 움직임 발생 및 움직임 속도 등을 연산할 수 있다.
[190]
발광소자(346-1) 오프(OFF) 구간(530)에서는, 발광소자(346-1)에서는 출력광을 방출하지 않는다. 이 경우, 센서(343)는 동작하도록 제어될 수도 있고, 동작하지 않도록 제어될 수도 있다.
[191]
턴-온 구간(511)과 턴-오프 구간(512)은 각각 발광부(346)의 발광소자(346-1)가 켜지는 구간과 꺼지는 구간이다.
[192]
턴-온 구간(511)에서는 발광소자(346-1)의 출력광의 세기가 증가하며, 이에 따라 센서(343)에서 제1 신호가 출력된다. 턴-오프 구간(512)에서는 발광소자(346-1)의 출력광의 세기가 감소하며, 이에 따라 센서(343)에서 제1 신호가 출력된다.
[193]
턴-온 구간(511)과 턴-오프 구간(512)에서 출력되는 제1 신호는, 물체의 움직임 감지와 추적에 사용되지 않는다. 턴-온 구간(511)과 턴-오프 구간(512)에서 출력되는 제1 신호는 발광소자(346-1)의 출력광의 세기가 변화하면서 출력되는 신호이기 때문이다. 따라서, 턴-온 구간(511)과 턴-오프 구간(512)은 발광소자(346-1)의 출력광 강도 제어에만 활용될 수 있다.
[194]
도 5b는 광학 장치(340)의 발광부(346)의 출력광 발광 주기 중 턴-온 구간(531)과 턴-오프 구간(532)을 확대하여 나타낸 도면이다.
[195]
턴-온 구간(531)에서는 발광소자(346-1)의 출력광의 세기가 증가한다. 센서(343)에서는 출력광에 대응하는 수신광을 수신하고, 제1 신호(541)를 출력한다. 턴-오프 구간(532)에서는 발광소자(346-1)의 출력광의 세기가 감소한다. 센서(343)에서는 출력광에 대응하는 수신광을 수신하고, 제1 신호(541)를 출력한다.
[196]
출력광의 세기가 클수록, 출력광에 대응하는 수신광의 변화량도 커진다. 따라서, 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수는 증가한다. 출력광의 세기가 작을수록, 출력광에 대응하는 수신광의 변화량도 작아진다. 따라서, 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수는 감소한다.
[197]
즉, 제어부(347)는 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수에 따라 출력광의 세기를 제어할 수 있다.
[198]
도 6a 내지 6b는 본 발명의 실시예에 따른 광학 장치에서 수신광에 따라 출력광을 제어하는 예시에 관한 도면이다.
[199]
도 6a는, 외부 광원이 존재하고, 외부 광원에 의한 광량이 큰 경우를 예시한다. 낮과 같이 태양에 의한 광이 큰 경우이거나, 밝은 광원이 있는 실내의 경우가 본 예시에 해당될 수 있다. 모든 그래프는 가로축이 시간 축이고, 세로축이 휘도 또는 광 세기 축이다. 본 설명에서 광은 모두 적외선 광으로 가정한다.
[200]
첫번째 그래프(600)는, 외부 광원의 존재에 의한 광량을 나타낸 것이다. 시간에 따라 광량이 큰 상태이다.
[201]
두번째 그래프(610)는, 발광소자(346-1)에 의해 출력되는 출력광을 나타낸 것으로 펄스 형태의 광이 출력된다.
[202]
세번째 그래프(620)는, 출력광의 출력에 따라 센서(343)에 입사되는 수신광의 세기를 나타낸 것이다. 수신광은, 외부 광원이 방출한 광이 물체에 반사된 광과, 출력광이 물체에 반사된 광이 합쳐진 형태로 나타난다.
[203]
이 경우, 턴-온 구간(631, 633)과 턴-오프 구간(632, 634)에서의 수신광의 변화량은 출력광의 변화량보다 작을 수 있다.
[204]
제어부(347)는, 발광소자(346-1)의 턴-온 구간(631, 633) 또는 턴-오프 구간(632, 634) 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값(N1) 이상인 경우 출력광 방출 강도를 감소시키고, 제2 설정값(N2) 이하인 경우 출력광 방출 강도를 증가시킬 수 있다.
[205]
제어부(347)는, 턴-온 구간(631, 633) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간(632, 634) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
[206]
본 예에서, N1이 5이고, N2는 8이다. 제어부(347)는 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어한다.
[207]
네번째 그래프(630) 나타난 바와 같이, 제어부(347)는 턴-온 구간(631, 633)에 제1 신호를 2회 카운팅하고, 턴-오프 구간(632, 634)에 제1 신호를 2회 카운팅한다. 제1 신호의 발생 횟수의 합은 4이고, 제1 설정값(N1) 보다 작다.
[208]
다섯번째 그래프(640)에 나타난 바와 같이, 제어부(347)는, 다음 출력광 방출 주기에서, 발광소자(346-1)의 출력광 방출 강도를 현재 방출 주기의 방출 강도보다 더 큰 강도가 되도록 제어할 수 있다.
[209]
이러한 상황은, 주변광이 존재하고, 발광소자(346-1)의 출력광 방출 강도가 작은 상태이다. 이에 따라, 제어부는(347)는 물체 움직임 감지 및 추적을 위해, 출력광 방출 강도를 적절하게 제어할 수 있다.
[210]
도 6b는, 외부 광원이 존재하지 않거나, 외부 광원에 의한 광량이 작은 경우를 예시한다. 주변에 광원이 없는 밤, 또는 어두운 실내의 경우가 본 예시에 해당될 수 있다.
[211]
첫번째 그래프(650)에 나타난 바와 같이, 외부 광원의 존재에 의한 광량이 매우 작은 상태이다.
[212]
두번째 그래프(660)에 나타낸 바와 같이, 발광소자(346-1)에 의해 펄스 형태의 광이 출력된다.
[213]
세번째 그래프(670)에 나타낸 바와 같이, 센서(343)에 입사되는 수신광은, 외부 광원이 방출한 광이 물체에 반사된 광과, 출력광이 물체에 반사된 광이 합쳐진 형태로 나타난다.
[214]
이 경우, 턴-온 구간(671, 673)과 턴-오프 구간(672, 674)에서의 수신광의 변화량은 출력광의 변화량과 차이가 작을 수 있다.
[215]
제어부(347)는, 발광소자(346-1)의 턴-온 구간(671, 673) 또는 턴-오프 구간(672, 674) 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값(N1) 이상인 경우 출력광 방출 강도를 감소시키고, 제2 설정값(N2) 이하인 경우 출력광 방출 강도를 증가시킬 수 있다.
[216]
제어부(347)는, 턴-온 구간(671, 673) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간(672, 674) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
[217]
본 예에서, N1이 5이고, N2는 8이다. 제어부(347)는 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어한다.
[218]
네번째 그래프(680)에 나타난 바와 같이, 제어부(347)는 턴-온 구간(671, 673)에 제1 신호를 5회 카운팅하고, 턴-오프 구간(672, 674)에 제1 신호를 5회 카운팅한다. 제1 신호의 발생 횟수의 합은 10이고, 제2 설정값(N2) 보다 크다.
[219]
다섯번째 그래프(690)에 나타난 바와 같이, 제어부(347)는, 다음 출력광 방출 주기에서, 발광소자(346-1)의 출력광 방출 강도를 현재 방출 주기의 방출 강도보다 더 작은 강도가 되도록 제어할 수 있다.
[220]
이러한 상황은, 주변광이 거의 없고, 발광소자(346-1)의 출력광 방출 강도가 필요 이상으로 큰 상태이다. 이에 따라, 제어부는(347)는 물체 움직임 감지 및 추적을 위해, 출력광 방출 강도를 적절하게 제어할 수 있다.
[221]
도 7a 내지 7c는 본 발명의 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
[222]
도 7a는, 발광소자(346-1)의 턴-온 구간 및 턴-오프 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
[223]
제어부(347)는 수신광 변화에 따라 센서(343)가 출력한 제1 신호의 발생 횟수를 감지한다(S711). 발생 횟수를 제1 설정값(N1) 및 제2 설정값(N2)과 비교한다(S712).
[224]
제1 설정값(N1) 이하인 경우, 제어부(347)는 턴-온 구간 및 턴-오프 구간의 수신광의 변화량이 작다고 판단하며, 다음 주기에서 출력광 방출 강도가 일정 값 증가하도록 제어한다(S713).
[225]
제2 설정값(N2) 이상인 경우, 제어부(347)는 턴-온 구간 및 턴-오프 구간의 수신광의 변화량이 크다고 판단하며, 다음 주기에서 출력광 방출 강도가 일정 값 감소하도록 제어한다(S714).
[226]
도 7b는, 발광소자(346-1)의 오프(OFF) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
[227]
제어부(347)는 발광소자(346-1)의 오프(OFF) 구간에서 센서(343)의 동작을 OFF 시킨다(S721).
[228]
제어부(347)는 오프(OFF) 구간 동안, 동일 주기의 발광소자(346-1)의 온(ON) 구간에서 카운팅한 제1 신호를 이용하여, 물체의 움직임 감지 및 추적과 관련한 연산을 수행한다(S722).
[229]
도 7c는, 발광소자(346-1)의 온(ON) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
[230]
제어부(347)는 출력광에 대응하는 수신광의 변화량에 따라 생성되는 제1 신호가 발생되는지 여부를 판단한다(S731).
[231]
제어부(347)는 제1 신호가 발생되는 경우 물체의 움직임을 추적한다(S732).
[232]
도 8a 내지 8c는 본 발명의 다른 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
[233]
도 8a는, 발광소자(346-1)의 턴-온 구간 및 턴-오프 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다. 앞서 기재한 도 7a의 제어부(347)의 동작과 동일하므로, 구체적인 설명은 생략한다.
[234]
도 8b는, 발광소자(346-1)의 오프(OFF) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
[235]
제어부(347)는 발광소자(346-1)의 오프(OFF) 구간에서도, 온(ON) 구간과 같이, 센서(343)를 동작시킨다. 제어부(347)는 수신광 변화에 따라 생성되는 제1 신호가 발생하는지 여부를 판단한다(S821).
[236]
제어부(347)는, 제1 신호가 생성되는 경우, 외부 광원에 의한 노이즈로 판단하며, 노이즈 정보를 저장부(미도시)에 저장한다(S822).
[237]
도 8c는, 발광소자(346-1)의 온(ON) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
[238]
제어부(347)는 이전 주기의 발광소자(346-1)의 오프(OFF) 구간에서 저장한 노이즈 정보를 현재 주기의 수신광 정보에서 필터링 처리한다(S831). 필터링 처리의 일 예로, 제어부(347)는 수신광 정보에서 노이즈 정보를 감산할 수 있다.
[239]
제어부(347)는 노이즈가 필터링 처리된 정보를 확인하고, 수신광 변화에 따라 생성되는 제1 신호의 발생 여부를 판단한다(S832).
[240]
제어부(347)는 제1 신호가 생성되는 경우 물체의 움직임을 추적한다(S833).
[241]
도 9는 본 발명의 다른 실시예에 따른 광학 장치를 도시하는 도면이다.
[242]
본 발명의 다른 실시예에 따른 광학 장치(910)는, 카메라 장치(920)와 별개의 장치로 구성되고, 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(910)는 카메라 장치(920)와 연동되어 동작할 수 있고, 카메라 장치(920)와 연동되지 않고, 광학 장치(910)만 단말 제어부(170)와 연결되어 동작할 수 있다.
[243]
광학 장치(910)는, 광 출력과 관련하여 발광부(916), 발광 제어부(917)를 구비할 수 있고, 광 수신과 관련하여 조리개(미도시), 렌즈(911), 필터(912), 센서(913)를 구비할 수 있고, 제어부(917)를 구비할 수 있다.
[244]
본 실시예의 발광부(916)는 특정 파장의 출력광을 방출하는 복수의 발광소자를 포함할 수 있다. 도 9에서는 발광소자가 제1 발광소자(916-1) 및 제2 발광소자(916-2)를 포함하는 것을 도시한다.
[245]
발광부(316)는 복수의 발광소자로 이루어진 면 조명 형태일 수도 있고, 복수의 발광소자가 기설정된 패턴을 형성하도록 배치된 패턴 조명 형태일 수도 있다. 면 조명 형태와 패턴 조명 형태가 함께 포함된 형태일 수도 있다.
[246]
패턴 조명은 기설정된 패턴을 형성하도록 광을 투사할 수 있다. 광이 투사된 물체에서 반사되어 돌아오는 광을 감지하고, 상기 감지 결과에 근거하여 영상 중 일부분의 깊이 정보를 추출할 수 있다.
[247]
상기 제1 및 제2 발광소자(916-1, 916-2)는 적외선(Infrared ray)을 방출할 수 있다. 상기 제1 및 제2 발광소자(916-1, 916-2)는 전기 신호를 광신호로 바꾸어 주는 레이저 다이오드(Laser diode)일 수 있다. 제1 및 제2 발광소자(916-1, 916-2)제어부(917)의 제어에 따라 펄스(pulse) 형태로 광을 출력할 수 있다.
[248]
제어부(917)는 제1 발광소자(916-1)와 제2 발광소자(916-2)가 발광 주기 내에서 교대로 ON 되거나 OFF 되도록 제어할 수 있다.
[249]
출력광 발광 주기는 제1 구간(1011)과 제2 구간(1012)로 구성될 수 있다.
[250]
제1 발광소자(916-1)는, 상기 발광 주기의 제1 구간(1011) 동안 온(ON) 되고, 제2 구간(1012) 동안 오프(OFF) 되며, 상기 제1 구간(1011) 동안 지속광 형태의 제1 출력광을 출력할 수 있다.
[251]
제어부는(917)는 센서(913)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다.
[252]
제어부(917)는 상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출할 수 있고, 상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출할 수 있다.
[253]
제어부(917)는 센서(913)가 상기 제1 및 제2 발광소자(916-1, 916-2)의 온(ON) 구간에 동기화되어 활성화되도록 센서(913)의 동작을 제어할 수 있다. 따라서 비동기 방식의 센서(913)의 동작 또는 센싱 타이밍을 제1 및 제2 발광소자(916-1, 916-2)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
[254]
또한, 제어부(917)는, 물체의 움직임 정보 또는 광학 장치(910)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기를 가변할 수 있다.
[255]
예를 들어, 제어부(917)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
[256]
제어부(917)는 물체의 움직임 정보와, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기 정보를 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
[257]
조리개(미도시), 렌즈(911), 필터(912), 센서(913) 및 카메라 장치(920)는 앞서 설명한 도 3b에 기재된 광학 장치 및 카메라 장치의 구성 및 동작과 동일하므로, 상기 기재한 도3b의 상기 구성요소들의 동작을 모두 포함한다. 해당 구성 및 동작과 관련한 구체적인 설명은 생략한다.
[258]
이동 단말기(100)의 단말 제어부(170)는 제어부(917)로부터 출력광 방출 주기 정보를 수신하고, 상기 센서 제어부(914)로부터 물체의 움직임 정보를 수신하며, 상기 카메라 제어부(923)로부터 RGB 이미지를 수신할 수 있다.
[259]
단말 제어부(170)는 움직임 정보와 RGB 이미지를 합성하여, 새로운 이미지를 생성할 수 있다. 생성된 새로운 이미지는 이동 단말기(100)의 메모리(160)에 저장될 수 있고, 필요에 따라 디스플레이(180)를 통해 출력될 수 있다. 광학 장치(910)가 카메라 장치(920)와 연동되지 않는 경우, 단말 제어부(170)는 제어부(914)로부터 수신한 움직임 정보를 디스플레이(180)를 통해 출력할 수 있다.
[260]
카메라 장치(920)와 광학 장치(910)의 동작 여부 또는 연동 여부는 사용자 입력부(130)를 통해 입력받을 수 있고, 단말 제어부(170)는 입력된 동작 여부 또는 연동 여부에 따라, 카메라 장치(920)와 광학 장치(910)의 온, 오프, 연동을 제어할 수 있다.
[261]
도 10a 내지 10c는 도 9의 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
[262]
도 10a는 도 9의 광학 장치(910)의 발광부(916)의 출력광 발광 주기를 나타낸 도면이다.
[263]
출력광 발광 주기는 제1 구간(1011)과 제2 구간(1012)로 구성될 수 있다.
[264]
제1 발광소자(916-1)는, 상기 발광 주기의 제1 구간(1011) 동안 온(ON) 되고, 제2 구간(1012) 동안 오프(OFF) 되며, 상기 제1 구간(1011) 동안 지속광 형태의 제1 출력광을 출력할 수 있다.
[265]
제2 발광소자(916-2)는 상기 제1 구간(1011) 동안 오프(OFF) 되고, 상기 제2 구간(1012) 동안 반복적으로 온(ON) 또는 오프(OFF) 되면서 펄스 형태의 제2 출력광을 출력할 수 있다.
[266]
제2 구간(1012)은, 제2 발광소자(916-2) 온(ON) 구간, 턴-온 구간, 턴-오프 구간, 제2 발광소자(916-2) 오프(OFF) 구간으로 구성될 수 있다.
[267]
제2 발광소자(916-2) 온(ON) 구간에서는, 발광소자(916-2)에서 일정한 세기의 출력광을 출력한다. 외부 물체의 움직임 있는 경우, 출력광에 대응하는 수신광의 변화가 발생할 수 있다. 센서(913)에서는 수신광의 변화량을 감지하고, 제어부(917)에서 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적한다.
[268]
센서(913)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 수신광의 변화량의 크기가 클수록, 센서(913)를 통해 제1 신호가 연속적으로 출력될 수 있다.
[269]
한편, 센서(913)는, 특정 픽셀에 입사되는 수신광의 크기만 출력할 수 있다. 이 경우, 제어부(917)는 센서(913)에서 출력하는 값의 변화량을 파악하고, 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호가 발생한 것으로 판단할 수 있다.
[270]
제1 신호의 출력 횟수를 카운팅하면 특정 영역에서의 수신광의 변화 정도를 파악할 수 있고, 이를 바탕으로 물체의 움직임 발생 및 움직임 속도 등을 연산할 수 있다.
[271]
제2 발광소자(916-2) 오프(OFF) 구간에서는, 제2 발광소자(916-2)에서는 출력광을 방출하지 않는다.
[272]
턴-온 구간과 턴-오프 구간은 각각 제2 발광소자(916-2)가 켜지는 구간과 꺼지는 구간이다.
[273]
턴-온 구간에서는 제2 발광소자(916-2)의 출력광의 세기가 증가하며, 이에 따라 센서(913)에서 제1 신호를 출력한다. 턴-오프 구간에서는 제2 발광소자(916-2)의 출력광의 세기가 감소하며, 이에 따라 센서(913)에서 제1 신호를 출력한다.
[274]
턴-온 구간과 턴-오프 구간에서 출력되는 제1 신호는, 물체의 움직임 감지와 추적에 사용되지 않는다. 따라서, 턴-온 구간과 턴-오프 구간은 제1 및 제2 발광소자(916-1, 916-2)의 출력광 강도 제어에만 활용될 수 있다.
[275]
제어부(917)는 제2 발광소자(916-2)의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 제1 신호의 발생 횟수가 제1 설정값 이상인 경우, 상기 제1 출력광 및 제2 출력광의 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 증가시킬 수 있다.
[276]
제어부(917)는, 턴-온 구간 동안에 출력된 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간 동안에 출력된 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간 및 턴-오프 구간 동안 출력된 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간 및 턴-오프 구간 동안 출력된 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
[277]
제1 발광소자(916-1)는 제1 구간(1011) 동안 온(ON) 되고, 지속광 형태의 제1 출력광을 출력할 수 있다.
[278]
제어부(917)는 상기 제1 구간(1011) 동안 센서(913)에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출할 수 있다.
[279]
제1 발광소자(916-1)가 제1 출력광을 물체에 출력하므로, 제1 출력광이 출력되지 않는 경우보다 물체의 윤곽이 뚜렷해질 수 있다. 따라서, 제1 출력광이 출력되는 제1 구간(1011) 동안, 제어부(917)는 물체의 얼굴 영역, 눈 영역, 홍채 영역 및 동공 영역을 효과적으로 검출할 수 있다.
[280]
예를 들어, 제어부(917)는, 지속적으로 발생하는 눈 깜빡임에 따라, 눈 영역을 효과적으로 검출할 수 있다. 눈 깜빡임이 발생하면, 센서(913)가 수신한 수신광에 변화량이 생기며, 제1 신호를 출력한다. 따라서 이로부터 제어부(917)가 눈 영역을 감지할 수 있다.
[281]
예를 들어, 동공 영역을 검출하는 경우, 제어부(917)는 눈을 포함하는 영상에서 히스토그램 평활화, 후보영역 검출, 이진화, 라벨링을 통한 노이즈 제거 및 동공 검출과 같은 과정을 수행할 수 있다.
[282]
이미지 센서가 감지한 정보로부터 대상체의 특정 영역을 검출하는 것은, 관련 기술분야에서 일반적인 기술이므로, 구체적인 설명을 생략한다.
[283]
제어부(917)는 검출된 눈 영역을 관심 영역(ROI ? Region Of Interest)으로 설정할 수 있다. 이후 제2 구간(1012) 동안, 센서(913)의 설정된 관심 영역에 해당하는 픽셀에서 글린트(glint)를 검출할 수 있다.
[284]
글린트는 각막에 조명이 반사되어 이미지 상에서 밝은 점으로 나타나는 것을 말한다.
[285]
도 10b는 도 10a의 제2 구간을 확대하여 나타낸 도면이다.
[286]
제2 발광소자(916-2)의 온(ON) 구간(1031)에는 제2 출력광이 출력되고, 제2 발광소자(916-2)의 오프(OFF) 구간(1032)에는 제2 출력광이 출력되지 않는다.
[287]
제어부(917)는 제2 구간(1030) 내에서, 상기 제2 발광소자(916-2)의 온(ON) 구간(1031)에 적어도 하나 이상의 제1 글린트 정보를 검출할 수 있다.
[288]
한편, 제어부(917)는 상기 제2 발광소자(916-2)의 온(ON) 구간(1031)에 적어도 하나 이상의 제1 글린트 정보를 검출하고, 상기 제2 발광소자(916-2)의 오프(OFF) 구간(1032)에 적어도 하나 이상의 제2 글린트 정보를 검출할 수 있다.
[289]
제1 및 제2 글린트 정보는 외부의 광원에 의해 형성되는 글린트 정보가 포함될 수 있다. 외부에 태양광이나 형광등과 같은 외부 광원이 존재하는 경우, 해당 외부 광원에 의해 눈 영역에 글린트가 형성될 수 있기 때문이다.
[290]
제1 글린트 정보에는 제2 출력광에 의한 글린트 정보가 포함되고, 제2 글린트 정보에는 제2 출력광에 의한 글린트 정보가 포함되지 않는다. 제2 글린트 정보를 검출하는 구간에는, 제2 출력광이 출력되지 않기 때문이다.
[291]
따라서, 제어부(917)는 제1 글린트 정보로부터, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보를 판단할 수 있다.
[292]
한편, 제어부(917)는 제1 글린트 정보와 제2 글린트 정보를 비교하여, 차이 값을 도출하고, 해당 차이 값을, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보로 판단할 수 있다.
[293]
제어부(917)는 제2 출력광에 의한 글린트 정보에서, 글린트의 중심점의 위치를 도출하고, 제1 구간(1011) 동안 검출한 홍채 영역 정보에서, 홍채 영역의 중심점의 위치를 도출할 수 있다. 도출된 글린트의 중심점의 위치를 홍채 영역의 중심점의 위치와 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단할 수 있다.
[294]
제어부(917)는 복수의 출력광 방출 주기에 걸쳐 물체의 시선 방향을 판단할 수 있고, 이로부터 물체의 시선 방향을 추적할 수 있다.
[295]
도 10c는 제2 출력광에 의한 글린트 정보를 포함하는 이미지를 나타내는 도면이다.
[296]
왼쪽의 이미지(1021)는, 제2 글린트 정보이고, 오른쪽의 이미지(1022)는 제1 글린트 정보이다. 제1 글린트 정보에는 제2 출력광에 의한 글린트 정보(1023)가 포함되어 있다.
[297]
도 11a 내지 11c는 도 9의 제어부의 동작에 관한 플로우 차트이다.
[298]
도 11a는, 제1 구간(1011)의 제어부(917)의 동작을 나타내는 플로우 차트이다.
[299]
제어부(917)는 제1 발광소자(916-1)가 온(ON) 되도록 제어하고, 지속광 형태의 제1 출력광을 출력하도록 제어한다(S1111).
[300]
제1 구간(1011) 동안 영상을 검출한다(S1112).
[301]
제어부(917)는 센서(913)에서 검출되는 영상을 바탕으로 물체의 얼굴 영역, 눈 영역, 홍채 영역 및 동공 영역을 검출할 수 있다(S1113).
[302]
도 11b는, 제2 구간(1012)의 제2 발광소자(916-2)의 턴-온 구간과 턴-오프 구간에서, 제어부(917)의 동작을 나타내는 플로우 차트이다.
[303]
제어부(917)는 제2 구간(1012) 동안 제2 발광소자(916-2)의 온(ON), 오프(OFF)를 제어하여, 펄스형태의 광을 출력하도록 제어한다(S1121).
[304]
제어부(917)는 턴-온 구간과 턴-오프 구간에서, 수신광 변화량에 따라 생성되는 제1 신호의 발생 횟수를 감지한다(S1122).
[305]
제어부(917)는 제1 신호의 발생 횟수를 확인한다(S1123).
[306]
제어부(917)는 발생 횟수가 제2 설정값(N2) 이하인 경우, 수신광의 변화량이 작다고 판단하며, 상기 제1 출력광 및 제2 출력광의 방출 강도를 일정 값 증가시킨다(S1124).
[307]
제어부(917)는 발생 횟수가 제1 설정값(N1) 이상인 경우, 수신광의 변화량이 크다고 판단하며, 상기 제1 출력광 및 제2 출력광의 방출 강도를 일정 값 감소시킨다(S1125).
[308]
도 11c는, 제2 구간(1012)의 제2 발광소자(916-2)의 온(ON) 구간과 오프(OFF) 구간에서, 제어부(917)의 동작을 나타내는 플로우 차트이다.
[309]
제어부(917)는 제2 구간(1012) 동안 제2 발광소자(916-2)의 온(ON), 오프(OFF)를 제어하여, 펄스형태의 광을 출력하도록 제어한다(S1131).
[310]
제어부(917)는 온(ON) 구간과 오프(OFF) 구간에서, 수신광 변화량에 따라 생성되는 제1 신호의 발생 횟수를 감지한다(S1132).
[311]
제어부(917)는 해당 구간이 온(ON) 구간인지, 오프(OFF) 구간인지 판단한다(S1133).
[312]
제어부(917)는, 해당 구간이 온(ON) 구간이면, 제1 글린트 정보를 감지하고(S1134), 오프(OFF) 구간이면, 제2 글린트 정보를 감지한다(S1135).
[313]
제어부(917)는 제1 글린트 정보와 제2 글린트 정보를 비교하여, 차이 값을 도출하고, 해당 차이 값을, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보로 판단한다(S1136).
[314]
제어부(917)는 글린트의 중심점의 위치와 홍채 영역의 중심점의 위치를 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단하고 추적한다(S1137).
[315]
도 12a 내지 12b는 도 9의 광학 장치의 시선 방향 감지와 캘리브레이션(calibration) 방법을 설명하는 도면이다.
[316]
도 12a는, 물체의 시선 방향을 감지하는 것을 나타내는 도면이다.
[317]
제2 발광소자(1220)는 적외선 광을 출력할 수 있고, 센서(1210)는 물체의 눈 영역에서 반사된 적외선 광을 수신광으로 검출할 수 있다. 제2 발광소자(1220)와 센서(1210)는 도 9에 기재된 바와 같이 하나의 광학 장치로 구성될 수도 있고, 서로 이격되어 구성될 수도 있다.
[318]
도 12a의 왼쪽에 나타난 예와 같이, 물체의 시선이 제1 방향(1233)인 경우 홍채의 중심점(1232)과 글린트의 중심점(1231)은 인접하여 위치한다. 물체의 시선이 제2 방향(1243)으로 변화하는 경우, 홍채의 중심점(1242)과 글린트의 중심점(1241)의 상대적인 위치도 변화한다.
[319]
따라서, 홍채의 중심점의 위치와 글린트의 중심점의 위치를 비교하여, 물체의 시선의 방향을 검출할 수 있다.
[320]
도 12a의 오른쪽에 나타난 예와 같이, 물체의 시선이 수신광을 센싱하는 센서의 방향을 향하는 경우는, 홍채의 중심점의 위치와 글린트의 중심점의 위치가 일치할 수 있다(1251). 물체의 시선이 센서의 윗쪽 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 윗쪽 지점에 위치할 수 있다(1252).
[321]
물체의 시선이 센서의 오른쪽 아래 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 오른쪽 아래 지점에 위치할 수 있다(1253). 물체의 시선이 센서의 왼쪽 윗 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 왼쪽 위 지점에 위치할 수 있다(1254).
[322]
글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 물체의 시선 방향의 관계는, 제2 발광소자(1220)와 센서(1210)의 위치에 따라 달라질 수 있다.
[323]
도 12b는, 물체의 시선 방향을 감지를 위해 캘리브레이션(calibration)을 수행하는 과정을 나타내는 도면이다.
[324]
본 발명의 일 실시예에 따른 광학 장치를 포함하는 이동 단말기는 별도의 캘리브레이션 설정 메뉴를 통해 캘리브레이션을 수행하도록 구현될 수 있다.
[325]
단말 제어부는 디스플레이(1260) 화면의 특정 지점에 타겟을 표시하고, 타겟을 왼쪽 상단(1261)에서 오른쪽 하단(1264)으로 Z 형태로 이동시킨다. 사용자의 시선이 타겟을 따라 이동하도록 안내하고, 각각의 경우(1261, 1262, 1263, 1264)에 대해, 광학 장치에서 홍채 영역 또는 동공 영역의 중심점의 위치와 글린트의 중심점의 위치를 도출하여 상대적인 위치를 결정할 수 있다.
[326]
단말 제어부는 각각의 경우(1261, 1262, 1263, 1264)에서 도출된 글린트의 중심점의 평균 위치를 계산하고, 계산된 평균 위치와 홍채 영역 또는 동공 영역의 중심점의 상대적 위치 정보를 물체의 시선이 디스플레이(1260)의 중심 방향을 향하는 경우로 설정할 수 있다.
[327]
본 도면에서는 디스플레이(1260)를 이용하여 캘리브레이션(calibration)을 수행하는 방법을 도시하였으나, 이러한 캘리브레이션 방법은 본 발명의 일 실시예에 따른 광학 장치의 발광소자와 센서를 이용하여 캘리브레이션을 수행하는 것에도 동일하게 적용될 수 있다.
[328]
사용자의 시선이 고정된 상태에서 적어도 하나 이상의 발광소자의 위치를 변경하면서 복수의 위치에서 출력광을 출력하고, 센서를 통해 수신광을 감지하며, 제어부에서 홍채 영역 또는 동공 영역의 중심점의 위치와 글린트의 중심점의 위치를 도출하여, 캘리브레이션을 수행할 수 있다.
[329]
물체의 시선 방향 판단을 위한 캘리브레이션 과정은 관련 기술분야에서 일반적인 기술이므로, 구체적인 설명을 생략한다.
[330]
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

청구범위

[청구항 1]
특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 것을 특징으로 하는 광학 장치.
[청구항 2]
제1항에 있어서, 상기 변화량은 휘도 변화량 또는 광의 세기 변화량인 것을 특징으로 하는 광학 장치.
[청구항 3]
제1항에 있어서, 상기 제어부는,상기 검출된 수신광의 변화량에 따라 생성되는 제1 신호의 발생 횟수를 카운팅하며, 상기 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값 이상인 경우 상기 출력광 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 출력광 방출 강도를 증가시키는 것을 특징으로 하는 광학 장치.
[청구항 4]
제3항에 있어서, 상기 센서는, 상기 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 상기 제1 신호를 출력하는 것을 특징으로 하는 광학 장치.
[청구항 5]
제1항에 있어서, 상기 제어부는, 감지되는 물체의 움직임 속도에 따라 상기 출력광 방출 주기를 가변하는 것을 특징으로 하는 광학 장치.
[청구항 6]
제1항에 있어서, 상기 센서는 픽셀 기반의 데이터를 센싱하는 비동기 방식 센서이며, 상기 제어부는, 상기 센서가 상기 발광소자의 온(ON) 구간에 동기화되어 활성화되도록 상기 센서의 동작을 제어하는 것을 특징으로 하는 광학 장치.
[청구항 7]
제1항에 있어서, 상기 특정 파장의 출력광은 적외선(infrared ray)이고, 상기 센서는 상기 적외선을 투과하는 대역 통과 필터(band pass filter)를 포함하는 것을 특징으로 하는 광학 장치.
[청구항 8]
제1항에 있어서, 상기 제어부는, 상기 발광소자의 온(ON) 구간 동안 상기 센서가 출력하는 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적하며, 상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적하며, 상기 발광소자의 오프(OFF) 구간 동안, 상기 물체의 움직임을 추적을 위한 연산을 수행하는 것을 특징으로 하는 광학 장치.
[청구항 9]
제1항에 있어서, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 출력광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광을 발광하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 광을 발광하는 것을 특징으로 하는 광학 장치.
[청구항 10]
특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는 상기 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어하는 것을 특징으로 하는 광학 장치.
[청구항 11]
특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력하는 것을 특징으로 하는 광학 장치.
[청구항 12]
제11항에 있어서, 상기 제어부는, 상기 제2 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 생성되는 제1 신호의 발생 횟수가 제1 설정값 이상인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 증가시키는 것을 특징으로 하는 광학 장치.
[청구항 13]
제11항에 있어서, 상기 제어부는, 상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출하며, 상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출하는 것을 특징으로 하는 광학 장치.
[청구항 14]
제13항에 있어서, 상기 제어부는, 상기 글린트의 중심점의 위치와 상기 홍채 영역의 중심점의 위치를 비교하거나, 상기 글린트의 중심점의 위치와 상기 동공 영역의 중심점의 위치를 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단하며, 상기 글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 물체의 시선 방향의 관계 또는, 상기 글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 동공 영역의 중심점의 위치는 캘리브레이션(calibration)을 통해 미리 설정되는 것을 특징으로 하는 광학 장치.
[청구항 15]
제1항 내지 제14항 중 어느 한 항의 광학 장치를 포함하는 카메라 장치.
[청구항 16]
제15항의 카메라 장치를 포함하는 전자기기.

도면

[도1]

[도2]

[도3a]

[도3b]

[도3c]

[도4]

[도5a]

[도5b]

[도6a]

[도6b]

[도7a]

[도7b]

[도7c]

[도8a]

[도8b]

[도8c]

[도9]

[도10a]

[도10b]

[도10c]

[도11a]

[도11b]

[도11c]

[도12a]

[도12b]