Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020184969 - MODULE DE CAMÉRA

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2   3   4  

발명의 상세한 설명

기술적 과제

5  

과제 해결 수단

6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

발명의 효과

21   22   23   24  

도면의 간단한 설명

25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46  

발명의 실시를 위한 최선의 형태

47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128   129   130   131   132   133   134   135   136   137   138   139   140   141   142   143   144   145   146   147   148   149   150   151   152   153   154   155   156   157   158   159   160   161   162   163   164   165   166   167   168   169   170   171   172   173   174   175   176   177   178   179   180   181   182   183   184   185   186   187   188   189   190   191   192   193   194   195   196   197   198   199   200   201   202   203   204   205   206   207   208   209   210   211   212   213   214   215   216   217   218   219   220   221   222   223   224   225   226   227   228   229   230   231   232   233   234   235   236   237   238   239   240   241   242   243   244   245   246   247   248   249   250   251   252   253   254   255   256   257   258   259   260   261   262   263   264   265   266   267   268   269   270   271   272   273   274   275   276   277   278   279   280   281   282   283   284   285   286   287   288   289   290   291   292   293   294   295   296   297   298   299   300   301   302   303   304   305  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

도면

1   2   3   4   5   6 (R91)   7 (R91)   8 (R91)   9 (R91)   10 (R91)   11 (R91)   12   13a   13b   13c   13d   13e   14   15a   15b   15c   16   17a   17b   17c   18   19a   19b   19c   20   21a   21b   21c   22   23   24   25   26   27  

명세서

발명의 명칭 : 카메라 모듈

기술분야

[1]
본 발명은 깊이 정보를 추출하는 카메라 모듈에 관한 것이다.

배경기술

[2]
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
[3]
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 빛을 쏘아서 반사되어 오는 빛의 정보를 이용하여 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
[4]
(특허문헌 1) 미국 등록특허 6437307호

발명의 상세한 설명

기술적 과제

[5]
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈을 제공하는데 있다.

과제 해결 수단

[6]
실시예에 따르면, 객체로 광 신호를 출력하는 광출력부; 상기 객체로부터 반사된 상기 광 신호를 투과시키는 광학부; 상기 광학부를 투과한 상기 광 신호를 수신하는 센서; 및 상기 센서로 수신된 상기 광 신호를 이용하여 상기 객체의 깊이 정보를 획득하는 제어부;를 포함하고 상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함하고, 상기 제1 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역 또는 상기 제2 행 영역의 비유효 영역에 도달하도록 제어되고,상기 제2 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제2 행 영역의 비유효 영역 또는 상기 제1 행 영역의 비유효 영역에 도달하도록 제어된다.
[7]
상기 제1 행 영역의 비유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역에 인접한 상기 제2 행 영역의 비유효 영역 방향으로 시프팅 제어될 수 있다.
[8]
상기 제1 행 영역의 유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 유효 영역 방향으로 시프팅 제어될 수 있다.
[9]
상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서의 평면 상에서 이동 거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서 평면상에서 이동거리와 상이할 수 있다.
[10]
상기 센서 평면상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다.
[11]
상기 제1 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 동일 행 영역에서 인접한 유효 영역의 중심간의 거리의 0.3 내지 0.7배일 수 있다.
[12]
상기 제2 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 상기 제1 행 영역의 유효 영역의 중심에서 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 중심 사이의 거리의 0.3 내지 0.7배일 수 있다.
[13]
상기 센서 평면상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의한 광의 이동거리의 0.5배 내지 1배일 수 있다.
[14]
상기 광학부의 제어에 의해 광 경로가 제어되어 상기 제1 행 영역의 유효 영역에 수신되는 광은 상기 제1 행 영역의 비유효 영역에 도달하도록 제어되고, 상기 제2 행 영역의 유효 영역에 수신되는 광은 상기 제2 행 영역의 비유효 영역에 도달되도록 시프팅 제어될 수 있다.
[15]
상기 광학부는 적외선 투과 필터를 포함하고, 상기 시프팅 제어는 상기 적외선 투과 필터를 틸팅시켜 제어할 수 있다.
[16]
상기 광학부는 초점이 조절되는 가변 렌즈를 포함하고, 상기 시프팅 제어는 상기 가변 렌즈를 조절하여 제어할 수 있다.
[17]
상기 가변 렌즈는 적어도 하나의 액체를 포함하는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 렌즈, SMA 렌즈, MEMS 렌즈 중 적어도 하나를 포함할 수 있다.
[18]
상기 광출력부로부터 출력된 상기 광 신호와 상기 센서에 수신된 상기 광 신호 간의 시간 차를 이용하거나 서로 다른 위상에 상기 센서의 유효 영역을 노출시키는 상기 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 상기 객체의 깊이 정보를 획득하는 연산부를 포함할 수 있다.
[19]
상기 연산부는 상기 시프팅 제어 전과 시프팅 제어 후에 상기 센서에서 획득한 정보들을 이용하여 상기 센서보다 높은 해상도의 깊이 정보를 획득할 수 있다.
[20]
상기 연산부는 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광 간의 인터폴레이션 인터폴레이션(interpolation)을 적용하여 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광에 최인접한 광의 중심에 도달하는 광을 산출할 수 있다.

발명의 효과

[21]
본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 센서의 화소 수를 크게 증가시키지 않고도 입사광 신호의 광경로를 쉬프트시켜 높은 해상도로 깊이 정보를 획득할 수 있다.
[22]
또한, 본 발명의 한 실시예에 따르면, 장치의 하드웨어적 구성을 크게 변경시키지 않고도 입사광 신호의 광경로가 쉬프트된 정도를 검출할 수 있으므로, 초해상도의 깊이 정보를 획득할 수 있다.
[23]
또한, 입사광 신호의 광경로 쉬프트 및 인터폴레이션(interpolation) 기법을 적용하여 센서의 화소수 대비 크게 향상된 해상도를 갖는 카메라 모듈을 제공할 수 있다.
[24]
또한, 깊이 정보를 용이하게 산출하여 처리되는 데이터 량이 감소된 카메라 모듈을 제공할 수 있다.

도면의 간단한 설명

[25]
도 1은 본 발명의 실시예에 따른 카메라 모듈의 블록도이고,
[26]
도 2는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고,
[27]
도 3은 실시예에 따른 카메라 모듈의 단면도이고,
[28]
도 4은 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이고,
[29]
도 5는 실시예에 따른 센서를 설명하기 위한 도면이고,
[30]
도 6 내지 도 8은 변형 실시예에 따른 센서를 설명하기 위한 도면이고,
[31]
도 9는 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고,
[32]
도 10은 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고,
[33]
도 11은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이고,
[34]
도 12는 실시예에 따른 카메라 모듈에서 제어부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이고,
[35]
도 13a 및 도 13b는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
[36]
도 13c는 실시예에 따른 카메라 모듈에서 픽셀값 배치 과정을 설명하기 위한 도면이고,
[37]
도 13d 내지 도 13e는 IR 필터의 기울기 제어에 따라 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이고,
[38]
도 14, 도 15a 내지 도 15c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
[39]
도 16, 도 17a 내지 도 17c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
[40]
도 18, 도 19a 내지 도 19c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
[41]
도 20, 도 21a 내지 도 21c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.
[42]
도 22는 본 발명의 일 실시예에 따른 센서의 작동 메커니즘을 설명하기 위한 도면이다.
[43]
도 23은 본 발명의 일 실시예에 따른 제1 픽셀 정보를 설명하기 위한 도면이다.
[44]
도 24 및 도 25는 본 발명의 일 실시예에 따른 제2 픽셀 정보를 산출하는 과정을 설명하기 위한 도면이다.
[45]
도 26은 일 실시예에 따른 4개의 서브프레임을 나타낸 도면이다.
[46]
도 27은 본 발명의 일 실시예에 따른 센서의 작동 메커니즘을 설명하기 위한 도면이다.

발명의 실시를 위한 최선의 형태

[47]
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
[48]
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
[49]
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
[50]
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
[51]
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
[52]
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
[53]
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
[54]
그리고 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
[55]
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
[56]
그리고 이하에서 설명하는 실시예에 다른 카메라 모듈은 광학기기 또는 광학기기의 일부 장치로서 이용될 수 있다. 먼저, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
[57]
광학기기는 본체를 포함할 수 있다. 본체는 바(bar) 형태일 수 있다. 또는, 본체는 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다. 본체는 외관을 이루는 케이스(케이싱, 하우징, 커버)를 포함할 수 있다. 예컨대, 본체는 프론트 케이스와 리어 케이스를 포함할 수 있다. 프론트 케이스와 리어 케이스의 사이에 형성된 공간에는 광학기기의 각종 전자 부품이 내장될 수 있다.
[58]
광학기기는 디스플레이를 포함할 수 있다. 디스플레이는 광학기기의 본체의 일면에 배치될 수 있다. 디스플레이는 영상을 출력할 수 있다. 디스플레이는 카메라에서 촬영된 영상을 출력할 수 있다.
[59]
광학기기는 카메라를 포함할 수 있다. 카메라는 ToF(Time of Flight) 카메라 모듈을 포함할 수 있다. ToF 카메라 모듈은 광학기기의 본체의 전면에 배치될 수 있다. 이 경우, ToF 카메라 모듈은 광학기기의 보안인증을 위한 사용자의 얼굴인식, 홍채인식, 정맥인식 등 다양한 방식의 생체인식에 사용될 수 있다.
[60]
도 1은 본 발명의 실시예에 따른 카메라 모듈의 블록도이고, 도 2는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고, 도 3은 실시예에 따른 카메라 모듈의 단면도이다.
[61]
도 1 내지 도 3을 참조하면, 카메라 모듈(100)은 광출력부(110), 광학부(120), 센서(130), 및 제어부(150)를 포함할 수 있다. 또한 카메라 모듈(100)은 제어부(150)를 포함할 수 있다.
[62]
광출력부(110)는 발광 모듈, 발광 유닛, 발광 어셈블리 또는 발광 장치일 수 있다. 구체적으로, 광출력부(110)는 광 신호를 생성한 후 객체에 조사할 수 있다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 광출력부(110)가 광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 광출력부(110)로부터 출력된 광 신호와 객체로부터 반사된 후 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차 또는 시간 차를 이용 할 수 있다. 본 명세서에서, 출력광은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 광출력부(110)로부터 출력된 출력광이 객체에 도달하여 객체로부터 반사된 후 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
[63]
광출력부(110)는 생성된 광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
[64]
광출력부(110)는 소정의 주파수를 가지는 출력 광 신호뿐만 아니라, 서로 다른 주파수를 가지는 복수의 광 신호를 생성할 수도 있다. 또한, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 동시에 생성할 수도 있다.
[65]
본 발명의 실시예에서 광출력부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f 1인 광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f 2인 광 신호가 생성되도록 제어할 수 있다.
[66]
다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f 1인 광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f 2인 광 신호가 생성되도록 제어할 수도 있다. 이와 같이, 광출력부(110)는 노출주기 별 상이한 주파수의 출력을 신호를 생성할 수 있다.
[67]
이를 위하여 광출력부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
[68]
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770nm 내지 3000nm인 적외선 일 수 있으며, 파장이 380nm 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
[69]
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광 신호를 생성한다. 일정 시간 간격은 광 신호의 주파수일 수 있다. 광원(112)의 점멸은 광변조부(114)에 의해 제어될 수 있다.
[70]
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어할 수 있다.
[71]
한편, 광학부(120)는 적어도 하나의 렌즈를 포함할 수 있다. 광학부(120)는 객체로부터 반사된 입력광 신호를 적어도 하나의 렌즈를 통해 집광하여 센서(130)에 전달한다. 적어도 하나의 렌즈는 고체 렌즈를 포함할 수 있다. 또한 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를 들어, 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두 개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다.
[72]
또한, 광학부(120)는 특정 파장 영역을 투과시키는 필터를 포함할 수 있다. 예를 들어, 특정 파장 영역을 투과시키는 필터는 IR pass 필터를 포함할 수 있다. 필터는 파장이 770 내지 3000nm인 적외선 영역의 빛만을 통과시킬 수 있다. 필터는 구동 장치를 통해 틸팅(tilting)될 수 있다. 필터의 틸팅을 따라 입력광 신호의 광경로가 변경될 수 있다. 필터는 소정의 규칙에 따라 틸팅될 수 있으며, 소정의 규칙에 따라 입력광 신호의 광경로가 변경될 수 있다.
[73]
또한, 광학부(120)는 광학 플레이트를 포함할 수 있다. 광학 플레이트는 광 투과성 플레이트일 수 있다.
[74]
도 3을 참조하면, 카메라 장치(300)는 렌즈 어셈블리(310), 센서(320) 및 인쇄회로기판(330)을 포함할 수 있다. 여기서, 렌즈 어셈블리(310)는 도 1의 광학부(120)에 대응하고, 센서(320)는 도 1의 센서(130)에 대응할 수 있다. 그리고 도 1의 제어부(150)는 인쇄회로기판(330) 또는 센서(320)에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 배치되거나, 별도의 구성으로 배치될 수 있다. 광출력부(110)는 제어부(150)에 의해 제어될 수 있다.
[75]
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
[76]
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다. 렌즈(312)는 상술한 가변 렌즈를 포함할 수 있다.
[77]
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
[78]
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314)에 IR 필터(318)가 배치될 수 있는 공간이 형성될 수 있다. 도시되지는 않았지만 렌즈 배럴(314)에는 제어부(150)에 의해 제어되어 IR 배럴(314)을 틸트 시키거나 시프팅 시킬 수 있는 구동부가 배치될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
[79]
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
[80]
상기의 예시는 일 실시예에 불과하며, 광학부(120)는 ToF 카메라 모듈(100)로 입사되는 입력광 신호를 집광하여 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
[81]
센서(130)는 광학부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다. 실시예로, 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로, 센서(130)는 광출력부(110)로부터 출력된 광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다.
[82]
센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 예컨대, 전기 신호는 각 참조 신호와 입력광 간의 믹싱(mixing)된 신호이며, 믹싱은 합성곱(convolution), 곱(multiplication) 등을 포함할 수 있다. 또한, 참조 신호의 주파수는 광출력부(110)로부터 출력된 광 신호의 주파수에 대응하게 설정될 수 있다. 실시예로, 참조 신호의 주파수는 광출력부(110)의 광 신호의 주파수와 동일할 수 있다.
[83]
이와 같이, 광출력부(110)가 복수의 주파수로 광 신호를 생성하는 경우, 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 그리고 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다. 또한, 전기 신호는 각 픽셀 별로 산출될 수 있다.
[84]
제어부(150)는 입력광 신호의 광경로를 시프팅 시키도록 광학부(120)를 제어할 수 있다. 이러한 구성에 의하여, 후술하는 바와 같이 고해상의 깊이 이미지를 추출하기 위한 복수의 이미지 데이터를 출력할 수 있다. 이에 대한 자세한 설명은 후술한다. 그리고 여기에서 소정의 단위는 후술하는 제1 이동거리, 제2 이동거리를 포함하며, 이에 대한 자세한 설명은 후술한다.
[85]
추가적으로, 카메라 모듈(100)은 센서(130)로부터 수신한 전기 신호를 이용하여 센서의 해상도보다 높은 고해상의 깊이 정보를 연산하는 연산부(140)를 포함할 수 있다. 또한 연산부(140)는 카메라 모듈을 포함하는 광학 기기에 배치되어 연산을 수행할 수도 있다. 이하에서는 카메라 모듈 내에 연산부(140)가 배치되는 것을 기준으로 설명한다.
[86]
그리고 이 경우 연산부는 센서(130)에 센싱된 정보를 카메라 모듈(100)로부터 전달 받아 연산을 수행할 수 있다. 연산부(140)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 정보를 수신하고 복수의 저해상 정보를 이용하여 고해상 깊이 정보를 생성할 수 있다. 예를 들어, 복수의 저해상 정보를 재배열 하여 고해상 깊이 정보를 생성할 수 있다.
[87]
이 때, 연산부(140)는 객체와 카메라 모듈(100) 사이의 거리를 광 출력부로부터 출력된 광 신호와 상기 센서에 수신된 광 신호 간의 시간 차를 이용하거나, 서로 다른 위상에 센서의 유효 영역을 노출시키는 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 산출할 수 있다.
[88]
도 4는 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다. 이때, 상술한 바와 같이 반사광(입력광)은 입사광(출력광)이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다.
[89]
또한, 참조 신호는 상술한 바와 같이 복수일 수 있으며, 실시예에서는 도 4에 나타난 바와 같이 참조 신호는 4개(C 1 내지 C 4)일 수 있다. 그리고, 각 참조 신호(C 1 내지 C 4)는 광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C 1)는 광 신호와 동일한 위상을 가질 수 있다.
[90]
센서(130)는 각 참조 신호에 대응하여 센서(130)의 유효 영역을 노출시킬 수 있다. 센서(130)는 노출시키는 시간 동안에 광 신호를 수광할 수 있다.
[91]
센서(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)할 수 있다. 그러면, 센서(130)는 도 4의 음영 부분에 대응하는 전기 신호를 생성할 수 있다.
[92]
다른 실시예로, 노출 시간 동안 복수의 주파수로 광 신호가 생성된 경우, 센서(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f 1과 f 2로 광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f 1과 f 2를 가지므로, 주파수가 f 1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f 2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다. 이하에서는 이를 바탕으로 설명하나, 상술한 바와 같이 광 신호는 하나의 주파수(예컨대, f 1)를 가지고 생성될 수 있다.
[93]
도 5는 실시예에 따른 센서를 설명하기 위한 도면이고, 도 6 내지 도 8은 변형 실시예에 따른 센서를 설명하기 위한 도면이고, 도 9는 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고, 도 10은 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고, 도 11은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이다.
[94]
도 5 내지 도 8을 참조하면, 센서(130)는 복수의 픽셀이 어레이 형태로 배열된 구조로 구성될 수 있다. 이 때, 센서(130)는 능동 픽셀 센서(Active pixel sensor, APS)로 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다. 또한, 센서(130)는 CCD(Charge Coupled Device) 센서일 수도 있다. 또한, 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
[95]
그리고 센서(130)는 복수의 픽셀을 포함할 수 있다. 이 때, 픽셀은 제1 픽셀(P1) 및 제2 픽셀(P2)을 포함할 수 있다.
[96]
이러한 제1 픽셀(P1) 및 제2 픽셀(P2)은 제1 방향(x축 방향) 및 제2 방향(y축 방향)으로 교번하여 배치될 수 있다. 즉, 하나의 제1 픽셀(P1)에서 복수의 제2 픽셀(P2)이 제1 방향(x축 방향) 및 제2 방향(y축 방향)으로 인접하게 배치될 수 있다. 예컨대, 센서(130)에서 제1 픽셀(P1) 및 제2 픽셀(P2)은 체커보드 패턴(checkerboard pattern)으로 배치될 수 있다. 또한, 여기서, 제1 방향(x축 방향)은 어레이 형태로 배열된 복수의 픽셀에서 제1 픽셀과 제2 픽셀이 나란히 배열되는 일 방향으로 행 방향이고, 제2 방향(y축 방향)은 제1 방향에 수직한 방향으로 제1 픽셀과 제2 픽셀이 나란히 배열되는 방향으로 열 방향이며, 이를 기준으로 이하 설명한다. 이하에서, 행 방향은 제1 방향과 혼용되고, 열 방향은 제2 방향과 혼용될 수 있다.
[97]
또한, 제1 픽셀(P1)과 제2 픽셀(P2)은 서로 다른 파장 대역을 피크 파장으로 수광하는 픽셀일 수 있다. 예컨대, 제1 픽셀(P1)은 적외선 대역을 피크 파장으로 갖는 광을 받을 수 있다. 그리고 제2 픽셀(P2)은 적외선 대역 이외의 파장을 피크 파장으로 갖는 광을 받을 수 있다.
[98]
뿐만 아니라, 제1 픽셀(P1) 및 제2 픽셀(P2) 중 어느 하나는 광을 받지 않을 수 있다. 실시예로, 복수의 픽셀은 수광 소자가 배치되는 유효 영역(SA) 및 유효 영역 이외의 영역인 비유효 영역(IA)을 포함할 수 있다. 유효 영역(SA)은 수광하여 소정의 전기 신호를 생성할 수 있다. 비유효 영역(IA)은 수광하지 않는 영역일 수 있다. 비유효 영역(IA)은 수광하여 전기신호를 생성하지 않는 영역일 수 있다. 즉, 비유효 영역(IA)은 내부에 수광 소자가 위치하더라도, 광에 의한 전기적 신호를 생성하지 못하는 경우도 포함하는 의미일 수 있다.
[99]
그리고, 제1 픽셀(P1)은 유효 영역(SA)뿐만 아니라 비유효 영역(IA)을 포함할 수 있다. 반면, 제2 픽셀(P2)은 유효 영역(SA)이 존재하지 않는 비유효 영역(IA)으로만 이루어질 수 있다. 예컨대, 포토 다이오드 등의 수광 소자가 제1 픽셀에만 위치하고, 제2 픽셀에 위치하지 않을 수 있다. 이하에서는 제1 픽셀은 수광하나, 제2 픽셀은 수광하지 않는 것을 기준으로 설명한다.
[100]
구체적으로, 센서(130)는 행 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함하는 복수의 행 영역(RR)을 포함할 수 있다. 또한, 실시예에서 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역을 포함하는 복수의 열 영역(CR)을 포함할 수 있다.
[101]
실시예에서 센서(130)는 제1 행 영역(RR1)과 제2 행 영역(RR2)를 포함할 수 있다. 제1 행 영역(RR1)은 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치될 수 있다. 제2 행 영역(RR2)은 행 방향으로 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치되고, 열 방향으로 제1 행 영역(RR1)의 유효 영역과 중첩되지 않는 위치에 유효 영역이 배치될 수 있다.
[102]
이러한 구성에 의하여, 센서(130)는 복수의 열 영역(CR)을 포함할 수 있다. 복수의 열 영역(CR)은 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함할 수 있다.
[103]
또한, 제1 픽셀(P1) 및 제2 픽셀(P2)은 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다. 유효 영역(SA)도 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다(도 6, 도 7 참조)
[104]
또한, 제2 픽셀(P2)은 인접한 제1 픽셀(P1)과 전기적으로 연결된 구성 요소가 위치할 수 있다. 상술한 구성 요소로 와이어(wire), 커패시터 등의 전기 소자를 포함할 수 있다. 또한, 상술한 구성 요소는 제1 픽셀 내지 제2 픽셀 상에 위치할 수도 있다(도 7 참조).
[105]
그리고 실시예에서 각 픽셀은 센서 상에서 배열된 방향으로(예컨대, 제1 방향 또는 제2 방향으로) 인접한 동일 유효 영역 간의 간격에 의해 형상되는 영역일 수 있다. 여기서, 동일 유효 영역은 동일한 기능(예컨대, 동일 파장 대역의 광을 수광하는 등)을 갖는 유효 영역을 의미한다.
[106]
또한, 제1 픽셀(P1)은 유효 영역(SA)만을 가질 수도 있고, 유효 영역(SA)과 비유효 영역(IA)을 모두 가질 수도 있다. 그리고 유효 영역(SA)은 제1 픽셀(P1) 내에서 다양한 위치에 존재할 수 있다. 이에, 픽셀의 중심과 유효 영역의 중심이 상이할 수 있으나, 이하에서는 동일한 경우를 기준으로 설명한다. 또한, 후술하는 중심, 제1 중심 등은 해당 중심에 대응하는 픽셀을 의미한다.
[107]
또한, 도 5와 같이 320x240 해상도의 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열될 수 있다. 이때, 복수의 픽셀은 서로 소정의 간격으로 이격 배치될 수 있다. 즉, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격(L)이 형성될 수 있다. 이러한 간격(L)의 폭(dL)은 픽셀의 크기 대비 매우 작을 수 있다. 뿐만 아니라, 이러한 간격(L)으로 상술한 와이어 등이 배치될 수 있다. 이하에서는 이러한 간격(L)을 무시하여 설명한다.
[108]
또한, 일 실시예로, 각 픽셀(132, 예컨대 제1 픽셀)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
[109]
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
[110]
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
[111]
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 말해, 제어부(150)는 이러한 센서(130)로부터 수신한 전기 신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산한다.
[112]
보다 구체적으로, 제어부(150)는 전기 신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
[113]
상기에서 살펴본 바와 같이, 광 신호의 주파수마다 전기 신호는 4개가 생성될 수 있다. 따라서, 제어부(150)는 아래의 수학식 1을 이용하여 광 신호와 입력광 신호 사이의 위상차(t d)를 계산할 수 있다.
[114]
[수식1]


[115]
여기서, Q 1 내지 Q 4는 4개의 전기 신호 각각의 전하 충전량이다. Q 1은 광 신호와 동일한 위상의 기준신호에 대응하는 전기 신호의 전하량이다. Q 2는 광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q 3는 광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q 4는 광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기 신호의 전하량이다.
[116]
그리고 제어부(150)는 광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 제어부(150)는 아래의 수학식 2를 이용하여 객체와 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.
[117]
[수식2]


[118]
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
[119]
본 발명의 실시예에 따르면, 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다. 이에 따라, 본 발명의 실시예에 따른 카메라 모듈은 ToF 카메라 모듈 또는 ToF 카메라 모듈이라 지칭될 수도 있다.
[120]
이와 관련하여 더욱 구체적으로 설명하면, 도 9에 예시된 바와 같이 본 발명의 실시예에 따른 카메라 모듈(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
[121]
도 9 및 도 10을 참조하면, 4개의 위상 영상(Raw(x 0), Raw(x 90), Raw(x 180), Raw(x 270), 도 9)을 이용하여 수학식 3과 같이 연산하면, ToF IR 영상인 앰플리튜드 영상(amplitude image, 도 10)을 얻을 수 있다.
[122]
[수식3]


[123]
여기서, Raw(x 0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x 90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x 180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x 270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
[124]
또는, 도 9의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
[125]
[수식4]


[126]
여기서, Raw(x 0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x 90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x 180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x 270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
[127]
이와 같이, ToF IR 영상은 4개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성될 수 있다. 예컨대, 서로 빼주는 2개의 위상 영상은 phase가 상호간에 180°차이가 존재할 수 있다. 그리고 이러한 위성 영상 2개를 서로 빼주는 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
[128]
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 10에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
[129]
한편, 도 9의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 11의 깊이 영상도 얻을 수 있다.
[130]
[수식5]


[131]
[수식6]


[132]
한편, 본 발명의 실시예에서는 깊이 영상의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하고자 한다. SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 7과 같이 나타낼 수 있다.
[133]
[수식7]


[134]
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, y k는 저해상 영상(=[y k,1, y k,2, …, y k,M] T, 여기서, M=N 1*N 2), D k는 다운 샘플링(down sampling) 매트릭스, B k는 광학 흐림(blur) 매트릭스, M k는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x 1, x 2, …, x N] T, 여기서, N=L 1N 1*L 2N 2), n k는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 이미지 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 M k의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
[135]
깊이 정보 추출에 SR 기법을 적용하기 위하여, 제어부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 영상 및 저해상 깊이 정보를 추출할 수 있다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다. 본 명세서에서, 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다.
[136]
또한, 여기서 서브프레임이란 어느 하나의 노출주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 이미지 데이터를 의미할 수 있다. 예를 들어, 하나의 노출주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다. 본 명세서에서, 서브프레임은 이미지 데이터, 서브프레임 이미지 데이터 등과 혼용될 수 있다.
[137]
또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 연산부(140)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임 및 복수의 저해상 서브프레임을 포함한 복수의 저해상 영상을 생성한 후, 복수의 저해상 서브프레임의 픽셀값을 재배열하여 복수의 고해상 서브프레임을 생성할 수 있다. 그리고 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다. 상술한 방식으로 고해상 깊이 정보를 추출할 수 있으며, 이러한 방식은 후술하는 각 실시예 또는 이들의 변형예에 동일하게 적용될 수 있다.
[138]
또한, 이러한 고해상 깊이 정보 추출을 위하여, 픽셀 쉬프트(pixel shift) 기술을 이용할 수 있다. 즉, 픽셀 쉬프트 기술을 이용하여 서브프레임 별로 소정의 이동거리만큼 쉬프트된 여러 장의 서브프레임을 획득한 후, 서브프레임 별로 SR 기법을 적용하여 복수의 고해상 서브프레임을 획득하며, 이들을 이용하여 서브프레임 별 깊이 정보를 추출함으로써 고해상의 깊이 이미지를 추출할 수 있다. 그리고, 카메라 모듈은 픽셀 쉬프트를 위해 제어부를 통해 광학부를 제어할 수 있다.
[139]
제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부(120)를 제어한다. 제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동 거리만큼 시프팅 시킬 수 있도록 광학부(120)의 가변 렌즈를 제어할 수 있다. 또한 제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부(120)의 필터를 제어할 수 있다. 예를 들어, 광학부(120)의 필터를 틸팅시켜 입력광 신호를 센서(130) 상에서 시프팅 시킬 수 있다. 도시되지는 않았으나 카메라 모듈(100)은 필터를 틸팅시키기 위한 구동부를 포함할 수 있다. 구동부는 VCM, 피에조 타입 등의 구동력을 이용하여 필터를 구동시킬 수 있다.
[140]
제어부(150)는 센서(130)를 기준으로 1 픽셀 단위만큼 입력광 신호의 광경로를 변경하도록 광학부를 제어할 수 있다.
[141]
한편, 본 발명의 실시예에 따른 카메라 모듈(100)이 고품질의 영상 촬영이 필요한 애플리케이션에 적용되는 경우, 예를 들어 생체 인증 등과 같은 정밀한 영상이 요구되는 애플리케이션에 적용되는 경우나 사용자가 한 손만을 이용하여 카메라 모듈(100)을 조작하고 촬영해야 하는 애플리케이션에 적용되는 경우, 손떨림에 의한 영상의 흔들림을 방지하거나 보정하는 기술도 필요하다. 영상의 흔들림을 방지하거나 보정하는 기술을 OIS(Optical Image Stabilizer) 기법이라 지칭할 수 있으며, OIS 기법에서는 광축을 Z축이라 할 때 광축과 수직하는 X 축 및 Y 축의 방향으로 카메라 모듈(100) 내 구조물, 예를 들어 렌즈 등을 이동시키는 방법을 이용하여 영상의 흔들림을 방지하거나 보정할 수 있다.
[142]
또한, 카메라 모듈(100)이 SR 기능 및 OIS 기능을 가지기 위하여, 본 발명의 실시예에 따른 카메라 모듈(100)은 내부의 구조물을 이동시키는 구동부를 더 포함할 수 있다.
[143]
도 12는 실시예에 따른 카메라 모듈에서 제어부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이다.
[144]
보다 구체적으로, 제어부(150)는 상술한 바와 같이 입력광의 광경로를 변경할 수 있다. 이하에서 실선으로 표시된 부분은 입력광 신호의 제1 시간에서의 광경로를 나타내고, 점선으로 표시된 부분은 제2 시간에서의 변경된 광경로를 나타낸다. 제1 시간에서의 광경로에 대응하는 노출주기가 종료되면, 제어부(150)는 입력광 신호의 광경로를 점선과 같이 변경할 수 있다. 여기서, 제1 시간은 소정의 설정된 시간이며, 제2 시간은 제1 시간에 연속한 시간이다.
[145]
그러면, 입력광 신호의 경로는 제1 시간에서의 광경로에서 제1 이동거리만큼 이동할 수 있다. 이 때, 복수의 노출주기는 제1 노출주기, 제1 노출주기에 연속하는 제2 노출주기를 포함할 수 있다. 또한, 복수의 노출주기는 제2 노출주기에 연속하는 제3 노출주기, 제3 노출주기에 연속하는 제4 노출주기를 더 포함할 수 있으며, 이에 대한 내용은 후술한다. 그리고 제1 노출주기는 상술한 제1 시간에서의 광경로에 대응하는 노출주기이고, 제2 노출주기는 제1 노출주기 이후의 제2 시간에서의 광경로에 대응하는 노출주기이다. 그리고 제2 노출주기에서 입력광 신호의 광경로는 제1 픽셀이 제1 픽셀에 인접한 제2 픽셀과 적어도 일부 중첩하도록 제1 이동방향으로 제1 이동거리만큼 쉬프트될 수 있다. 이 때, 제1 이동거리는 제1 노출주기를 기준으로 쉬프트에 따른 픽셀의 이동거리이다. 예컨대, 제1 이동거리는 1 픽셀일 수 있다. 또한, 제1 이동방향은 제1 방향 및 제2 방향 중 어느 하나의 방향일 수 있다. 예를 들어, 도 12에서와 같이, 제어부(150)가 제1 시간에서 광학부(120)를 제1 각도(θ a)만큼 우측으로 틸트시키면, 센서(130)에 입사되는 입력광 신호는 우측으로 1 픽셀만큼 이동할 수 있다. 즉, 센서(130)에 입사되는 제1 시간에서의 입력광 신호의 영역(I1, 이하 제1 입력 영역)과 변경된 입력광 신호의 영역(I2, 이하 제2 입력 영역) 간의 위치 차이가 존재한다. 또한, 본 명세서의 촬상에서 제1 시간에서의 입력광 신호와 변경된 입력광 신호의 생성은 미소의 노출주기에 영향을 받아 짧은 시간에 이루어질 수 있다. 다시 말해, 제1 입력 영역과 제2 입력 영역은 거의 동일할 수 있기에 최종 출력되는 영상의 정확도가 개선될 수 있다.
[146]
그리고 상술한 광경로의 변경으로 제1 입력 영역과 제2 입력 영역을 매칭할 때 제1 픽셀이 제1 이동거리만큼 이동할 수 있다. 즉, 제1 입력 영역 중 제1 픽셀에 대응하는 픽셀은 제2 입력 영역에서 제1 픽셀과 대응하는 픽셀 대비 제1 이동거리만큼 쉬프트될 수 있다. 다시 말해, 제어부는 제1 행 영역(RR1)의 유효 영역에 도달하는 광이 상기 제1 행 영역(RR1)의 비유효 영역 또는 제2 행 영역(RR2)의 비유효 영역에 도달하도록 제1 시프팅 제어를 수행할 수 있다. 즉, 제1 시프팅 제어에 의해 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제1 행 영역(RR1)의 비유효 영역 또는 제2 행 영역(RR2)의 비유효 영역에 도달할 수 있다.
[147]
또한, 제1 시프팅 제어에 의해 제2 행 영역(RR2)의 유효 영역에 도달하는 광은 상기 제2 행 영역(RR2)의 비유효 영역 또는 상기 제1 행 영역(RR1)의 비유효 영역에 도달할 수 있다. 이러한 시프팅 제어는 이하 여러 실시예에서도 동일하게 적용될 수 있다.
[148]
즉, 도 12에서와 같이 제1 입력 영역(I1)에서 제1 픽셀의 중심(CP1, 이하 제1 중심)과 제2 입력 영역(I2)에서 제1 픽셀의 중심(CP2, 이하 제2 중심)이 제1 방향 또는 제2 방향으로 교차 위치할 수 있다. 그리고 제2 입력 영역(I2)에서 제1 픽셀의 중심(CP2)은 제1 입력 영역(I1)에서 제2 픽셀의 중심과 대응할 수 있다. 또한, 이러한 입력 영상은 저해상 영상에 대응하거나 복수의 저해상 서브 프레임 영상에 대응할 수 있다. 또한, 1 픽셀은 인접한 제1 픽셀 중심 사이의 거리의 0.3 내지 0.7배를 의미할 수 있다. 다시 말해, 동일 행 영역에서 인접한 유효 영역의 중심 간의 거리의 0.3 내지 0.7배일 수 있다. 이하에서는 1 픽셀은 인접한 제1 픽셀의 중심 사이의 거리의 0.5배로 설명한다. 또한, 상술한 제1 각도(θ a)는 예컨대 광학부에서 렌즈의 형상 등에 따라 다양하게 변경될 수 있다.
[149]
또한, 이러한 광경로의 이동은 광 신호의 광경로를 이동시킬 때도 동일하게 적용될 수 있는바, 상세한 설명은 생략하도록 한다.
[150]
도 13a 및 도 13b는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고, 도 13c는 실시예에 따른 카메라 모듈에서 픽셀값 배치 과정을 설명하기 위한 도면이고, 도 13d 내지 도 13e는 IR 필터의 기울기 제어에 따라 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다.
[151]
도 13a 및 도 13b를 참조하면, 연산부는 동일한 노출주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임 및 복수의 저해상 영상을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 여기서, 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 상술한 바와 같이 서로 상이할 수 있다.
[152]
또한, 일예로 연산부는 복수의 전기신호를 이용하여 1-1 내지 2-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출주기에서 생성된 저해상 서브프레임이다. 즉, 저해상 서브프레임 1-1 내지 1-8은 제1 입력 영역에서의 전기 신호로 생성된 프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출주기에서 생성된 저해상 서브프레임이다. 마찬가지로, 저해상 서브프레임 2-1 내지 2-8은 제2 입력 영역에서의 전기 신호로 생성된 프레임이다.
[153]
그러면, 연산부는 각 노출주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-2를 추출할 수 있다. 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-2의 픽셀을 재배치하여 고해상 깊이 정보 HRD을 추출한다. (도 13a 참조)
[154]
또는, 전술한 바와 같이, 연산부는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 광 신호 또는 입력광 신호의 광경로가 상이하다. 그리고 연산부는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다. (도 13b 참조)
[155]
예를 들어, 저해상 서브프레임 1-1, 2-1는 동일한 참조 신호 C 1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
[156]
도 13c를 참조하면, 제1 실시예에 따른 카메라 모듈은 1 픽셀의 이동으로 해상도가 2배 향상된 영상을 생성할 수 있다. 예시적으로, 2개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x4 크기의 고해상 영상을 생성할 수 있다. 다만, 이러한 픽셀 수는 제한되는 것은 아니며 다양하게 변경될 수 있다.
[157]
구체적으로, 상술한 바와 같이 제1 저해상 영상 및 제2 저해상 영상은 1 픽셀 크기로 광경로가 이동되어 촬영된 영상이다. 이러한 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상의 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응한다. 연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다. 여기서, 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다. 또한, 상술한 바와 같이 센서에서 제1 픽셀만 수광을 수행하므로 저해상 영상 중 제1 픽셀에 대응하는 부분만을 A, B, C, D, E, F, G, H 등의 픽셀로 나타낸다.
[158]
구체적으로 제2 저해상 영상은 제1 저해상 영상으로부터 1 픽셀만큼 우측으로 이동한 영상이다. 그러므로, 제1 저해상 영상의 픽셀(A)으로부터 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치된다. 예컨대, 제1 저해상 영상 중 제2 픽셀은 제2 저해상 영상의 제1 픽셀에 대응하게 배치되고, 제1 저해상 영상 중 제1 픽셀은 제2 저해상 영상의 제2 픽셀에 대응하게 배치될 수 있다.
[159]
그리고 제1 저해상 영상 및 제2 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 2배 증가한 고해상 영상 프레임이 생성된다. 다시 말해, 제1 실시예에 따른 카메라 모듈은 해상도를 향상할 수 있다. 뿐만 아니라, 제1 실시예에 따른 카메라 모듈은 센서에서 제1 픽셀만 수광을 수행하는 경우에 센서의 전기 신호 생성 및 처리가 감소되므로 처리 속도를 개선할 수 있다.
[160]
또한, 제어부(150)는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
[161]
한 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 1픽셀만큼 쉬프트된 데이터를 얻을 수 있다.
[162]
도 13d 및 도 13e를 참조하면, 도 13e는 IR 필터의 두께가 0.21mm이고, IR의 굴절율이 1.5인 조건에서 틸팅 각도에 대한 쉬프트 거리를 시뮬레이션한 결과이다.
[163]
도 13d 및 하기 수학식 8을 참조하면, IR 필터(318)의 기울기(θ 1)와 쉬프트 거리는 다음의 관계를 가질 수 있다.
[164]
[수식8]


[165]
여기서, θ 2는 수학식 9과 같이 나타낼 수 있다.
[166]
[수식9]


[167]
그리고 θ 1는 IR 필터(318)의 기울기, 즉 틸팅 각도이고, n g는 IR 필터(318)의 굴절율이며, d는 IR 필터(318)의 두께이다. 예를 들어, 수학식 8 내지 9를 참조하면, 센서 상에 입력되는 영상 프레임을 7㎛만큼 쉬프트시키기 위하여 IR 필터(318)는 약 5 내지 6°만큼 틸팅될 수 있다. 이때, IR 필터(318)의 수직 변위는 약 175 내지 210㎛가 될 수 있다.
[168]
이와 같이, IR 필터(318)의 기울기를 제어하면, 센서(320) 자체를 틸팅하지 않고도 쉬프트된 이미지 데이터를 얻는 것이 가능하다.
[169]
본 발명의 실시예에 따르면, IR 필터의 기울기를 제어하기 위한 제어부는 IR 필터와 직접 또는 간접으로 연결되는 액추에이터(actuator)를 포함할 수 있으며, 액추에이터는 MEMS(Micro Electro Mechanical Systems), VCM(Voice Coil Motor) 및 압전 소자 중 적어도 하나를 포함할 수 있다.
[170]
이때, 전술한 바와 같이, 1 픽셀은 크기가 인접한 제1 픽셀 중심 사이의 거리의 0.5일 수 있다. 그리고 이러한 1 픽셀만큼 입력광 신호를 쉬프트시키기 위해서는 매우 정밀한 제어가 필요하다. 액추에이터를 이용하여 IR 필터를 틸팅시키는 경우, 액추에이터의 정밀도에 따라 틸팅된 IR 필터의 기울기 및 입력광 신호의 쉬프트 값이 미리 설정된 값과 달라질 수 있다. 특히, 액추에이터 작동 중 에러 또는 고장이 발생하거나, 액추에이터의 사용 연한이 오래되어 부품 간의 정렬이 어긋날 경우, IR 필터의 기울기 및 입력광 신호의 쉬프트 값의 오차가 매우 커지게 될 수 있다.
[171]
이에, 실시예에서 제어부를 이용하여 입력광의 광경로를 서브픽셀 단위로 쉬프트 시키되, 실제 쉬프트 값을 검출하여 슈퍼레졸류션(super-resolution) 기법에 따라 영상 처리 시 오차를 보정할 수 있다.
[172]
실시예에 따르면, 제어부(150)는 소프트웨어적으로 또는 하드웨어적으로 입력광 신호의 광경로를 변경할 수 있다. 이상에서 제어부(150)가 IR 필터의 기울기를 제어하는 방법으로 입력광 신호의 광경로를 쉬프트시키는 것을 예로 들어 설명하고 있으나, 이로 제한되는 것은 아니고 광학부의 가변 렌즈를 이용하여 입력광 신호의 광경로를 쉬프트 시킬 수도 있다.
[173]
또한, 제어부(150)는 입력광 신호의 광 경로를 노출주기 별로 소정의 규칙에 따라 반복하여 쉬프트시킬 수 있다. 예를 들어, 제어부(150)는 입력광 신호의 광경로를 제1 노출주기 이후인 제2 노출주기에서 제1 이동방향으로 센서(130)의 1 픽셀 단위로 쉬프트할 수 있다. 또는 후술하는 바와 같이 제2 노출주기 이후인 제3 노출주기에 제2 이동방향 및 제1 이동방향으로 각각 센서(130)의 0.5 픽셀 단위로 시프트할 수 있다. 또한, 제3 노출주기 이후에 제3 이동방향으로 센서(130)의 1 픽셀 단위로 시프트할 수 있다.
[174]
뿐만 아니라, 제어부(150)는 광학부(120)를 제어하여 입력광 신호의 광 경로를 제어할 수 있다. 제어부(150)는 제1 행 영역(RR1)의 유효 영역에 수신되는 광이 상기 제1 행 영역(RR1)의 비유효 영역에 도달하도록 제어할 수 있다. 그리고 제어부(150)는 제2 행 영역(RR2)의 유효 영역에 수신되는 광이 제2 행 영역(RR2)의 상기 비유효 영역에 도달되도록 시프팅 제어할 수 있다.
[175]
또한, 상술한 바와 같이 광학부(120)는 필터로 적외선 투과 필터를 포함할 수 있고, 제어부(150)는 상기 적외선 투과 필터를 틸팅시켜 광경로에 대한 시프팅 제어를 수행할 수 있다.
[176]
상술한 제어는 이하 여러 실시예에도 동일하게 적용될 수 있다.
[177]
또한, 실시예에서 제어부(150)는 제1 노출주기 동안 추출된 데이터로부터 얻어진 제1 저해상 영상, 제1 이동방향으로 1 픽셀 쉬프트하여 제2 노출주기 동안 추출된 데이터로부터 얻어진 제2 저해상 영상을 슈퍼레졸루션 기법으로 정합하여 하나의 깊이 정보를 얻을 수 있다. 즉, 복수의 저해상 영상을 슈퍼레졸루션 기법으로 정합하여 깊이 정보를 갖는 고해상 영상을 생성할 수 있다. 여기서, 제1 저해상 영상, 제2 저해상 영상은 전술한 저해상 서브프레임, 저해상 영상 등과 혼용될 수 있다.
[178]
또한, 실시예에 따른 카메라 모듈(100)은 입력광 광경로의 쉬프트 값을 검출하며, 검출한 쉬프트 값을 이용하여 제어부(150) 또는 연산부를 제어하거나, 검출한 쉬프트 값을 깊이 이미지의 생성에 반영할 수 있다.
[179]
도 14, 도 15a 내지 도 15c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.
[180]
도 14, 도 15a 내지 도 15c를 참조할 때, 제2 실시예에 따른 카메라 모듈에서 고해상도의 영상은 상술한 바와 마찬가지로 연산부에서 이루어질 수 있으며, 연산부는 동일한 노출주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제2 실시예에서 복수의 저해상 깊이 정보에 대응하는 광 신호 또는 입력광 신호의 광경로는 상술한 바와 같이 서로 상이할 수 있다.
[181]
구체적으로, 연산부는 복수의 전기신호를 이용하여 1-1 내지 3-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 1-1 내지 1-8의 저해상 서브프레임과, 저해상 서브프레임 2-1 내지 2-8은 상술한 내용이 동일하게 적용될 수 있다. 마찬가지로, 틸트부에 의한 광경로 변경도 상술한 내용이 동일하게 적용될 수 있다.
[182]
다만, 저해상 서브프레임 3-1 내지 3-8은 제어부에 의해 입력광의 광경로가 변경되어 생성된 전기 신호를 기반으로 생성된 저해상 서브프레임일 수 있다.
[183]
구체적으로, 제어부는 상술한 바와 같이 입력광의 광경로를 변경할 수 있다. 제어부는 제2 노출주기에서 제1 이동거리만큼의 시프트한 이후에 제3 노출주기에서 광경로를 제2 이동방향 및 제3 이동방향으로 각각 제2 이동거리만큼 이동할 수 있다. 이 때, 제2 이동거리는 제1 이동거리의 0.5배 내지 1배일 수 있다. 이하에서는 0.5 픽셀로 설명한다. 여기서, 제2 이동방향은 제1 이동방향에 수직한 방향이고, 제3 이동방향은 제1 이동방향과 동일한 방향이다. 이에, 제1 이동방향이 제1 방향이면 제2 이동방향은 제2 방향이고, 제1 이동방향이 제2 방항이면 제2 이동방향은 제1 방향일 수 있다.
[184]
예컨대, 제어부가 제2 각도(θ b)로 각각 하측 및 좌측으로 이동시키면, 센서(130)에 입사되는 입력광 신호는 하측 및 좌측으로 각각 0.5 픽셀만큼 이동할 수 있다. 여기서, 상술한 제2 각도(θ b)는 예컨대 광학부에서 렌즈의 형상, 필터의 형상 등에 따라 다양하게 변경될 수 있다.
[185]
또한, 이러한 이동에 의해 센서(130)에 입사된 제1 입력 영역(I1) 및 제2 입력 영역(I2)과 제3 입력 영역(I3) 간의 위치 차이가 존재한다.
[186]
다시 말해, 제3 입력 영역(I3)의 중심(CP3, 이하 제3 중심)은 제1 입력 영역(I1)의 제1 중심(CP1)과 제2 입력 영역(I2)의 제2 중심(CP2) 사이에 위치할 수 있다. 또한, 제3 입력 영역(I3) 상에서 제3 중심은 인접한 제1 중심과 인접한 제2 중심과 1 픽셀 이내에 위치할 수 있다. 또한, 가장 인접한 제1 중심간의 제1 가상선과 가장 인접한 제2 중심 간의 제2 가장선 간의 교점에 위치할 수 있다. 또한, 제3 중심은 제1 중심 및 제2 중심과 마찬가지로 제1 방향 및 제2 방향으로 이격 배치될 수 있다. 또한, 제3 중심은 제1 중심 간의 제1 방향 또는 제2 방향으로 이격 거리와 동일한 길이로 이격 배치될 수 있다.
[187]
즉, 실시예에서 제어부는 제1 행 영역(RR1)의 비유효 영역에 도달하는 광이 제1 행 영역(RR1)의 비유효 영역에 인접한 상기 제2 행 영역(RR2)의 비유효 영역 방향으로 시프팅하는 제2 시프팅 제어를 수행할 수 있다. 이로써, 제1 행 영역(RR1)의 비유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 제1 행 영역(RR1)의 비유효 영역에 인접한 제2 행 영역(RR2)의 비유효 영역에 도달할 수 있다. 또한, 제1 행 영역(RR1)의 비유효 영역에 도달하는 광은 제1 행 영역(RR1)의 비유효 영역에 최인접한 제2 행 영역(RR2)의 비유효 영역으로 쉬프팅될 수 있다.
[188]
또한, 제어부는 제1 행 영역(RR1)의 유효 영역에 도달하는 광이 제1 행 영역(RR1)의 유효 영역에 인접한 제2 행 영역(RR2)의 유효 영역으로 시프팅하도록 제2 시프팅 제어를 수행할 수 있다. 이로써, 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 제1 행 영역(RR1)의 유효 영역에 인접한 제2 행 영역(RR2)의 유효 영역에 도달할 수 있다. 또한, 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제1 행 영역(RR1)의 유효 영역에 최인접한 제2 행 영역(RR2)의 유효 영역으로 쉬프팅될 수 있다. 이러한 시프팅 제어는 이하 여러 실시예에서도 동일하게 적용될 수 있다.
[189]
또한, 이러한 제2 시프팅 제어는 상술한 제1 시프팅 제어 이후에 수행될 수 있다. 그리고 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리와 상이할 수 있다. 예컨대, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다. 이에 대해서는 이하에서 자세히 설명한다.
[190]
그리고 저해상 서브프레임 3-1 내지 3-8은 제3 노출주기에서 생성된 저해상 서브프레임이다. 그러면, 연산부는 각 노출주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-3을 추출한다. 상술한 바와 마찬가지로, 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-3의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
[191]
또는, 전술한 바와 같이, 연산부는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 입력광 신호의 광경로가 상이하다. 그리고 연산부는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
[192]
예를 들어, 도 14에서, 저해상 서브프레임 1-1, 2-1, 3-1는 동일한 참조 신호 C 1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
[193]
보다 구체적으로, 상술한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 제1 실시예과 동일한 방식으로 생성될 수 있다. 이에, 본 내용은 생략하며 도 15a 내지 도 15c와 같이 저해상 서브프레임 3-1 내지 3-8을 생성하는 방식을 설명한다.
[194]
이 때, 3개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x6 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 4x6 의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 다만, 이러한 픽셀 수는 상술한 바와 같이 제한되는 것은 아니며 다양하게 변경될 수 있다.
[195]
상술한 바와 같이 연산부는 제1 저해상 영상, 제2 저해상 영상 및 제3 저해상 영상 등 복수의 저해상 영상을 생성할 수 있다. 그리고 제1 저해상 영상 및 제2 저해상 영상은 제1 이동방향으로 1 픽셀 크기로 광경로가 이동되어 촬영된 영상으로 제1 노출주기 동안 생성되고 객체의 깊이 정보를 포함할 수 있다. 또한, 제2 저해상 영상은 제2 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함할 수 있다. 제3 저해상 영상은 제3 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함할 수 있다. 또한, 상술한 바와 같이 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응하며, 제3 저해상 영상은 제3 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상의 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응하고, 제3 저해상 영상의 제3 영상 픽셀은 제3 입력 영역의 제1 픽셀에 대응할 수 있다.
[196]
연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다. 예컨대, 제1 저해상 영상의 각 픽셀의 우측에 제2 저해상 영상의 픽셀(B)을 배치할 수 있다. 여기서, 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다. 그리고 제3 저해상 영상은 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀(B) 사이에 위치할 수 있다.
[197]
구체적으로, 제3 저해상 영상은 제2 저해상 영상으로부터 제2 이동방향 및 제3 이동방향으로 각각 서브 픽셀만큼 하측으로 이동한 영상이다. 즉, 제3 저해상 영상은 제2 저해상 영상에서 제2 이동방향으로 0.5 픽셀만큼 이동하고, 다시 제3 이동방향으로 0.5 픽셀만큼 이동한 영상일 수 있다. 예컨대, 제3 저해상 영상은 제2 저해상 영상에서 하측으로 0.5 픽셀만큼 이동하고, 다시 좌측으로 0.5 픽셀만큼 이동한 영상일 수 있다. 즉, 제3 저해상 영상은 제2 저해상 영상을 기준으로 1 픽셀 이하로 쉬프팅된 영상일 수 있다. 이에, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리와 상이하며, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리가 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다. 예컨대, 제3 저해상 영상을 참조할 때, 제3 저해상 영상은 제2 저해상 영상에서 0.5 픽셀만큼 쉬프팅된 영상이나, 제2 저해상 영상은 제1 저해상 영상에서 1 픽셀만큼 쉬프팅된 영상일 수 있다. 바람직하게는, 제1 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 동일 행 영역에서 인접한 유효 영역의 중심간의 거리의 0.3 내지 0.7배일 수 있다.
[198]
또한, 상기 제2 시프팅 제어에 의한 센서 평면 상에서 광의 이동거리는 제1 행 영역의 유효 영역의 중심에서 상기 제1 행 영역의 유효 영역에 인접한 제2 행 영역의 중심 사이의 거리의 0.3 내지 0.7배일 수 있다. 그리고 제1 시프팅 제어에 의한 광의 이동거리는 제2 시프팅 제어에 의한 광의 이동거리의 0.5배 내지 1배일 수 있다.
[199]
또한, 제3 저해상 영상의 각 픽셀(C)은 제1 저해상 영상의 각 픽셀(A)과 제2 저해상 영상의 각 픽셀(B)의 중심에 위치할 수 있다. 보다 구체적으로, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀과 일부 중첩될 수 있다. 예컨대, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀 (B)과 각각 절반씩 중첩될 수 있다.
[200]
또한, 제3 저해상 영상 상에서 픽셀의 중심(CP3, 이하 제3 중심)은 인접한 제1 중심과 인접한 제2 중심과 1 픽셀 이내에 위치할 수 있다. 또한, 가장 인접한 인한 제1 중심간의 제1 가상선과 가장 인접한 제2 중심 간의 제2 가장선 간의 교점에 위치할 수 있다. 또한, 제3 중심은 제1 중심 및 제2 중심과 마찬가지로 제1 방향 및 제2 방향으로 이격 배치될 수 있다. 또한, 제3 중심은 제1 중심 간의 제1 방향 또는 제2 방향으로 이격 거리와 동일한 길이로 이격 배치될 수 있다.
[201]
그리고 고해상 픽셀 그리드에 제1 내지 제3 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 3배 증가한 고해상 영상 프레임이 생성될 수 있다.
[202]
한편, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
[203]
한 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 서브픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.
[204]
도 16, 도 17a 내지 도 17c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.도 16, 도 17a 내지 도 17c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 서로 상이할 수 있다.
[205]
예를 들어, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 그러면, 연산부는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
[206]
또는, 전술한 바와 같이, 연산부는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 입력광 신호의 광경로가 상이하다. 그리고 연산부는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
[207]
예를 들어, 도 17a에서, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 여기서, 저해상 서브프레임 1-1, 2-1, 3-1, 4-1는 동일한 참조 신호 C 1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 이왁 같은 방식으로, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
[208]
보다 구체적으로, 상술한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 제1 실시예 및 제2 실시예와 동일한 방식으로 생성될 수 있다. 그리고 저해상 서브프레임 3-1 내지 3-8은 제2 실시예와 동일한 방식으로 생성될 수 있다. 이에, 본 내용은 생략하며 도 17a 내지 도 17c와 같이 저해상 서브프레임 4-1 내지 4-8을 생성하는 방식을 설명한다.
[209]
그리고 여기서는 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 4x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 다만, 이러한 픽셀 개수에 한정되는 것은 아니다. 그리고 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
[210]
제1 내지 4 저해상 영상은 제1 실시예 및 제2 실시예에서 설명한 바와 같이 제어부에 의해 광경로가 이동되어 촬영된 영상이다. 즉, 제어부에 의해 광경로는 제4 노출주기에서 제3 노출주기를 기준으로 제3 이동방향으로 제1 이동거리만큼 쉬프팅될 수 있다. 여기서, 제4 노출주기는 제3 노출주기에 연속하는 노출주기이다. 이에 따라, 상술한 제1 실시예 또는 제2 실시예에서와 마찬가지로 제4 노출주기에서 연산부에 의해 제4 저해상 영상이 생성될 수 있다.
[211]
그리고 연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 내지 제4 저해상 영상의 픽셀값을 고해상 영상에 맞추어 재배치한다. 예컨대, 제4 저해상 영상은 제어부가 제3 노출주기가 종료된 후에 입력 신호의 광경로를 센서 기준 1 픽셀만큼 좌측으로 이동하여 생성될 수 있다. 마찬가지로, 제3 이동방향은 제1 이동방향의 반대방향일 수 있고, 제1 이동방향이 우측인 경우 제3 이동방향은 좌측을 의미한다.
[212]
따라서 제4 저해상 영상을 생성하기 위하여, 제3 실시예에 따른 카메라 모듈은 제1 실시예에서 설명한 제어부의 구동과 방향만을 반대 방향으로 설정하여 구동하여 얻어진 제4 입력 영역(I4)으로부터 제4 저해상 영상을 생성할 수 있다. 이 때, 제4 입력 영역(I4)의 중심(CP4, 이하 제4 중심)은 제3 중심(CP3)과 제1 방향 및 제2 방향으로 교번하여 배치될 수 있다. 그리고 제4 중심(CP4)은 제1 중심(CP1)과 제2 중심(CP2) 사이에 위치할 수 있다. 또한, 제4 저해상 영상의 각 픽셀(D)은 제3 저해상 영상의 각 픽셀(C)과 마찬가지로 제1 저해상 영상의 각 픽셀(A)과 제2 저해상 영상의 각 픽셀(B)의 중심에 위치할 수 있다. 이에, 제4 저해상 영상의 각 픽셀(D)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀(B)과 일부 중첩될 수 있다. 예컨대, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀과 각각 절반씩 중첩될 수 있다.
[213]
또한, 상술한 바와 같이 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응하며, 제3 저해상 영상은 제3 입력 영역에 대응하고, 제4 저해상 영상은 제4 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상에서 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응하고, 제3 저해상 영상의 제3 영상 픽셀은 제3 입력 영역의 제1 픽셀에 대응하고, 제4 저해상 영상의 제4 영상 픽셀은 제4 입력 영역의 제1 픽셀에 대응할 수 있다. 또한, 상술한 바와 같이 제1 영상 픽셀 내지 제4 영상 픽셀은 각각의 저해상 영상 또는 제1 입력 영상의 제1 픽셀에 대응할 수 있다.
[214]
예컨대, 제1 저해상 영상의 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치될 수 있고, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치될 수 있으며, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치될 수 있다. 이러한 구성에 의하여, 제3 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.
[215]
뿐만 아니라, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
[216]
그리고 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 소정의 픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.
[217]
또한, 변형예로서 연산부는 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제4 저해상 영상을 생성할 수 있다. 즉, 저해상 서브프레임 4-1 내지 4-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다.
[218]
다시 말해, 변형예로서 제어부에 의한 시프팅을 수행하지 않고 제4 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.
[219]
구체적으로, 이를 위해, 연산부는 제4 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다.
[220]
실시예에서, 인터폴레이션 기법은 선형 보간법(linear interpolation), 다항식 보간법(polynomial interpolation), 스플라인 보간법(spline interpolation), 지수 보간법(Exponential interpolation), 로그 선형 보간법(log linear interpolation), 라그랑지 보간법(lagrange interpolation), 뉴튼 보간법(newton interpolation), 2차원 보간법(bilinear interpolation), 공간 보간법(geographic interpolation) 등이 적용될 수 있다.
[221]
일예로, 연산부는 제4 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제4 중심에 대응하는 픽셀값을 산출할 수 있다. 이 때, 제4 중심에 인접한 제1 중심 및 제2 중심은 제4 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다. 이러한 방식에 의하여, 인터폴레이션 기법에 의한 처리 속도가 향상될 수 있다.
[222]
또한, 다른 말로 제4 저해상 영상은 제4 영상 픽셀을 포함하고, 제4 영상 픽셀은 최인접한 2개의 제1 영상 픽셀과 상기 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치할 수 있다. 즉, 제4 영상 픽셀은 상기 최인접한 2개의 제1 영상 픽셀과 상기 최인접한 2개의 제2 영상 픽셀에 인터폴레이션(interpolation)을 적용하여 산출될 수 있다. 이러한 방식에 의하여, 연산부는 인터폴레이션 기법으로 얻은 제4 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.
[223]
다시 말해, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광 간의 인터폴레이션 인터폴레이션(interpolation)을 적용하여 최인접한 제1 시프팅 제어에 의해 센서에 도달하는 광(최인접한 2개의 제1 영상 픽셀에 대응)과 상기 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광에 최인접한 광(제2 영상 픽셀에 대응)의 중심(제4 영상 픽셀)에 도달하는 광을 산출할 수 있다. 이러한 인터폴레이션 기법은 이하에도 동일하게 적용될 수 있다.
[224]
그리고 상술한 바와 같이 제3 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.
[225]
또한, 이러한 제4 영상 픽셀은 제3 영상 픽셀과 중첩되지 않을 수 있다. 이에 따라, 픽셀값에 대한 정확도가 개선될 수 있다.
[226]
도 18, 도 19a 내지 도 19c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.
[227]
도 18, 도 19a 내지 도 19c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 서브프레임을 생성할 수도 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 서로 상이할 수 있다.
[228]
예를 들어, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 이러한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 상술한 제1 내지 제3 실시예와 동일하게 적용될 수 있다.
[229]
다만, 제4 실시예에 따르면, 연산부는 제3 저해상 서브프레임 3-1 내지 3-8 및 제4 저해상 서브프레임 4-1 내지 4-8을 제1 저해상 서브프레임 1-1 내지 1-8 및 제2 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다.
[230]
구체적으로, 저해상 서브프레임 3-1 내지 3-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다. 다시 말해, 제어부에 의한 시프팅을 수행하지 않고 저해상 서브프레임 3-1 내지 3-8을 생성할 수 있다.
[231]
또한, 저해상 서브프레임 4-1 내지 4-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다. 다시 말해, 제어부에 의한 시프팅을 수행하지 않고 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.
[232]
이를 위해, 연산부는 제3 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다.
[233]
마찬가지로, 연산부는 제4 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. 다시 말해, 제4 저해상 영상은 제4 영상 픽셀을 포함하며, 제4 영상 픽셀은 최인접한 2개의 제1 영상 픽셀과 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치할 수 있다.
[234]
이러한 인터폴레이션 기법은 상술한 바와 마찬가지로 선형 보간법(linear interpolation), 다항식 보간법(polynomial interpolation), 스플라인 보간법(spline interpolation), 지수 보간법(Exponential interpolation), 로그 선형 보간법(log linear interpolation), 라그랑지 보간법(lagrange interpolation), 뉴튼 보간법(newton interpolation), 2차원 보간법(bilinear interpolation), 공간 보간법(geographic interpolation) 등이 적용될 수 있다.
[235]
또한, 연산부는 제3 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제3 중심에 대응하는 픽셀값을 산출할 수 있다. 이 때, 제3 중심에 인접한 제1 중심 및 제2 중심은 제3 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다. 이러한 방식에 의하여, 인터폴레이션 기법에 의한 처리 속도가 향상될 수 있다.
[236]
마찬가지로, 연산부는 제4 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제4 중심에 대응하는 픽셀값을 산출할 수 있다. 또한, 제4 중심에 인접한 제1 중심 및 제2 중심은 제4 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다.
[237]
이 때, 제3 중심은 제3 중심에 인접한 제4 픽셀의 픽셀값을 산출하기 위해 이용된 픽셀값의 일부를 이용할 수 있다. 예컨대, 인접한 제3 중심과 제4 중심은 픽셀값 산출에 있어서 적어도 하나의 제1 중심의 픽셀값 및 적어도 하나의 제2 중심의 픽셀값을 공유할 수 있다.
[238]
이러한 방식에 의하여, 연산부는 인터폴레이션 기법으로 얻은 제3 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 3-1 내지 3-8과을 생성할 수 있다. 또한, 연산부는 제4 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.
[239]
이에 따라, 제4 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.
[240]
그리고 연산부는 상술한 방식으로 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출할 수 있다. 그리고 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다.
[241]
그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
[242]
그리고 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다.
[243]
또는, 제3 실시예에서 설명한 내용과 동일하게 저해상 서브 프레임의 픽셀이 재배치될 수 있다. 다시 말해, 연산부 제1 내지 제4 저해상 영상을 생성할 수 있다.
[244]
구체적으로, 연산부 제1 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함하는 제1 저해상 영상과, 상기 제2 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함하는 제2 저해상 영상을 생성할 수 있다. 그리고 연산부는 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제3 저해상 영상을 생성하고, 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제4 저해상 영상을 생성할 수 있다.
[245]
이 때, 제1 저해상 영상은 제1 픽셀에 대응하는 제1 영상 픽셀을 포함하고, 상기 제2 저해상 영상은 제1 픽셀에 대응하는 제2 영상 픽셀을 포함할 수 있다.
[246]
그리고 본 실시예에서 제3 저해상 영상 및 제4 저해상 영상은 각각 최인접한 2개의 제1 영상 픽셀과 상기 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치하는 제3 영상 픽셀 및 제4 영상 픽셀을 포함할 수 있다. 그리고 제3 영상 픽셀 및 제4 영상 픽셀은 상기 최인접한 2개의 제1 영상 픽셀과 상기 최인접한 2개의 제2 영상 픽셀에 인터폴레이션(interpolation)을 적용하여 산출되며, 제3 영상 픽셀 및 상기 제4 영상 픽셀은 상기 제1 방향 및 상기 제2 방향으로 교차로 배치될 수 있다.
[247]
즉, 제1 저해상 영상의 각 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치될 수 있고, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치될 수 있으며, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치될 수 있다. 그리고 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다. 이러한 구성에 의하여, 제4 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.
[248]
그리고 여기서는 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 4x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 다만, 이러한 픽셀 개수에 한정되는 것은 아니다. 그리고 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
[249]
또한 상술한 바와 같이, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 소정의 픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.
[250]
도 20, 도 21a 내지 도 21c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다. 도 20, 도 21a 내지 도 21c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 서브프레임을 생성할 수도 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 광 신호 또는 입력광 신호의 광경로는 서로 상이할 수 있다.
[251]
예를 들어, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 이러한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 상술한 제1 내지 제3 실시예와 동일하게 적용될 수 있다.
[252]
또한, 저해상 서브프레임 3-1 내지 3-8 및 저해상 서브프레임 4-1 내지 4-8은 도 상술한 제3 실시예 또는 제4 실시예 중 어느 하나에 의해 생성될 수 있다.
[253]
이에 따라, 연산부는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다.
[254]
이 때, 제5 실시예에 따르면 연산부는 저해상 서브프레임 5-1 내지 8-8을 추가로 생성할 수 있다. 다시 말해, 연산부는 제5 저해상 영상 내지 제8 저해상 영상을 제1 저해상 영상 내지 제4 저해상 영상에 인터폴레이션(interpolation)을 적용하여 산출할 수 있다.
[255]
구체적으로, 연산부는 저해상 서브 프레임 1-1 내지 1-8, 서브 프레임 2-1 내지 2-8, 서브 프레임 3-1 내지 3-8 및 서브 프레임 4-1 내지 4-8을 이용하여 서브 프레임 5-1 내지 5-8, 서브 프레임 6-1 내지 6-8, 서브 프레임 7-1 내지 7-8 및 서브 프레임 8-1 내지 8-8을 생성할 수 있다. 이 때, 연산부는 서브 프레임 5-1 내지 5-8, 서브 프레임 6-1 내지 6-8, 서브 프레임 7-1 내지 7-8 및 서브 프레임 8-1 내지 8-8을 인접한 저해상 서브 프레임 1-1 내지 1-8, 서브 프레임 2-1 내지 2-8, 서브 프레임 3-1 내지 3-8 및 서브 프레임 4-1 내지 4-8에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. 이러한 인터폴레이션 기법은 제4 실시예에 설명한 내용이 동일하게 적용될 수 있다.
[256]
보다 구체적으로, 제5 저해상 영상 내지 제8 저해상 영상은 각각 제5 영상 픽셀 내지 제8 영상 픽셀을 포함할 수 있다. 이 때, 제5 영상 픽셀 내지 제8 영상 픽셀은 제1 영상 픽셀, 제1 영상 픽셀에 최인접한 제2 영상 픽셀, 제1 영상 픽셀과 제1 영상 픽셀에 최인접한 제2 영상 픽셀에 최인접한 제3 영상 픽셀 및 제1 영상 픽셀과 제1 영상 픽셀에 최인접한 제2 영상 픽셀에 최인접한 제4 영상 픽셀의 중심에 위치할 수 있다. 이 때, 제5 영상 픽셀은 제6 영상 픽셀과 제1 방향 및 상기 제2 방향으로 교차 배치되고, 제7 영상 픽셀은 제8 영상 픽셀과 제1 방향 및 제2 방향으로 교차 배치될 수 있다.
[257]
이로써, 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 서브 프레임 1-1 내지 1-8의 픽셀(A) 및 서브 프레임 2-1 내지 2-8의 픽셀(B)과 제1 방향으로 나란히 배치될 수 있다. 예컨대, 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 서브 프레임 1-1 내지 1-8과 서브 프레임 2-1 내지 2-8을 제1 방향으로 연결하는 가상선 상에 위치할 수 있다. 그리고 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 교대로 반복하여 배치될 수 있다.
[258]
또한, 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 서브 프레임 1-1 내지 1-8의 픽셀(A) 및 서브 프레임 2-1 내지 2-8의 픽셀(B)과 제2 방향으로 나란히 배치될 수 있다. 예컨대, 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 서브 프레임 1-1 내지 1-8과 서브 프레임 2-1 내지 2-8을 제2 방향으로 연결하는 가상선 상에 위치할 수 있다. 그리고 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 교대로 반복하여 배치될 수 있다.
[259]
그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-8의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출할 수 있다.
[260]
예컨대, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1, 5-1, 6-1, 7-1, 8-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 상술한 내용을 바탕으로, 연산부는 제1 저해상 영상의 픽셀(A)을 기준으로 우측에 제5 저해상 영상의 픽셀(E)을 배치하고, 제5 저해상 영상의 픽셀(E)의 우측에 제2 저해상 영상의 픽셀(B)을 배치하고, 제2 저해상 영상의 픽셀(B)의 우측에 제6 저해상 영상의 픽셀(F)을 배치하고, 제6 저해상 영상의 픽셀(F)의 하측에 제3 저해상 영상의 픽셀(C)을 배치하고, 제3 저해상 영상의 픽셀(C)의 좌측에 제8 저해상 영상의 픽셀(H)을 배치하고, 제8 저해상 영상의 픽셀(H)의 좌측에 제4 저해상 영상의 픽셀(D)을 배치하고, 제4 저해상 영상의 픽셀(D) 좌측에 제7 저해상 영상의 픽셀(G)을 배치할 수 있다.
[261]
이러한 픽셀 또는 픽셀값의 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
[262]
다시 말해, 제5 실시예에 따르면 가정적으로 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 8x8 크기의 고해상 영상을 생성할 수 있다. 이때, 고해상 픽셀 그리드는 8x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일할 수 있다. 또한, 여기에서 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
[263]
이와 같이, 고해상 픽셀 그리드에 제1 내지 제8 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 8배 증가한 고해상 영상 프레임이 생성된다.
[264]
한편, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
[265]
한 실시예에 따르면, 연산부는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 서브픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.
[266]
도 22는 본 발명의 일 실시예에 따른 센서의 작동 메커니즘을 설명하기 위한 도면이다.
[267]
센서(130)는 복수의 제1 픽셀 중 제2n-1열 또는 제2n-1행에 배치된 제1 픽셀에 수광되는 입력광 신호와 제1 위상의 참조 신호를 통해 복수의 제1 전기 신호를 생성할 수 있다. 센서(130)는 제1 행 영역에 배치된 제1 픽셀에 수광되는 입력광 신호와 제1 위상의 참조 신호를 통해 복수의 제1 전기 신호를 생성할 수 있다. 여기서, 제2n-1열, 제2n-1행 및 제1 행 영역은 홀수열 및 홀수행을 의미할 수 있다.
[268]
센서(130)는 복수의 제1 픽셀 중 제2n-1열 또는 제2n-1행에 배치된 제1 픽셀에 수광되는 입력광 신호와 제3 위상의 참조 신호를 통해 제3 전기 신호를 생성할 수 있다. 센서(130)는 제1 행 영역에 배치된 제1 픽셀에 수광되는 입력광 신호와 제3 위상의 참조 신호를 통해 복수의 제3 전기 신호를 생성할 수 있다. 여기서, 제2n-1열, 제2n-1행 및 제1 행 영역은 홀수열 및 홀수행을 의미할 수 있다.
[269]
여기서, n은 양의 정수이고, 제1 위상과 제3 위상은 180도의 위상차를 가질 수 있다.
[270]
그리고, 센서(130)는 복수의 제1 픽셀 중 제2n열 또는 제2n행에 배치된 제1 픽셀에 수광되는 입력광 신호와 제2 위상의 참조 신호를 통해 복수의 제2 전기 신호를 생성할 수 있다. 센서(130)는 제2 행 영역에 배치된 제1 픽셀에 수광되는 입력광 신호와 제2 위상의 참조 신호를 통해 복수의 제2 전기 신호를 생성할 수 있다. 여기서, 제2n열, 제2n행 및 제2 행 영역은 짝수열 및 짝수행을 의미할 수 있다.
[271]
센서(130)는 복수의 제1 픽셀 중 제2n열 또는 제2n행에 배치된 제1 픽셀에 수광되는 입력광 신호와 제4 위상의 참조 신호를 통해 제4 전기 신호를 생성할 수 있다. 센서(130)는 제2 행 영역에 배치된 제1 픽셀에 수광되는 입력광 신호와 제4 위상의 참조 신호를 통해 복수의 제4 전기 신호를 생성할 수 있다. 여기서, 제2n열, 제2n행 및 제2 행 영역은 짝수열 및 짝수행을 의미할 수 있다.
[272]
여기서, n은 양의 정수이다. 제2 위상과 제4위상은 180도의 위상차를 가질 수 있으며, 제2 위상은 제1 위상과 90도의 위상차를 가질 수 있다.
[273]
도 12를 참조하여 본 발명의 제1 실시예에 따른 센서(130)의 작동 메커니즘 구체적으로 살펴본다. 도 12의 (a)는 in-phase를 나타내며, 도 12의 (b)는 out-phase를 나타낸다.
[274]
도 22의 (a)에 도시된 것처럼, In-phase에서, 1행 및 3행, 즉 제2n-1행에 배치된 복수의 제1 픽셀에서는 제1 위상에 대응하는 복수의 제1 전기 신호(E1)가 생성될 수 있다. 반면, 2행 및 4행, 즉, 제2n행에 배치된 제1 픽셀에서는 제2 위상에 대응하는 제1 전기 신호(E2)가 생성될 수 있다.
[275]
그리고, 도 12의 (b)에 도시된 것처럼, out-phase에서, 1행 및 3행, 즉 제2n-1열에 배치된 복수의 제1 픽셀에서는 제3 위상에 대응하는 복수의 제3 전기 신호(E3)가 생성될 수 있다. 반면, 2행 및 4행, 즉, 제2n행에 배치된 제1 픽셀에서는 제4 위상에 대응하는 제4 전기 신호(E4)가 생성될 수 있다.
[276]
따라서, In-pahse에서 out-phase로 이어지는 하나의 노출주기에서, 1행 및 3행, 즉 제2n-1행(예를 들어, 홀수행)에 배치된 제1 픽셀에서는 제1 전기 신호(E1) 및 제3 전기 신호(E3)가 생성될 수 있다. 그리고, 1행 및 3행, 즉 제2n행(옐짝수행)에 배치된 제1 픽셀에서는 제2 전기 신호(E2) 및 제4 전기 신호(E4)가 생성될 수 있다. 따라서, 제2n-1행에 배치된 제1 픽셀과 제2n행에 배치된 제1 픽셀에서는 서로 다른 위상에 대응하는 전기 신호가 각각 2개씩 생성될 수 있다.
[277]
도 23은 본 발명의 일 실시예에 따른 제1 픽셀 정보를 설명하기 위한 도면이다.
[278]
연산부(140)는 제1 내지 제4 전기 신호를 변환하여 제1 픽셀 정보를 생성할 수 있다. 여기서, 제1 픽셀 정보는 제1 내지 제4 전기 신호를 변환하여 생성된 서브 프레임의 픽셀값을 의미할 수 있다.
[279]
예를 들어, 도 22에서와 같이 전기 신호가 생성된 경우, 제1 픽셀 정보는 도 23과 같을 수 있다. 도 23의 (a)는 제1 전기 신호를 변환하여 생성된 제1 서브프레임을 나타낸다. 제1 서브프레임은 제1행 및 제3행에 배치된 4개의 제1 픽셀에 대한 제1 픽셀 정보(D1)를 포함하나, 제2행과 제4행에 배치된 제1 픽셀에 대한 픽셀 정보와 제2 픽셀에 대한 픽셀 정보는 포함하지 않는다.
[280]
도 23의 (b)는 제2 전기 신호를 변환하여 생성된 제2 서브프레임을 나타낸다. 제2 서브프레임은 제2행 및 제4행에 배치된 4개의 제1 픽셀에 대한 제1 픽셀 정보(D2)를 포함하나, 제1행과 제3행에 배치된 제1 픽셀에 대한 픽셀 정보와 제2 픽셀에 대한 픽셀 정보는 포함하지 않는다.
[281]
도 23의 (c)는 제3 전기 신호를 변환하여 생성된 제3 서브프레임을 나타낸다. 제3 서브프레임은 제1행 및 제3행에 배치된 4개의 제1 픽셀에 대한 제1 픽셀 정보(D3)를 포함하나, 제2행과 제4행에 배치된 제1 픽셀에 대한 픽셀 정보와 제2 픽셀에 대한 픽셀 정보는 포함하지 않는다.
[282]
도 23의 (d)는 제4 전기 신호를 변환하여 생성된 제4 서브프레임을 나타낸다. 제4 서브프레임은 제2행 및 제4행에 배치된 4개의 제1 픽셀에 대한 제1 픽셀 정보(D4)를 포함하나, 제1행과 제3행에 배치된 제1 픽셀에 대한 픽셀 정보와 제2 픽셀에 대한 픽셀 정보는 포함하지 않는다.
[283]
앞서 살펴본 것처럼, 깊이 영상을 생성하기 위해서는 모든 픽셀값을 가진 4개의 위상의 서브 프레임 영상이 필요하다. 하지만, 전기 신호를 통해 생성되는 픽셀 정보는 각 서브 프레임 영상에서 일부 픽셀에 대한 값만을 제공한다. 예를 들어, 제1 픽셀 정보(D1)를 통해 생성되는 제1 서브프레임 영상은 총 16개의 픽셀값 중 4개의 픽셀값만을 가질 수 있다. 따라서, 깊이 영상을 생성하기 위해서는 각 서브 프레임 영상에서 제1 픽셀 정보로 생성되지 않은 픽셀들에 대한 값이 필요하다.
[284]
도 24 및 도 25는 본 발명의 일 실시예에 따른 제2 픽셀 정보를 산출하는 과정을 설명하기 위한 도면이다.
[285]
연산부(140)는 제1 픽셀 정보를 인터폴레이션(interpolation)하여 제2 픽셀 정보를 산출할 수 있다. 여기서, 제2 픽셀 정보는 서브 프레임 영상의 픽셀 값 중 제1 픽셀 정보를 제외한 픽셀 값을 의미할 수 있다. 즉, 제2 픽셀 정보는 서브 프레임 영상의 픽셀 값 중 전기 신호 변환을 통해 생성되는 픽셀값 이외의 픽셀 값을 의미할 수 있다.
[286]
우선, 연산부(140)는 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다. 도 24에 도시된 것처럼, 제2 픽셀에 대응하는 제2 픽셀 정보는 제2 픽셀에 인접한 복수의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 산출될 수 있다. 즉, 제2 픽셀에 상, 하, 좌, 우로 인접한 4개의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀에 대응하는 제2 픽셀 정보가 산출될 수 있다. 이때, 최외곽에 배치된 제2 픽셀의 경우에는 상, 하, 좌, 우 중 2개 혹은 3개의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보가 산출될 수 있다.
[287]
도 24를 참조하면, 연산부(140)는 제2 픽셀에 대응하는 제2 픽셀 정보는 각 위상별로 2개의 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보로 산출될 수 있다. 도 24의 (a)를 예로 들어 살펴보면, 연산부(140)는 제1 위상의 참조 신호에 대응하는 2개의 제1 픽셀 정보(D1) 및 제2 위상에 대응하는 2개의 제1 픽셀 정보(D2)를 인터폴레이션하여 제2 픽셀에 대한 제2 픽셀 정보를 산출할 수 있다. 도 24의 (b)를 예로 들어 살펴보면, 연산부(140)는 제3 위상의 참조 신호에 대응하는 2개의 제1 픽셀 정보(D3) 및 제4 위상에 대응하는 2개의 제1 픽셀 정보(D4)를 인터폴레이션하여 제2 픽셀에 대한 제2 픽셀 정보를 산출할 수 있다. 한편, 최외곽에 배치된 제2 픽셀의 경우에는 2개 또는 3개의 제1 픽셀 정보를 통해 제2 픽셀 정보가 산출될 수 있다.
[288]
이를 통해, 연산부(140)는 제1 내지 제4 위상에 대응하는 제1 내지 제4 서브프레임 영상에 대한 제2 픽셀의 픽셀 값을 산출할 수 있다. 예를 들어, 도 24의 (a)에서 산출된 제2 픽셀에 대한 제2 픽셀 정보는 제1 서브프레임 영상 및 제2 서브프레임 영상의 제2 픽셀에 대한 픽셀값으로 설정될 수 있다. 도 24의 (b)에서 산출된 제2 픽셀에 대한 제2 픽셀 정보는 제3 서브프레임 영상 및 제4 서브프레임 영상의 제2 픽셀에 대한 픽셀값으로 설정될 수 있다.
[289]
다음으로, 연산부(140)는 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제1 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다. 도 25에 도시된 것처럼, 제1 픽셀에 대응하는 제2 픽셀 정보는 제1 픽셀에 인접한 복수의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 산출될 수 있다. 즉, 연산부(140)는 제1 픽셀에 대각 방향으로 인접한 4개의 다른 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제1 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다.
[290]
도 25를 참조하면, 제1 픽셀에 대응하는 제1 픽셀 정보는 각 제1 픽셀별로 제1 위상 및 제3 위상에 대응하는 제1 픽셀 정보를 가지거나, 제2 위상 및 제4 위상에 대응하는 제1 픽셀 정보를 가질 수 있다. 즉, 2개의 위상에 대응하는 서브 프레임 영상의 픽셀 값이 없을 수 있다. 따라서, 연산부(140)는 대각방향에 위치한 4개의 제1 픽셀에 존재하는 제1 픽셀 정보를 인터폴레이션하여 제1 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다.
[291]
도 25의 예시를 통해 상세하게 살펴본다. 도 25의 (a)를 참조하면, 제1 위상에 대응하는 서브프레임에서 제1행 및 제3행의 제1 픽셀의 경우 제1 픽셀 정보(D1)가 있으나, 제2행 및 제4행의 제1 픽셀에는 제1 픽셀 정보가 없을 수 있다. 따라서, 연산부(140)는 제2행 및 제4행의 제1 픽셀에 대각 방향에 배치된 제1 픽셀에 대한 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보(B1)를 산출할 수 있다.
[292]
도 25의 (b)를 참조하면, 제2 위상에 대응하는 서브프레임에서 제2행 및 제4행의 제1 픽셀의 경우 제1 픽셀 정보(D1)가 있으나, 제1행 및 제3행의 제1 픽셀에는 제1 픽셀 정보가 없을 수 있다. 따라서, 연산부(140)는 제1행 및 제3행의 제1 픽셀에 대각 방향에 배치된 제1 픽셀에 대한 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보(B2)를 산출할 수 있다.
[293]
도 25의 (c)를 참조하면, 제3 위상에 대응하는 서브프레임에서 제1행 및 제3행의 제1 픽셀의 경우 제1 픽셀 정보(D3)가 있으나, 제2행 및 제4행의 제1 픽셀에는 제1 픽셀 정보가 없을 수 있다. 따라서, 연산부(140)는 제2행 및 제4행의 제1 픽셀에 대각 방향에 배치된 제1 픽셀에 대한 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보(B3)를 산출할 수 있다.
[294]
도 25의 (d)를 참조하면, 제4 위상에 대응하는 서브프레임에서 제2행 및 제4행의 제1 픽셀의 경우 제1 픽셀 정보(D4)가 있으나, 제1행 및 제3행의 제1 픽셀에는 제1 픽셀 정보가 없을 수 있다. 따라서, 연산부(140)는 제1행 및 제3행의 제1 픽셀에 대각 방향에 배치된 제1 픽셀에 대한 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀 정보(B4)를 산출할 수 있다.
[295]
도 26은 일 실시예에 따른 4개의 서브프레임을 나타낸 도면이다.
[296]
도 26은 도 24 및 도 25에 따라 연산부(140)가 산출한 제2 픽셀 정보를 통해 생성되는 서브프레임을 나타낸다.
[297]
도 26의 (a)는 제1 위상에 대응하는 제1 서브프레임 영상이고, 도 26의 (b)는 제2 위상에 대응하는 제2 서브프레임 영상이고, 도 26의 (c)는 제3 위상에 대응하는 제3 서브프레임 영상이고, 도 26의 (d)는 제4 위상에 대응하는 제4 서브프레임 영상이다.
[298]
앞서 살펴본 도 22의 제1 내지 제4 서브프레임의 경우에는 16개의 픽셀 중 4개의 픽셀만이 가지고 있다. 하지만, 본 발명의 실시예에 따라 제2 픽셀 정보를 산출하는 경우, 제1 내지 제4 서브프레임은 16개의 픽셀 전체에 대한 픽셀값을 가질 수 있다.
[299]
도 27은 본 발명의 일 실시예에 따른 센서의 작동 메커니즘을 설명하기 위한 도면이다.
[300]
도 27의 (a)를 참조하면, 센서(130)는 복수의 제1 픽셀 중 제4n-3행4n-2열에 배치된 제1 픽셀에 수광되는 입력광 신호와 제1 위상의 참조 신호를 통해 복수의 제1 전기 신호를 생성할 수 있다. 그리고, 센서(130)는 복수의 제1 픽셀 중 제4n-3행4n-2열에 배치된 제1 픽셀에 수광되는 입력광 신호와 제3 위상의 참조 신호를 통해 제3 전기 신호를 생성할 수 있다. 여기서, n은 양의 정수이고, 제1 위상과 제3위상은 180도의 위상차를 가질 수 있다.
[301]
센서(130)는 복수의 제1 픽셀 중 제4n-2행4n-3열에 배치된 제1 픽셀에 수광되는 입력광 신호와 제2 위상의 참조 신호를 통해 복수의 제2 전기 신호를 생성할 수 있다. 그리고, 센서(130)는 복수의 제1 픽셀 중 제4n-2행4n-3열에 배치된 제1 픽셀에 수광되는 입력광 신호와 제4 위상의 참조 신호를 통해 제4 전기 신호를 생성할 수 있다. 제2 위상과 제4위상은 180도의 위상차를 가질 수 있으며, 제2 위상은 제1 위상과 90도의 위상차를 가질 수 있다. 이는 도 27의 (b)와 같은 변형예로 동작될 수도 있다.
[302]
실시예에서, 연산부(140)는 동일한 위상에 대응하는 제1 픽셀 정보를 인터폴레이션하여 동일한 위상에 대응하는 제2 픽셀 정보를 산출할 수 있다.
[303]
연산부(140)는 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제2 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다. 이때, 제2 픽셀에 대응하는 제2 픽셀 정보는 제2 픽셀에 인접한 복수의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 산출될 수 있다.
[304]
연산부(140)는 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 제1 픽셀에 대응하는 제2 픽셀 정보를 산출할 수 있다. 이때, 제1 픽셀에 대응하는 제2 픽셀 정보는 제1 픽셀에 인접한 복수의 제1 픽셀에 대응하는 제1 픽셀 정보를 인터폴레이션하여 산출될 수 있다.
[305]
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

청구범위

[청구항 1]
객체로 광 신호를 출력하는 광출력부; 상기 객체로부터 반사된 상기 광 신호를 투과시키는 광학부; 상기 광학부를 투과한 상기 광 신호를 수신하는 센서; 및 상기 센서로 수신된 상기 광 신호를 이용하여 상기 객체의 깊이 정보를 획득하는 제어부;를 포함하고 상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함하고, 상기 제1 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역 또는 상기 제2 행 영역의 비유효 영역에 도달하도록 제어되고, 상기 제2 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제2 행 영역의 비유효 영역 또는 상기 제1 행 영역의 비유효 영역에 도달하도록 제어되는 카메라 모듈.
[청구항 2]
제1항에 있어서, 상기 제1 행 영역의 비유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역에 인접한 상기 제2 행 영역의 비유효 영역 방향으로 시프팅 제어되는 카메라 모듈.
[청구항 3]
제1항에 있어서, 상기 제1 행 영역의 유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 유효 영역 방향으로 시프팅 제어되는 카메라 모듈.
[청구항 4]
제2항 또는 제3항에 있어서, 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서의 평면 상에서 이동 거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서 평면 상에서 이동거리와 상이한 카메라 모듈.
[청구항 5]
제4항에 있어서, 상기 센서 평면상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 큰 카메라 모듈.
[청구항 6]
제5항에 있어서, 상기 제1 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 동일 행 영역에서 인접한 유효 영역의 중심간의 거리의 0.3 내지 0.7배인 카메라 모듈.
[청구항 7]
제5항에 있어서, 상기 제2 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 상기 제1 행 영역의 유효 영역의 중심에서 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 중심 사이의 거리의 0.3 내지 0.7배인 카메라 모듈.
[청구항 8]
제5항에 있어서, 상기 센서 평면 상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의한 광의 이동거리의 0.5배 내지 1배인 카메라 모듈.
[청구항 9]
제1항에 있어서, 상기 광학부의 제어에 의해 광 경로가 제어되어 상기 제1 행 영역의 유효 영역에 수신되는 광은 상기 제1 행 영역의 비유효 영역에 도달하도록 제어되고, 상기 제2 행 영역의 유효 영역에 수신되는 광은 상기 제2 행 영역의 비유효 영역에 도달되도록 시프팅 제어되는 카메라 모듈.
[청구항 10]
제9항에 있어서, 상기 광학부는 적외선 투과 필터를 포함하고, 상기 시프팅 제어는 상기 적외선 투과 필터를 틸팅시켜 제어하는 카메라 모듈.
[청구항 11]
제2항에 있어서, 상기 광학부는 초점이 조절되는 가변 렌즈를 포함하고, 상기 시프팅 제어는 상기 가변 렌즈를 조절하여 제어하는 카메라 모듈.
[청구항 12]
제11항에 있어서, 상기 가변 렌즈는 적어도 하나의 액체를 포함하는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 렌즈, SMA 렌즈, MEMS 렌즈 중 적어도 하나를 포함하는 카메라 모듈.
[청구항 13]
제1항에 있어서, 상기 광출력부로부터 출력된 상기 광 신호와 상기 센서에 수신된 상기 광 신호 간의 시간 차를 이용하거나 서로 다른 위상에 상기 센서의 유효 영역을 노출시키는 상기 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 상기 객체의 깊이 정보를 획득하는 연산부를 포함하는 카메라 모듈.
[청구항 14]
제13항에 있어서, 상기 연산부는 상기 시프팅 제어 전과 시프팅 제어 후에 상기 센서에서 획득한 정보들을 이용하여 상기 센서보다 높은 해상도의 깊이 정보를 획득하는 카메라 모듈.
[청구항 15]
제13항에 있어서, 상기 연산부는 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광 간의 인터폴레이션 인터폴레이션(interpolation)을 적용하여 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광에 최인접한 광의 중심에 도달하는 광을 산출하는 카메라 모듈.

도면

[도1]

[도2]

[도3]

[도4]

[도5]

[도6]   [규칙 제91조에 의한 정정31.03.2020] 

[도7]   [규칙 제91조에 의한 정정31.03.2020] 

[도8]   [규칙 제91조에 의한 정정31.03.2020] 

[도9]   [규칙 제91조에 의한 정정31.03.2020] 

[도10]   [규칙 제91조에 의한 정정31.03.2020] 

[도11]   [규칙 제91조에 의한 정정31.03.2020] 

[도12]

[도13a]

[도13b]

[도13c]

[도13d]

[도13e]

[도14]

[도15a]

[도15b]

[도15c]

[도16]

[도17a]

[도17b]

[도17c]

[도18]

[도19a]

[도19b]

[도19c]

[도20]

[도21a]

[도21b]

[도21c]

[도22]

[도23]

[도24]

[도25]

[도26]

[도27]