Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018004154) MIXED REALITY DISPLAY DEVICE
Document

명세서

발명의 명칭

기술분야

1  

배경기술

2   3   4  

발명의 상세한 설명

기술적 과제

5   6   7  

과제 해결 수단

8   9   10  

발명의 효과

11   12  

도면의 간단한 설명

13   14   15  

발명의 실시를 위한 형태

16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75  

청구범위

1   2   3   4   5   6   7   8   9   10  

도면

1   2   3   4   5  

명세서

발명의 명칭 : 혼합현실 디스플레이 장치

기술분야

[1]
본 발명의 실시예들은 혼합현실 디스플레이 장치에 관한 것이다.

배경기술

[2]
실제 현실에서 시스루(See-through) 카메라를 이용하여 가상 객체를 증강하여 실제 객체와 가상 객체가 혼합된 현실을 볼 수 있다. 이때, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가상 객체의 일부 혹은 전체가 보이지 않아야 한다.
[3]
상기와 같이, 가상 객체의 일부 혹은 전체가 실제 객체에 가려서 보이지 않도록 하는 실제 객체와 가상 객체 사이의 폐색(Occlusion) 효과는 실제 객체의 깊이 맵 및 가상 객체의 깊이 맵을 각각 생성한 후 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하여 깊이가 낮은 픽셀을 선택하고, 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여줌으로써 그 효과를 얻을 수 있다.
[4]
가상 객체의 깊이 맵 및 색상 맵은 가상 객체를 렌더링하는 과정에서 얻을 수 있다. 하지만, 실제 객체는 시스루 카메라를 통해 색상 맵을 얻을 수 있으나 깊이 맵의 경우 실제 객체에 대한 가상 모델이 없기 때문에 이러한 방법을 그대로 적용할 수 없다는 문제점이 있다.

발명의 상세한 설명

기술적 과제

[5]
본 발명은 실제 객체에 대한 정밀한 깊이 맵을 생성하여 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있도록 하는 혼합현실 디스플레이 장치를 제공하는 것을 목적으로 한다.
[6]
또한, 본 발명은 깊이 렌더링 엔진과 가상 환경 렌더링 엔진이 독립적으로 구성되어 파이프라인(pipeline) 구조를 가지기 때문에 하나의 그래픽스 장치에서 처리될 수 있고 여러 그래픽스 장치에서도 분할되어 처리될 수 있도록 하는 혼합현실 디스플레이 장치를 제공하는 것을 목적으로 한다.
[7]
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

과제 해결 수단

[8]
실시예들 중에서, 혼합현실 디스플레이 장치는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부, 실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부, 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부 및 상기 폐색 처리부로부터 수신된 상기 가상 객체의 색상 맵 및 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함한다.
[9]
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
[10]
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

발명의 효과

[11]
본 발명에 따르면, 실제 객체에 대한 정밀한 깊이 맵을 생성하여 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있다는 장점이 있다.
[12]
또한 본 발명에 따르면, 깊이 렌더링 엔진과 가상 환경 렌더링 엔진이 독립적으로 구성되어 파이프라인(pipeline) 구조를 가지기 때문에 하나의 그래픽스 장치에서 처리될 수 있고 여러 그래픽스 장치에서 분할되어 처리될 수 있다는 장점이 있다.

도면의 간단한 설명

[13]
도 1은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
[14]
도 2는 본 발명의 다른 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
[15]
도 3 내지 도 5는 본 발명의 일 실시예에 따른 폐색 효과를 설명하기 위한 도면이다.

발명의 실시를 위한 형태

[16]
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
[17]
본 명세서에서 사용된 용어 중 “깊이 맵”은 실제 객체 또는 가상 객체의 깊이를 픽셀로 표현한 이미지이다.
[18]
예를 들어, 제1 물체가 제2 물체의 뒤에 있다면 제1 물체는 제2 물체보다 깊이가 깊기 때문에 제1 물체에 대한 픽셀은 제2 물체에 대한 픽셀보다 깊은 깊이 값이 할당될 것이다. 즉, 낮은 깊이 값은 대응 물체가 사용자에게 가깝다는 것을 의미하고, 깊은 깊이 값은 대응 물체가 사용자로부터 멀리 있다는 것을 의미한다.
[19]
본 명세서에서 사용된 용어 중 “색상 맵”은 실제 객체 또는 가상 객체의 색상을 픽셀로 표현한 이미지이다.
[20]
본 명세서에서 사용된 용어 중 “알파 맵”은 각각의 픽셀에 대해서 마스크 또는 알파 값을 가지는 이미지이다.
[21]
도 1은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
[22]
도 1을 참조하면, 혼합현실 디스플레이 장치는 가상 환경 렌더링부(110), 깊이 렌더링부(120), 폐색 처리부(130), 디스플레이부(140), 시스루 카메라(150), 색상 맵 제공부(160)를 포함한다.
[23]
가상 환경 렌더링부(110)는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성한다. 이러한 가상 환경 렌더링부(110)는 가상 환경 씬 모듈(111), 렌더링 모듈(112) 및 색상/깊이 맵 제공 모듈(113)을 포함한다.
[24]
가상 환경 씬 모듈(111)은 가상 객체의 정보를 가지고 구성된 가상 환경을 제공한다.
[25]
렌더링 모듈(112)은 가상 환경 씬 모듈(111)에서 제공된 가상 환경에 대한 렌더링을 실행하여 렌더링 과정에서 가상 환경의 가상 객체에 대한 깊이 맵 및 색상 맵을 생성한다.
[26]
색상/깊이 맵 제공 모듈(113)은 렌더링 모듈(112)에 의해 생성된 깊이 맵 및 색상 맵을 깊이 렌더링부(120)에 제공한다.
[27]
깊이 렌더링부(120)는 실제 환경의 정보(즉, 실제 객체 모델)를 이용하여 실제 환경의 실제 객체에 대한 깊이 맵을 생성한다. 상기의 깊이 렌더링부(120)는 기존의 가상 환경 렌더링부(110)와는 독립적으로 구성되어 전체 그래픽스 렌더링부는 2개의 독립된 파이프라인(pipeline) 구조를 갖는다.
[28]
파이프라인 구조의 깊이 렌더링부(120) 및 가상 환경 렌더링부(110) 각각은 하나의 그래픽스 장치(예를 들어, GPU)에서 처리될 수 있고 여러 그래픽스 장치에서 분할되어 처리될 수 있다.
[29]
이러한 깊이 렌더링부(120)는 실제 객체 모델 모듈(121), 환경 스캔 모듈(122), 깊이 렌더링 모듈(123) 및 깊이 맵 제공 모듈(124)을 포함한다.
[30]
실제 객체 모델 모듈(121)은 실제 환경의 실제 객체와 동일하게 모델링된 객체를 깊이 렌더링 모듈(123)에 제공한다.
[31]
환경 스캔 모듈(122)은 실제 환경을 스캔하여 실제 객체에 대한 포인트 클라우드(point cloud) 또는 메쉬(Mesh) 모델을 생성한다. 상기 포인트 클라우드 및 메쉬 모델은 이하의 깊이 렌더링 모듈(123)에서 깊이 렌더링을 수행하여 깊이 맵을 생성할 때 사용된다. 이러한 설명은 깊이 렌더링 모듈(123)에서 보다 구체적으로 설명하기로 한다.
[32]
포인트 클라우드는 3차원 장면을 묘사하는 3차원 좌표계에서의 포인트들의 집합으로, 포인트 클라우드에서의 포인트들은 물체들의 외부 표면들을 나타낸다.
[33]
메쉬 모델은 면(Face), 노드(Vertex) 및 에지(Edge)를 포함하는 닫힌 구조를 말한다. 예를 들어, 메쉬는 삼각형으로 이루어질 수 있으며, 사각형, 오각형 등의 다각형으로 이루어질 수도 있다.
[34]
상기와 같은 메쉬는 메쉬의 크기 또는 면적이 주어지면, 모델링 된 형상에 따라 자동적으로 수십 개로부터 수천 및 수만 개 정도로 형성될 수 있으며, 이러한 메쉬 생성은 3차원 형상을 모델링 하는 분야에서 이미 알려져 있는 기법이 적용될 수 있다.
[35]
깊이 렌더링 모듈(123)은 실제 객체 모델 모듈(121)로부터 수신된 실제 객체 모델 또는 환경 스캔 모듈(122)로부터 수신된 메쉬 모델 또는 포인트 클라우드를 이용하여 깊이 레더링을 실행하여 깊이 맵을 생성한다.
[36]
일 실시예에서, 깊이 렌더링 모듈(123)은 실제 객체 모델 모듈(121)로부터 수신된 실제 객체와 동일하게 모델링한 객체를 사용하여 실제 환경과 동일한 씬을 구성하고, 씬을 이용하여 실시간으로 깊이 맵을 생성한다.
[37]
상기의 실시예에서, 깊이 렌더링 모듈(123)은 실제 객체의 종류가 동적 객체인 경우 환경 스캔 모듈(122)로부터 수신된 정보를 이용하여 동적 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시킬 수 있다.
[38]
이에 따라, 깊이 렌더링 모듈(123)은 실제 객체의 종류가 동적 객체이더라도 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시킴으로써 실제 환경을 그대로 시뮬레이션할 수 있다.
[39]
또 다른 일 실시예에서, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 수신된 포인트 클라우드 각각의 포인트를 디스플레이 상의 픽셀과 매핑하여 깊이 맵을 생성한다.
[40]
상기와 같이 깊이 렌더링 모듈(123)이 깊이 렌더링을 할 때 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하여 깊이 맵을 생성한다.
[41]
만일, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하지 않고 특정 시간 후에 깊이 렌더링을 실행하는 경우 깊이 렌더링을 통해 생성된 깊이 맵이 정확하지 않다.
[42]
이와 같은 이유는 환경 스캔 모듈(122)에 의해 스캔된 실제 환경의 실제 객체는 변경될 수 있기 때문이다. 따라서, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하여 깊이 맵을 생성한다.
[43]
깊이 맵 제공 모듈(124)은 깊이 렌더링 모듈(123)에서 깊이 렌더링을 통해 생성된 깊이 맵을 폐색 처리부(130)에 제공한다.
[44]
폐색 처리부(130)는 가상 환경 렌더링부(110)의 컬러/깊이 맵 제공 모듈(124)로부터 수신된 가상 객체의 깊이 맵과 색상 맵, 깊이 렌더링부(120)의 깊이 맵 제공 모듈(124)로부터 수신된 실제 객체의 깊이 맵 및 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여 폐색 처리를 실행한다.
[45]
보다 구체적으로, 폐색 처리부(130)는 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하며 깊이가 동일한 픽셀의 경우 실제 객체가 가상 객체를 가리고 있지 않다고 판단하며, 깊이가 상이한 픽셀의 경우 실제 객체가 가상 객체를 가리고 있다고 판단한다.
[46]
이러한 이유는 실제 객체가 가상 객체를 가리지 않고 있는 경우 실제 객체가 가상 객체가 분리되어 있기 때문에 동일한 깊이 값이 할당되어 깊이 맵이 생성되지만, 실제 객체가 가상 객체를 가리지 있는 경우 가상 객체가 실제 객체보다 뒤에 있기 때문에 해당 픽셀에서 가상 객체의 깊이 값은 실제 객체의 깊이 값보다 깊은 깊이 값이 할당되어 있기 때문이다.
[47]
따라서, 폐색 처리부(130)는 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교한 결과 깊이가 상이한 픽셀의 경우 낮은 깊이의 픽셀을 선택하고, 실제 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것이다.
[48]
즉, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가려는 지는 부분의 픽셀에 대해서는 실제 객체의 깊이 맵의 깊이 값이 가상 객체의 깊이 값보다 낮기 때문에 실제 객체의 깊이 맵에서 해당 픽셀을 선택한 후, 실제 객체의 색상 맵에서 동일한 픽셀의 색상을 디스플레이부(140)를 통해 출력한다.
[49]
이러한 경우, 실제 객체의 색상 맵에서 동일한 픽셀의 색상을 보여주고 가상 객체의 색상 맵에서 해당 픽셀의 색상을 보여주지 않기 때문에, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가리더라도 가상 객체의 일부 혹은 전체가 보이지 않는 것이다.
[50]
시스루 카메라(150)는 사용자로 하여금 가상 객체 표현을 디스플레이하고 있는 하나 이상의 부분적으로 투명한 픽셀을 거쳐 실제 객체를 볼 수 있도록 한다. 시스루 카메라(150)는 실제 환경의 실제 객체에 대한 색상 맵 제공부(160)를 통해 폐색 처리부(130)에 제공한다.
[51]
종래에는 실제 객체는 시스루 카메라를 통해 색상 맵을 얻을 수 있으나 깊이 맵의 경우 실제 객체에 대한 가상 모델이 없기 때문에 이러한 방법을 그대로 적용할 수 없다는 문제점이 있었으나, 상기와 같이 깊이 렌더링부(120)를 통해 정밀한 깊이 맵을 생성한 후 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있다.
[52]
도 2는 본 발명의 다른 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다. 도 2의 실시예는 실제 객체가 가상 객체를 가려 가상 객체의 일부 혹은 전체가 보이지 않도록 하는 폐색 효과 처리를 위해 FPGA로 사용하여 독립적으로 구현한 일 실시예에 관한 것이다.
[53]
도 2를 참조하면, 혼합현실 디스플레이 장치는 가상 환경 렌더링부(110), 깊이 렌더링부(120), 폐색 처리부(130), 시스루 카메라(150), 색상 맵 제공부(160), 맵 제공부(170) 및 합성 처리부(180)를 포함한다. 가상 환경 렌더링부(110) 및 깊이 렌더링부(120)은 도 1에서 설명하였으므로 이에 대한 상세한 설명은 생략하기로 한다.
[54]
폐색 처리부(130)는 가상 환경 렌더링부(110)의 컬러/깊이 맵 제공 모듈(124)로부터 수신된 가상 객체의 깊이 맵과 색상 맵, 깊이 렌더링부(120)의 깊이 맵 제공 모듈(124)로부터 수신된 실제 객체의 깊이 맵 및 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여 알파 맵을 생성한다. 여기에서, 알파 맵은 각각의 픽셀에 대해서 마스크 또는 알파 값을 가지는 이미지를 의미한다.
[55]
도 1의 실시예에서는 폐색 처리부(130)가 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하여 비교한 결과 깊이가 상이한 픽셀의 경우 낮은 깊이의 픽셀을 선택하고, 실제 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주어 실제 객체와 가상 객체 사이의 폐색 효과를 처리하였다.
[56]
도 1의 실시예와는 달리, 도 2의 폐색 처리부(130)는 도 1과 같은 폐색 처리를 실행하지 않고 폐색 효과를 처리하기 위한 마스크 또는 알파 값을 가지는 알파 맵을 생성한다.
[57]
이러한 알파 맵은 이하에서 설명할 합성 모듈(181)에서 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀 중 적어도 하나를 출력할 때 참조가 된다. 이러한 과정은 이하의 합성 모듈(181)에서 보다 구체적으로 설명하기로 한다.
[58]
폐색 처리부(130)는 알파 맵 및 가상 객체의 색상 맵을 합성 처리부(180)의 합성 모듈(181)에 제공한다.
[59]
합성 처리부(180)는 맵 제공부(170)로부터 수신된 알파 맵과 가상 현실의 가상 객체에 대한 색상 맵과 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여
[60]
합성 모듈(181)는 알파 맵을 이용하여 특정 픽셀이 마스크 형식 또는 알파 형식인지 여부에 따라 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀 중 적어도 하나를 디스플레이 모듈(182)를 통해 출력한다.
[61]
일 실시예에서, 합성 모듈(181)는 알파 맵에서 특정 픽셀이 마스크 형식이면 마스크가 0인지 또는 1인지에 따라 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀 또는 가상 객체의 색상 맵의 픽셀을 출력한다.
[62]
상기의 실시예에서, 합성 모듈(181)는 마스크가 0이면, 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀을 디스플레이 모듈(182)를 통해 출력한다. 이에 따라, 가상 객체의 색상 맵의 픽셀은 가려지고 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀이 출력되는 것이다.
[63]
한편, 합성 모듈(181)는 알파 맵에서 픽셀이 마스크를 나타내고 마스크가 1이면, 가상 객체의 색상 맵의 픽셀을 디스플레이 모듈(182)를 통해 출력한다. 이에 따라, 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀은 가려지고 가상 객체의 색상 맵의 픽셀이 출력되는 것이다.
[64]
또 다른 일 실시예에서, 합성 모듈(181)는 알파 맵에서 특정 픽셀이 형식이면 알파 값에 따라 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀에 대한 블렌딩 계산을 실행하여 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀을 함께 출력한다.
[65]
본 발명에서 알파 값을 사용하는 이유는 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀을 함께 표시할 때 투명도를 결정하기 위해서이다.
[66]
도 3 내지 도 5는 본 발명의 일 실시예에 따른 폐색 효과를 설명하기 위한 도면이다.
[67]
도 3 내지 도 5를 참조하면, 실제 현실에서 시스루 카메라를 이용하여 가상 객체를 증강하여 실제 객체와 가상 객체가 혼합된 현실을 볼 수 있다. 이때, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가상 객체의 일부 혹은 전체가 보이지 않아야 한다.
[68]
도 3과 같이 실제 현실에서 시스루 카메라를 이용하여 가상 객체인 원기둥(210) 및 정육면체(220)를 증강하여 실제 객체인 책상(200)과 가상 객체인 원기둥(210) 및 정육면체(220)가 혼합된 현실을 볼 수 있다. 이때, 가상 객체인 정육면체(220)의 위치가 실제 객체인 책상(200)의 뒤에 있어서 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가릴 경우 가상 객체인 정육면체(220)의 일부가 보이지 않아야 한다.
[69]
이를 위해, 혼합현실 디스플레이 장치는 실제 객체인 책상(200)의 깊이 맵 및 가상 객체인 정육면체(220)의 깊이 맵을 각각 생성한 후 실제 객체인 책상(200)의 깊이 맵과 가상 객체인 정육면체(220)의 깊이 맵을 픽셀 단위로 비교하여 깊이가 낮은 픽셀을 선택하고, 실체 객체인 책상(200)의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여줌으로써 가상 객체인 정육면체(220)의 일부가 실제 객체인 책상(200)에 가려서 보이지 않도록 한다.
[70]
혼합현실 디스플레이 장치는 도 4와 같이 실제 객체인 책상(200)의 깊이 맵(201)과 가상 객체인 원기둥(201) 및 정육면체(220)의 깊이 맵(203)을 픽셀 단위로 비교하며 책상의 깊이 값이 더 멀리 있는 픽셀의 경우 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리고 있지 않다고 판단하며, 깊이가 가까이 있는 픽셀의 경우 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리고 있다고 판단한다.
[71]
이러한 이유는 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리지 않고 있는 경우 실제 객체가 가까이 있으므로 더 얕은 깊이 값이 할당되어 깊이 맵이 생성되지만, 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리는 경우 가상 객체인 정육면체(220)가 실제 객체인 책상(200)보다 뒤에 있기 때문에 해당 픽셀에서 가상 객체인 정육면체(220)의 깊이 값은 실제 객체인 책상(200)의 깊이 값보다 깊은 깊이 값이 할당되어 있기 때문이다.
[72]
따라서, 혼합현실 디스플레이 장치는 실제 객체인 책상(200)의 깊이 맵과 가상 객체인 정육면체(220)의 깊이 맵을 픽셀 단위로 비교한 결과 깊이가 실제 객체인 책상(200)의 깊이 맵의 깊이 값이 낮기 때문에 실제 객체인 책상(200)의 깊이 맵에서 픽셀을 선택하고, 실제 객체인 책상(200)의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것이다.
[73]
즉, 가상 객체인 정육면체(220)의 위치가 실제 객체인 책상(200) 뒤에 있어서 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가릴 경우 가려는 지는 부분의 픽셀에 대해서는 실제 객체인 책상(200)의 깊이 맵의 깊이 값이 가상 객체인 정육면체(220)의 깊이 값보다 낮기 때문에 실제 객체인 책상(200)의 깊이 맵에서 해당 픽셀을 선택한 후, 실제 객체인 책상(200)의 색상 맵에서 동일한 픽셀의 색상을 출력한다.
[74]
혼합현실 디스플레이 장치는 상기와 같은 과정을 통해 생성된 도 5의 실제 객체의 색상 맵(201) 및 가상 객체의 색상 맵(202)을 이용하여 최종 이미지(203)을 보여줄 수 있다. 이때, 가상 객체의 정육면체(220) 중 일부는 실제 객체인 책상(200)에 의해 가려져 있어 해당 부분의 픽셀은 출력되지 않아 빈 공간으로 출력된다.
[75]
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

청구범위

[청구항 1]
가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부; 실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부; 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부; 및 상기 폐색 처리부로부터 수신된 상기 가상 객체의 색상 맵 및 시스루 카메라로부터 수신된 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 2]
제1항에 있어서, 상기 가상 환경 렌더링부는 가상 객체의 정보를 가지고 구성된 가상 환경을 제공하는 가상 환경 씬 모듈; 가상 환경 씬 모듈에서 제공된 가상 객체에 대한 렌더링을 실행하여 렌더링 과정에서 가상 객체의 깊이 맵 및 색상 맵을 생성하는 렌더링 모듈; 상기 렌더링 모듈에 의해 생성된 깊이 맵 및 색상 맵을 제공하는 색상/깊이 맵 제공 모듈을 포함하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 3]
제1항에 있어서, 상기 깊이 렌더링부는 상기 실제 환경의 실제 객체와 동일하게 모델링된 객체를 제공하는 실제 객체 모델 모듈; 실제 환경을 스캔하여 실제 객체에 대한 포인트 클라우드 또는 메쉬 모델을 생성하는 환경 스캔 모듈; 상기 실제 객체 모델 모듈로부터 수신된 실제 객체 모델 또는 환경 스캔 모듈로부터 수신된 메쉬 모델 또는 포인트 클라우드를 이용하여 깊이 레더링을 실행하여 깊이 맵을 생성하는 깊이 렌더링 모듈; 상기 깊이 렌더링 모듈에서 깊이 렌더링을 통해 생성된 깊이 맵을 제공하는 깊이 맵 제공 모듈을 포함하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 4]
제3항에 있어서, 상기 깊이 렌더링 모듈은 상기 환경 스캔 모듈로부터 상기 포인트 클라우드가 수신되는 즉시 상기 포인트 클라우드 각각의 포인트를 픽셀과 매핑하여 깊이 맵을 생성하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 5]
제3항에 있어서, 상기 깊이 렌더링 모듈은 상기 실제 객체 모델 모듈로부터 수신된 실제 객체와 동일하게 모델링한 객체를 사용하여 실제 환경과 동일한 씬을 구성하고, 상기 씬을 이용하여 깊이 맵을 생성하며, 상기 객체의 종류가 동적 객체인 경우 동적 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시키는 혼합현실 디스플레이 장치.
[청구항 6]
제1항에 있어서, 상기 폐색 처리부는 상기 실제 객체의 깊이 맵과 상기 가상 객체의 깊이 맵을 픽셀 단위로 비교하며 깊이가 상이한 픽셀이 존재하는지 여부를 확인하고, 상기 확인 결과 실제 객체의 깊이 맵 및 가상 객체의 깊이 맵 중 특정 픽셀의 깊이가 상이한 경우 깊이가 낮은 픽셀을 선택하고, 대응되는 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 7]
제1항에 있어서, 상기 폐색 처리부는 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 알파 맵을 생성하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 8]
제7항에 있어서, 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이면 마스크 값에 따라 가상 객체의 색상 맵의 픽셀 또는 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하고, 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 알파 형식이면 알파 값에 따라 가상 객체의 색상 맵의 픽셀 또는 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 동시에 출력하는 합성 처리부를 포함하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 9]
제8항에 있어서, 상기 합성 처리부는 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이고 마스크 값이 0이면 상기 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하고, 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이고 마스크 값이 1이면 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하는 것을 특징으로 하는 혼합현실 디스플레이 장치.
[청구항 10]
제8항에 있어서, 상기 합성 처리부는 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 알파 형식이고 알파 값에 따라 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀에 대한 블렌딩 계산을 실행하는 것을 특징으로 하는 혼합현실 디스플레이 장치.

도면

[도1]

[도2]

[도3]

[도4]

[도5]