此应用程序的某些内容目前无法使用。
如果这种情况持续存在,请联系我们反馈与联系
1. (WO2019066149) METHOD AND PROGRAM FOR EVALUATING SKIN CONDITION
Document

명세서

발명의 명칭

기술분야

1   2   3  

배경기술

4   5   6  

발명의 상세한 설명

기술적 과제

7   8   9   10   11   12   13   14  

과제 해결 수단

15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36  

발명의 효과

37   38   39   40   41   42   43   44  

도면의 간단한 설명

45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61  

발명의 실시를 위한 형태

62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128   129   130   131   132   133   134   135   136   137   138   139   140   141   142   143   144   145   146   147   148   149   150   151   152   153   154   155   156   157   158   159   160   161   162   163   164   165   166   167   168   169   170   171   172   173   174   175   176   177   178   179   180   181   182   183   184   185   186   187   188   189   190   191   192   193   194   195   196   197   198   199   200   201   202   203   204   205   206   207   208   209   210   211   212   213   214   215   216   217   218   219   220   221   222   223   224   225   226   227   228   229   230   231   232   233   234   235   236   237   238   239   240   241   242   243   244   245   246   247   248   249   250   251   252   253   254   255   256   257   258   259   260   261   262   263   264   265   266   267   268   269   270   271   272   273   274   275   276   277   278   279   280   281   282   283   284   285   286   287   288   289   290   291   292   293   294   295   296   297   298   299   300   301   302   303   304   305   306   307   308   309   310   311   312   313   314   315   316   317   318   319   320   321   322   323   324   325   326   327   328   329   330   331   332   333   334   335   336   337   338   339   340   341   342   343   344   345   346   347   348   349   350   351   352   353   354   355   356   357   358   359   360   361   362   363   364   365   366   367   368   369   370   371   372   373   374   375   376   377   378   379   380   381   382   383   384   385   386   387   388   389   390   391   392   393   394   395   396   397  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15  

도면

1   2   3   4   5   6   7   8   9   10a   10b   10c   11   12a   12b   13   14   15   16   17   18   19  

명세서

발명의 명칭 : 피부 상태 평가 방법 및 프로그램

기술분야

[1]
본 발명의 실시예들은 피부의 상태를 평가하기 위한 방법 및 프로그램에 관한 것이다.
[2]
또한, 본 발명의 실시예들은 이미지 분석에 기초하여 피부의 상태를 평가하기 위한 방법 및 프로그램에 관한 것이다.
[3]
또한, 본 발명의 실시예들은 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램에 관한 것이다.

배경기술

[4]
피부는 모발, 네일, 털 및 땀샘과 같은 피부 부속 조직을 포함하는 외피 시스템의 최대 기관이다. 피부는 하부 근육과 기관을 보호하는 상피 조직의 다중층을 포함한다. 피부는 여러 외부 및 내부 요인으로부터 끊임없는 공격을 받기 때문에 피부는 수많은 병에 감염될 수 있다. 따라서, 피부 상태를 모니터링하는 것은 건강의 관점에서 그리고 미용의 관점에서 중요하다.
[5]
피부의 상태를 모니터링하는 방법들이 다수 존재하지만, 대부분의 방법들이 피부과 의사 또는 피부과에 구비되는 전용 장치에 대한 접근을 요구한다. 그러나 이와 같은 의사 또는 전용 장치에 대한 접근은 어려움, 불편함 및 과도한 비용의 지출이 수반된다.
[6]
따라서 피부과 의사를 대면하거나 피부과에 구비되는 전용 장치 없이도 일반 사용자가 손쉽게 피부의 상태를 파악할 수 있는 보다 간단한 솔루션의 필요성이 대두되고 있다.

발명의 상세한 설명

기술적 과제

[7]
본 발명은 피부 이미지로부터 하나 이상의 피부의 속성에 대한 속성값과 피부의 등급을 확인할 수 있는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
[8]
또한 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정하여 해당 피부에 대한 적절한 조치가 취해질 수 있도록 하는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
[9]
나아가 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합하여 제공할 수 있는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
[10]
본 발명은 이미지 분석에 기초하여 피부의 속성값을 확인할 수 있는 방법 및 프로그램을 제공하고자 한다.
[11]
또한 본 발명은 이미지 분석에 기초하여 피부의 색상에 대한 평가를 수행할 수 있는 방법 및 프로그램을 제공하고자 한다.
[12]
또한 본 발명은 2차원 이미지 분석에 기초하여 피부의 3차원 공간상에서의 특성에 대한 속성값을 확인할 수 있는 방법 및 프로그램을 제공하고자 한다.
[13]
나아가 본 발명은 피부의 속성값 분석과 더불어 각 속성값에 기초한 해결방안 등을 통합하여 제공할 수 있는 방법 및 프로그램을 제공하고자 한다.
[14]
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.

과제 해결 수단

[15]
본 발명의 일 실시예에 따른 피부 이미지에 기초하여 피부의 상태를 평가는 방법은, 피부 이미지로부터 제1 특징 벡터(Characteristic Vector)를 생성하는 단계; 상기 제1 특징 벡터 및 제1 피부 인식기(Skin Recognizer)에 기초하여 상기 피부의 적어도 하나의 속성에 대한 속성값과 대응되는 제2 특징 벡터를 결정하는 단계; 및 상기 제2 특징 벡터 및 제2 피부 인식기에 기초하여 상기 피부의 등급을 결정하는 단계;를 포함할 수 있다. 이때 상기 제1 피부 인식기는 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트(Data set)이고, 상기 제2 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
[16]
상기 속성은 상기 피부의 홍조 정도, 상기 피부의 주름 정도, 상기 피부의 평탄도를 포함하고, 상기 제2 특징 벡터는 상기 홍조 정도, 상기 주름 정도 및 상기 평탄도 각각에 대응되는 적어도 하나 이상의 벡터 성분을 포함할 수 있다.
[17]
상기 피부의 등급은 상기 피부에 대한 관리 필요성에 따른 적어도 하나 이상의 등급을 포함할 수 있다. 이때 상기 적어도 하나 이상의 등급은 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함할 수 있다.
[18]
상기 제1 특징 벡터를 생성하는 단계는 상기 피부 이미지와 상기 피부의 적어도 하나의 물리량에 기초하여 제1 벡터를 생성할 수 있다.
[19]
상기 제1 특징 벡터를 생성하는 단계는 상기 피부 이미지에서 얼굴 영역을 인식하는 단계; 및 상기 인식된 얼굴 영역에 대응되는 이미지에 기초하여 상기 제1 특징 벡터를 생성하는 단계;를 포함할 수 있다.
[20]
본 발명의 일 실시예에 따른 피부 상태 평가 방법은 상기 제1 특징 벡터를 생성하는 단계 이전에 피부의 적어도 하나의 속성에 대한 속성값이 표지(Labeled)된 하나 이상의 트레이닝(Training) 피부 이미지에 기초하여 상기 제1 피부 인식기를 트레이닝 하는 단계; 및 피부의 등급이 표지되고, 피부의 적어도 하나의 속성에 대한 속성값을 포함하는 하나 이상의 트레이닝(Training) 피부 정보에 기초하여 상기 제2 피부 인식기를 트레이닝 하는 단계;를 더 포함할 수 있다.
[21]
본 발명의 일 실시예에 따른 피부 상태 평가 방법은 상기 피부의 등급을 결정하는 단계 이후에, 상기 제2 특징 벡터와 대응되는 각 속성에 대한 속성값 및 상기 피부의 등급 중 적어도 하나를 제공하는 단계;를 더 포함할 수 있다.
[22]
본 발명의 일 실시예에 따른 이미지(Image) 분석에 기반하여 피부의 상태를 평가하는 방법은, 상기 피부에 대한 복수의 이미지를 획득하는 단계; 상기 복수의 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 단계; 상기 적어도 하나의 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 상기 기준 영역의 색상에 기초하여 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값을 결정하는 단계; 및 상기 적어도 하나의 평가 대상 이미지 중 상기 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교를 통하여, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다.
[23]
이때 상기 피부는 얼굴(Face)의 피부이고, 상기 소정의 촬영 조건은 이미지가 상기 얼굴의 정면 이미지를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 상기 얼굴의 좌측면 이미지를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 상기 얼굴의 우측면 이미지를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 상기 얼굴의 상면 이미지를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 상기 얼굴의 하면 이미지를 포함하는지 여부 중 적어도 하나를 포함할 수 있다.
[24]
상기 복수의 이미지는 복수의 프레임(Frame)을 포함하는 동영상이고, 상기 평가 대상 이미지를 결정하는 단계는 상기 복수의 프레임 중 상기 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 상기 평가 대상 이미지로 결정할 수 있다.
[25]
상기 피부는 얼굴(Face)의 피부이고, 상기 기준 영역은 상기 이미지에서 미간(眉間)에 대응되는 영역, 상기 이미지에서 귀(Ear) 주변부에 대응되는 영역 및 상기 이미지에서 상기 얼굴을 제외한 신체의 나머지 부분에 대응되는 영역 중 적어도 하나일 수 있다.
[26]
상기 제1 속성값을 결정하는 단계는 상기 하나 이상의 평가 대상 이미지 중 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서, 상기 기준 영역의 색상인 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계; 및 상기 선별된 적어도 하나의 지점의 수량, 상기 선별된 적어도 하나의 지점의 상기 기준 색상과의 색상차이 정도 및 상기 선별된 적어도 하나의 지점간의 분산 정도 중 적어도 하나에 기초하여 상기 제1 속성값을 결정하는 단계;를 포함할 수 있다.
[27]
상기 선별하는 단계는 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서 얼굴 영역을 인식하는 단계; 상시 인식된 얼굴영역에서 눈 영역, 코 영역 및 입 영역을 포함하는 선별 제외 영역을 인식하는 단계; 및 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 나머지 영역에서 상기 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계;를 포함할 수 있다.
[28]
상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계는 제1 평가 대상 이미지에서 제1 굴곡 영역을 결정하고, 상기 제1 굴곡 영역의 굴곡 정도인 제1 굴곡도를 결정하는 단계; 상기 제1 평가 대상 이미지와 상이한 제2 평가 대상 이미지에서 상기 제1 굴곡 영역과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정하는 단계; 및 상기 제1 굴곡도 및 상기 제2 굴곡도에 기초하여 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다. 이때 상기 제1 평가 대상 이미지와 상기 제2 평가 대상 이미지는 서로 상이한 각도에서 상기 피부를 촬영한 이미지일 수 있다.
[29]
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 피부에 대한 복수의 피부 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 평가 대상 이미지 결정단계; 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 속성값 결정 단계; 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 제1 특징 벡터를 생성하는 제1 특징 벡터 생성 단계; 및 상기 제1 특징 벡터 및 피부 인식기에 기초하여 상기 피부의 등급에 대응되는 제2 특징 벡터를 결정하는 제2 특징 벡터 결정 단계;를 포함할 수 있다. 이때 상기 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
[30]
상기 속성값 결정 단계는 상기 적어도 하나의 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 상기 기준 영역의 색상에 기초하여 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값을 결정하는 단계; 및 상기 적어도 하나의 평가 대상 이미지 중 상기 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교를 통하여, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다.
[31]
상기 피부는 얼굴의 피부이고, 상기 제1 속성값을 결정하는 단계는 상기 하나 이상의 평가 대상 이미지 중 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서, 상기 기준 영역의 색상인 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계; 및 상기 선별된 적어도 하나의 지점의 수량, 상기 선별된 적어도 하나의 지점의 상기 기준 색상과의 색상차이 정도 및 상기 선별된 적어도 하나의 지점간의 분산 정도 중 적어도 하나에 기초하여 상기 제1 속성값을 결정하는 단계;를 포함할 수 있다.
[32]
상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계는 제1 평가 대상 이미지에서 제1 굴곡 영역을 결정하고, 상기 제1 굴곡 영역의 굴곡 정도인 제1 굴곡도를 결정하는 단계; 상기 제1 평가 대상 이미지와 상이한 제2 평가 대상 이미지에서 상기 제1 굴곡 영역과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정하는 단계; 및 상기 제1 굴곡도 및 상기 제2 굴곡도에 기초하여 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다.
[33]
상기 피부는 얼굴의 피부이고, 상기 소정의 촬영 조건은 이미지가 상기 얼굴의 정면 이미지를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 상기 얼굴의 좌측면 이미지를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 상기 얼굴의 우측면 이미지를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 상기 얼굴의 상면 이미지를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 상기 얼굴의 하면 이미지를 포함하는지 여부 중 적어도 하나를 포함할 수 있다.
[34]
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 상기 제2 특징 벡터 결정 단계 이후에, 상기 제2 특징 벡터에 기초하여 상기 피부의 등급을 결정하는 단계;를 더 포함할 수 있다. 이때 상기 피부의 등급은 상기 피부에 대한 관리 필요성에 따라 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함할 수 있다.
[35]
상기 제1 특징 벡터를 생성 단계는 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 상기 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터를 생성하고, 상기 적어도 하나의 물리량은 상기 피부의 탄력도, 상기 피부의 수분 포함 정도, 상기 피부의 각질 두께 및 상기 피부에 칠해진 메이크업의 두께 중 적어도 하나인, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가할 수 있다.
[36]
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 상기 평가 대상 이미지 결정단계 이전에, 피부의 등급과 대응되는 제2 특징 벡터가 표지되고, 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터를 포함하는 하나 이상의 트레이닝 피부 정보에 기초하여 상기 피부 인식기를 트레이닝 하는 단계;를 더 포함할 수 있다.

발명의 효과

[37]
본 발명에 따르면 피부 이미지로부터 하나 이상의 피부의 속성에 대한 속성값과 피부의 등급을 확인할 수 있는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
[38]
또한 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정하여 해당 피부에 대한 적절한 조치가 취해질 수 있도록 하는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
[39]
나아가 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합하여 제공할 수 있는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
[40]
본 발명에 따르면 이미지 분석에 기초하여 피부의 속성값을 확인할 수 있는 방법 및 프로그램을 구현할 수 있다.
[41]
또한 이미지 분석에 기초하여 피부의 색상에 대한 평가를 수행할 수 있는 방법 및 프로그램을 구현할 수 있다.
[42]
또한 2차원 이미지 분석에 기초하여 피부의 3차원 공간상에서의 특성에 대한 속성값을 확인할 수 있는 방법 및 프로그램을 구현할 수 있다.
[43]
나아가 피부의 속성값 분석과 더불어 각 속성값에 기초한 해결방안 등을 통합하여 제공할 수 있는 방법 및 프로그램을 구현할 수 있다.
[44]
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도면의 간단한 설명

[45]
도 1은 본 발명의 일 실시예에 따른 피부 상태 평가 시스템을 개략적으로 도시한다.
[46]
도 2는 본 발명의 일 실시예에 따른 피부 상태 평가 장치의 구성을 개략적으로 도시한다.
[47]
도 3은 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기를 생성하는 방법을 설명하기 위한 도면이다.
[48]
도 4는 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기를 이용하여 피부 등급을 결정하는 방법을 설명하기 위한 도면이다.
[49]
도 5는 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 제1 벡터를 생성하는 방법을 설명하기 위한 도면이다.
[50]
도 6은 본 발명의 일 실시예에 따른 피부 상태 평가 장치에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다.
[51]
도 7은 본 발명의 일 실시예에 따른 사용자 단말에 표시되는 화면의 예시이다.
[52]
도 8은 사람의 얼굴 피부를 판단하고자 하는 경우의 얼굴에 대한 소정의 촬영 조건의 예시이다.
[53]
도 9는 본 발명의 일 실시예에 따른 제어부가 사용자 단말로부터 수신한 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지만을 도시한 도면이다.
[54]
도 10a 내지 10c는 제어부가 다양한 평가 대상 이미지로부터 기준영역을 설정하는 예시이다.
[55]
도 11은 본 발명의 일 실시예에 따른 제어부가 제1 속성값을 결정하는 과정을 설명하기 위한 도면이다.
[56]
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 제어부가 제3 속성값을 결정하는 과정을 설명하기 위한 도면이다.
[57]
도 13 내지 도 15은 본 발명의 일 실시예에 따른 피부 상태 평가 장치에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다.
[58]
도 16은 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기를 생성/업데이트 하는 방법을 설명하기 위한 도면이다.
[59]
도 17는 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기에 기초하여 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
[60]
도 18은 본 발명의 일 실시예에 따른 피부 상태 평가 장치에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다.
[61]
도 19은 본 발명의 일 실시예에 따라 사용자 단말에 표시되는 화면의 예시이다.

발명의 실시를 위한 형태

[62]
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
[63]
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
[64]
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
[65]
도 1은 본 발명의 일 실시예에 따른 피부 상태 평가 시스템을 개략적으로 도시한다.
[66]
도 1을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 시스템은 서버(100), 사용자 단말(200), 외부장치(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.
[67]
본 발명의 일 실시예에 따른 피부 상태 평가 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 피부의 이미지를 수신하고, 피부의 상태를 속성값으로 평가하거나, 피부의 상태를 등급으로 평가할 수 있다. 또한 피부 상태 평가 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값과 등급이 표지된 하나 이상의 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 시킬 수 있다. 보다 상세한 설명은 후술한다.
[68]
본 발명에서 '피부'는 인체의 표면을 구성하는 인체의 조직으로, 속성값이나 등급을 알고자 하는 대상일 수 있다. 이때 피부는 얼굴의 피부일 수도 있고, 인체의 다양한 부위의 피부일 수 있다. 다만 이하에서는 설명의 편의를 위하여 피부가 얼굴의 피부인 것을 전제로 설명한다.
[69]
피부의 홍조 정도는 피부가 붉은 정도를 의미하는 것으로, 피부가 붉을수록 홍조 정도가 높은 것일 수 있다. 피부의 홍조 정도는 피부의 색을 판단하는 요소로써의 의미를 가질 수 있으며, 후술하는 제1 속성값으로써 평가 될 수 있다.
[70]
피부의 주름 정도는 피부의 탄력 저하로 인해 피부가 잘게 접히는 정도를 의미할 수 있다. 이때 피부의 주름 정도가 높은 것은 피부가 잘게 접히는 면적이 크거나 또는 잘게 접힌 정도가 큰 경우를 의미할 수 있으며, 후술하는 제2 속성값으로써 평가될 수 있다.
[71]
한편 피부의 평탄도는 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 의미할 수 있다. 가령 피부의 평탄도는 모공으로 인해 피부가 울퉁불퉁한 정도를 의미할 수도 있고, 특정 부위의 상처나 점, 흉터 등에 의해 피부가 울퉁불퉁한 정도를 의미할 수 있으며, 후술하는 제3 속성값으로써 평가될 수 있다.
[72]
다만 상술한 피부의 속성값들은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 피부의 상태를 대표할 수 있는 것이라면 본 발명의 피부의 속성으로 사용될 수 있음이 자명하다.
[73]
한편 전술한 제1 속성값, 제2 속성값 및 제3 속성값과 같은 '속성값'은 적어도 하나의 평가 항목 각각에 대응되는 성분을 포함할 수 있다. 바꾸어 말하면 각 속성값은 10, 20, 0.1과 같은 하나의 값일 수도 있고, 각 속성값은 '값'이라는 명칭에도 불구하고, [0.1, 0.3, 0.7]등과 같이 복수의 성분으로 구성된 벡터(Vector)일 또는 집합일 수도 있다.
[74]
본 발명에서 '피부의 등급'은 전술한 피부의 속성값에 기초하여 피부의 관리 필요성에 따라 결정되는 수치일 수 있다. 등급은 가령 4개의 등급으로, 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함할 수 있다. 다만 이와 같은 등급의 구분은 예시적인 것이며, 피부를 더 많은 등급으로 또는 더 적은 등급으로 분류할 수 있다. 이때 피부의 등급은 피부의 전술한 속성을 다각적으로 고려하여 산출될 수 있다.
[75]
본 발명에서 사용자 단말(200)은 피부의 이미지를 서버(100)로 전송하고, 서버(100)로부터 피부에 대한 속성값이나 피부의 등급을 수신할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 휴대용 단말(201)일 수도 있고 퍼스널 컴퓨터(202)일 수도 있다.
[76]
사용자 단말(200)은 콘텐츠 등을 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.
[77]
도면에는 도시되지 않았지만 사용자 단말(200)은 피부에 대한 다양한 정보를 획득하는 피부 진단 장치(미도시)와 함께 사용될 수 있다.
[78]
피부 진단 장치(미도시)는 적어도 하나 이상의 파장의 광을 피부에 조사하여 각각의 파장의 광에 대한 피부의 이미지를 획득하고, 사용자 단말(200)을 통하여 서버(100)로 전송할 수 있다. 또한 피부 진단 장치(미도시)는 서버(100)로부터 사용자 단말(200)이 수신한 요청에 따라 다양한 각도 또는 소정의 각도에서의 피부 이미지를 획득하고, 이를 서버(100)로 전송할 수도 있다.
[79]
피부 진단 장치(미도시)는 피부의 이미지 외에, 피부가 노출되어 있는 환경에 대한 정보를 획득하고, 이를 서버(100)에 전송할 수도 있다. 가령 피부 진단 장치(미도시)는 피부 이미지의 촬영시의 온도, 습도, 조도, 색온도 및 자외선 정도를 측정하고 이를 서버(100)에 전송할 수도 있다.
[80]
물론 피부 진단 장치(미도시)는 피부 그 자체의 물리량을 측정하고 이를 서버(100)에 전송할 수도 있다. 가령 피부 진단 장치(미도시)는 피부 진단 장치(미도시)에 구비되는 다양한 센서에 기초하여, 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등을 측정하고 이를 서버(100)에 전송할 수도 있다.
[81]
이와 같은 피부 진단 장치(미도시)는 전술한 바와 같이 사용자 단말(200)과 별개의 장치일 수 있다. 가령 피부 진단 장치(미도시)는 사용자 단말(200)과 유/무선 네트워크를 통하여 연결되는 장치로, 이러한 경우 사용자 단말(200)은 피부 진단 장치(미도시)와 서버(100)를 매개하는 장치일 수 있다.
[82]
한편 피부 진단 장치(미도시)는 사용자 단말(200)에 포함되는 장치일 수 있다. 바꾸어 말하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 전술한 피부 진단 장치로써 동작할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[83]
본 발명에서 외부장치(300)는 서버(100) 및 사용자 단말(200)과 통신망(400)을 통하여 데이터를 송수신 하는 다양한 장치를 의미할 수 있다.
[84]
본 발명의 일 실시예에 따르면, 외부장치(300)는 서버(100)에 구비되는 피부 인식기를 트레이닝 하기 위한 트레이닝 피부 이미지 또는 트레이닝 피부 정보를 제공하는 장치일 수 있다. 가령 외부장치(300)는 피부병원의 서버로, 피부의 이미지와 해당 피부에 대한 진단 정보(특히 전술한 피부의 속성값이나 피부의 등급에 대한 평가 정보 등)를 제공하는 장치일 수 있다. 이와 같은 외부장치(300)는 단수일 수도 있고, 복수일 수도 있다.
[85]
본 발명의 다른 실시예에 따르면, 외부장치(300)는 외부장치(300) 자신이 획득한 피부 이미지의 속성값이나 등급을 확인 또는 결정하고자 하는 장치일 수 있다. 가령 외부장치(300)는 피부과 등에 구비되어, 환자의 피부 정보를 제공하고자 하는 장치일 수 있다. 다만 전술한 두 가지 경우는 모두 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.
[86]
본 발명에서 통신망(400)은 서버(100), 사용자 단말(200) 및 외부장치(300)를 연결하는 역할을 수행한다. 예를 들어, 통신망(400)은 사용자 단말(200)이 서버(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
[87]
본 발명에서 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값이나 등급을 알고자 하는 피부의 이미지를 수신하고, 해당 피부의 속성값이나 등급을 결정할 수 있다. 물론 피부에 대한 속성값이나 등급을 결정하기에 앞서서, 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 시킬 수 있다. 이를 위하여 서버(100)는 본 발명의 일 실시예에 따른 피부 상태 평가 장치를 포함할 수 있다.
[88]
또한, 서버(100)는 피부의 속성값이나 등급을 결정하기에 앞서서, 사용자 단말(200)에 특정 조건에 따른 피부 이미지의 획득 요청을 전송하고, 이에 대응하여 피부 이미지를 수신할 수 있다. 가령 서버(100)는 소정의 파장의 광을 피부에 조사하여 촬영된 이미지를 사용자 단말(200)에 요청할 수 있다. 또한 서버(100)는 얼굴이 특정 각도(가령 정면, 좌측 15도 각도, 우측 15도 각도 등)에서 촬영된 피부 이미지를 사용자 단말(200)에 요청할 수도 있다. 나아가 서버(100)는 다양한 각도의 얼굴 이미지를 포함하는 동영상을 사용자 단말(200)에 요청할 수도 있다.
[89]
한편 서버(100)의 사용자 단말(200)에 대한 요청은, 피부의 속성값을 판단하고자 하는 부위 별로 상이할 수 있다. 가령 얼굴의 피부에 대한 판단을 수행하고자 하는 경우, 서버(100)는 사용자 단말(200)에 대하여, 정면, 좌측면, 우측면, 상면 및 하면의 피부 이미지를 요청할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[90]
도 2는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)의 구성을 개략적으로 도시한다.
[91]
도 2를 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 통신부(111), 제어부(112) 및 메모리(113)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다.
[92]
통신부(111)는 피부 상태 평가 장치(110)가 사용자 단말(200) 및/또는 외부장치(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
[93]
제어부(112)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
[94]
메모리(113)는 피부 상태 평가 장치(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
[95]
이하에서는 피부 상태 평가 장치(110)가 서버(100)에 구비되는 것을 전제로 설명하지만, 역할배분에 따라 피부 상태 평가 장치(110)는 서버(100)와 별도로 구비될 수도 있다.
[96]
한편 전술한 바와 같이 서버(100), 즉 피부 상태 평가 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 피부의 이미지를 수신하고, 해당 피부에 대한 속성값 및/또는 등급을 결정할 수 있다. 또한 피부 상태 평가 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값 및 등급이 표지된 하나 이상의 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 할 수 있다.
[97]
또한, 전술한 바와 같이 서버(100), 즉 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 속성값 또는 등급을 결정하고자 하는 피부의 이미지를 수신하고, 해당 피부의 하나 이상의 속성에 대한 속성값 또는 등급을 결정할 수 있다.
[98]
이에, 이하에서는 피부 상태 평가 장치(110)가 하나 이상의 트레이닝 피부 이미지 또는 트레이닝 피부 정보로부터 피부 인식기를 생성 및/또는 업데이트 하는 방법에 대해 먼저 설명하고, 생성된 피부 인식기에 기초하여 피부의 하나 이상의 속성값 및 등급을 결정하는 방법을 나중에 설명한다.
[99]
그리고 피부 상태 평가 장치(110)가 서버(100)에 구비되는 것을 전제로, 사용자 단말(200)로부터 수신한 피부 이미지에 기초하여 피부에 대한 하나 이상의 속성값을 결정하는 내용을 중심으로 설명한다.
[100]
또한, 피부 상태 평가 장치(110)가 1) 피부에 대한 하나 이상의 속성값을 결정하는 내용, 2) 피부 인식기를 트레이닝 하는 내용 및 3) 인식된 피부 인식기에 기초하여 피부의 등급을 결정하는 내용 순으로 설명한다.
[101]
< 피부 상태 평가 장치(110)의 피부 인식기 생성/업데이트 방법 >
[102]
본 발명에서 '피부 인식기'는 제1 피부 인식기와 제2 피부 인식기를 포괄하는 개념이다. 또한 피부 인식기를 '생성'하는 것은 피부 인식기를 최초로 구성하는 것뿐만 아니라, 구성된 피부 인식기를 업데이트 하는 것을 의미할 수 있다.
[103]
제1 피부 인식기는 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트(Data set)일 수 있다. 이때 제1 특징 벡터는 복수의 피부의 이미지 각각으로부터 생성되는 것일 수 있다.
[104]
본 발명의 일 실시예에 따르면 제1 피부 인식기는 머신 러닝(Machine Learning) 기법으로 생성된, 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑(Mapping) 정보일 수 있다.
[105]
한편 제2 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
[106]
제1 피부 인식기와 유사하게 제2 피부 인식기 또한 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[107]
피부 상태 평가 장치(110)는 복수의 트레이닝 피부 이미지 및/또는 트레이닝 피부 정보를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[108]
피부 상태 평가 장치(110)는 어떤 피부의 속성값이나 등급을 예측하기 위해 Linear regression, Regression tree, Kernel regression, Support vector regression, Deep Learning 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[109]
또한 피부 상태 평가 장치(110)는 벡터의 연산을 위해 Principal component analysis, Non-negative matrix factorization, Independent component analysis, Manifold learning, SVD 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[110]
피부 상태 평가 장치(110)는 복수의 피부의 이미지의 그룹화를 위해 k-means, Hierarchical clustering, mean-shift, self-organizing maps(SOMs) 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[111]
피부 상태 평가 장치(110)는 데이터 비교를 위해 Bipartite cross-matching, n-point correlation two-sample testing, minimum spanning tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[112]
다만 전술한 알고리즘 및/또는 방식(기법)은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[113]
한편 피부 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 바꾸어 말하면 피부 인식기는 행렬(Matrix)과 같이 복수개의 숫자로 구성된 데이터 셋트일 수 있다.
[114]
도 3은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기를 생성하는 방법을 설명하기 위한 도면이다.
[115]
도 3을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)의 제어부(112)는 제1 피부 인식기(331) 및 제2 피부 인식기(332)의 생성을 위해 하나 이상의 트레이닝 피부 이미지(310)를 사용자 단말(200) 및/또는 외부장치(300)로부터 획득할 수 있다.
[116]
이때 트레이닝 피부 이미지(310)에는 적어도 하나의 속성에 대한 속성값과 피부의 등급이 표지되어 있을 수 있다. 바꾸어 말하면, 트레이닝 피부 이미지(310)는 이미 그 속성값과 등급을 하는 피부에 대한 이미지로, 피부 인식기의 생성 및/또는 트레이닝을 위해 사용되는 정보일 수 있다.
[117]
가령 첫 번째 트레이닝 피부 이미지(311)의 경우, 피부 이미지(311)에 대한 홍조 정도, 주름 정도 및 평탄도 등을 포함하는 속성값(312)과 피부의 등급(313)이 표지되어 있을 수 있다. 이때 홍조 정도, 주름 정도 및 평탄도 각각은 0.1, 0.8과 같이 각각의 속성에 대한 강도를 나타내는 수치일 수 있다. 또한 피부의 등급은 '제1 등급' 또는 '제3 등급'과 전술한 4개의 등급 중 어느 하나의 등급일 수 있다.
[118]
한편 속성값(312)은 전술한 세가지 속성에 대한 속성값 외에도, 피부 연령(가령 피부연령 30세), 성별(가령 남성), 인종(가령 동양인), 질병여부(가령 만성 피부염) 등에 대한 속성값을 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[119]
본 발명의 일 실시예에 따른 제어부(112)는 이와 같은 트레이닝 피부 이미지(310)를 외부장치(300)로부터 획득할 수도 있고, 피부 상태 평가 장치(110)의 메모리(113)로부터 획득할 수도 있다. 가령 제어부(112)는 특정 피부과의 서버에 저장된 진료 이력으로부터 트레이닝 피부 이미지(310)를 획득할 수도 있다. 이때 피부과 서버에 저장된 진료 이력은 전문가(가령 피부과 의사)에 의해 작성된 것일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(310)는 전문가가 피부를 평가한 자료에 기초한 것일 수 있다. 또한 제어부(112)는 스스로가 과거에 다른 피부 이미지의 속성값이나 등급을 결정한 이력으로부터 트레이닝 피부 이미지(310)를 획득할 수도 있다.
[120]
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 획득한 트레이닝 피부 이미지(310) 각각으로부터 제1 특징 벡터를 생성할 수 있다. 가령 제어부(112)는 첫 번째 트레이닝 피부 이미지(311)로부터 제1 특징 벡터(321)를 생성할 수 있다. 이때 제어부(112)는 피부 이미지(311)에 대한 이미지 분석에 기초하여 제1 특징 벡터(321)를 생성할 수 있다.
[121]
가령 제어부(112)는 보다 정확한 피부 상태의 평가를 위하여 피부 이미지(311)에서 얼굴 영역을 인식할 수 있으며, 도 5를 참조하여 설명한다. 제어부(112)는 이목구비의 인식 기법 및 윤곽선의 인식 기법 등을 활용하여 이미지(510) 내의 얼굴 영역을 결정할 수 있다. 제어부(112)는 인식된 얼굴 영역에 대응되는 이미지(530)에 기초하여 제1 특징 벡터(520)를 생성할 수 있다. 바꾸어 말하면 제어부(112)는 피부 이미지(510)에서 상태 평가의 대상이 되지 않는 영역을 제외하고, 상태 평가의 대상이 되는 이미지(530) 만으로 제1 특징 벡터(520)를 생성할 수 있다. 이로써 본 발명은 이미지의 획득 상태 또는 방법에 따른 피부 상태 평가의 부정확성의 요소를 배제할 수 있다.
[122]
한편 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[123]
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[124]
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수도 있다.
[125]
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
[126]
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
[127]
다시 도 3으로 돌아오면, 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 생성된 제1 특징 벡터(321) 및 트레이닝 피부 이미지(311)의 적어도 하나의 속성에 대한 속성값(312)에 기초하여 제1 피부 인식기(331)를 업데이트(Update)할 수 있다. 이때 피부의 적어도 하나의 속성에 대한 속성값(312)은 제2 특징 벡터(322)의 형태일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(311)에는 피부의 적어도 하나의 속성에 대한 속성값(312)에 대응되는 제2 특징 벡터(322)가 표지되어 있을 수 있다. 이와 같은 제2 특징 벡터(322)는 피부의 적어도 하나의 속성에 대한 속성값(312)에 대한 별도의 변환 과정을 통해 생성된 것일 수 있다.
[128]
전술한 바와 같이 제1 피부 인식기(331)는 머신 러닝(Machine Learning) 기법으로 생성된, 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[129]
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 생성된 제1 특징 벡터(321)와 피부의 적어도 하나의 속성에 대한 속성값(312)(즉 제2 특징 벡터(322))를 서로 대응(매핑)시킬 수 있도록, 제1 피부 인식기(331)의 데이터 셋트를 갱신하는 방식으로 제1 피부 인식기(331)를 업데이트 시킬 수 있다. 가령 제1 피부 인식기(331)의 데이터 셋트가 도 3에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 제1 특징 벡터(321)와 제2 특징 벡터(322)에 기초하여 제1 피부 인식기(331)를 구성하는 계수들을 조절할 수 있다.
[130]
제어부(112)는 복수의 트레이닝 피부 이미지로부터 제1 특징 벡터를 반복하여 생성하고, 피부의 적어도 하나의 속성에 대한 속성값(즉 제2 특징 벡터)를 반복하여 획득하고, 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 속성값을 제공하는 제1 피부 인식기(331)를 획득할 수 있다.
[131]
이어서 본 발명의 일 실시예에 따른 제어부(112)는 제2 특징 벡터(322) 및 트레이닝 피부 이미지 정보에 포함된 피부의 등급(313)에 기초하여 제2 피부 인식기(332)를 업데이트(Update)할 수 있다. 이 때 피부의 등급(313)은 제3 특징 벡터(323)의 형태일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(311)에는 피부의 등급에 대응되는 제3 특징 벡터(323)가 표지되어 있을 수 있다. 이와 같은 제3 특징 벡터(323) 또한 피부의 등급(313)에 대한 별도의 변환 과정을 거쳐 생성된 것일 수 있다.
[132]
전술한 바와 같이 제2 피부 인식기(332)도 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[133]
본 발명의 일 실시예에 따른 제어부(112)는 제2 특징 벡터(322)와 피부의 등급(313)(즉 제3 특징 벡터(323))을 서로 대응(매핑)시킬 수 있도록, 제2 피부 인식기(332)의 데이터 셋트를 갱신하는 방식으로 제2 피부 인식기(332)를 업데이트 시킬 수 있다. 가령 제2 피부 인식기(332)의 데이터 셋트가 도 3에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 제2 특징 벡터(322)와 제3 특징 벡터(323)에 기초하여 제2 피부 인식기(332)를 구성하는 계수들을 조절할 수 있다.
[134]
제어부(112)는 제2 특징 벡터와 제3 특징 벡터를 반복하여 획득하고 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 등급을 제공하는 제2 피부 인식기(332)를 획득할 수 있다.
[135]
이로써 본 발명은 높은 정확도로 속성값을 제공하는 제1 피부 인식기(331)와 높은 정확도로 등급을 제공하는 제2 피부 인식기(332)를 획득할 수 있다.
[136]
< 피부의 속성값 및 피부의 등급을 결정하는 방법 >
[137]
이상에서는 도 3을 통하여 피부 상태 평가 장치(110)가 피부 인식기(331, 332)를 생성하는 방법을 설명하였다. 이하에서는 도 4를 통하여 전술한 과정에 의하여 생성된 피부 상태 평가 장치(110)가 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
[138]
이하에서는 전술한 과정에 의해서 피부 인식기(331, 332)가 피부 상태 평가 장치(110)에 의해 생성되어 있음을 전제로 설명한다.
[139]
도 4는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기(331, 332)를 이용하여 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
[140]
도 4를 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)의 제어부(112)는 평가 대상 피부의 피부 이미지(411)를 수신할 수 있다.
[141]
이 때 제어부(112)는 사용자 단말(200)로부터 피부 이미지(411)를 수신할 수도 있고, 외부장치(300)로부터 피부 이미지(411)를 수신할 수도 있다.
[142]
본 발명의 일 실시예에 따른 제어부(112)는 피부 이미지(411)에 대한 제1 특징 벡터(421)를 생성할 수 있다. 도 3에서 설명한 바와 같이 제어부(112)는 피부 이미지(411)에 대한 이미지 분석에 기초하여 제1 특징 벡터를 생성할 수 있다. 가령 제어부(112)는 보다 정확한 피부 상태의 평가를 위하여 피부 이미지(411)에서 얼굴 영역을 인식할 수 있으며, 도 5를 참조하여 설명한다. 제어부(112)는 이목구비의 인식 기법 및 윤곽선의 인식 기법 등을 활용하여 이미지(510) 내의 얼굴 영역을 결정할 수 있다. 제어부(112)는 인식된 얼굴 영역에 대응되는 이미지(530)에 기초하여 제1 특징 벡터(520)를 생성할 수 있다. 바꾸어 말하면 제어부(112)는 피부 이미지(510)에서 상태 평가의 대상이 되지 않는 영역을 제외하고, 상태 평가의 대상이 되는 이미지(530) 만으로 제1 특징 벡터(520)를 생성할 수 있다. 이로써 본 발명은 이미지의 획득 상태 또는 방법에 따른 피부 상태 평가의 부정확성의 요소를 배제할 수 있다.
[143]
한편 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[144]
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[145]
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수도 있다.
[146]
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
[147]
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
[148]
다시 도 4로 돌아오면, 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터(421) 및 제1 피부 인식기(331)에 기초하여 피부의 적어도 하나의 속성에 대한 속성값과 대응되는 제2 특징 벡터(422)를 결정할 수 있다.
[149]
전술한 바와 같이 제1 피부 인식기(331)는 머신 러닝(Machine Learning) 기법으로 생성된, 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[150]
따라서 본 발명의 일 실시예에 따른 제어부(112)는 피부 이미지(411)로부터 생성된 제1 특징 벡터(421)를 제1 피부 인식기(331)에 입력하여 출력 결과로써 제2 특징 벡터(422)를 획득할 수 있다. 이때 제2 특징 벡터(422)는 피부의 적어도 하나의 속성 각각에 대응되는 벡터 성분을 포함할 수 있다. 가령 제2 특징 벡터(422)는 피부의 홍조 정도에 해당하는 두 개의 벡터 성분과, 피부의 주름 정도에 해당하는 여섯개의 벡터 성분과, 피부의 평탄도에 해당하는 세 개의 벡터 성분을 포함할 수 있다.
[151]
이로써 본 발명은 피부 이미지(411)로부터 하나 이상의 피부의 속성에 대한 속성값을 획득할 수 있다. 이때 속성값은 그 자체로 피부의 상태를 나타내는 지표로써의 의미를 가질 수 있을 뿐만 아니라, 피부의 등급 결정의 기초로써의 의미를 가질 수 있다.
[152]
이어서 본 발명의 일 실시예에 따른 제어부(112)는 제2 특징 벡터(422) 및 제2 피부 인식기(332)에 기초하여 피부의 등급을 결정할 수 있다.
[153]
전술한 바와 같이 제2 피부 인식기(332)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[154]
따라서 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해서 획득된 제2 특징 벡터(422)를 제2 피부 인식기(332)에 입력하여 출력 결과로써 제3 특징 벡터(431)를 획득할 수 있다. 이때 제3 특징 벡터(431)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제3 특징 벡터(431)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
[155]
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정할 수 있다.
[156]
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 결정된 제2 특징 벡터 및 제3 특징 벡터 각각에 대응되는 정보중 적어도 일부를 사용자 단말(200)에 제공할 수 있다. 이때 제2 특징 벡터에 대응되는 정보는 피부의 각 속성에 대한 속성값일 수 있다. 또한 제3 특징 벡터에 대응되는 정보는 피부의 평가 등급일 수 있다.
[157]
선택적 실시예에서, 제어부(112)는 전술한 과정에 의해 결정된 제2 특징 벡터 및 제3 특징 벡터 각각에 대응되는 정보중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
[158]
이때 제3 특징 벡터에 대응되는 정보, 즉 피부의 평가 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 제2 특징 벡터에 대응되는 정보, 즉 피부의 각 속성에 대한 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
[159]
또한 본 발명의 일 실시예에 따른 제어부(112)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
[160]
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합적으로 제공할 수 있다.
[161]
한편 제어부(112)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
[162]
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 제어부(112)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 제어부(112)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
[163]
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 제어부(112)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수도 있다.
[164]
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
[165]
도 6은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 5를 통해 설명한 내용과 중복되는 내용의 설명은 생략한다. 또한 이하에서는 전술한 과정에 의해서 피부 인식기(331, 332)가 피부 상태 평가 장치(110)에 의해 생성되어 있음을 전제로 설명한다. 바꾸어 말하면 S61 및 S62에 따라 피부 상태 평가 장치(110)에 의해 제1 피부 인식기(331) 및 제2 피부 인식기(332)가 트레이닝 되어 있는 상태라고 가정한다.
[166]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 피부의 피부 이미지를 수신할 수 있다.(S63)
[167]
도 4를 다시 참조하여 설명하면, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부 이미지(411)를 수신할 수도 있고, 외부장치(300)로부터 피부 이미지(411)를 수신할 수도 있다.
[168]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 이미지(411)에 대한 제1 특징 벡터(421)를 생성할 수 있다. 도 3에서 설명한 바와 같이 피부 상태 평가 장치(110)는 피부 이미지(411)에 대한 이미지 분석에 기초하여 제1 특징 벡터를 생성할 수 있다.
[169]
가령 피부 상태 평가 장치(110)는 보다 정확한 피부 상태의 평가를 위하여 피부 이미지(411)에서 얼굴 영역을 인식할 수 있으며, 도 5를 참조하여 설명한다. 피부 상태 평가 장치(110)는 이목구비의 인식 기법 및 윤곽선의 인식 기법 등을 활용하여 이미지(510) 내의 얼굴 영역을 결정할 수 있다. 피부 상태 평가 장치(110)는 인식된 얼굴 영역에 대응되는 이미지(530)에 기초하여 제1 특징 벡터(520)를 생성할 수 있다. 바꾸어 말하면 피부 상태 평가 장치(110)는 피부 이미지(510)에서 상태 평가의 대상이 되지 않는 영역을 제외하고, 상태 평가의 대상이 되는 이미지(530) 만으로 제1 특징 벡터(520)를 생성할 수 있다. 이로써 본 발명은 이미지의 획득 상태 또는 방법에 따른 피부 상태 평가의 부정확성의 요소를 배제할 수 있다.
[170]
한편 피부 상태 평가 장치(110)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[171]
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터를 생성할 수 있다.
[172]
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수도 있다.
[173]
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
[174]
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
[175]
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터(421) 및 제1 피부 인식기(331)에 기초하여 피부의 적어도 하나의 속성에 대한 속성값과 대응되는 제2 특징 벡터(422)를 결정할 수 있다.(S65)
[176]
전술한 바와 같이 제1 피부 인식기(331)는 머신 러닝(Machine Learning) 기법으로 생성된, 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[177]
따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 이미지(411)로부터 생성된 제1 특징 벡터(421)를 제1 피부 인식기(331)에 입력하여 출력 결과로써 제2 특징 벡터(422)를 획득할 수 있다. 이때 제2 특징 벡터(422)는 피부의 적어도 하나의 속성 각각에 대응되는 벡터 성분을 포함할 수 있다. 가령 제2 특징 벡터(422)는 피부의 홍조 정도에 해당하는 두 개의 벡터 성분과, 피부의 주름 정도에 해당하는 여섯개의 벡터 성분과, 피부의 평탄도에 해당하는 세 개의 벡터 성분을 포함할 수 있다. 이로써 본 발명은 피부 이미지로부터 하나 이상의 피부의 속성에 대한 속성값을 획득할 수 있다. 이때 속성값은 그 자체로써 피부의 상태를 나타내는 지표로써의 의미를 가질 수 있을 뿐만 아니라, 피부의 등급 결정의 기초로써의 의미를 가질 수 있다.
[178]
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제2 특징 벡터(422) 및 제2 피부 인식기(332)에 기초하여 피부의 등급을 결정할 수 있다.(S66)
[179]
전술한 바와 같이 제2 피부 인식기(332)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[180]
따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 과정에 의해서 획득된 제2 특징 벡터(422)를 제2 피부 인식기(332)에 입력하여 출력 결과로써 제3 특징 벡터(431)를 획득할 수 있다. 이때 제3 특징 벡터(431)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제3 특징 벡터(431)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
[181]
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정하여 해당 피부에 대한 적절한 조치가 취해질 수 있도록 한다.
[182]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 과정에 의해 결정된 제2 특징 벡터 및 제3 특징 벡터 각각에 대응되는 정보중 적어도 일부를 사용자 단말(200)에 제공할 수 있다.(S67) 이때 제2 특징 벡터에 대응되는 정보는 피부의 각 속성에 대한 속성값일 수 있다. 또한 제3 특징 벡터에 대응되는 정보는 피부의 평가 등급일 수 있다.
[183]
선택적 실시예에서, 피부 상태 평가 장치(110)는 전술한 과정에 의해 결정된 제2 특징 벡터 및 제3 특징 벡터 각각에 대응되는 정보중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
[184]
이때 제3 특징 벡터에 대응되는 정보, 즉 피부의 평가 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 제2 특징 벡터에 대응되는 정보, 즉 피부의 각 속성에 대한 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
[185]
또한 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
[186]
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합하여 제공할 수 있다.
[187]
한편 피부 상태 평가 장치(110)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
[188]
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 피부 상태 평가 장치(110)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
[189]
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다.
[190]
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
[191]
도 7은 본 발명의 일 실시예에 따라 사용자 단말(200)에 표시되는 화면(700)의 예시이다.
[192]
도 7을 참조하면, 화면(700)은 사용자가 평가하고자 하는 피부의 이미지가 표시되는 영역(710), 피부에 대한 간략한 정보와 등급이 표시되는 영역(720), 피부의 각 속성에 대한 속성값이 표시되는 영역(730) 및 추천 관리 상품이 표시되는 영역(740, 750)을 포함할 수 있다.
[193]
피부에 대한 간략한 정보와 등급이 표시되는 영역(720)에 표시되는 등급은 제어부(112)가 제2 특징 벡터 및 제2 피부 인식기에 기초하여 결정한 것일 수 있다. 한편 함께 표시되는 성별과 추정연령은 이미지 분석으로부터 도출된 것일 수도 있고, 사용자 단말(200)로부터 입력 받은 것일수도 있다.
[194]
피부의 각 속성에 대한 속성값이 표시되는 영역(730)에 표시되는 하나 이상의 속성들은 제어부(112)가 제1 특징 벡터 및 제1 피부 인식기에 기초하여 결정한 제2 특징 벡터에 기초한 것일 수 있다.
[195]
추천 관리 상품이 표시되는 영역(740, 750)에 표시되는 추천 관리 상품 및 서비스는 제어부(112)가 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 결정한 것일 수 있다.
[196]
이로써 사용자는 화면(700)을 통하여 자신의 피부 상태를 손쉽게 파악할 수 있을 뿐만 아니라, 자신의 피부 상태에 맞는 적절한 상품을 결정하여 구매할 수 있다.
[197]
도 8은 사람(500)의 얼굴 피부를 판단하고자 하는 경우의 얼굴에 대한 소정의 촬영 조건의 예시이다.
[198]
도 8을 참조하면, 사람(500)의 얼굴 피부를 판단하고자 하는 경우, 상술한 기준 즉 소정의 촬영 조건은, 이미지가 얼굴의 정면 이미지(가령 623 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 얼굴의 좌측면 이미지(가령 624 또는 625 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 얼굴의 우측면 이미지(가령 621 또는 622 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 얼굴의 상면 이미지(가령 613 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 얼굴의 하면 이미지(가령 633 방향에서 획득된 이미지)를 포함하는지 여부 중 적어도 하나일 수 있다.
[199]
물론 전술한 촬영 조건 외에도 촬영 조건은 이미지가 소정의 제5 각도에서 촬영된 얼굴의 상좌측면 이미지(가령 614 또는 615 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제6 각도에서 촬영된 얼굴의 상우측면 이미지(가령 611 또는 612 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제7 각도에서 촬영된 얼굴의 하좌측면 이미지(가령 634 또는 635 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제8 각도에서 촬영된 얼굴의 하우측면 이미지(가령 631 또는 632 방향에서 획득된 이미지)를 포함하는지 여부를 포함하는지 여부 중 적어도 하나를 더 포함할 수 있다.
[200]
본 발명의 일 실시예에 따른 제어부(112)는 복수의 이미지 중 상술한 촬영 조건을 만족하는 이미지를 평가 대상 이미지로써 추출하여, 후술하는 피부에 대한 속성값 결정에 사용할 수 있다.
[201]
본 발명의 다른 실시예에서, 본 발명의 일 실시예에 따른 제어부(112)는 상술한 촬영 조건을 사용자 단말(200)에 제공하고, 사용자 단말(200)이 상술한 조건에 부합되는 이미지만을 획득하여 서버(100)에 전송하도록 할 수 있다. 바꾸어 말하면, 사용자 단말(200)은 제공된 촬영 조건에 따라 이미지를 획득하고, 이를 서버(100)에 전송할 수 있다. 이러한 경우 제어부(112)는 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지를 결정하는 과정 없이, 곧바로 사용자 단말(200)로부터 수신된 이미지를 평가 대상 이미지로 결정할 수 있다.
[202]
또한 제어부(112)는 촬영 조건에 따른 촬영이 가능하도록 하는 인터페이스를 사용자 단말(200)에 제공할 수 있다. 가령 제어부(112)는 촬영 조건에 따른 샘플 이미지, 촬영 조건에 대한 정보 및 현재 촬영되는 이미지의 촬영 조건 만족 여부 등을 표시하는 촬영 인터페이스를 사용자 단말(200)에 제공할 수 있다.
[203]
본 발명의 또 다른 실시예에서, 제어부(112)는 사용자 단말(200)로부터 수신한 동영상으로부터 상술한 평가 대상 이미지를 결정할 수도 있다. 즉, 제어부(112)는 동영상에 포함되는 복수의 프레임(Frame) 중에서 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 평가 대상 이미지로 결정할 수 있다. 물론 이는, 사용자 단말(200)이 피부의 상태를 판단하고자 하는 대상을 다양한 각도에서 촬영한 동영상을 서버(100)로 전송하였음을 전제로 한다. 이러한 경우 제어부(112)가 미리 사용자 단말(200)에 촬영 조건 및 촬영 인터페이스를 제공하거나 또는 제어부(112)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 과정은 생략될 수 있다.
[204]
다만 이하에서는 설명의 편의를 위하여, 제어부(112)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 것을 전제로 설명한다.
[205]
도 9는 본 발명의 일 실시예에 따른 제어부(112)가 사용자 단말(200)로부터 수신한 복수의 이미지(511 내지 515, 521 내지 525 및 531 내지 535) 중 소정의 촬영 조건을 만족하는 평가 대상 이미지만을 도시한 도면이다.
[206]
설명의 편의를 위하여, 평가 대상 이미지를 결정하는 소정의 촬영 조건이 도 8에서 설명한 바와 같이 611 내지 615, 621 내지 625 및 631 내지 635 방향에서 획득된 이미지를 포함하는지 여부라고 가정한다.
[207]
이러한 경우, 제어부(112)는 사용자 단말(200)로부터 수신한 이미지(가령 100개의 이미지)로부터 도시된 바와 같은 15개의 이미지를 평가 대상 이미지로 결정할 수 있다. 결정된 평가 대상 이미지는 전술한 바와 같이 피부에 대한 하나 이상의 속성값을 결정하거나, 피부의 등급을 결정하는데 사용될 수 있다.
[208]
본 발명의 일 실시예에 따른 제어부(112)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 기준 영역의 색상에 기초하여 적어도 하나의 평가 대상 이미지로부터 피부의 색상에 대응되는 제1 속성값을 결정할 수 있다.
[209]
전술한 바와 같이 본 발명에서 '피부의 속성'은 피부를 평가하는데 근간이 되는 다양한 요소들을 의미할 수 있으며, 제1 속성값은 피부의 속성 중 피부의 색상에 대한 평가값을 의미할 수 있다.
[210]
이때 피부의 색상에 대한 평가는 가령 피부 색상의 균질도, 피부의 홍조 부분의 크기 정도 및 피부의 홍조 정도 등 색상으로써 판단되는 다양한 평가를 의미할 수 있다. 한편 기준 영역은 피부의 색상 판단에 기준이 되는 부위에 대한 이미지로, 기준 영역의 색상은 제1 속성값의 결정에 사용되는 기준 색상을 의미할 수 있다.
[211]
도 10a 내지 10c는 제어부(112)가 다양한 평가 대상 이미지(523, 525)로부터 기준영역을 설정하는 예시이다.
[212]
가령 제어부(112)는 도 10a에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 미간(眉間)에 대응되는 영역(523-1)을 기준 영역으로 설정할 수 있다. 또한 제어부(112)는 도 10b에 도시된 바와 같이 얼굴의 좌측면 이미지(525)에서 귀(Ear) 주변부에 대응되는 영역(525-1)을 기준 영역으로 설정할 수 있다. 또한 제어부(112)는 도 10c에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)을 기준 영역으로 설정할 수 있다.
[213]
이와 같은 기준 영역의 설정은 제1 속성값으로 나타내고자 하는 색상의 평가 항목(가령 홍조 정도, 그을린 정도, 여드름 정도 등)에 따라 다양한 평가 대상 이미지의 다양한 영역으로 설정될 수 있으며, 어떤 항목에 따라 어떤 영역이 설정되어야 하는지는 실험적으로 획득될 수 있다.
[214]
가령 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우, 기준 영역은 도 10a에 도시된 바와 같이 미간(眉間)에 대응되는 영역(523-1)으로 결정될 수 있다. 물론 이는 실험적으로 미간이 홍조가 가장 적게 발현되는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
[215]
또한 제1 속성값으로써 피부의 그을린 정도(즉 햇볕에 탄 정도)를 나타내고자 하는 경우, 기준 영역은 도 10b에 도시된 바와 같이 귀 주변부에 대응되는 영역(525-1)이나, 도 10c에 도시된 바와 같이 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)으로 결정될 수 있다. 물론 이 또한 실험적으로 해당 부위들이 햇볕에 가장 그을려 지지 않는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니며, 이하에서는 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우를 예시로써, 제어부(112)가 제1 속성값을 결정하는 단계를 보다 상세히 살펴본다.
[216]
도 11은 본 발명의 일 실시예에 따른 제어부(112)가 제1 속성값을 결정하는 과정을 설명하기 위한 도면이다.
[217]
도 11을 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 하나 이상의 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지(523)에서 얼굴 영역(523-4)을 인식할 수 있다. 또한 제어부(112)는 인식된 얼굴영역(523-4)에서 눈 영역(523-5, 523-6), 코 영역(523-7) 및 입 영역(523-8)을 포함하는 선별 제외 영역을 인식할 수 있다. 즉 이미지(523)에서 눈, 코, 입 등은 피부 상태 평가의 대상이 아니므로, 이미지에서 색상이 상이한 눈, 코, 입 등의 부위를 미리 제외함으로써 보다 유의미한 평가 결과가 도출되도록 할 수 있다.
[218]
제어부(112)는 얼굴 영역(523-4)에서 전술한 과정에 의해서 인식된 선별 제외 영역(523-5, 523-6, 523-7 및 523-8)을 제외한 나머지 영역에서 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점(523-2, 523-3)을 선별할 수 있다. 이때 기준 색상은 전술한 과정에 의해서 설정된 기준 영역(523-1)의 색상일 수 있다.
[219]
이어서 제어부(112)는 선별된 적어도 하나의 지점(523-2, 523-3)의 수량, 선별된 적어도 하나의 지점(523-2, 523-3)의 기준 색상과의 색상차이 정도 및 선별된 적어도 하나의 지점(523-2, 523-3)간의 분산 정도 중 적어도 하나에 기초하여 제1 속성값을 결정할 수 있다.
[220]
이때 결정된 제1 속성값은 상술한 평가 요소 각각에 대한 정보를 각각에 대한 하나 이상의 성분으로써 포함할 수 있다. 가령 제1 속성값은 선별된 지점(523-2, 523-3)의 수에 대한 성분, 선별된 지점(523-2, 523-3)의 기준 색상과의 색상차이의 정도를 나타내는 성분 및 선별된 지점(523-2, 523-3)의 분산 정도를 나타내는 성분을 [2, 0.4, 0.7]등과 같이 포함할 수 있다.
[221]
본 발명의 일 실시예에 따른 제어부(112)는 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교(가령 522와 523의 비교)를 통하여 제2 속성값 및 제3 속성값 중 적어도 하나를 결정할 수 있다.
[222]
이미지는 3차원 공간상의 객체(가령 사람의 얼굴)를 2차원 공간상에 나타내므로, 어느 하나의 이미지만으로 객체의 3차원 공간상에서의 특징을 파악하기 어려울 수 있다. 가령 얼굴의 정면 이미지(도 9의 523)로부터 얼굴의 주름 정도나 얼굴의 굴곡 정도를 정확하게 파악하기 어려울 수 있다. 따라서 제어부(112)는 동일한 부위에 대해서 다양한 각도에서 촬영된 이미지를 상호 비교함으로써, 객체의 3차원 공간상에서의 특징을 보다 정확하게 파악할 수 있다.
[223]
이하에서는 도 12a 및 도 12b를 참조하여, 얼굴에 점이 있음을 전제로, 제어부(112)가 제3 속성값을 결정하는 내용을 중심으로 설명한다.
[224]
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 제어부(112)가 제3 속성값을 결정하는 과정을 설명하기 위한 도면이다.
[225]
설명의 편의를 위하여, 사람의 얼굴에 점(523-8)이 있으며, 점(523-8)은 도시된 바와 소정의 높이를 가져서 제3 속성값에 영향을 미치는 것으로 가정한다. 한편 제3 속성값은 전술한 바와 같이 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 나타내는 값일 수 있다.
[226]
전술한 가정 하에 본 발명의 일 실시예에 따른 제어부(112)는 제1 평가 대상 이미지(523)에서 제1 굴곡 영역(점(523-8) 영역)을 결정하고, 제1 굴곡 영역(점(523-8) 영역)의 굴곡 정도인 제1 굴곡도를 결정할 수 있다.
[227]
제어부(112)는 제1 평가 대상 이미지(523)에서 색상을 기준으로 제1 굴곡 영역(점(523-8) 영역)을 결정할 수 있다. 바꾸어 말하면 제어부(112)는 제1 평가 대상 이미지(523)에서 기준 색상과 색상의 차이가 임계 차이 이상인 지점을 제1 굴곡 영역(점(523-8) 영역)으로 결정할 수 있다. 한편 제1 평가 대상 이미지(523)에 기초하여 결정되는 제1 굴곡도는, 제1 굴곡 영역의 종류에 따라 굴곡이 없는 것으로 결정될 수도 있고, 또는 굴곡의 정도를 반영하도록 결정될 수도 있다. 가령 도 12a에 도시된 바와 같이 점(523-8) 영역이 제1 굴곡 영역으로 결정된 경우, 제1 평가 대상 이미지(523)로부터는 제1 굴곡 영역의 굴곡 정도를 파악할 수 없으므로(왜냐하면 점(523-8)에 대한 정면 이미지이므로), 제1 굴곡도는 굴곡이 없는 것으로 결정될 수 있다. 그러나 이와 달리 제1 평가 대상 이미지(523)로부터 굴곡의 정도를 파악할 수 있는 경우(가령 제2 속성값을 결정할 때, 제1 평가 대상 이미지(523)에 주름이 포함된 경우), 제1 굴곡도는 해당 굴곡의 정도를 반영하도록 결정될 수 있다.
[228]
이어서 제어부(112)는 제1 평가 대상 이미지(523)와 상이한 제2 평가 대상 이미지(522)에서 제1 굴곡 영역(점(523-8) 영역)과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정할 수 있다. 바꾸어 말하면, 다른 각도에서 촬영된 동일한 객체에 대한 이미지에 기초하여, 해당 영역에 대한 3차원 정보 없이도 굴곡의 정도를 정확하게 파악할 수 있다.
[229]
제어부(112)는 전술한 과정에 의해서 결정된 제1 굴곡도 및 제2 굴곡도 중 적어도 하나에 기초하여 제3 속성값을 결정할 수 있다. 가령 제어부(112)는 제1 굴곡도 및 제2 굴곡도의 평균에 기초하여 제3 속성값을 결정할 수도 있고, 제1 굴곡도 및 제2 굴곡도 중 큰 굴곡도에 기초하여 제3 속성값을 결정할 수도 있다.
[230]
한편 도 12a 및 도 12b에서 설명한 과정은 제2 속성값의 결정에 있어서도 동일하게 반복될 수 있으므로, 제2 속성값을 결정하는 과정에 대한 상세한 설명은 생략한다.
[231]
이어서 본 발명의 일 실시예에 따른 제어부(112)는 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 사용자 단말(200)에 제공할 수 있다. 사용자는 서버(100)로부터 제공된 제1 속성값, 제2 속성값 및 제3 속성값을 참조하여, 피부의 상태를 수치로써 객관적으로 파악할 수 있다.
[232]
한편 선택적 실시예에서 제어부(112)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값에 기초하여 피부의 상태를 소정의 등급으로 평가하고, 평가 결과를 사용자 단말(200)에 제공할 수도 있다.
[233]
이때 제어부(112)는 각각의 속성값과 피부의 등급 간의 상관관계를 나타낸 피부 인식기에 기초하여 피부의 등급을 평가할 수 있다. 바꾸어말하면, 제어부(112)는 머신 러닝(Machine Learning) 기법으로 생성된 피부 인식기에 기초하여 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나로부터 피부의 등급을 도출해 내고, 이를 사용자 단말(200)에 제공할 수 있다.
[234]
본 발명의 다른 실시예에서, 제어부(112)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를, 피부 치료 장비(미도시)로 제공할 수 있다. 피부 치료 장비(미도시)는 속성값을 참조하여 피부 치료의 강도 등을 결정할 수 있다.
[235]
본 발명의 또 다른 실시예에서, 제어부(112)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠의 제공 주체의 서버(미도시)로 전송할 수도 있다. 이로써 각 주체는 피부의 속성값을 참조하여, 피부의 상태에 맞는 상품이나 서비스를 추천하거나 제공할 수 있다.
[236]
도 13 내지 도 15은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다. 이하에서는 도 8 내지 도 12을 통해 설명한 내용과 중복되는 내용의 설명은 생략하며, 도 13 내지 도 15을 함께 참조하여 설명한다.
[237]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110) 는 전술한 바와 같이 사용자 단말(200)로부터 피부에 대한 이미지를 획득할 수 있다.(S81)
[238]
이때 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부에 대한 복수의 이미지를 획득할 수 있다. 복수의 이미지들은 동일한 피사체(가령 얼굴)에 대해 촬영 각도, 촬영시 조사된 광의 파장과 같은 촬영 조건을 서로 달리하여 획득된 이미지들일 수 있다. 이와 같은 촬영 조건은 피부 이미지에 매타데이터의 형태로 태그되어 있을수도 있고, 피부 상태 평가 장치(110)가 이미지 분석을 통하여 이미지 그 자체로부터 획득하는 것일 수도 있다.
[239]
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신된 복수의 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정할 수 있다.(S82)
[240]
본 발명에서 '평가 대상 이미지'는 전술한 바와 같이 피부 상태의 판단의 기초로써 사용되는 이미지로, 피부의 상태를 판단하고자 하는 부위별로 상이한 기준(즉 전술한 소정의 촬영 조건)에 따라 선별되는 이미지일 수 있다.
[241]
다시 도 8을 참조하면, 사람(500)의 얼굴 피부를 판단하고자 하는 경우 상술한 기준 즉 소정의 촬영 조건은 이미지가 얼굴의 정면 이미지(가령 623 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 얼굴의 좌측면 이미지(가령 624 또는 625 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 얼굴의 우측면 이미지(가령 621 또는 622 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 얼굴의 상면 이미지(가령 613 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 얼굴의 하면 이미지(가령 633 방향에서 획득된 이미지)를 포함하는지 여부 중 적어도 하나일 수 있다.
[242]
물론 전술한 촬영 조건 외에도 촬영 조건은 이미지가 소정의 제5 각도에서 촬영된 얼굴의 상좌측면 이미지(가령 614 또는 615 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제6 각도에서 촬영된 얼굴의 상우측면 이미지(가령 611 또는 612 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제7 각도에서 촬영된 얼굴의 하좌측면 이미지(가령 634 또는 635 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제8 각도에서 촬영된 얼굴의 하우측면 이미지(가령 631 또는 632 방향에서 획득된 이미지)를 포함하는지 여부를 포함하는지 여부 중 적어도 하나를 더 포함할 수 있다.
[243]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 복수의 이미지 중 상술한 촬영 조건을 만족하는 이미지를 평가 대상 이미지로써 추출하여, 후술하는 피부에 대한 속성값 결정에 사용할 수 있다.
[244]
본 발명의 다른 실시예에서, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 상술한 촬영 조건을 사용자 단말(200)에 제공하고, 사용자 단말(200)이 상술한 조건에 부합되는 이미지만을 획득하여 서버(100)에 전송하도록 할 수 있다. 바꾸어 말하면, 사용자 단말(200)은 제공된 촬영 조건에 따라 이미지를 획득하고, 이를 서버(100)에 전송할 수 있다. 이러한 경우 피부 상태 평가 장치(110)는 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지를 결정하는 과정 없이, 곧바로 사용자 단말(200)로부터 수신된 이미지를 평가 대상 이미지로 결정할 수 있다.
[245]
또한 피부 상태 평가 장치(110)는 촬영 조건에 따른 촬영이 가능하도록 하는 인터페이스를 사용자 단말(200)에 제공할 수 있다. 가령 피부 상태 평가 장치(110)는 촬영 조건에 따른 샘플 이미지, 촬영 조건에 대한 정보 및 현재 촬영되는 이미지의 촬영 조건 만족 여부 등을 표시하는 촬영 인터페이스를 사용자 단말(200)에 제공할 수 있다.
[246]
본 발명의 또 다른 실시예에서, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 동영상으로부터 상술한 평가 대상 이미지를 결정할 수도 있다. 즉, 피부 상태 평가 장치(110)는 동영상에 포함되는 복수의 프레임(Frame) 중에서 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 평가 대상 이미지로 결정할 수 있다. 물론 이는, 사용자 단말(200)이 피부의 상태를 판단하고자 하는 대상을 다양한 각도에서 촬영한 동영상을 서버(100)로 전송하였음을 전제로 한다. 이러한 경우 피부 상태 평가 장치(110)가 미리 사용자 단말(200)에 촬영 조건 및 촬영 인터페이스를 제공하거나 또는 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 과정은 생략될 수 있다.
[247]
다만 이하에서는 설명의 편의를 위하여, 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 것을 전제로 설명한다.
[248]
다시 도 9를 참조하면, 도 9는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신한 복수의 이미지(511 내지 515, 521 내지 525 및 531 내지 535) 중 소정의 촬영 조건을 만족하는 평가 대상 이미지만을 도시한 도면이다.
[249]
설명의 편의를 위하여, 평가 대상 이미지를 결정하는 소정의 촬영 조건이 도 8에서 설명한 바와 같이 611 내지 615, 621 내지 625 및 631 내지 635 방향에서 획득된 이미지를 포함하는지 여부라고 가정한다.
[250]
이러한 경우, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 이미지(가령 100개의 이미지)로부터 도시된 바와 같은 15개의 이미지를 평가 대상 이미지로 결정할 수 있다. 결정된 평가 대상 이미지는 전술한 바와 같이 피부에 대한 하나 이상의 속성값을 결정하거나, 피부의 등급을 결정하는데 사용될 수 있다.
[251]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 기준 영역의 색상에 기초하여 적어도 하나의 평가 대상 이미지로부터 피부의 색상에 대응되는 제1 속성값을 결정할 수 있다.(S83)
[252]
전술한 바와 같이 본 발명에서 '피부의 속성'은 피부를 평가하는데 근간이 되는 다양한 요소들을 의미할 수 있으며, 제1 속성값은 피부의 속성 중 피부의 색상에 대한 평가값을 의미할 수 있다.
[253]
이때 피부의 색상에 대한 평가는 가령 피부 색상의 균질도, 피부의 홍조 부분의 크기 정도 및 피부의 홍조 정도 등 색상으로써 판단되는 다양한 평가를 의미할 수 있다. 한편 기준 영역은 피부의 색상 판단에 기준이 되는 부위에 대한 이미지로, 기준 영역의 색상은 제1 속성값의 결정에 사용되는 기준 색상을 의미할 수 있다.
[254]
다시 10c 내지 10c를 참조하여, 피부 상태 평가 장치(110)가 다양한 평가 대상 이미지(523, 525)로부터 기준영역을 설정하는 예시를 설명한다. 가령 피부 상태 평가 장치(110)는 도 10a에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 미간(眉間)에 대응되는 영역(523-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 10b에 도시된 바와 같이 얼굴의 좌측면 이미지(525)에서 귀(Ear) 주변부에 대응되는 영역(525-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 10c에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)을 기준 영역으로 설정할 수 있다.
[255]
이와 같은 기준 영역의 설정은 제1 속성값으로 나타내고자 하는 색상의 평가 항목(가령 홍조 정도, 그을린 정도, 여드름 정도 등)에 따라 다양한 평가 대상 이미지의 다양한 영역으로 설정될 수 있으며, 어떤 항목에 따라 어떤 영역이 설정되어야 하는지는 실험적으로 획득될 수 있다.
[256]
가령 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우, 기준 영역은 도 10a에 도시된 바와 같이 미간(眉間)에 대응되는 영역(523-1)으로 결정될 수 있다. 물론 이는 실험적으로 미간이 홍조가 가장 적게 발현되는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
[257]
또한 제1 속성값으로써 피부의 그을린 정도(즉 햇볕에 탄 정도)를 나타내고자 하는 경우, 기준 영역은 도 10b에 도시된 바와 같이 귀 주변부에 대응되는 영역(525-1)이나, 도 10c에 도시된 바와 같이 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)으로 결정될 수 있다. 물론 이 또한 실험적으로 해당 부위들이 햇볕에 가장 그을려 지지 않는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니며, 이하에서는 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우를 예시로써, 피부 상태 평가 장치(110)가 제1 속성값을 결정하는 단계를 보다 상세히 살펴본다.
[258]
다시 도 11을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 하나 이상의 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지(523)에서 얼굴 영역(523-4)을 인식할 수 있다.(S8311) 또한 피부 상태 평가 장치(110)는 인식된 얼굴영역(523-4)에서 눈 영역(523-5, 523-6), 코 영역(523-7) 및 입 영역(523-8)을 포함하는 선별 제외 영역을 인식할 수 있다.(S8312) 즉 이미지(523)에서 눈, 코, 입 등은 피부 상태 평가의 대상이 아니므로, 이미지에서 색상이 상이한 눈, 코, 입 등의 부위를 미리 제외함으로써 보다 유의미한 평가 결과가 도출되도록 할 수 있다.
[259]
피부 상태 평가 장치(110)는 얼굴 영역(523-4)에서 전술한 과정에 의해서 인식된 선별 제외 영역(523-5, 523-6, 523-7 및 523-8)을 제외한 나머지 영역에서 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점(523-2, 523-3)을 선별할 수 있다.(S831, S8313) 이때 기준 색상은 전술한 과정에 의해서 설정된 기준 영역(523-1)의 색상일 수 있다.
[260]
이어서 피부 상태 평가 장치(110)는 선별된 적어도 하나의 지점(523-2, 523-3)의 수량, 선별된 적어도 하나의 지점(523-2, 523-3)의 기준 색상과의 색상차이 정도 및 선별된 적어도 하나의 지점(523-2, 523-3)간의 분산 정도 중 적어도 하나에 기초하여 제1 속성값을 결정할 수 있다.(S832)
[261]
이때 결정된 제1 속성값은 상술한 평가 요소 각각에 대한 정보를 각각에 대한 하나 이상의 성분으로써 포함할 수 있다. 가령 제1 속성값은 선별된 지점(523-2, 523-3)의 수에 대한 성분, 선별된 지점(523-2, 523-3)의 기준 색상과의 색상차이의 정도를 나타내는 성분 및 선별된 지점(523-2, 523-3)의 분산 정도를 나타내는 성분을 [2, 0.4, 0.7]등과 같이 포함할 수 있다.
[262]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교(가령 522와 523의 비교)를 통하여 제2 속성값 및 제3 속성값 중 적어도 하나를 결정할 수 있다.(S84)
[263]
이미지는 3차원 공간상의 객체(가령 사람의 얼굴)를 2차원 공간상에 나타내므로, 어느 하나의 이미지만으로 객체의 3차원 공간상에서의 특징을 파악하기 어려울 수 있다. 가령 얼굴의 정면 이미지(도 9의 523)로부터 얼굴의 주름 정도나 얼굴의 굴곡 정도를 정확하게 파악하기 어려울 수 있다. 따라서 피부 상태 평가 장치(110)는 동일한 부위에 대해서 다양한 각도에서 촬영된 이미지를 상호 비교함으로써, 객체의 3차원 공간상에서의 특징을 보다 정확하게 파악할 수 있다.
[264]
이하에서는 도 12a 및 도 12b를 참조하여, 얼굴에 점이 있음을 전제로, 피부 상태 평가 장치(110)가 제3 속성값을 결정하는 내용을 중심으로 설명한다.
[265]
다시 도 12a 및 도 12b를 참조하여, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 제3 속성값을 결정하는 과정을 설명한다. 설명의 편의를 위하여, 사람의 얼굴에 점(523-8)이 있으며, 점(523-8)은 도시된 바와 소정의 높이를 가져서 제3 속성값에 영향을 미치는 것으로 가정한다. 한편 제3 속성값은 전술한 바와 같이 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 나타내는 값일 수 있다.
[266]
전술한 가정 하에 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 제1 굴곡 영역(점(523-8) 영역)을 결정하고, 제1 굴곡 영역(점(523-8) 영역)의 굴곡 정도인 제1 굴곡도를 결정할 수 있다.
[267]
피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 색상을 기준으로 제1 굴곡 영역(점(523-8) 영역)을 결정할 수 있다. 바꾸어 말하면 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 기준 색상과 색상의 차이가 임계 차이 이상인 지점을 제1 굴곡 영역(점(523-8) 영역)으로 결정할 수 있다. 한편 제1 평가 대상 이미지(523)에 기초하여 결정되는 제1 굴곡도는, 제1 굴곡 영역의 종류에 따라 굴곡이 없는 것으로 결정될 수도 있고, 또는 굴곡의 정도를 반영하도록 결정될 수도 있다. 가령 도 12a에 도시된 바와 같이 점(523-8) 영역이 제1 굴곡 영역으로 결정된 경우, 제1 평가 대상 이미지(523)로부터는 제1 굴곡 영역의 굴곡 정도를 파악할 수 없으므로(왜냐하면 점(523-8)에 대한 정면 이미지이므로), 제1 굴곡도는 굴곡이 없는 것으로 결정될 수 있다. 그러나 이와 달리 제1 평가 대상 이미지(523)로부터 굴곡의 정도를 파악할 수 있는 경우(가령 제2 속성값을 결정할 때, 제1 평가 대상 이미지(523)에 주름이 포함된 경우), 제1 굴곡도는 해당 굴곡의 정도를 반영하도록 결정될 수 있다.
[268]
이어서 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)와 상이한 제2 평가 대상 이미지(522)에서 제1 굴곡 영역(점(523-8) 영역)과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정할 수 있다. 바꾸어 말하면, 다른 각도에서 촬영된 동일한 객체에 대한 이미지에 기초하여, 해당 영역에 대한 3차원 정보 없이도 굴곡의 정도를 정확하게 파악할 수 있다.
[269]
피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 굴곡도 및 제2 굴곡도 중 적어도 하나에 기초하여 제3 속성값을 결정할 수 있다. 가령 피부 상태 평가 장치(110)는 제1 굴곡도 및 제2 굴곡도의 평균에 기초하여 제3 속성값을 결정할 수도 있고, 제1 굴곡도 및 제2 굴곡도 중 큰 굴곡도에 기초하여 제3 속성값을 결정할 수도 있다.
[270]
한편 도 12a 및 도 12b에서 설명한 과정은 제2 속성값의 결정에 있어서도 동일하게 반복될 수 있으므로, 제2 속성값을 결정하는 과정에 대한 상세한 설명은 생략한다.
[271]
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 사용자 단말(200)에 제공할 수 있다. 사용자는 서버(100)로부터 제공된 제1 속성값, 제2 속성값 및 제3 속성값을 참조하여, 피부의 상태를 수치로써 객관적으로 파악할 수 있다.
[272]
한편 선택적 실시예에서 피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값에 기초하여 피부의 상태를 소정의 등급으로 평가하고, 평가 결과를 사용자 단말(200)에 제공할 수도 있다.
[273]
이때 피부 상태 평가 장치(110)는 각각의 속성값과 피부의 등급 간의 상관관계를 나타낸 피부 인식기에 기초하여 피부의 등급을 평가할 수 있다. 바꾸어말하면, 피부 상태 평가 장치(110)는 머신 러닝(Machine Learning) 기법으로 생성된 피부 인식기에 기초하여 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나로부터 피부의 등급을 도출해 내고, 이를 사용자 단말(200)에 제공할 수 있다.
[274]
본 발명의 다른 실시예에서, 피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를, 피부 치료 장비(미도시)로 제공할 수 있다. 피부 치료 장비(미도시)는 속성값을 참조하여 피부 치료의 강도 등을 결정할 수 있다.
[275]
본 발명의 또 다른 실시예에서, 피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠의 제공 주체의 서버(미도시)로 전송할 수도 있다. 이로써 각 주체는 피부의 속성값을 참조하여, 피부의 상태에 맞는 상품이나 서비스를 추천하거나 제공할 수 있다.
[276]
또한, 본 발명은 피부의 이미지 분석에 기초하여 피부의 색상에 대한 평가 및 3차원 공간상에서의 특성에 대한 평가를 수행할 수 있다.
[277]
본 발명의 일 실시예에 따른 제어부(112)는 상술한 과정에 따라 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 다양한 동작을 수행할 수 있다. 가령 제어부(112)는 결정된 제1 속성값, 제2 속성값 및 제3 속성값을 사용자 단말(200)에 제공할 수도 있고, 후술하는 바와 같이 피부의 등급 결정에 사용할 수도 있다. 이하에서는 제어부(112)가 결정된 속성값들로부터 피부의 등급을 결정하는 내용을 중심으로 설명한다.
[278]
피부 상태 평가 장치(110)가 전술한 과정에 의해서 결정된 속성값들에 기초하여 피부의 등급을 결정하기 이전에, 피부의 등급을 결정하는 피부 인식기의 생성 및/또는 학습이 선행될 필요가 있다. 따라서 이하에서는 피부 상태 평가 장치(110)의 피부 인식기 생성/업데이트 방법에 대해 먼저 설명한다.
[279]
본 발명에서 피부 인식기를 '생성'하는 것은 피부 인식기를 최초로 구성하는 것뿐만 아니라, 구성된 피부 인식기를 업데이트 하는 것을 의미할 수 있다.
[280]
본 발명의 일 실시예에 따른 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다. 이때 하나 이상의 속성값은 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 의미할 수 있다.
[281]
이와 같은 피부 인식기는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[282]
피부 상태 평가 장치(110)는 복수의 트레이닝 피부 이미지 및/또는 트레이닝 피부 정보를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[283]
피부 상태 평가 장치(110)는 어떤 피부의 속성값이나 등급을 예측하기 위해 Linear regression, Regression tree, Kernel regression, Support vector regression, Deep Learning 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[284]
또한 피부 상태 평가 장치(110)는 벡터의 연산을 위해 Principal component analysis, Non-negative matrix factorization, Independent component analysis, Manifold learning, SVD 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[285]
피부 상태 평가 장치(110)는 복수의 피부의 이미지의 그룹화를 위해 k-means, Hierarchical clustering, mean-shift, self-organizing maps(SOMs) 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[286]
피부 상태 평가 장치(110)는 데이터 비교를 위해 Bipartite cross-matching, n-point correlation two-sample testing, minimum spanning tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[287]
다만 전술한 알고리즘 및/또는 방식(기법)은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[288]
한편 피부 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 바꾸어 말하면 피부 인식기는 행렬(Matrix)과 같이 복수개의 숫자(또는 계수)로 구성된 데이터 셋트일 수 있다. 이에 대해, 앞서 설명한 <피부 상태 평가 장치(110)의 피부 인식기 생성/업데이트 방법>와 중복되는 내용은 이하 동일하게 적용될 수 있다.
[289]
도 16은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기(821)를 생성/업데이트 하는 방법을 설명하기 위한 도면이다.
[290]
도 16을 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 피부 인식기(821)의 생성을 위해 하나 이상의 트레이닝 피부 정보(810)를 획득할 수 있다. 트레이닝 피부 정보(810)는 피부 이미지를 포함하고, 피부에 대한 적어도 하나의 속성에 대한 속성값과 피부의 등급이 표지되어 있을 수 있다. 즉, 트레이닝 피부 정보(810)는 이미 그 속성값과 등급을 아는 피부에 대한 정보로, 피부 인식기의 생성 및/또는 업데이트(또는 학습)를 위해 사용되는 정보일 수 있다.
[291]
가령 첫 번째 트레이닝 피부 정보(811)의 경우, 피부의 홍조 정도, 주름 정도 및 평탄도 등을 포함하는 속성값(812)과 피부의 등급(813)이 표지되어 있을 수 있다. 이때 피부의 홍조 정도, 주름 정도 및 평탄도와 같은 속성값(812)과 피부의 등급(813) 각각은 벡터의 형태로 표지되어 있을 수 있다. 바꾸어 말하면 첫 번째 트레이닝 피부 정보(811)에는 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터와 피부의 등급과 대응되는 제2 특징 벡터가 표지되어 있을 수 있다.
[292]
선택적 실시예에서, 속성값(812)과 등급(813) 각각은 수치의 형태로 트레이닝 피부 정보(811)에 표지되어 있을 수 있다. 가령 속성값(812)은 0.1, 0.8과 같이 각각의 속성에 대한 강도를 나타내는 수치의 형태로 표지되어 있을 수 있다. 또한 피부의 등급은 '제1 등급' 또는 '제3 등급'과 같이 전술한 4개의 등급 중 어느 하나의 등급으로 표지되어 있을 수 있다. 이와 같이 각 속성값이 수치로 표지되어 있는 경우, 본 발명의 일 실시예에 따른 제어부(112)는 인식기(821)의 생성 또는 업데이트 과정에 있어서 수치들을 각각의 수치와 대응되는 벡터의 형태로 변환할 수 있다.
[293]
한편 속성값(812)은 전술한 세가지 속성에 대한 속성값 외에도, 피부 연령(가령 피부연령 30세), 성별(가령 남성), 인종(가령 동양인), 질병여부(가령 만성 피부염) 등에 대한 속성값을 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[294]
본 발명의 일 실시예에 따른 제어부(112)는 이와 같은 트레이닝 피부 정보(810)를 외부장치(300)로부터 획득할 수도 있고, 피부 상태 평가 장치(110)의 메모리(113)로부터 획득할 수도 있다. 가령 제어부(112)는 특정 피부과의 서버에 저장된 진료 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다. 이때 피부과 서버에 저장된 진료 이력은 전문가(가령 피부과 의사)에 의해 작성된 것일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(310)는 전문가가 피부를 평가한 자료에 기초한 것일 수 있다. 또한 제어부(112)는 스스로가 과거에 다른 피부 이미지의 속성값이나 등급을 결정한 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다.
[295]
본 발명의 일 실시예에 따른 제어부(112)는 트레이닝 피부 정보(810)에 포함된 속성값과 등급에 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 속성값과 등급 각각은 전술한 바와 같이 벡터의 형태일 수 있다. 따라서 본 발명의 일 실시예에 따른 제어부(112)는 트레이닝 피부 정보(810)에 포함된 제1 특징 벡터(속성값에 대응)와 제2 특징 벡터(등급에 대응) 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 피부 인식기(821)는 전술한 바와 같이 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[296]
본 발명의 일 실시예에 따른 제어부(112)는 이러한 제1 특징 벡터와 제2 특징 벡터를 서로 대응(매핑)시킬 수 있도록, 피부 인식기(821)의 데이터 셋트를 갱신하는 방식으로 피부 인식기(821)를 업데이트 시킬 수 있다. 가령 피부 인식기(821)의 데이터 셋트가 도 16에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 제1 특징 벡터와 제2 특징 벡터에 기초하여 피부 인식기(821)를 구성하는 계수들을 조절할 수 있다.
[297]
제어부(112)는 제1 특징 벡터와 제2 특징 벡터가 표지된 트레이닝 피부 정보를 반복적으로 획득하고, 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 등급을 제공하는 피부 인식기(821)를 획득할 수 있다.
[298]
< 피부 상태 평가 장치(110)가 피부의 등급을 결정하는 방법>
[299]
이상에서는 도 16을 참조하여 피부 상태 평가 장치(110)가 피부 인식기(821)를 생성하는 방법을 설명하였다. 이하에서는 도 17를 통하여 피부 상태 평가 장치(110)가 전술한 과정에 의하여 생성된 피부 인식기(821)를 이용하여 평가 대상 피부의 등급을 결정하는 방법을 설명한다.
[300]
도 17는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기(821)에 기초하여 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
[301]
설명의 편의를 위하여, 도 8 내지 도 12b에서 설명한 과정에 따라 제어부(112)가 이미지 분석을 통하여 피부 이미지(911)로부터 속성값(921)들을 결정한 상태이며, 도 16에서 설명한 과정에 따라 피부 인식기(821)가 생성된 상태라고 가정한다.
[302]
본 발명의 일 실시예에 따른 제어부(112)는 제1 속성값, 제2 속성값 및 제3 속성값(921) 중 적어도 하나에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 제어부(112)는 각 속성값(제1 속성값, 제2 속성값, 제3 속성값)을 성분으로 하는 제1 특징 벡터(931)를 생성할 수 있다. 이때 각 속성값이 복수의 성분을 갖는 경우, 제어부(112)는 각 속성값이 갖는 복수의 성분 중 적어도 일부가 제1 특징 벡터(931)에 포함되도록 할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[303]
선택적 실시예에서 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다.
[304]
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 제어부(112)는 전술한 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 이때 적어도 하나의 물리량은 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께 및 피부에 칠해진 메이크업의 두께 중 적어도 하나일 수 있다.
[305]
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수도 있다.
[306]
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
[307]
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
[308]
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제1 특징 벡터(931) 및 피부 인식기(821)에 기초하여 피부의 등급에 대응되는 제2 특징 벡터(941)를 결정할 수 있다.
[309]
전술한 바와 같이 피부 인식기(821)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[310]
따라서 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해서 생성된 제1 특징 벡터(931)를 피부 인식기(821)에 입력하여 출력 결과로써 제2 특징 벡터(941)를 획득할 수 있다. 이때 제2 특징 벡터(941)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제2 특징 벡터(941)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
[311]
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정할 수 있다.
[312]
본 발명의 일 실시예에 따른 제어부(112)는 제2 특징 벡터(941)에 기초하여 피부의 등급을 결정할 수 있다. 또한 제어부(112)는 결정된 피부의 등급을 사용자 단말(200)에 제공할 수 있다. 이때 제어부(112)는 전술한 과정에 의해서 결정된 속성값(921)을 결정된 피부의 등급과 함께 사용자 단말(200)에 제공할 수 있다.
[313]
선택적 실시예에서, 제어부(112)는 전술한 과정에 의해 결정된 피부의 등급 및 피부의 속성값 중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
[314]
이때 사용자 단말(200) 또는 외부장치(300)에 제공되는 피부의 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 피부의 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
[315]
또한 본 발명의 일 실시예에 따른 제어부(112)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
[316]
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합적으로 제공할 수 있다.
[317]
한편 제어부(112)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
[318]
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 제어부(112)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 제어부(112)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
[319]
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 제어부(112)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수도 있다.
[320]
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
[321]
도 18은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 17를 통해 설명한 내용과 중복되는 내용의 설명은 생략한다.
[322]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 인식기를 생성할 수 있다. (S101) 본 발명에서 피부 인식기를 '생성'하는 것은 피부 인식기를 최초로 구성하는 것뿐만 아니라, 구성된 피부 인식기를 업데이트 하는 것을 의미할 수 있다. 본 발명의 일 실시예에 따른 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
[323]
이와 같은 피부 인식기는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[324]
한편 피부 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 바꾸어 말하면 피부 인식기는 행렬(Matrix)과 같이 복수개의 숫자로 구성된 데이터 셋트일 수 있다.
[325]
다시 도 16을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 인식기(821)의 생성을 위해 하나 이상의 트레이닝 피부 정보(810)를 획득할 수 있다. 트레이닝 피부 정보(810)는 피부 이미지를 포함하고, 피부에 대한 적어도 하나의 속성에 대한 속성값과 피부의 등급이 표지되어 있을 수 있다. 따라서 트레이닝 피부 정보(810)는 이미 그 속성값과 등급을 아는 피부에 대한 정보로, 피부 인식기의 생성 및/또는 업데이트를 위해 사용되는 정보일 수 있다.
[326]
가령 첫 번째 트레이닝 피부 정보(811)의 경우, 피부의 홍조 정도, 주름 정도 및 평탄도 등을 포함하는 속성값(812)과 피부의 등급(813)이 표지되어 있을 수 있다. 이때 피부의 홍조 정도, 주름 정도 및 평탄도와 같은 속성값(812)과 피부의 등급(813) 각각은 벡터의 형태로 표지되어 있을 수 있다. 바꾸어 말하면 첫 번째 트레이닝 피부 정보(811)에는 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터와 피부의 등급과 대응되는 제2 특징 벡터가 표지되어 있을 수 있다.
[327]
선택적 실시예에서, 속성값(812)과 등급(813) 각각은 수치의 형태로 트레이닝 피부 정보(811)에 표지되어 있을 수 있다. 가령 속성값(812)은 0.1, 0.8과 같이 각각의 속성에 대한 강도를 나타내는 수치의 형태로 표지되어 있을 수 있다. 또한 피부의 등급은 '제1 등급' 또는 '제3 등급'과 같이 전술한 4개의 등급 중 어느 하나의 등급으로 표지되어 있을 수 있다. 이와 같이 각 속성값이 수치로 표지되어 있는 경우, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 인식기(821)의 생성 또는 업데이트 과정에 있어서 수치들을 각각의 수치와 대응되는 벡터의 형태로 변환할 수 있다.
[328]
한편 속성값(812)은 전술한 세가지 속성에 대한 속성값 외에도, 피부 연령(가령 피부연령 30세), 성별(가령 남성), 인종(가령 동양인), 질병여부(가령 만성 피부염) 등에 대한 속성값을 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[329]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 이와 같은 트레이닝 피부 정보(810)를 외부장치(300)로부터 획득할 수도 있고, 피부 상태 평가 장치(110)의 메모리(113)로부터 획득할 수도 있다. 가령 피부 상태 평가 장치(110)는 특정 피부과의 서버에 저장된 진료 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다. 이때 피부과 서버에 저장된 진료 이력은 전문가(가령 피부과 의사)에 의해 작성된 것일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(310)는 전문가가 피부를 평가한 자료에 기초한 것일 수 있다. 또한 피부 상태 평가 장치(110)는 스스로가 과거에 다른 피부 이미지의 속성값이나 등급을 결정한 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다.
[330]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 트레이닝 피부 정보(810)에 포함된 속성값과 등급에 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 속성값과 등급 각각은 전술한 바와 같이 벡터의 형태일 수 있다. 따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 트레이닝 피부 정보(810)에 포함된 제1 특징 벡터(속성값에 대응)와 제2 특징 벡터(등급에 대응) 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 피부 인식기(821)는 전술한 바와 같이 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[331]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 이러한 제1 특징 벡터와 제2 특징 벡터를 서로 대응(매핑)시킬 수 있도록, 피부 인식기(821)의 데이터 셋트를 갱신하는 방식으로 피부 인식기(821)를 업데이트 시킬 수 있다. 가령 피부 인식기(821)의 데이터 셋트가 도 16에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 피부 상태 평가 장치(110)는 제1 특징 벡터와 제2 특징 벡터에 기초하여 피부 인식기(821)를 구성하는 계수들을 조절할 수 있다.
[332]
피부 상태 평가 장치(110)는 제1 특징 벡터와 제2 특징 벡터가 표지된 트레이닝 피부 정보를 반복적으로 획득하고, 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 등급을 제공하는 피부 인식기(821)를 획득할 수 있다.
[333]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부에 대한 이미지를 획득할 수 있다.(S102) 이때 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부에 대한 복수의 이미지를 획득할 수 있다. 복수의 이미지들은 동일한 피사체(가령 얼굴)에 대해 촬영 각도, 촬영시 조사된 광의 파장과 같은 촬영 조건을 서로 달리하여 획득된 이미지들일 수 있다. 이와 같은 촬영 조건은 피부 이미지에 매타데이터의 형태로 태그되어 있을수도 있고, 피부 상태 평가 장치(110)가 이미지 분석을 통하여 이미지 그 자체로부터 획득하는 것일 수도 있다.
[334]
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신된 복수의 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정할 수 있다.(S103)
[335]
본 발명에서 '평가 대상 이미지'는 피부 평가에 있어서 사용되는 이미지로, 상태를 평가하고자 하는 부위별로 상이한 기준(즉 전술한 소정의 촬영 조건)에 따라 선별되는 이미지일 수 있다.
[336]
다시 도 8을 참조하면, 사람(500)의 얼굴 피부를 판단하고자 하는 경우, 소정의 촬영 조건은, 이미지가 얼굴의 정면 이미지(가령 623 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 얼굴의 좌측면 이미지(가령 624 또는 625 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 얼굴의 우측면 이미지(가령 621 또는 622 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 얼굴의 상면 이미지(가령 613 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 얼굴의 하면 이미지(가령 633 방향에서 획득된 이미지)를 포함하는지 여부 중 적어도 하나일 수 있다.
[337]
물론 전술한 촬영 조건 외에도 촬영 조건은 이미지가 소정의 제5 각도에서 촬영된 얼굴의 상좌측면 이미지(가령 614 또는 615 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제6 각도에서 촬영된 얼굴의 상우측면 이미지(가령 611 또는 612 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제7 각도에서 촬영된 얼굴의 하좌측면 이미지(가령 634 또는 635 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제8 각도에서 촬영된 얼굴의 하우측면 이미지(가령 631 또는 632 방향에서 획득된 이미지)를 포함하는지 여부를 포함하는지 여부 중 적어도 하나를 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 촬영 조건은 전술한 것 보다 더 다양하게 또는 더 간단하게 설정될 수 있다.
[338]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 복수의 이미지 중 상술한 촬영 조건을 만족하는 이미지를 평가 대상 이미지로써 추출하여, 후술하는 피부에 대한 속성값 결정에 사용할 수 있다.
[339]
본 발명의 다른 실시예에서, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 상술한 촬영 조건을 사용자 단말(200)에 제공하고, 사용자 단말(200)이 상술한 조건에 부합되는 이미지만을 획득하여 서버(100)에 전송하도록 할 수 있다. 바꾸어 말하면, 사용자 단말(200)은 제공된 촬영 조건에 따라 이미지를 획득하고, 이를 서버(100)에 전송할 수 있다.
[340]
이러한 경우 피부 상태 평가 장치(110)는 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지를 결정하는 과정 없이, 곧바로 사용자 단말(200)로부터 수신된 이미지를 평가 대상 이미지로 결정할 수 있다. 이때 피부 상태 평가 장치(110)는 촬영 조건에 따른 촬영이 가능하도록 하는 인터페이스를 사용자 단말(200)에 제공할 수 있다. 가령 피부 상태 평가 장치(110)는 촬영 조건에 따른 샘플 이미지, 촬영 조건에 대한 정보 및 현재 촬영되는 이미지의 촬영 조건 만족 여부 등을 표시하는 촬영 인터페이스를 사용자 단말(200)에 제공할 수 있다.
[341]
본 발명의 또 다른 실시예에서, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 동영상으로부터 상술한 평가 대상 이미지를 결정할 수도 있다. 즉, 피부 상태 평가 장치(110)는 동영상에 포함되는 복수의 프레임(Frame) 중에서 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 평가 대상 이미지로 결정할 수 있다. 물론 이는, 사용자 단말(200)이 피부의 상태를 판단하고자 하는 대상을 다양한 각도에서 촬영한 동영상을 서버(100)로 전송하였음을 전제로 한다. 이러한 경우 피부 상태 평가 장치(110)가 미리 사용자 단말(200)에 촬영 조건 및 촬영 인터페이스를 제공하거나 또는 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 과정은 생략될 수 있다.
[342]
다만 이하에서는 설명의 편의를 위하여, 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 것을 전제로 설명한다.
[343]
다시 도 9를 참조하면, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 이미지(가령 100개의 이미지)로부터 도시된 바와 같은 15개의 이미지를 평가 대상 이미지로 결정할 수 있다. 결정된 평가 대상 이미지는 피부에 대한 하나 이상의 속성값을 결정하거나, 피부의 등급을 결정하는데 사용될 수 있다.
[344]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서 속성값들을 결정할 수 있다.(S104)
[345]
먼저, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 기준 영역의 색상에 기초하여 적어도 하나의 평가 대상 이미지로부터 피부의 색상에 대응되는 제1 속성값을 결정할 수 있다.
[346]
전술한 바와 같이 본 발명에서 피부의 '속성값'은 피부를 평가하는데 근간이 되는 다양한 요소들을 의미할 수 있으며, 그 중 제1 속성값은 피부의 색상에 대한 평가값을 의미할 수 있다.
[347]
이때 피부의 색상에 대한 평가는 가령 피부 색상의 균질도, 피부의 홍조 부분의 크기 정도 및 피부의 홍조 정도 등 색상으로써 판단되는 다양한 평가를 의미할 수 있다. 한편 기준 영역은 피부의 색상 판단에 기준이 되는 부위로, 기준 영역의 색상은 제1 속성값의 결정에 사용되는 기준 색상을 의미할 수 있다.
[348]
다시 도 12a 내지 12c를 참조하여 피부 상태 평가 장치(110)가 다양한 평가 대상 이미지(523, 525)로부터 기준영역을 설정하는 예시를 설명한다.
[349]
가령 피부 상태 평가 장치(110)는 도 12a에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 미간(眉間)에 대응되는 영역(523-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 12b에 도시된 바와 같이 얼굴의 좌측면 이미지(525)에서 귀(Ear) 주변부에 대응되는 영역(525-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 12c에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)을 기준 영역으로 설정할 수 있다.
[350]
이와 같은 기준 영역의 설정은 제1 속성값으로 나타내고자 하는 색상의 평가 항목(가령 홍조 정도, 그을린 정도, 여드름 정도 등)에 따라 다양한 평가 대상 이미지의 다양한 영역으로 설정될 수 있으며, 어떤 항목에 따라 어떤 영역이 설정되어야 하는지는 실험적으로 획득될 수 있다.
[351]
가령 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우, 기준 영역은 도 12a에 도시된 바와 같이 미간(眉間)에 대응되는 영역(523-1)으로 결정될 수 있다. 물론 이는 실험적으로 미간이 홍조가 가장 적게 발현되는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
[352]
또한 제1 속성값으로써 피부의 그을린 정도(즉 햇볕에 탄 정도)를 나타내고자 하는 경우, 기준 영역은 도 12b에 도시된 바와 같이 귀 주변부에 대응되는 영역(525-1)이나, 도 12c에 도시된 바와 같이 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)으로 결정될 수 있다. 물론 이 또한 실험적으로 해당 부위들이 햇볕에 가장 그을려 지지 않는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니며, 이하에서는 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우를 예시로써, 피부 상태 평가 장치(110)가 제1 속성값을 결정하는 단계를 보다 상세히 살펴본다.
[353]
다시 도 13을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 하나 이상의 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지(523)에서 얼굴 영역(523-4)을 인식할 수 있다. 또한 피부 상태 평가 장치(110)는 인식된 얼굴영역(523-4)에서 눈 영역(523-5, 523-6), 코 영역(523-7) 및 입 영역(523-8)을 포함하는 선별 제외 영역을 인식할 수 있다. 즉 이미지(523)에서 눈, 코, 입 등은 피부 상태 평가의 대상이 아니므로, 이미지에서 색상이 상이한 눈, 코, 입 등의 부위를 미리 제외함으로써 보다 유의미한 평가 결과가 도출되도록 할 수 있다.
[354]
피부 상태 평가 장치(110)는 얼굴 영역(523-4)에서 전술한 과정에 의해서 인식된 선별 제외 영역(523-5, 523-6, 523-7 및 523-8)을 제외한 나머지 영역에서 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점(523-2, 523-3)을 선별할 수 있다. 이때 기준 색상은 전술한 과정에 의해서 설정된 기준 영역(523-1)의 색상일 수 있다.
[355]
이어서 피부 상태 평가 장치(110)는 선별된 적어도 하나의 지점(523-2, 523-3)의 수량, 선별된 적어도 하나의 지점(523-2, 523-3)의 기준 색상과의 색상차이 정도 및 선별된 적어도 하나의 지점(523-2, 523-3)간의 분산 정도 중 적어도 하나에 기초하여 제1 속성값을 결정할 수 있다.
[356]
이때 결정된 제1 속성값은 상술한 평가 요소 각각에 대한 정보를 각각에 대한 하나 이상의 성분으로써 포함할 수 있다. 가령 제1 속성값은 선별된 지점(523-2, 523-3)의 수에 대한 성분, 선별된 지점(523-2, 523-3)의 기준 색상과의 색상차이의 정도를 나타내는 성분 및 선별된 지점(523-2, 523-3)의 분산 정도를 나타내는 성분을 [2, 0.4, 0.7]등과 같이 포함할 수 있다.
[357]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지(가령 도 9의 511 내지 515, 521 내지 525 및 531 내지 535) 중 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교(가령 522와 523의 비교)를 통하여 제2 속성값 및 제3 속성값 중 적어도 하나를 결정할 수 있다.
[358]
이미지는 3차원 공간상의 객체(가령 사람의 얼굴)를 2차원 공간상에 나타내므로, 어느 하나의 이미지만으로 객체의 3차원 공간상에서의 특징을 파악하기 어려울 수 있다. 가령 얼굴의 정면 이미지(도 9의 523)로부터 얼굴의 주름 정도나 얼굴의 굴곡 정도를 정확하게 파악하기 어려울 수 있다. 따라서 피부 상태 평가 장치(110)는 동일한 부위에 대해서 다양한 각도에서 촬영된 이미지를 상호 비교함으로써, 객체의 3차원 공간상에서의 특징을 보다 정확하게 파악할 수 있다.
[359]
이하에서는 도 12a 및 도 12b를 참조하여, 얼굴에 돌출된 점이 있음을 전제로, 피부 상태 평가 장치(110)가 제3 속성값을 결정하는 내용을 설명한다.
[360]
설명의 편의를 위하여, 사람의 얼굴에 점(523-8)이 있으며, 점(523-8)은 도시된 바와 소정의 높이를 가져서 제3 속성값에 영향을 미치는 것으로 가정한다. 한편 제3 속성값은 전술한 바와 같이 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 나타내는 값일 수 있다.
[361]
전술한 가정 하에 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 제1 굴곡 영역(점(523-8) 영역)을 결정하고, 제1 굴곡 영역(점(523-8) 영역)의 굴곡 정도인 제1 굴곡도를 결정할 수 있다.
[362]
피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 색상을 기준으로 제1 굴곡 영역(점(523-8) 영역)을 결정할 수 있다. 바꾸어 말하면 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 기준 색상과 색상의 차이가 임계 차이 이상인 지점을 제1 굴곡 영역(점(523-8) 영역)으로 결정할 수 있다. 한편 제1 평가 대상 이미지(523)에 기초하여 결정되는 제1 굴곡도는, 제1 굴곡 영역의 종류에 따라 굴곡이 없는 것에 대응되도록 결정될 수도 있고, 또는 굴곡의 정도를 반영하도록 결정될 수도 있다. 가령 도 12a에 도시된 바와 같이 점(523-8) 영역이 제1 굴곡 영역으로 결정된 경우, 제1 평가 대상 이미지(523)로부터는 제1 굴곡 영역의 굴곡 정도를 파악할 수 없으므로(왜냐하면 점(523-8)에 대한 정면 이미지이므로), 제1 굴곡도는 굴곡이 없는 것에 대응되도록 결정될 수 있다. 그러나 이와 달리 제1 평가 대상 이미지(523)로부터 굴곡의 정도를 파악할 수 있는 경우(가령 제2 속성값을 결정할 때, 제1 평가 대상 이미지(523)에 주름이 포함된 경우), 제1 굴곡도는 해당 굴곡의 정도를 반영하도록 결정될 수 있다.
[363]
이어서 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)와 상이한 제2 평가 대상 이미지(522)에서 제1 굴곡 영역(점(523-8) 영역)과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정할 수 있다. 바꾸어 말하면, 다른 각도에서 촬영된 동일한 객체에 대한 이미지에 기초하여, 해당 영역에 대한 3차원 정보 없이도 굴곡의 정도를 정확하게 파악할 수 있다.
[364]
피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 굴곡도 및 제2 굴곡도 중 적어도 하나에 기초하여 제3 속성값을 결정할 수 있다. 가령 피부 상태 평가 장치(110)는 제1 굴곡도 및 제2 굴곡도의 평균에 기초하여 제3 속성값을 결정할 수도 있고, 제1 굴곡도 및 제2 굴곡도 중 큰 굴곡도에 기초하여 제3 속성값을 결정할 수도 있다.
[365]
한편 도 12a 및 도 12b에서 설명한 과정은 제2 속성값의 결정에 있어서도 동일하게 반복될 수 있으므로, 제2 속성값을 결정하는 과정에 대한 상세한 설명은 생략한다.
[366]
이로써 본 발명은 피부의 이미지 분석에 기초하여 피부의 색상에 대한 평가 및 3차원 공간상에서의 특성에 대한 평가를 수행할 수 있다.
[367]
다시 도 17를 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 속성값, 제2 속성값 및 제3 속성값(921) 중 적어도 하나에 기초하여 제1 특징 벡터(931)를 생성할 수 있다.(S105) 가령 피부 상태 평가 장치(110)는 각 속성값(제1 속성값, 제2 속성값, 제3 속성값)을 성분으로 하는 제1 특징 벡터(931)를 생성할 수 있다. 이때 각 속성값이 복수의 성분을 갖는 경우, 피부 상태 평가 장치(110)는 각 속성값이 갖는 복수의 성분 중 적어도 일부가 제1 특징 벡터(931)에 포함되도록 할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[368]
선택적 실시예에서 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다.
[369]
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 이때 적어도 하나의 물리량은 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께 및 피부에 칠해진 메이크업의 두께 중 적어도 하나일 수 있다.
[370]
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수도 있다.
[371]
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
[372]
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
[373]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 생성된 제1 특징 벡터(931) 및 피부 인식기(821)에 기초하여 피부의 등급에 대응되는 제2 특징 벡터(941)를 결정할 수 있다.(S106)
[374]
전술한 바와 같이 피부 인식기(821)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[375]
따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 과정에 의해서 생성된 제1 특징 벡터(931)를 피부 인식기(821)에 입력하여 출력 결과로써 제2 특징 벡터(941)를 획득할 수 있다. 이때 제2 특징 벡터(941)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제2 특징 벡터(941)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
[376]
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정할 수 있다.
[377]
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제2 특징 벡터(941)에 기초하여 피부의 등급을 결정할 수 있다.(S107)
[378]
또한 피부 상태 평가 장치(110)는 결정된 피부의 등급을 사용자 단말(200)에 제공할 수 있다.(S108) 이때 피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 속성값(921)을 결정된 피부의 등급과 함께 사용자 단말(200)에 제공할 수 있다.
[379]
선택적 실시예에서, 피부 상태 평가 장치(110)는 전술한 과정에 의해 결정된 피부의 등급 및 피부의 속성값 중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
[380]
이때 피부의 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 피부의 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
[381]
또한 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
[382]
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합적으로 제공할 수 있다.
[383]
한편 피부 상태 평가 장치(110)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
[384]
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 피부 상태 평가 장치(110)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
[385]
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수도 있다.
[386]
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
[387]
도 19은 본 발명의 일 실시예에 따라 사용자 단말(200)에 표시되는 화면(1100)의 예시이다.
[388]
도 19을 참조하면, 화면(1100)은 사용자가 평가하고자 하는 피부의 이미지가 표시되는 영역(1110), 피부에 대한 간략한 정보와 등급이 표시되는 영역(1120), 피부의 각 속성에 대한 속성값이 표시되는 영역(1130) 및 추천 관리 상품이 표시되는 영역(1140, 1150)을 포함할 수 있다.
[389]
피부에 대한 간략한 정보와 등급이 표시되는 영역(1120)에 표시되는 등급은 제어부(112)가 피부 인식기에 기초하여 결정한 것일 수 있다. 한편 함께 표시되는 성별과 추정연령은 이미지 분석으로부터 도출된 것일 수도 있고, 사용자 단말(200)로부터 입력 받은 것일수도 있다.
[390]
피부의 각 속성에 대한 속성값이 표시되는 영역(1130)에 표시되는 하나 이상의 속성들은 제어부(112)가 이미지 분석을 통하여 결정한 것일 수 있다.
[391]
추천 관리 상품이 표시되는 영역(1140, 1150)에 표시되는 추천 관리 상품 및 서비스는 제어부(112)가 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 결정한 것일 수 있다.
[392]
이로써 사용자는 화면(1100)을 통하여 자신의 피부 상태를 손쉽게 파악할 수 있을 뿐만 아니라, 자신의 피부 상태에 맞는 적절한 상품을 결정하여 구매할 수 있다.
[393]
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
[394]
[395]
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
[396]
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
[397]
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

청구범위

[청구항 1]
피부 이미지로부터 피부의 색상에 대응되는 제1 속성값, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 속성값 결정 단계; 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 제1 특징 벡터를 생성하는 제1 특징 벡터 생성 단계; 및 상기 제1 특징 벡터 및 피부 인식기에 기초하여 상기 피부의 등급에 대응되는 제2 특징 벡터를 결정하는 제2 특징 벡터 결정 단계;를 포함하고, 상기 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트인, 피부 상태 평가 방법.
[청구항 2]
제1항에 있어서, 상기 속성값 결정 단계 이전에, 상기 피부에 대한 복수의 피부 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 평가 대상 이미지 결정단계;를 더 포함하고, 상기 속성값 결정 단계의 상기 피부 이미지는 상기 평가 대상 이미지인 피부 상태 평가 방법.
[청구항 3]
제2항에 있어서, 상기 평가 대상 이미지 결정단계 이전에, 상기 피부에 대한 복수의 이미지를 획득하는 단계;를 더 포함하고, 상기 속성값 결정단계는, 상기 적어도 하나의 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 상기 기준 영역의 색상에 기초하여 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값을 결정하는 단계; 및 상기 적어도 하나의 평가 대상 이미지 중 상기 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교를 통하여, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함하는, 피부 상태 평가 방법.
[청구항 4]
제3항에 있어서, 상기 제1 속성값을 결정하는 단계는 상기 하나 이상의 평가 대상 이미지 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서, 상기 기준 영역의 색상인 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계; 및 상기 선별된 적어도 하나의 지점의 수량, 상기 선별된 적어도 하나의 지점의 상기 기준 색상과의 색상차이 정도 및 상기 선별된 적어도 하나의 지점간의 분산 정도 중 적어도 하나에 기초하여 상기 제1 속성값을 결정하는 단계;를 포함하는, 피부 상태 평가 방법.
[청구항 5]
제4항에 있어서, 상기 선별하는 단계는 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서 얼굴 영역을 인식하는 단계; 상시 인식된 얼굴영역에서 눈 영역, 코 영역 및 입 영역을 포함하는 선별 제외 영역을 인식하는 단계; 및 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 나머지 영역에서 상기 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계;를 포함하는, 피부 상태 평가 방법.
[청구항 6]
제3항에 있어서, 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계는 제1 평가 대상 이미지에서 제1 굴곡 영역을 결정하고, 상기 제1 굴곡 영역의 굴곡 정도인 제1 굴곡도를 결정하는 단계; 상기 제1 평가 대상 이미지와 상이한 제2 평가 대상 이미지에서 상기 제1 굴곡 영역과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정하는 단계; 및 상기 제1 굴곡도 및 상기 제2 굴곡도에 기초하여 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함하고, 상기 제1 평가 대상 이미지와 상기 제2 평가 대상 이미지는 서로 상이한 각도에서 상기 피부를 촬영한 이미지인 피부 상태 평가 방법.
[청구항 7]
제2항에 있어서, 상기 피부는 얼굴(Face)의 피부이고, 상기 소정의 촬영 조건은 이미지가 상기 얼굴의 정면 이미지를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 상기 얼굴의 좌측면 이미지를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 상기 얼굴의 우측면 이미지를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 상기 얼굴의 상면 이미지를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 상기 얼굴의 하면 이미지를 포함하는지 여부 중 적어도 하나를 포함하고, 상기 복수의 이미지는 복수의 프레임(Frame)을 포함하는 동영상이고, 상기 평가 대상 이미지를 결정하는 단계는 상기 복수의 프레임 중 상기 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 상기 평가 대상 이미지로 결정하는 피부 상태 평가 방법.
[청구항 8]
제1항에 있어서, 상기 피부 인식기는, 제1 피부 인식기; 및 제2 피부 인식기를 포함하고, 상기 제1 피부 인식기는 복수의 피부의 이미지 각각에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트(Data set)이고, 상기 제2 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제2 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제3 특징 벡터 간의 상관관계를 표현한 데이터 셋트인, 피부 상태 평가 방법..
[청구항 9]
제1항에 있어서, 상기 제2 특징 벡터는 상기 색상 정도, 상기 주름 정도 및 상기 평탄도 각각에 대응되는 적어도 하나 이상의 벡터 성분을 포함하고, 상기 피부의 등급은 상기 피부에 대한 관리 필요성에 따른 적어도 하나 이상의 등급을 포함하고, 상기 적어도 하나 이상의 등급은 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함하는, 피부 상태 평가 방법.
[청구항 10]
제1항에 있어서, 상기 제1 특징 벡터를 생성하는 단계는 상기 피부 이미지와 상기 피부의 적어도 하나의 물리량에 기초하여 제1 벡터를 생성하고, 상기 피부 이미지에서 얼굴 영역을 인식하는 단계; 및 상기 인식된 얼굴 영역에 대응되는 이미지에 기초하여 상기 제1 특징 벡터를 생성하는 단계;를 포함하는 피부 상태 평가 방법.
[청구항 11]
제1항에 있어서, 상기 피부 상태 평가 방법은 상기 제1 특징 벡터를 생성하는 단계 이전에 피부의 적어도 하나의 속성에 대한 속성값이 표지(Labeled)된 하나 이상의 트레이닝(Training) 피부 이미지에 기초하여 상기 제1 피부 인식기를 트레이닝 하는 단계; 및 피부의 등급이 표지되고, 피부의 적어도 하나의 속성에 대한 속성값을 포함하는 하나 이상의 트레이닝(Training) 피부 정보에 기초하여 상기 제2 피부 인식기를 트레이닝 하는 단계;를 더 포함하는, 피부 상태 평가 방법.
[청구항 12]
제1항에 있어서, 상기 제2 특징 벡터 결정 단계 이후에, 상기 제2 특징 벡터에 기초하여 상기 피부의 등급을 결정하는 단계;를 더 포함하는, 피부 상태 평가 방법.
[청구항 13]
제2항에 있어서, 상기 피부의 등급을 결정하는 단계 이후에, 상기 제2 특징 벡터와 대응되는 각 속성에 대한 속성값 및 상기 피부의 등급 중 적어도 하나를 제공하는 단계;를 더 포함하는, 피부 상태 평가 방법.
[청구항 14]
제10항에 있어서, 상기 피부의 탄력도, 상기 피부의 수분 포함 정도, 상기 피부의 각질 두께 및 상기 피부에 칠해진 메이크업의 두께 중 적어도 하나인 피부 상태 평가 방법.
[청구항 15]
컴퓨터를 이용하여 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.

도면

[도1]

[도2]

[도3]

[도4]

[도5]

[도6]

[도7]

[도8]

[도9]

[도10a]

[도10b]

[도10c]

[도11]

[도12a]

[도12b]

[도13]

[도14]

[도15]

[도16]

[도17]

[도18]

[도19]