Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018225939) METHOD, DEVICE, AND COMPUTER PROGRAM FOR PROVIDING IMAGE-BASED ADVERTISEMENT
Document

명세서

발명의 명칭  (R91)

기술분야

1   2  

배경기술

3   4   5   6   7   8  

발명의 상세한 설명

기술적 과제

9   10   11  

과제 해결 수단

12   13  

발명의 효과

14   15   16  

도면의 간단한 설명

17   18   19   20   21   22  

발명의 실시를 위한 형태

23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95   96   97   98   99   100   101   102   103   104   105   106   107   108   109   110   111   112   113   114   115   116   117   118   119   120   121   122   123   124   125   126   127   128   129   130   131   132   133   134   135   136   137   138   139   140   141   142   143   144  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13  

도면

1   2   3   4   5 (R91)   6 (R91)  

명세서

발명의 명칭 : [규칙 제91조에 의한 정정 04.06.2018] 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램

기술분야

[1]
본 발명은 광고를 제공하는 방법 및 장치에 대한 것이다. 보다 구체적으로 본 발명은, 사용자 디바이스에 표시되어 있는 이미지를 기반으로 맞춤형 광고를 제공하는 광고 플랫폼 시스템에 대한 것이다.
[2]

배경기술

[3]
컴퓨터 처리 기술의 급속한 발달로, 최근 인터넷 기반의 광고계는 광고에 사용자 속성을 반영하여 배포하도록 발전하고 있다. 광고 컨텐츠가 광고사에서 사용자로 일방향으로 전달되는 것이 아니라, 사용자의 관심 영역을 추측하여 관심 아이템에 대한 광고가 제공되도록 하는 것이다.
[4]
예를 들어 리타게팅 광고는 해당 사용자의 구매 이력, 검색 이력 등을 기반으로 사용자의 관심 아이템을 추측하고, 이를 바탕으로 광고를 제공하는 형식이다. 사용자가 종래 온라인으로 옥수수와 우유를 구매했다면 해당 사용자에게 옥수수, 우유에 대한 광고를 제공하거나 또는 사용자가 종래 선글라스에 대해 검색했다면, 해당 사용자에게는 선글라스와 관련된 광고를 제공하는 것이다.
[5]
그러나 이러한 광고는 노출 시점의 다른 컨텐츠를 고려하지 않는 문제가 있다. 옥수수와 우유를 기존에 구매한 사용자라고 하더라도 패션 잡지 컨텐츠를 열람하고 있는 상황에서 옥수수와 우유에 대한 광고가 표시되면, 해당 사용자에 대한 광고 효과는 미미할 것이다. 즉, 결과적으로 사용자의 광고 제공 시점의 관심사와 무관한 광고가 제공될 수 있다.
[6]
한편, 특정 업체의 웹사이트 열람 중 관련성이 전혀 없는 광고가 표시되는 것은 해당 업체의 브랜드 이미지에 부정적인 영향을 끼칠 수 있다. 웹사이트 운영자는 광고사와 계약을 맺고, 자신의 웹사이트에 광고 영역을 제공하면서 수익을 얻을 수 있는데, 해당 광고 영역에 자신의 컨텐츠와 전혀 무관한 아이템에 대한 광고가 탑재되는 것을 우려할 수 있다.
[7]
예를 들어 패션 잡지 웹사이트에서 패션 관련 컨텐츠와 함께 옥수수와 우유에 대한 광고가 표시되면 해당 패션 잡지 브랜드 이미지에 좋지 않은 영향을 끼칠 수 있다. 따라서 브랜드 이미지를 중요하게 생각하는 업체는 웹사이트에 광고 영역을 제공하지 않으며, 온라인 광고 매체가 제약되는 문제가 발생할 수 있다.
[8]

발명의 상세한 설명

기술적 과제

[9]
본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 사용자 디바이스에 표시된 이미지 검색 기반으로 광고 아이템을 결정하며, 이미지 검색 결과 값의 정확도를 높이기 위한 필터링 방법을 제공하는 것을 목적으로 한다.
[10]
나아가 본 발명은 디바이스의 한정된 디스플레이에서 효율적인 광고 영역을 설정하는 사용자 인터페이스를 제공하는 것을 목적으로 한다.
[11]

과제 해결 수단

[12]
본 발명의 실시예를 따르는 사용자 디바이스에서 이미지 기반 맞춤형 광고를 표시하는 방법은, 디스플레이된 페이지에 포함된 이미지 중 검색 가능한 객체가 존재하면, 상기 검색 가능한 객체를 특정하여 표시하는 단계; 특정된 객체에 대한 사용자의 검색 요청을 수신하면, 상기 객체를 포함하는 이미지 쿼리를 서비스 서버에 전송하고, 미리 설정된 광고 영역을 활성화하는 단계; 및 상기 서비스 서버로부터 적어도 하나 이상의 광고 정보를 수신하면, 상기 광고 영역에 상기 광고 정보에 포함된 광고 이미지를 표시하는 단계를 포함하는 것을 특징으로 한다.
[13]

발명의 효과

[14]
본 발명에 의하면, 사용자 디바이스에 표시된 이미지 검색 기반으로 광고 아이템을 결정할 수 있으며, 이미지 검색 결과 값의 정확도를 높일 수 있다.
[15]
나아가 본 발명에 의하면 디바이스의 한정된 디스플레이에서 효율적으로 광고 영역을 설정할 수 있다.
[16]

도면의 간단한 설명

[17]
도 1는 본 발명의 실시예를 따라 이미지 기반 맞춤형 광고를 제공하는 광고 플랫폼 시스템을 설명하기 위한 순서도
[18]
도 2는 본 발명의 실시예에 따라 광고 대상 상품 정보 및 상품 설명 이미지에 대한 데이터베이스를 구축하는 과정을 설명하기 위한 순서도
[19]
도 3은 쿼리 이미지를 기준으로 광고 아이템을 결정하는 과정을 설명하기 위한 순서도
[20]
도 4는 본 발명의 실시예에 따라 광고 영역을 표시하는 사용자 인터페이스의 예시
[21]
도 5는 본 발명의 실시예에 따라 광고 영역을 표시하는 사용자 인터페이스의 다른 예시
[22]

발명의 실시를 위한 형태

[23]
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
[24]
이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
[25]
또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
[26]
나가 본 명세서에서 사용자 디바이스에 표시된 페이지 (displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
[27]
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
[28]
[29]
도 1는 본 발명의 실시예를 따라 이미지 기반 맞춤형 광고를 제공하는 플랫폼 시스템을 설명하기 위한 순서도이다.
[30]
본 발명의 실시예를 따르는 광고 플랫폼은 사용자가 디바이스를 통해 열람하고 있는 이미지와 유사한 아이템을 선별하여 광고하는 특징이 있다. 예를 들어 사용자가 체크무늬 셔츠에 대한 사진을 열람하고 있는 경우, 유사한 체크 무늬 셔츠에 대한 광고를 제공하는 것이다.
[31]
이를 따르면 해당 시점에 사용자가 관심있는 아이템에 대한 실시간 광고가 가능하기 때문에 높은 광고 효과를 기대할 수 있다. 즉, 사용자는 실시간 관심 상품에 대한 광고를 제공받으며, 광고사는 높은 광고 수익을 기대할 수 있다. 나아가 광고 영역을 제공하는 웹사이트는 자신의 컨텐츠와 관련있는 광고만 게시되기 때문에 광고 영역 제공으로 인한 브랜드 이미지 하락에 대한 리스크를 줄일 수 있다.
[32]
이를 위해 단계 110에서 본 발명의 실시예를 따르는 광고 서비스 서버 (10)는 광고를 위한 상품 데이터베이스를 구축할 수 있다. 예를 들어 광고 서비스 서버는 광고주로부터 광고 의뢰를 받은 상품에 대한 정보를 수집하고, 상품 이미지를 포함하여 데이터베이스를 구축할 수 있다.
[33]
본 발명의 실시예를 따르는 광고 서비스 서버는 쿼리 이미지와 유사도를 기준으로 광고 아이템을 결정할 수 있는 특징이 있다. 따라서 빠르고 효율적인 이미지 검색을 위해 상품 이미지 데이터베이스를 구축할 수 있으며, 특히 매칭 실패율을 줄이기 위해 이미지 검색에 노이즈로 작용할 수 있는 이미지는 제외하고 이미지 데이터 베이스를 구성할 수 있다.
[34]
예를 들어 광고 대상 상품이 모자인데, 상품 설명 이미지에 모자와 여성 상의가 포함되어 있으면, 여성 상의에 대한 이미지 쿼리에 모자 상품에 대한 응답이 제공될 수 있다. 이 경우, 여성 상의에 대한 컨텐츠를 열람하고 있는 사용자에게 모자와 여성 상의를 포함하는 이미지 형태로 광고가 제공되며, 여성 상의에 대한 광고라고 신뢰하는 사용자가 해당 광고를 통해 실제 판매되는 것은 모자라는 사실을 확인하게 되면, 맞춤형 광고 플랫폼 신뢰도가 하락할 것이다.
[35]
본 발명의 실시예를 따르는 광고 서비스 서버에서 광고 대상 상품 정보 및 상품 이미지에 대한 데이터베이스를 구축하고, 상품 이미지를 필터링하는 보다 구체적인 설명은 첨부된 도 2에 대한 설명과 함께 후술된다.
[36]
도 2는 본 발명의 실시예에 따라 광고 대상 상품 정보 및 상품 설명 이미지에 대한 데이터베이스를 구축하는 과정을 설명하기 위한 순서도이다.
[37]
도 2의 단계 210에서 광고 서비스 서버는 광고 대상 상품 정보를 수집할 수 있다.
[38]
이때 상기 상품은 광고사가 광고 의뢰를 받은 상품, 광고 의뢰를 받은 온라인 상점, 또는 상기 온라인 상점에서 판매하는 상품일 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 광고주의 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
[39]
예를 들어 크롤러는 광고주의 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
[40]
한편 본 발명의 실시예를 따르는 광고 서비스 서버는 광고주의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 광고주로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.
[41]
단계 220에서 서비스 서버는 광고주의 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 광고 아이템을 결정하기 위한 것이다.
[42]
이와 같이 본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 광고 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 쿼리로 활용할 수 있으며, 이를 위해 서비스 서버는 광고 대상 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.
[43]
나아가 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다.
[44]
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
[45]
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.
[46]
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
[47]
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
[48]
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.
[49]
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.
[50]
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.
[51]
나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.
[52]
상기 특징 정보 벡터의 변환은 PCA 등의 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.
[53]
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 상품 설명 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. (단계 230)
[54]
보다 구체적으로, 본 발명의 제 1 실시예를 따르면, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체의 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.
[55]
본 발명의 제 2 실시예를 따르면, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함 되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
[56]
상기 제 1 실시예와 제 2 실시예에 따르면, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.
[57]
한편, 본 발명의 제 3 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.
[58]
이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.
[59]
상기 제 3 실시예에 따르면, 서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등에 대한 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.
[60]
한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.
[61]
종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.
[62]
그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.
[63]
나아가 단계 240에서 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다.
[64]
도 2의 예에서 단계 230과 단계 240은 별개의 단계로 도시하였지만 이는 설명의 편의를 위한 것이며, 본 발명은 이에 한정하여 해석될 수 없다. 본 발명의 실시예를 따르면, 레이블 정보와 카테고리 정보는 각각 생성될 수도 있지만, 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 레이블 정보로 활용할 수도 있다.
[65]
예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. (단계 260)
[66]
이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
[67]
나아가 본 발명의 다른 실시예를 따르는 광고 플랫폼 서비스는 이미지 유사도를 별도로 계산하지 않고, 상기 레이블을 기반으로 광고 대상 상품을 특정할 수도 있다. 이 경우, 본 발명의 실시예를 따르는 광고 플랫폼은 상기 카테고리 정보 및/또는 레이블을 기준으로 광고주에게 광고비를 책정할 수도 있다.
[68]
종래 키워드 기반의 온라인 광고 플랫폼의 경우, 키워드 기반으로 광고비가 책정되었다. 예를 들어 안과, 라식, 라섹 등의 키워드에 광고비를 책정하고, 사용자가 안과, 라식, 라섹 등의 키워드를 검색하면, 해당 키워드에 대한 검색 결과에 광고주에 대한 광고를 노출시키는 것이다.
[69]
본 발명의 실시예를 따르면, 이미지의 레이블에 대해 광고비를 책정하고, 쿼리에서 해당 레이블이 추출되면, 광고비를 지불한 광고주의 상품을 광고 아이템으로 특정할 수 있다.
[70]
예를 들어 미백기능성 화장품을 판매하는 광고주가 “까무잡잡한 얼굴” 레이블을 광고 대상으로 특정하면, 쿼리에서 추출된 레이블이 “까무잡잡한 얼굴”인 경우, 서비스 서버는 해당 쿼리에 대해 상기 광고주의 상품을 광고 아이템으로 특정할 수 있다.
[71]
광고 대상 아이템을 결정하는 보다 구체적인 설명은 첨부된 도 3에 대한 설명에서 후술된다.
[72]
한편, 본 발명의 실시예를 따르는 서비스 서버는 수집된 상품 설명 이미지를 필터링할 수 있다.(단계 250) 이는 이미지 검색에 노이즈로 작용할 수 있는 상품 이미지는 제외하고 상품 이미지 데이터베이스를 구성하기 위한 것이다.
[73]
보다 구체적으로 서비스 서버는 상품 이미지에서 추출한 레이블과 광고주가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다.
[74]
본 발명의 실시예를 따르면 특정 상품에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 레이블과 해당 상품의 판매 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 데이터베이스에서 필터링할 수 있다.
[75]
예를 들어, A 상품에 대한 제 1 내지 제 3 상품 이미지가 존재하고, 제 1 상품 이미지에서는 (여성 상의, 재킷), 제 2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 상품 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때 A 상품의 판매 카테고리가 “선글라스”이라면, 서비스 서버는 제 1 상품 이미지는 제외하고, 제 2, 제 3 상품 이미지만으로 상품 이미지 데이터베이스를 구성할 수 있다.
[76]
이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제 1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제 1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 상품 이미지는 필터링하고 데이터베이스를 구축하는 것이다.
[77]
다시 도 1에 대한 설명으로 복귀하면, 단계 120에서 본 발명의 실시예를 따르는 광고 서비스 서버 (10)는 광고 영역을 제공하는 광고 매체 웹사이트 서버 (20)로부터 광고 영역을 특정하기 위한 탬플릿을 수신할 수 있다. 상기 탬플릿을 통해 해당 웹사이트에서 광고가 표시되는 영역이 특정되면, 광고 서비스 서버 (10)는 광고 영역에 대한 광고를 표시하기 위한 광고 SDK를 설계하여 웹사이트 서버에 전달할 수 있다. (단계 130) 이후 웹사이트 서버는 상기 광고 SDK를 자신의 웹사이트에 탑재할 것이다.
[78]
한편 도 1에 도시된 것은 아니지만 본 발명의 실시예를 따르는 광고 서비스 서버(10)는 광고 매체 웹 사이트 서버(20)로부터 컨텐츠 자체 또는 컨텐츠에 포함되는 이미지를 미리 설정된 주기로 수집할 수 있다. 서비스 서버는 수집된 데이터에 포함된 이미지를 미리 프로세싱하여, 쿼리에 대한 응답 속도를 높일 수 있다.
[79]
도 1에 도시된 예시는 상기 광고 플랫폼이 웹사이트에 SDK 형태로 동작하는 실시예를 포함하고 있으나, 본 발명은 이에 한정되지 않는다. 즉, 본 발명의 실시예를 따르는 광고 플랫폼은 모바일 디바이스에 설치되는 어플리케이션 또는 플러그인, 엑티브엑스, 광고 모듈 등의 형식일 수 있고 데스크탑에 설치되는 소프트웨어 또는 웹 브라우징 툴에 설치되는 익스텐션 프로그램일 수 있다.
[80]
즉, 본 발명의 실시예를 따르는 사용자 디바이스에 광고 영역에 광고를 표시하기 위한 광고 어플리케이션이 설치될 수 있으며 (단계 120) 상기 광고 어플리케이션은 사용자 디바이스에 다른 어플리케이션이 실행되고 있는 상태에서 표시된 이미지에 대한 쿼리를 광고 서비스 서버에 전송하고, 상기 다른 어플리케이션의 실행 화면에 표시된 이미지와 유사한 상품에 대한 광고를 표시하는 역할을 수행할 수 있다.
[81]
한편, 사용자 디바이스 (30)가 광고 매체 웹사이트 서버(20)에 접속하여 컨텐츠에 접근하면 (단계 140), 광고 SDK 또는 광고 어플리케이션이 실행될 수 있다. (단계 150)
[82]
이후 본 발명의 실시예를 따르는 사용자 디바이스는 광고 정보를 문의하기 위한 쿼리를 생성하여 서비스 서버에 전달할 수 있다. (단계 160)
[83]
예를 들어 사용자 디바이스는 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버에게 전송할 수 있다. 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리, 해당 시점에 실행한 웹 페이지의 URL 정보를 포함할 수 있다. 나아가 사용자 디바이스는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린샷을 추출하여 쿼리로 전송할 수 있다.
[84]
한편 도 1의 예는 사용자 디바이스에서 쿼리가 전송되는 것으로 도시되어 있지만 본 발명은 이에 한정되지 않는다.
[85]
즉, 사용자 디바이스 (30)뿐만 아니라 광고 매체 웹사이트 서버 (20)도 서비스 서버(10)로 쿼리를 전송할 수 있다. 나아가 서비스 서버(10)가 광고 매체 웹사이트 서버(20)로부터 컨텐츠 자체 또는 컨텐츠에 포함된 이미지를 미리 수신하고, 수신된 데이터를 바탕으로 서비스 서버에서 쿼리를 특정할 수도 있다.
[86]
특히 본 발명의 선호되는 실시예를 따르는 사용자 디바이스는 해당 시점에 표시된 이미지를 쿼리로 전송할 수 있다. 예를 들어 사용자 디바이스는 광고 매체 웹사이트로부터 수신한 컨텐츠에 포함된 이미지가 표시되면, 표시된 이미지에 검색 가능한 객체를 추출하여 쿼리로 전송할 수 있다.
[87]
이때 사용자 디바이스는 사용자의 검색 요청 수신을 조건으로 쿼리를 전송할 수도 있다. 예를 들어 사용자가 열람 중인 이미지에 대한 광고를 문의한 경우, 사용자 디바이스는 검색이 요청된 이미지 내의 객체를 추출하여 쿼리로 전송할 수 있다. 또는 사용자 디바이스는 표시된 이미지에서 검색 가능한 객체를 미리 특정하고, 사용자로부터 선택 받은 객체에 대한 쿼리를 전송할 수도 있다.
[88]
이를 위해 사용자 디바이스는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체에 검색 또는 결과 아이콘을 표시하도록 동작할 수 있다.
[89]
상기 실시예를 따르면 패션 상품에 대한 광고만을 제공하는 광고 플랫폼의 경우, 이미지에서 패션 아이템에 대한 객체만을 특정하여 특정된 객체에 대한 광고만 문의하도록 동작할 수도 있다. 나아가 이미지에 복수의 패션 아이템에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 광고만 문의하도록 동작할 수도 있다.
[90]
이미지에서 검색 대상 객체를 구별하고, 검색 아이콘을 표시하는 구체적인 사용자 인터페이스는 첨부된 도 4 내지 도 6에 대한 설명과 함께 후술된다.
[91]
한편, 단계 170에서 본 발명의 실시예를 따르는 서비스 서버는 수신한 쿼리를 기반으로 광고 데이터베이스를 검색할 수 있다.
[92]
보다 구체적으로 본 발명의 제 1 실시예를 따르면, 서비스 서버는 쿼리가 포함하는 이미지로부터 레이블 또는 카테고리 정보를 추출하고, 광고 데이터베이스에 포함된 상품 중 상기 레이블 또는 카테고리 정보가 매칭되는 상품들에서 쿼리와 이미지 유사도를 기준으로 광고 아이템을 특정할 수 있다.
[93]
예를 들어 쿼리에 포함된 이미지에 꽃무늬 원피스가 있는 경우, 서비스 서버는 꽃무늬라는 레이블, 원피스라는 카테고리 정보를 쿼리로부터 추출할 수 있다. 이후 서비스 서버는 광고 상품 데이터베이스에서 꽃무늬 레이블, 원피스 카테고리 정보로 인덱싱된 상품을 확인하고, 해당 상품의 이미지와 쿼리 이미지의 유사도를 계산하여 유사한 상품을 광고 대상 아이템으로 특정할 수 있다.
[94]
본 발명의 제 2 실시예를 따르면, 서비스 서버는 쿼리가 포함하는 이미지와 유사도를 기준으로 광고 대상 후보를 먼저 선별하고, 쿼리 이미지에서 추출한 레이블 또는 카테고리 정보를 이용하여 광고 대상 후보들을 필터링할 수 있다. 이에 대한 보다 구체적인 설명은 첨부된 도 3을 참고하여 후술된다.
[95]
나아가 본 발명의 제 3 실시예를 따르면, 서비스 서버는 이미지 검색을 수행하지 않고, 즉, 광고 대상 상품을 특정에 이미지 유사도를 기준으로 하지 않고, 이미지에서 추출된 레이블 및/또는 카테고리 정보만으로 광고 대상 상품을 특정할 수 있다.
[96]
이러한 방법은 시각적 스타일에 민감하지 않은 자동차 보험 광고, 모바일 교통비 결제 서비스에 대한 광고 등을 제공하는데 적합하다.
[97]
예를 들어 사용자가 열람중인 페이지에 카테고리 정보가 자동차로 생성될 수 있는 이미지 객체가 포함되어 있는 경우, 본 발명의 상기 실시예를 따르면 자동차 보험 상품에 대한 광고를 제공할 수 있다. 나아가 상기 자동차의 레이블 정보가 승용차, 트럭 등으로 추출될 수 있으면, 해당 종류의 자동차를 대상으로 하는 자동차 보험 상품에 대한 광고를 제공할 수 있다. 나아가 상기 자동차의 레이블 정보가 버스로 추출될 수 있으면, 모바일 교통비 결제 서비스에 대한 광고를 제공할 수 있다.
[98]
본 발명의 실시예를 따라 쿼리 이미지와 유사한 광고 아이템을 결정하는 보다 구체적인 방법은 첨부된 도 3에 대한 설명과 함께 후술된다.
[99]
도 3은 본 발명의 실시예를 따라 쿼리 이미지를 기준으로 광고 아이템을 결정하는 과정을 설명하기 위한 순서도이다.
[100]
단계 310에서 본 발명의 실시예를 따르는 광고 서비스 서버는 쿼리 이미지를 수신하고, 쿼리 이미지에 다수의 객체가 포함된 경우 객체들 각각을 분할하여 인식할 수 있다. (단계 320) 사용자 디바이스에서 수신한 쿼리는 검색 대상 객체가 특정되어 있을 수도 있다.
[101]
이후 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱할 수 있다. 이는 쿼리 이미지의 내용을 기반으로 유사한 상품을 광고 아이템으로 결정하기 위한 것이다.
[102]
이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있으며, 보다 세부적인 방법은 전술한 상품 이미지를 프로세싱하는 방법을 참고하여 이해될 수 있다.
[103]
나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 도 2의 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. (단계 330)
[104]
이때 검색 대상 이미지 객체의 레이블 및/또는 카테고리 정보는 광고 아이템 결정을 위해 수행되는 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.
[105]
나아가 도 3의 예에서 이미지 객체로부터 추출하는 레이블과 카테고리 정보를 별개로 도시하였지만 이는 설명의 편의를 위한 것이며, 본 발명은 이에 한정하여 해석될 수 없다. 즉, 본 발명의 실시예를 따르면, 광고 서비스 서버는 검색 대상 이미지 객체로부터 레이블 정보와 카테고리 정보를 각각 추출할 수도 있지만, 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 반대로 카테고리 정보를 레이블 정보로 활용할 수도 있다.
[106]
예를 들어 본 발명의 실시예를 따르는 광고 서비스 서버는 쿼리 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 쿼리 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.
[107]
단계 340에서 본 발명의 실시예를 따르는 광고 서비스 서버는 쿼리 객체 이미지의 유사도를 기준으로 광고 상품 데이터베이스를 검색할 수 있다. 이는 쿼리 이미지와 유사한 상품을 광고 대상 아이템으로 결정하기 위한 것으로, 예를 들어 서비스 서버는 쿼리 객체 이미지와 상품 이미지의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 광고 대상 후보로 결정할 수 있다. 나아가 본 발명의 실시예를 따르는 광고 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 쿼리 이미지의 특징 값을 가공하고, 쿼리 이미지와 일정 범위 이내의 거리 값을 가지는 광고 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 광고 후보 아이템으로 결정할 수도 있다.
[108]
또한 서비스 서버는 쿼리 이미지와 데이터베이스 내의 상품 이미지가 내용적으로 유사도가 높지 않은 경우에도 이미지로부터 추출한 레이블을 이용하여 광고 후보 아이템을 결정할 수도 있다. 예를 들어 쿼리 이미지에서 추출된 레이블이 남자, 칙칙한 얼굴, 수염일 경우 본 발명의 실시예를 따르는 광고 서비스 서버는상기 레이블에 대응하도록 미리 설정된 수염 관리도구, 면도기 또는 스킨케어에 대한 레이블을 인덱싱하고 있는 상품들을 광고 후보 아이템으로 결정할 수도 있다.
[109]
나아가 본 발명의 다른 실시예를 따르는 광고 플랫폼 서비스는 이미지 유사도를 별도로 계산하지 않고, 쿼리에서 추출한 레이블을 기반으로 광고 대상 상품을 특정할 수도 있다. (단계 370)
[110]
예를 들어 꽃배달 서비스 운영하는 광고주가 발렌타인 데이, 꽃 등에 대한 레이블을 광고 대상으로 특정하고, 쿼리에서 추출된 레이블이 발렌타인 데이 또는 꽃인 경우, 서비스 서버는 해당 쿼리와 유사한 상품 이미지를 데이터베이스에서 검색하지 않고, 상기 광고주의 꽃배달 서비스를 광고 아이템으로 특정할 수 있다.
[111]
한편, 본 발명의 선호되는 실시예를 따르면, 광고 서비스 서버는 쿼리 이미지의 유사도를 기준으로 상품 데이터베이스를 검색하여 광고 대상 후보를 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다. (단계 350 내지 단계 360)
[112]
예를 들어 광고 서비스 서버는 쿼리 이미지와 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 광고 아이템을 결정할 수 있다. (단계 370)
[113]
또 다른 예로 광고 서비스 서버는 쿼리 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 상품들만 유사도를 계산할 수도 있다.
[114]
예를 들어 쿼리 이미지에서 검색 대상으로 특정된 객체의 카테고리 정보가 여성 상의, 블라우스로 추출된 경우, 광고 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
[115]
나아가 광고 서비스 서버는 해당 그룹에서 쿼리의 유사도가 미리 설정된 범위 이상 상품들을 광고 후보 아이템으로 하고, 광고 후보 아이템에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.
[116]
또 다른 예로 쿼리 이미지에서 검색 대상으로 특정된 객체의 카테고리 정보가 여성 상의, 블라우스이고, 레이블이 긴팔, 레이스, 카라넥으로 추출된 경우, 광고 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스를 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.
[117]
나아가 광고 서비스 서버는 상품 데이터베이스의 여성 상의, 블라우스 그룹에 속하는 상품 중, 검색 대상 객체 이미지와 이미지 유사도가 미리 설정된 범위 이상인 상품들을 광고 후보 아이템으로 결정할 수 있다. 이후 상기 광고 후보 아이템의 레이블 정보와 검색 대상 객체 이미지의 레이블 정보를 비교하여 임의의 개수 이상 일치하지 않는 상품들을 광고 후보 아이템에서 제외할 수 있다.
[118]
다시 말해 광고 서비스 서버는 여성 상의, 블라우스 그룹에 속하는 상품 중, 검색 대상 객체 이미지와 이미지 유사도가 미리 설정된 범위 이상인 상품을 광고 후보 아이템으로 보고, 광고 후보 아이템의 레이블 정보가 긴팔, 레이스, 카라넥인 상품들을 광고 아이템으로 결정할 수 있다.
[119]
다시 도 1에 대한 설명으로 복귀하면, 도 1의 단계 170에서 검색 대상 객체 이미지와 유사도를 기준으로 광고 대상 아이템이 결정되면, 광고 서비스 서버는 쿼리에 대한 응답으로 광고 대상 아이템에 대한 정보를 사용자 디바이스에 전송할 수 있다. (단계 190)
[120]
이후 본 발명의 실시예를 따르는 사용자 디바이스는 미리 특정된 광고 영역에 광고를 표시할 수 있다. (단계 195) 본 발명의 실시예를 따라 광고를 표시하는 보다 구체적인 예시는 첨부된 도 4 내지 도 6을 참고하여 후술된다.
[121]
도 4는 본 발명의 실시예를 따르는 사용자 디바이스에서 광고를 표시하는 방법을 설명하기 위한 순서도이다.
[122]
도 4는 본 발명의 실시예를 따르는 광고 어플리케이션이 웹브라우저 어플리케이션과 연동하여 광고를 표시하는 기능을 수행하는 과정을 예시하고 있으나, 본 발명은 이에 한정되지 않는다. 본 발명의 실시예를 따르는 광고 어플리케이션은 웹브라우저 등 다른 어플리케이션 기반으로 동작할 수도 있으나, 독립적으로 실행될 수도 있다.
[123]
단계 410에서 본 발명의 실시예를 따르는 사용자 디바이스는 광고 매체 웹사이트에 접속하고, 웹사이트로부터 제공받은 컨텐츠를 표시할 수 있다.
[124]
이때 사용자 디바이스에 표시된 컨텐츠에 이미지가 포함된 경우, 본 발명의 실시예를 따르는 사용자 디바이스는 표시된 이미지에서 검색 대상 이미지 객체를 특정하고, 특정된 객체를 사용자 입력을 수신할 수 있는 상태로 표현할 수 있다. (단계 420) 한편 서비스 서버 (10)의 제어를 통해 광고 매체 웹사이트 서버 (20)에서 검색 대상 이미지 객체를 특정하여 사용자 디바이스의 표시를 변경하거나, 또는 광고 매체 웹사이트 서버(20)에서 광고 SDK가 상기 검색 대상 이미지 객체를 특정하도록 동작할 수 있다.
[125]
예를 들어 본 발명의 실시예를 따르는 광고 플랫폼이 패션 상품에 대한 광고를 제공하는 경우, 본 발명의 실시예를 따르는 광고 어플리케이션은 사용자 디바이스에 표시된 이미지에서, 옷, 안경, 가방 등 패션 아이템을 적어도 하나 이상 특정하고, 전체 이미지에서 각각의 객체를 구별하여 표시할 수 있다. 또는 해당 이미지에 상의, 하의, 안경, 가방이 모두 포함되어 있다고 하더라도 객체들의 형태, 크기 등을 고려하여 해당 이미지에서 검색 가능한 상의, 가방만 구별하여 표시할 수도 있다.
[126]
사용자 디바이스에 표시된 이미지에서 검색 대상 이미지 객체를 특정하는 사용자 인터페이스의 구체적인 예시는 첨부된 도 5 및 6을 참고하여 후술된다.
[127]
이후 사용자 디바이스는 특정된 이미지 객체에 대한 사용자의 검색 요청이 수신되면, 쿼리를 전송할 수 있다. (단계 430) 앞의 예에서 사용자가 가방을 선택한 경우, 사용자 디바이스는 해당 가방과 유사한 아이템에 대한 광고를 문의하는 쿼리를 전송할 것이다. 이때 사용자 디바이스는 표시된 이미지와 함께 쿼리를 전송할 수 있다.
[128]
나아가 사용자 디바이스는 사용자의 선택 입력이 수신되면, 즉, 사용자가 광고를 요청하면, 미리 특정된 광고 영역을 활성화할 수 있다. 광고 영역이 활성화된다는 의미는, 사용자 디바이스에 디스플레이된 페이지의 일부 영역이 광고가 표시될 수 있도록 전환된다는 의미이다.
[129]
본 발명의 실시예를 따르는 광고 영역은 미리 표시된 컨텐츠와 동일 레이어에 활성화되는 것이 적절하나, 본 발명은 이에 한정되지 않는다. 즉, 상기 광고 영역은 상기 컨텐츠의 상위 레이어로 겹쳐서 표시되거나 상기 컨텐츠와 별개의 페이지를 호출하여 표시될 수도 있다.
[130]
이후 사용자 디바이스는 활성화된 광고 영역에 광고를 표시할 수 있다. 도 4의 예에서 단계 440과 단계 450은 별개의 단계로 구별하였으나, 이는 설명의 편의를 위한 것이며 본 발명은 이에 한정되지 않는다. 즉, 본 발명의 실시예를 따르는 사용자 디바이스는 사용자의 광고 요청을 수신하면, 미리 설정된 광고 영역에 서비스 서버로부터 수신한 광고 정보를 표시할 수 있다.
[131]
본 발명의 선호되는 실시예를 따르면, 상기 광고는 복수의 광고 아이템에 대한 이미지와 함께 검색 대상인 객체 이미지를 포함하여 구성될 수 있다. (단계 450) 이때 광고 영역은 한정된 영역에 다수의 광고 아이템 이미지를 포함하기 위해, 사용자의 스크롤 제스처에 따라 광고 아이템 이미지를 스크롤하여 표시할 수 있다.
[132]
나아가 사용자가 하나의 광고 아이템을 선택하면, 사용자 디바이스는 선택된 광고 아이템에 대한 상세 설명 페이지를 표시할 수 있다. (단계 470) 그러나 사용자가 복귀를 요청하면, 광고 영역의 상태를 활성화에서 비활성화 상태로 전환할 수 있다. 즉, 광고를 표시하기 위한 광고 영역을 제거할 수 있다. (단계 460)
[133]
도 5는 본 발명의 실시예에 따라 광고 영역을 표시하는 사용자 인터페이스의 예시이다.
[134]
예를 들어 도 5a와 같은 컨텐츠가 사용자 디바이스에 표시된 경우, 본 발명의 실시예를 따르는 광고 어플리케이션은 컨텐츠에 포함된 이미지 510에서 검색 가능한 객체 520을 특정하고, 520을 사용자 입력을 수신할 수 있는 아이콘으로 구별하여 표시할 수 있다.
[135]
이때 사용자가 520을 선택하면, 도 5b와 같이, 이미지 510에 해당하는 영역을 광고 영역 530으로 활성화하면서, 광고를 문의하는 쿼리를 이미지 510 및/또는 이미지 객체 520과 함께 전송할 수 있다.
[136]
나아가 본 발명의 실시예를 따르는 사용자 디바이스는 도 5c와 같이, 이미지 객체 520과 유사한 광고 아이템 550, 560, 570을 쿼리 이미지 540과 함께 광고 영역 530에 표시할 수 있다.
[137]
나아가 본 발명의 다른 실시예를 따르면, 510에 대한 사용자 입력이 없어도, 사용자 디바이스는 쿼리를 전송하고, 광고영역 530을 활성화할 수도 있다. 즉, 사용자의 명시적인 검색 요청이 없어도 표시된 이미지를 기반으로 쿼리가 전송되고 광고 영역이 활성화될 수도 있다. 이때 사용자가 광고 영역에 대해 스크롤 제스처를 입력하면, 광고 영역 외의 다른 영역은 고정된 상태로 광고 영역 내부의 광고 아이템에 대한 이미지만 스크롤되어 표시될 수 있다.
[138]
도 6는 본 발명의 실시예에 따라 광고 영역을 표시하는 사용자 인터페이스의 다른 예시이다.
[139]
본 발명의 실시예를 따르면, 도 6a와 같은 컨텐츠가 사용자 디바이스에 표시된 경우, 광고 어플리케이션은 컨텐츠에 포함된 이미지 610에서 검색 가능한 객체 620을 특정하고, 620을 사용자 입력을 수신할 수 있는 아이콘으로 구별하여 표시할 수 있다.
[140]
이 때 사용자가 620을 선택하면, 도 6b와 같이 이미지 610 하단의 영역을 광고 영역 630으로 활성화할 수 있다. 이때, 광고 영역은 이미지 610과 동일한 사이즈일 수 있으며, 사용자 디바이스는 광고 영역이 페이지 상단에 표시되도록 전체 페이지를 스크롤할 수 있다.
[141]
나아가 본 발명의 다른 실시예를 따르면, 620에 대한 사용자 입력이 없어도, 사용자 디바이스는 620에 대한 쿼리를 전송하고, 광고영역 630을 활성화할 수도 있다. 즉, 사용자의 명시적인 검색 요청이 없어도 표시된 이미지를 기반으로 쿼리가 전송되고 광고 영역이 활성화될 수도 있다.
[142]
이때 사용자가 복귀 아이콘 640을 선택하면 광고 영역 630은 비활성화 상태로 전환되어 페이지에서 사라질 수 있다. 나아가 사용자가 광고 영역에 포함된 임의의 광고 아이템을 선택하면, 세부 상품 설명 페이지가 생성될 수 있다.
[143]
[144]
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

청구범위

[청구항 1]
사용자 디바이스에서 이미지 기반 맞춤형 광고를 표시하는 방법에 있어서, 디스플레이된 페이지에 포함된 이미지 중 검색 가능한 객체가 존재하면, 상기 검색 가능한 객체를 특정하여 표시하는 단계; 특정된 객체에 대한 사용자의 검색 요청을 수신하면, 상기 객체를 포함하는 이미지 쿼리를 서비스 서버에 전송하고, 미리 설정된 광고 영역을 활성화하는 단계; 및 상기 서비스 서버로부터 적어도 하나 이상의 광고 정보를 수신하면, 상기 광고 영역에 상기 광고 정보에 포함된 광고 이미지를 표시하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
[청구항 2]
사용자 디바이스에서 이미지 기반 맞춤형 광고를 표시하는 방법에 있어서, 디스플레이된 페이지에 포함된 이미지에 대한 사용자의 검색 요청을 수신하면, 상기 객체를 포함하는 이미지 쿼리를 서비스 서버에 전송하고, 미리 설정된 광고 영역을 활성화하는 단계; 및 상기 서비스 서버로부터 적어도 하나 이상의 광고 정보를 수신하면, 상기 광고 영역에 상기 광고 정보에 포함된 광고 이미지를 표시하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
[청구항 3]
사용자 디바이스에서 이미지 기반 맞춤형 광고를 표시하는 방법에 있어서, 디스플레이된 페이지에 포함된 이미지 쿼리를 서비스 서버에 전송하고, 미리 설정된 광고 영역을 활성화하는 단계; 및 상기 서비스 서버로부터 적어도 하나 이상의 광고 정보를 수신하면, 상기 광고 영역에 상기 광고 정보에 포함된 광고 이미지를 표시하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
[청구항 4]
제 1항 내지 3항 중 어느 하나에 있어서, 상기 광고 영역에 대한 사용자 스크롤 제스처를 수신하면, 상기 광고 영역이 아닌 다른 영역은 변경하지 않고, 상기 광고 영역 내에서 상기 스크롤 제스처에 따라 상기 광고 이미지를 스크롤하여 표시하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
[청구항 5]
제 4항에 있어서, 상기 광고 영역은, 상기 검색 가능한 객체가 존재하는 이미지의 표시 영역인 것을 특징으로 하는 광고 표시 방법.
[청구항 6]
제 5 항에 있어서, 상기 광고 영역은, 상기 검색 가능한 객체가 존재하는 이미지와 동일한 크기이며, 상기 객체가 존재하는 이미지의 표시 영역 하단에 위치하며, 상기 광고 영역을 활성화하는 단계는, 상기 광고 영역이 상기 디스플레이된 페이지 상단에 위치하도록 상기 페이지를 스크롤하여 표시하는 단계를 포함하는 것을 특징으로 하는 광고 표시 방법.
[청구항 7]
이미지 기반 맞춤형 광고를 제공하는 광고 플랫폼 시스템에 있어서, 광고주의 광고 대상 상품에 대한 데이터베이스를 생성하고, 광고를 문의하는 쿼리를 수신하면, 상기 데이터베이스를 검색하여 광고 아이템을 특정하는 광고 서비스 서버; 광고 영역을 포함하는 컨텐츠를 사용자 디바이스에 제공하는 광고 매체 웹사이트 서버; 및 상기 광고 매체 웹사이트 서버에 접속하고, 상기 컨텐츠를 표시하고, 상기 컨텐츠에 포함된 이미지를 포함하는 쿼리를 상기 광고 서비스 서버에 제공하고, 상기 광고 서비스 서버로부터 상기 광고 아이템에 대한 정보를 수신하면 상기 컨텐츠에 포함된 상기 광고 영역에 상기 광고 아이템에 대한 광고를 표시하는 사용자 디바이스를 포함하는 것을 특징으로 하는 광고 플랫폼 시스템.
[청구항 8]
이미지 기반 맞춤형 광고를 제공하는 광고 플랫폼 시스템에 있어서, 광고주의 광고 대상 상품에 대한 데이터베이스를 생성하고, 광고를 문의하는 쿼리를 수신하면, 상기 데이터베이스를 검색하여 광고 아이템을 특정하는 광고 서비스 서버; 및 광고 영역을 포함하는 컨텐츠를 사용자 디바이스에 제공하며, 상기 컨텐츠에 포함된 이미지를 포함하는 상기 쿼리를 상기 광고 서비스 서버에 제공하고, 상기 광고 서비스 서버로부터 상기 광고 아이템에 대한 정보를 수신하면 상기 컨텐츠에 포함된 상기 광고 영역에 상기 광고 아이템에 대한 광고를 포함하여 상기 사용자 디바이스에 제공하는 광고 매체 웹사이트 서버를 포함하는 것을 특징으로 하는 광고 플랫폼 시스템.
[청구항 9]
이미지 기반 맞춤형 광고를 제공하는 광고 플랫폼 시스템에 있어서, 광고주의 광고 대상 상품에 대한 데이터베이스를 생성하고, 광고를 문의하는 쿼리를 수신하면, 상기 데이터베이스를 검색하여 광고 아이템을 특정하는 광고 서비스 서버; 및 광고 영역을 포함하는 컨텐츠를 사용자 디바이스에 제공하는 광고 매체 웹사이트 서버; 및 상기 광고 매체 웹사이트 서버에 접속하여 상기 컨텐츠에 포함된 이미지를 포함하는 상기 쿼리를 상기 광고 서비스 서버에 제공하고, 상기 광고 서비스 서버로부터 상기 광고 아이템에 대한 정보를 수신하면 상기 광고 영역에 상기 광고 아이템에 대한 정보를 삽입하여 상기 웹사이트 서버에 전송하는 광고 대행 서비스 서버를 포함하는 것을 특징으로 하는 광고 플랫폼 시스템.
[청구항 10]
서비스 서버에서, 이미지 기반 맞춤형 광고를 제공하는 방법에 있어서, 광고 대상 상품 정보에 포함된 상품 이미지, 상기 광고 대상 상품 정보 중 적어도 하나를 기반으로 상기 상품의 특징을 설명하는 레이블 정보 및 상기 상품의 카테고리 정보 중 적어도 하나 이상을 생성하고, 상기 레이블 정보 및 상기 카테고리 정보 증 적어도 하나 이상을 상기 상품 이미지에 인덱싱하여 데이터베이스를 생성하는 A 단계; 사용자 디바이스 표시된 이미지에 대한 쿼리를 수신하면, 검색 대상 이미지를 특정하고, 특정된 검색 대상 이미지의 특징을 설명하는 레이블 정보 및 카테고리 정보를 생성하는 B 단계; 상기 데이터베이스에서, 상기 검색 대상 이미지와 미리 설정된 범위의 유사도를 가지는 후보 이미지를 검색하고, 상기 후보 이미지를 상기 검색 대상 이미지의 카테고리 정보 및 레이블 정보 중 적어도 하나 이상을 이용하여 필터링하고, 광고 아이템을 결정하는 C 단계; 및 상기 광고 아이템에 대한 정보를 상기 사용자 디바이스에 제공하는 D 단계를 포함하는 것을 특징으로 하는 광고 제공 방법.
[청구항 11]
제 10항에 있어서, 상기 C 단계는, 상기 데이터베이스에서, 상기 검색 대상 이미지의 상위 카테고리 정보를 포함하는 카테고리 정보를 가지는 이미지 중, 상기 검색 대상 이미지와 미리 설정된 유사도를 가지는 후보 이미지를 검색하는 단계; 및 상기 후보 이미지의 카테고리 정보가 상기 검색 대상 이미지의 하위 카테고리 정보를 포함하지 않는 경우, 해당 후보 이미지를 필터링하는 단계를 포함하는 것을 특징으로 하는 광고 제공 방법.
[청구항 12]
제 11항에 있어서, 상기 C 단계는, 상기 데이터베이스에서, 상기 검색 대상 이미지의 카테고리 정보와 일치하는 카테고리 정보를 가지는 이미지 중, 상기 검색 대상 이미지와 미리 설정된 유사도를 가지는 후보 이미지를 검색하는 단계; 및 상기 후보 이미지의 레이블 정보와 상기 검색 대상 이미지의 레이블 정보의 유사도를 확인하고, 상기 유사도가 미리 설정된 범위 이하인 후보 이미지를 필터링하는 단계를 포함하는 것을 특징으로 하는 광고 제공 방법.
[청구항 13]
서비스 서버에서, 이미지 기반 맞춤형 광고를 제공하는 방법에 있어서, 광고 대상 상품 정보에 포함된 상품 이미지, 상기 광고 대상 상품 정보 중 적어도 하나를 기반으로 상기 상품의 특징을 설명하는 레이블 정보를 생성하고, 상기 레이블 정보를 상기 상품 이미지에 인덱싱하여 데이터베이스를 생성하는 A 단계; 사용자 디바이스 표시된 이미지에 대한 쿼리를 수신하면, 검색 대상 이미지를 특정하고, 특정된 검색 대상 이미지의 특징을 설명하는 쿼리 레이블 정보를 생성하는 B 단계; 상기 데이터베이스에서, 상기 쿼리 레이블 정보를 기준으로 광고 아이템을 결정하는 C 단계; 및 상기 광고 아이템에 대한 정보를 상기 사용자 디바이스에 제공하는 D 단계를 포함하는 것을 특징으로 하는 광고 제공 방법.

도면

[도1]

[도2]

[도3]

[도4]

[도5]   [규칙 제91조에 의한 정정04.06.2018] 

[도6]   [규칙 제91조에 의한 정정04.06.2018]