WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2018089762) ONLINE PERSONAL ASSISTANT WITH IMAGE TEXT LOCALIZATION
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/089762 International Application No.: PCT/US2017/061053
Publication Date: 17.05.2018 International Filing Date: 10.11.2017
IPC:
G06K 9/46 (2006.01) ,G06T 7/00 (2017.01) ,G06K 9/62 (2006.01) ,G06F 17/30 (2006.01) ,G06Q 30/00 (2012.01) ,G06K 9/68 (2006.01)
Applicants: EBAY INC.[US/US]; 2145 Hamilton Avenue San Jose, CA 95125, US
Inventors: ZHENG, Shuai; US
PIRAMUTHU, Robinson; US
Agent: SCHEER, Bradley; US
PERDOK, Monique; US
BIANCHI, Timothy; US
ARORA, Suneel; US
BEEKMAN, Marvin; US
MCCRACKIN, Ann, M.; US
GOULD, James, R.; US
WOO, Justin, N.; US
BLACK, David, W.; US
Priority Data:
15/349,46211.11.2016US
Title (EN) ONLINE PERSONAL ASSISTANT WITH IMAGE TEXT LOCALIZATION
(FR) ASSISTANT PERSONNEL EN LIGNE AVEC LOCALISATION DE TEXTE D'IMAGE
Abstract: front page image
(EN) Systems, methods, and computer program products for identifying a candidate product in an electronic marketplace based on a visual comparison between candidate product image visual text content and input query image visual text content. Unlike conventional optical character recognition (OCR) based systems, embodiments automatically localize and isolate portions of a candidate product image and an input query image that each contain visual text content, and calculate a visual similarity measure between the respective portions. A trained neural network may be re-trained to more effectively find visual text content by using the localized and isolated visual text content portions as additional ground truths. The visual similarity measure serves as a visual search result score for the candidate product. Any number of images of any number of candidate products may be compared to an input query image to enable text-in-image based product searching without resorting to conventional OCR techniques.
(FR) L'invention concerne des systèmes, des procédés et des produits programmes informatiques destinés à identifier un produit candidat dans une place de marché électronique sur la base d'une comparaison visuelle entre un contenu de texte visuel d'image de produit candidat et un contenu de texte visuel d'image d'interrogation entrée. Contrairement aux systèmes classiques, basés sur une reconnaissance optique de caractères (OCR), des modes de réalisation localisent et isolent automatiquement des parties d'une image de produit candidat et d'une image d'interrogation entrée qui contiennent chacune un contenu de texte visuel, et calculent une mesure de similarité visuelle entre les parties respectives. Un réseau neuronal entraîné peut être ré-entraîné pour trouver plus efficacement un contenu de texte visuel en utilisant les parties de contenu de texte visuel localisées et isolées en tant que réalités de terrain supplémentaires. La mesure de similarité visuelle sert d'indice de résultat de recherche visuelle pour le produit candidat. Tout nombre d'images de tout nombre de produits candidats peut être comparé à une image d'interrogation entrée pour permettre une recherche de produit sur la base d'un texte dans une image sans recourir à des techniques d'OCR classiques.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)