Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019045889) DENSE CORRESPONDENCE ESTIMATION WITH MULTI-LEVEL METRIC LEARNING AND HIERARCHICAL MATCHING
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2019/045889 International Application No.: PCT/US2018/042222
Publication Date: 07.03.2019 International Filing Date: 16.07.2018
IPC:
G06T 7/55 (2017.01) ,G06T 7/11 (2017.01) ,G06T 17/10 (2006.01) ,G06N 3/08 (2006.01)
[IPC code unknown for G06T 7/55][IPC code unknown for G06T 7/11]
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
T
IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
17
3D modelling for computer graphics
10
Volume description, e.g. cylinders, cubes or using CSG [Constructive Solid Geometry]
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
Applicants:
NEC LABORATORIES AMERICA, INC. [US/US]; 4 Independence Way Suite 200 Princeton, New Jersey 08540, US
Inventors:
TRAN, Quoc-Huy; US
SALEM, Mohammed E. F.; US
ZIA, Muhammad Zeeshan; US
VERNAZA, Paul; US
CHANDRAKER, Manmohan; US
Agent:
KOLODKA, Joseph; US
Priority Data:
16/029,12606.07.2018US
16/029,16706.07.2018US
62/553,08731.08.2017US
62/586,22215.11.2017US
Title (EN) DENSE CORRESPONDENCE ESTIMATION WITH MULTI-LEVEL METRIC LEARNING AND HIERARCHICAL MATCHING
(FR) ESTIMATION DE CORRESPONDANCE DENSE AVEC APPRENTISSAGE MÉTRIQUE MULTI-NIVEAU ET MISE EN CORRESPONDANCE HIÉRARCHIQUE
Abstract:
(EN) Systems and methods for correspondence estimation and flexible ground modeling include communicating two-dimensional (2D) images of an environment to a correspondence estimation module (200), including a first image (102a) and a second image (102b) captured by an image capturing device (100). First features, including geometric features and semantic features, are hierarchically extract from the first image with a first convolutional neural network (CNN) according to activation map weights (210a), and second features, including geometric features and semantic features, are hierarchically extracted from the second image with a second CNN according to the activation map weights (210b). Correspondences between the first features and the second features are estimated, including hierarchical fusing of geometric correspondences and semantic correspondences (220). A 3-dimensional (3D) model of a terrain is estimated using the estimated correspondences belonging to the terrain surface (300). Relative locations of elements and objects in the environment are determined according to the 3D model of the terrain (300). A user is notified of the relative locations (400).
(FR) L'invention concerne des systèmes et des procédés d'estimation de correspondance et de modélisation de sol flexible consistant à communiquer des images bidimensionnelles (2D) d'un environnement à un module d'estimation de correspondance (200), ces dernières comprenant une première image (102a) et une seconde image (102b) capturées par un dispositif de capture d'image (100). Des premières caractéristiques, comprenant des caractéristiques géométriques et des caractéristiques sémantiques, sont extraites de manière hiérarchique à partir de la première image à l'aide d'un premier réseau neuronal convolutionnel (CNN) en fonction de pondérations de carte d'activation (210a), et des secondes caractéristiques, comprenant des caractéristiques géométriques et des caractéristiques sémantiques, sont extraites de manière hiérarchique à partir de la seconde image à l'aide d'un second CNN selon les pondérations de carte d'activation (210b). Des correspondances entre les premières caractéristiques et les secondes caractéristiques sont estimées, et comprennent la fusion hiérarchique des correspondances géométriques et des correspondances sémantiques (220). Un modèle tridimensionnel (3D) d'un terrain est estimé à l'aide des correspondances estimées appartenant à la surface de terrain (300). Des emplacements relatifs d'éléments et d'objets dans l'environnement sont déterminés en fonction du modèle 3D du terrain (300). Un utilisateur est informé des emplacements relatifs (400).
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)