WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2015126443) MOVING OBJECT LOCALIZATION IN 3D USING A SINGLE CAMERA
Latest bibliographic data on file with the International Bureau   

Pub. No.:    WO/2015/126443    International Application No.:    PCT/US2014/047569
Publication Date: 27.08.2015 International Filing Date: 22.07.2014
IPC:
G06T 7/20 (2006.01), H04N 5/232 (2006.01)
Applicants: NEC LABORATORIES AMERICA, INC. [US/US]; 4 Independence Way Suite 200 Princeton, NJ 08540 (US)
Inventors: CHANDRAKER, Manmohan; (US).
SONG, Shiyu; (US).
LIN, Yuanqing; (US).
WANG, Xiaoyu; (US)
Agent: BITETTO, James, J.; (US)
Priority Data:
14/184,766 20.02.2014 US
Title (EN) MOVING OBJECT LOCALIZATION IN 3D USING A SINGLE CAMERA
(FR) LOCALISATION D'OBJETS EN MOUVEMENT EN 3D À L'AIDE D'UNE SEULE CAMÉRA
Abstract: front page image
(EN)The present invention relates to Monocular SFM and Moving Object Localization. Stereo-based SFM systems now routinely achieve real-time performance in both indoor and outdoor environments. Several monocular systems have also demonstrated good performance in smaller desktop or indoor environments. Successful large-scale monocular systems for autonomous navigation are less extant, primarily due to the challenge of scale drift. A large-scale monocular system handles scale drift with loop closure. While desirable for map building, delayed scale correction from loop closure is not an option for autonomous driving. Parallel monocular architectures like PTAM are elegant solutions for small workspaces. However, PTAM uses the existing distribution of points to restrict the epipolar search range, which is not desirable for fast-moving vehicles. It uses free time in the mapping thread when exploring known regions for data association refinement and bundle adjustment, however, scene revisits are not feasible in autonomous driving. Other system compute relative pose between consecutive frames. However, two-view estimation leads to high translational errors for narrow baseline forward motion. Monocular SFM and scene understanding are attractive due to lower cost and calibration requirements. However, the lack of a fixed stereo baseline leads to scale drift, which is the primary bottleneck that prevents monocular SFM from attaining accuracy comparable to stereo. To counter scale drift, prior knowledge must be used, a popular avenue for which is the known height of the camera above the ground plane. Thus, a robust and accurate estimation of the ground plane is crucial to achieve good performance in monocular scene understanding. However, in real-world autonomous driving, the ground plane corresponds to a rapidly moving, low-textured road surface, which makes its estimation from image data challenging.
(FR)La présente invention concerne la structure à partir du mouvement (SFM) monoculaire et la localisation d'objets en mouvement. Des systèmes SFM stéréo atteignent désormais couramment des performances en temps réel dans des environnements d'intérieur et d'extérieur. Plusieurs systèmes monoculaires ont également démontré de bonnes performances dans des environnements de bureau ou d'intérieur plus petits. Il existe moins de systèmes monoculaires à grande échelle permettant de mener à bien une navigation autonome, principalement en raison du défi posé par la dérive d'échelle. Un système monoculaire à grande échelle gère la dérive d'échelle avec une fermeture de boucle. Bien qu'elle soit souhaitable pour une construction de carte, une correction d'échelle retardée obtenue par fermeture de boucle n'est pas une option pour la conduite autonome. Des architectures monoculaires parallèles telles que PTAM sont des solutions élégantes pour de petits espaces de travail. Cependant, PTAM utilise la distribution de points existante pour limiter la plage de recherche épipolaire, ce qui n'est pas souhaitable pour des véhicules en mouvement rapide. PTAM utilise du temps libre dans le fil d'exécution de cartographie lors d'une exploration de régions connues pour un affinage d'association de données et un réglage de groupes, toutefois, des revisites de scène ne sont pas faisables en conduite autonome. D'autres systèmes calculent la pose relative entre images consécutives. Toutefois, une estimation par deux vues entraîne de grandes erreurs de translation pour un mouvement vers l'avant à ligne de base étroite. La SFM monoculaire et la compréhension de scènes sont attirantes en raison de leur moindre coût et de leurs exigences d'étalonnage plus faibles. Cependant, l'absence d'une ligne de base stéréo fixe entraîne une dérive d'échelle, qui est le principal goulot d'étranglement empêchant la SFM monoculaire d'atteindre une précision comparable à celle de la stéréo. Pour contrer la dérive d'échelle, des connaissances préalables doivent être utilisées, un chemin populaire pour lequel la hauteur de la caméra au-dessus du plan de sol est connue. Une estimation robuste et précise du plan de sol est donc cruciale pour atteindre de bonnes performances en compréhension de scènes monoculaire. Cependant, en conduite autonome dans le monde réel, le plan de sol correspond à une surface de route faiblement texturée et en mouvement rapide, ce qui rend difficile son estimation à partir de données d'image.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LT, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)