Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2022089077 - PROCÉDÉ DE CORRESPONDANCE STÉRÉO BINOCULAIRE EN TEMPS RÉEL BASÉ SUR UN RÉSEAU DE PRÉDICTION DE PARALLAXE CANDIDATE ADAPTATIVE

Numéro de publication WO/2022/089077
Date de publication 05.05.2022
N° de la demande internationale PCT/CN2021/118609
Date du dépôt international 15.09.2021
CIB
G06T 7/33 2017.1
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
7Analyse d'image
30Détermination des paramètres de transformation pour l'alignement des images, c. à d. recalage des images
33utilisant des procédés basés sur les caractéristiques
G06T 7/593 2017.1
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
7Analyse d'image
50Récupération de la profondeur ou de la forme
55à partir de plusieurs images
593à partir d’images stéréo
G06N 3/04 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
CPC
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
G06T 2207/10012
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
10Image acquisition modality
10004Still image; Photographic image
10012Stereo images
G06T 2207/20081
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
20Special algorithmic details
20081Training; Learning
G06T 2207/20084
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
20Special algorithmic details
20084Artificial neural networks [ANN]
G06T 2207/20228
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
20Special algorithmic details
20228Disparity calculation for image-based rendering
G06T 7/33
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
30Determination of transform parameters for the alignment of images, i.e. image registration
33using feature-based methods
Déposants
  • 西安交通大学 XI'AN JIAOTONG UNIVERSITY [CN]/[CN]
Inventeurs
  • 张旭翀 ZHANG, Xuchong
  • 孙宏滨 SUN, Hongbin
  • 戴赫 DAI, He
  • 赵永利 ZHAO, Yongli
  • 郑南宁 ZHENG, Nanning
Mandataires
  • 西安通大专利代理有限责任公司 XI'AN TONG DA PATENT AGENCY CO., LTD.
Données relatives à la priorité
202011176728.128.10.2020CN
Langue de publication Chinois (zh)
Langue de dépôt chinois (ZH)
États désignés
Titre
(EN) REAL-TIME BINOCULAR STEREO MATCHING METHOD BASED ON ADAPTIVE CANDIDATE PARALLAX PREDICTION NETWORK
(FR) PROCÉDÉ DE CORRESPONDANCE STÉRÉO BINOCULAIRE EN TEMPS RÉEL BASÉ SUR UN RÉSEAU DE PRÉDICTION DE PARALLAXE CANDIDATE ADAPTATIVE
(ZH) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
Abrégé
(EN) The present invention discloses a real-time binocular stereo matching method based on an adaptive candidate parallax prediction network. The method comprises: first performing multi-scale feature extraction on a stereo image pair by using a two-dimensional convolutional neural network so as to obtain high-resolution and low-resolution feature maps; then, in the first-stage parallax estimation, using the low-resolution feature map to perform parallax coarse estimation; after an adaptive candidate parallax is predicted by using a coarse estimation result and left image information, in the second-stage parallax estimation, performing fine parallax estimation by using a prediction result and the high-resolution feature map; and finally, performing hierarchical refinement on a parallax map to obtain a full-size parallax map. Compared with existing coarse-to-fine stereo matching neural networks, the present invention allows for more accurate dynamic offset prediction for a fine parallax estimation stage so as to meet different parallax correction requirements of various targets in the images. Due to the effectiveness of dynamic prediction, a two-stage processing structure is designed in the present invention to greatly improve the calculation precision and speed of a real-time binocular stereo matching network.
(FR) La présente invention concerne un procédé de correspondance stéréo binoculaire en temps réel basé sur un réseau de prédiction de parallaxe candidate adaptative. Le procédé comprend les étapes suivantes : premièrement, effectuer une extraction de caractéristiques à plusieurs échelles sur une paire d'images stéréo au moyen d'un réseau neuronal convolutif bidimensionnel de façon à obtenir des cartes de caractéristiques à haute résolution et à basse résolution ; puis, dans l'estimation de parallaxe de premier étage, utiliser la carte de caractéristiques à basse résolution pour effectuer une estimation grossière de parallaxe ; après la prédiction d'une parallaxe candidate adaptative en utilisant un résultat d'estimation grossier et des informations d'image de gauche, dans l'estimation de parallaxe de deuxième étage, effectuer une estimation de parallaxe fine en utilisant un résultat de prédiction et la carte de caractéristiques à haute résolution ; et enfin, effectuer un affinement hiérarchique sur une carte de parallaxe pour obtenir une carte de parallaxe pleine grandeur. Par comparaison avec des réseaux neuronaux de correspondance stéréo à affinement d'échelle existants, la présente invention permet une prédiction de décalage dynamique plus précise pour un étage d'estimation de parallaxe fine de façon à respecter différents critères de correction de parallaxe de diverses cibles dans les images. En raison de l'efficacité de prédiction dynamique, une structure de traitement à deux étages est conçue dans la présente invention pour améliorer considérablement la précision et la vitesse de calcul d'un réseau de correspondance stéréo binoculaire en temps réel.
(ZH) 本发明公开了一种基于自适应候选视差预测网络的实时双目立体匹配方法。该方法首先利用二维卷积神经网络对立体图像对进行多尺度特征提取,得到高、低分辨率的特征图。然后,第一阶段视差估计利用低分辨率特征图进行视差粗估计。在利用粗估计结果和左图信息预测得到自适应候选视差以后,第二阶段视差估计则利用预测结果和高分辨率特征图进行精细视差估计。最后,对视差图进行层次化精修得到全尺寸视差图。与现有的由粗到精立体匹配神经网络相比,本发明可以为精细视差估计阶段预测更准确的动态偏移量,以满足图像中各种目标不同的视差校正需求。由于动态预测的有效性,本发明设计了两级处理结构以大幅提高实时双目立体匹配网络的计算精度和速度。
Documents de brevet associés
Dernières données bibliographiques dont dispose le Bureau international