Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020228525 - PLACE RECOGNITION METHOD AND APPARATUS, MODEL TRAINING METHOD AND APPARATUS FOR PLACE RECOGNITION, AND ELECTRONIC DEVICE

Publication Number WO/2020/228525
Publication Date 19.11.2020
International Application No. PCT/CN2020/087308
International Filing Date 27.04.2020
IPC
G06F 16/58 2019.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
50of still image data
58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06F 16/583
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
50of still image data
58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
583using metadata automatically derived from the content
G06F 16/5866
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
50of still image data
58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
5866using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
G06F 16/587
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
50of still image data
58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
587using geographical or spatial information, e.g. location
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
Applicants
  • 腾讯科技(深圳)有限公司 TENCENT TECHNOLOGY (SHENZHEN) COMPANY LIMITED [CN]/[CN]
Inventors
  • 白栋栋 BAI, Dongdong
  • 凌永根 LING, Yonggen
  • 刘威 LIU, Wei
Agents
  • 北京三高永信知识产权代理有限责任公司 BEIJING SAN GAO YONG XIN INTELLECTUAL PROPERTY AGENCY CO., LTD.
Priority Data
201910390693.210.05.2019CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) PLACE RECOGNITION METHOD AND APPARATUS, MODEL TRAINING METHOD AND APPARATUS FOR PLACE RECOGNITION, AND ELECTRONIC DEVICE
(FR) PROCÉDÉ ET APPAREIL DE RECONNAISSANCE DE LIEU, PROCÉDÉ ET APPAREIL D'APPRENTISSAGE DE MODÈLE POUR LA RECONNAISSANCE DE LIEU ET DISPOSITIF ÉLECTRONIQUE
(ZH) 地点识别及其模型训练的方法和装置以及电子设备
Abstract
(EN)
Provided are a place recognition method and apparatus, a model training method and apparatus for place recognition, a computer readable storage medium and an electronic device. The model training method comprises: extracting local features of a sample image on the basis of a first portion of a CNN model (310); aggregating the local features into feature vectors having a first number of dimensions on the basis of a second portion of the CNN model (330); obtaining, on the basis of a third portion of the CNN model, compressed representation vectors of the feature vectors, wherein the compressed representation vectors have a second number of dimensions that is less than the first number of dimensions (350); and adjusting model parameters of the first to third portions with the aim of minimizing the distance between the compressed representation vectors corresponding to a plurality of images photographed at the same place (370). According to the method, a compression process with trainable parameters is introduced into a CNN model, so that an end-to-end training place recognition model can be fully realized, and the obtained CNN model can directly obtain low-dimensional image features, thereby improving the place recognition performance on the basis of artificial intelligence.
(FR)
La présente invention concerne un procédé et un appareil de reconnaissance de lieu, un procédé et un appareil d'apprentissage de modèle pour une reconnaissance de lieu, un support de stockage lisible par ordinateur et un dispositif électronique. Le procédé d'apprentissage de modèle comprend les étapes consistant à : extraire des caractéristiques locales d'une image échantillon sur la base d'une première partie d'un modèle de CNN (310) ; agréger les caractéristiques locales en vecteurs de caractéristiques ayant un premier nombre de dimensions sur la base d'une deuxième partie du modèle de CNN (330) ; obtenir, sur la base d'une troisième partie du modèle de CNN, des vecteurs de représentation compressés des vecteurs de caractéristiques, les vecteurs de représentation compressés ayant un second nombre de dimensions qui est inférieur au premier nombre de dimensions (350) ; et ajuster des paramètres de modèle des première à troisième parties dans le but de minimiser la distance entre les vecteurs de représentation compressés correspondant à une pluralité d'images photographiées sur le même lieu (370). Selon le procédé, un procédé de compression avec des paramètres d'apprentissage est introduit dans un modèle de CNN, de telle sorte qu'un modèle de reconnaissance de lieu d'apprentissage de bout en bout peut être entièrement réalisé, et le modèle de CNN obtenu permet d'obtenir directement des caractéristiques d'image de faible dimension, améliorant ainsi les performances de reconnaissance de lieu sur la base d'une intelligence artificielle.
(ZH)
一种地点识别及其模型训练的方法和装置、计算机可读存储介质以及电子设备。方法包括:基于CNN模型的第一部分提取样本图像的局部特征(310);基于CNN模型的第二部分将局部特征聚合成具有第一维数的特征向量(330);基于CNN模型的第三部分得到特征向量的压缩表示向量,压缩表示向量具有小于第一维数的第二维数(350);以及以使得在同一地点拍摄的多个图像对应的压缩表示向量之间的距离最小化为目标,调整第一至第三部分的模型参数(370)。该方法通过在CNN模型中引入参数可训练的压缩过程,能够真正实现端到端的训练地点识别模型,得到的CNN模型能够直接获得低维度的图像特征,从而基于人工智能提高地点识别的性能。
Latest bibliographic data on file with the International Bureau