Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022000426 - METHOD AND SYSTEM FOR SEGMENTING MOVING TARGET ON BASIS OF TWIN DEEP NEURAL NETWORK

Publication Number WO/2022/000426
Publication Date 06.01.2022
International Application No. PCT/CN2020/099942
International Filing Date 02.07.2020
IPC
G06T 7/00 2017.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
CPC
G06K 9/629
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62Methods or arrangements for recognition using electronic means
6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
629of extracted features
G06N 3/0445
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0445Feedback networks, e.g. hopfield nets, associative networks
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06T 7/194
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
10Segmentation; Edge detection
194involving foreground-background segmentation
G06T 7/246
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
20Analysis of motion
246using feature-based methods, e.g. the tracking of corners or segments
Applicants
  • 中国科学院自动化研究所 INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES [CN]/[CN]
  • 广东人工智能与先进计算研究院 GUANGDONG INSTITUTE OF ARTIFICIAL INTELLIGENCE AND ADVANCED COMPUTING [CN]/[CN]
Inventors
  • 邹卓君 ZOU, Zhuojun
  • 蒿杰 HAO, Jie
  • 舒琳 SHU, Lin
  • 梁俊 LIANG, Jun
  • 郭尧 GUO, Yao
Agents
  • 北京市恒有知识产权代理事务所(普通合伙) HENYOL INTELLECTUAL PROPERTY LAW CORPORATION
Priority Data
202010619639.330.06.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) METHOD AND SYSTEM FOR SEGMENTING MOVING TARGET ON BASIS OF TWIN DEEP NEURAL NETWORK
(FR) PROCÉDÉ ET SYSTÈME DE SEGMENTATION D'UNE CIBLE MOBILE SUR LA BASE D'UN RÉSEAU DE NEURONES PROFONDS JUMELÉ
(ZH) 基于孪生深度神经网络的动目标分割方法及系统
Abstract
(EN) The present invention relates to a method and system for segmenting a moving target on the basis of a twin deep neural network, the segmentation method comprising: acquiring multiple groups of historical image information, each group of historical image information comprising a current frame and reference frame that have the same size and are in the same video, as well as a tag labeled with the motion conditions of a target; training a VGG16 network model according to the groups of historical image information; and according to the trained VGG16 network model, performing motion transformation detection and/or relative background detection on an image to be detected, and determining the conditions of a moving target in the image to be detected. In the present invention, a VGG16 network model is trained by using multiple groups of current frames, reference frames and tags, and information about the time dimension passes comparison of a template frame. Due to the flexible selection of a template in a twin network, the present invention can adapt well to the conditions of motion photography under when utilizing time dimension information, thereby effectively improving the accuracy of moving object segmentation.
(FR) La présente invention concerne un procédé et un système de segmentation d'une cible mobile sur la base d'un réseau de neurones profonds jumelé, le procédé de segmentation consistant à : acquérir de multiples groupes d'informations d'image historiques, chaque groupe d'informations d'image historiques comprenant une trame courante et une trame de référence qui ont la même taille et sont dans la même vidéo, ainsi qu'une étiquette marquée avec les conditions de mouvement d'une cible; former un modèle de réseau VGG16 en fonction des groupes d'informations d'image historiques; et en fonction du modèle de réseau VGG16 formé, effectuer une détection de transformation de mouvement et/ou une détection d'arrière-plan relatif sur une image à détecter, et déterminer les conditions d'une cible mobile dans l'image à détecter. Dans la présente invention, un modèle de réseau VGG16 est formé en utilisant de multiples groupes de trames courantes, de trames de référence et d'étiquettes, et des informations concernant la dimension temporelle passent par une comparaison d'une trame gabarit. Du fait de la sélection flexible d'un gabarit dans un réseau jumelé, la présente invention peut parfaitement s'adapter aux conditions de photographie en mouvement lors de l'utilisation d'informations de dimension temporelle, ce qui améliore ainsi efficacement la précision d'une segmentation d'objet mobile.
(ZH) 本发明涉及一种基于孪生深度神经网络的动目标分割方法及系统,所述分割方法包括:获取多组历史图像信息,每组历史图像信息包括同一视频中、尺寸大小相同的当前帧和参考帧、以及标有目标的运动情况的标签;根据各组历史图像信息,训练VGG16网络模型;根据训练后的VGG16网络模型,对待检测图像进行运动变换检测和/或相对背景检测,确定所述待检测图像中的动目标情况。本发明通过多组当前帧、参考帧及标签,对VGG16网络模型训练,将时间维度的信息通过对模板帧的对比,由于孪生网络中对模板的灵活选取,使本发明能够在利用时间维度信息的情况下良好地适应运动摄影条件,有效提高对动目标分割的准确度。
Related patent documents
Latest bibliographic data on file with the International Bureau