Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022007193 - WEAK SUPERVISION VIDEO BEHAVIOR DETECTION METHOD AND SYSTEM BASED ON ITERATIVE LEARNING

Publication Number WO/2022/007193
Publication Date 13.01.2022
International Application No. PCT/CN2020/115542
International Filing Date 16.09.2020
IPC
G06K 9/00 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
Applicants
  • 南京理工大学 NANJING UNIVERSITY OF SCIENCE AND TECHNOLOGY [CN]/[CN]
Inventors
  • 宋砚 SONG, Yan
  • 邹荣 ZOU, Rong
  • 舒祥波 SHU, Xiangbo
Agents
  • 北京高沃律师事务所 BEIJING GAOWO LAW FIRM
Priority Data
202010644474.507.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) WEAK SUPERVISION VIDEO BEHAVIOR DETECTION METHOD AND SYSTEM BASED ON ITERATIVE LEARNING
(FR) PROCÉDÉ ET SYSTÈME DE DÉTECTION DE COMPORTEMENT VIDÉO DE FAIBLE SUPERVISION BASÉS SUR UN APPRENTISSAGE ITÉRATIF
(ZH) 一种基于迭代学习的弱监督视频行为检测方法及系统
Abstract
(EN) A weak supervision video behavior detection method and system based on iterative learning. The method comprises: extracting spatial-temporal features of a video that includes an action behavior; constructing a neural network model group; training a first neural network model according to a real category label of the video, a category activation sequence output by the first neural network model and a video feature output by the first neural network model; training the next neural network model according to the real category label of the video, a time sequence pseudo label output by the current neural network model, a category activation sequence output by the next neural network model and a video feature output by the next neural network model; and performing action detection on a video to be detected according to a neural network model corresponding to the highest detection accuracy value. The next neural network model is trained according to time sequence pseudo label information output by the current neural network model, such that a category activation sequence that has been learnt by the neural network model is more accurate, and an action in the video can be accurately detected.
(FR) L'invention concerne un procédé et un système de détection de comportement vidéo de faible supervision basés sur l'apprentissage itératif. Le procédé consiste à : extraire des caractéristiques spatio-temporelles d'une vidéo qui comporte un comportement d'action ; construire un groupe de modèles de réseau neuronal ; former un premier modèle de réseau neuronal en fonction d'une étiquette de catégorie réelle de la vidéo, d'une séquence d'activation de catégorie délivrée en sortie par le premier modèle de réseau neuronal et d'une caractéristique vidéo délivrée en sortie par le premier modèle de réseau neuronal ; former le modèle de réseau neuronal suivant en fonction de l'étiquette de catégorie réelle de la vidéo, d'une pseudo-étiquette de séquence temporelle produite par le modèle de réseau neuronal actuel, d'une séquence d'activation de catégorie émise par le modèle de réseau neuronal suivant et d'une caractéristique vidéo délivrée en sortie par le modèle de réseau neuronal suivant ; et effectuer une détection d'action sur une vidéo à détecter selon un modèle de réseau neuronal correspondant à la valeur de précision de détection la plus élevée. Le modèle de réseau neuronal suivant est formé selon des informations de pseudo-étiquette de séquence temporelle délivrées en sortie par le modèle de réseau neuronal actuel, de sorte qu'une séquence d'activation de catégorie qui a été apprise par le modèle de réseau neuronal est plus précise, et une action dans la vidéo peut être détectée avec précision.
(ZH) 一种基于迭代学习的弱监督视频行为检测方法及系统,包括:提取包含动作行为的视频的时空特征;构建神经网络模型组;根据视频的真实类别标签、第一神经网络模型输出的类激活序列和第一神经网络模型输出的视频特征训练第一神经网络模型;根据视频的真实类别标签、当前神经网络模型输出的时序伪标签、下一个神经网络模型输出的类激活序列和下一个神经网络模型输出的视频特征训练下一个神经网络模型;根据检测精度最高值对应的神经网络模型对待检测视频进行动作检测。根据当前神经网络模型输出的时序伪标签信息训练下一个神经网络模型,可以使神经网络模型学习出的类激活序列更加精准,从而能够准确的检测出视频中的动作。
Related patent documents
Latest bibliographic data on file with the International Bureau