Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020108023 - VIDEO MOTION CLASSIFICATION METHOD, APPARATUS, COMPUTER DEVICE, AND STORAGE MEDIUM

Publication Number WO/2020/108023
Publication Date 04.06.2020
International Application No. PCT/CN2019/106250
International Filing Date 17.09.2019
IPC
G06K 9/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
CPC
G06K 9/00718
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
00718Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Applicants
  • 北京达佳互联信息技术有限公司 BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO., LTD. [CN]/[CN]
Inventors
  • 张志伟 ZHANG, Zhiwei
  • 李岩 LI, Yan
Agents
  • 北京同达信恒知识产权代理有限公司 TDIP & PARTNERS
Priority Data
201811437221.X28.11.2018CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) VIDEO MOTION CLASSIFICATION METHOD, APPARATUS, COMPUTER DEVICE, AND STORAGE MEDIUM
(FR) PROCÉDÉ DE CLASSIFICATION DE MOUVEMENT VIDÉO, APPAREIL, DISPOSITIF INFORMATIQUE ET SUPPORT DE STOCKAGE
(ZH) 视频动作分类的方法、装置、计算机设备和存储介质
Abstract
(EN)
The present application relates to a video motion classification method, an apparatus, a computer device, and a storage medium, and to the technical field of machine learning models. The method comprises: a video to be classified is acquired and a plurality of video frames in the video to be classified are determined; the plurality of video frames are input into an optical flow substitution module in a trained video motion classification optimization model to obtain optical flow feature information corresponding to the plurality of video frames; the plurality of video frames are input into a three-dimensional convolutional neural module in the trained video motion classification optimization model to obtain spatial feature information corresponding to the plurality of video frames; and on the basis of the optical flow feature information and the spatial feature information, classification category information corresponding to the video to be classified is determined. By means of the present invention, a plurality of video frames from a video to be classified may be made to directly serve as an input for an optical flow substitution module in a model, allowing the optical flow substitution module to directly extract optical flow feature information corresponding to the plurality of video frames from the video to be classified, further improving the efficiency of classification processing.
(FR)
La présente invention concerne un procédé de classification de mouvement vidéo, un appareil, un dispositif informatique et un support de stockage et le domaine technique des modèles d'apprentissage automatique. Le procédé comprend : l'acquisition d'une vidéo à classifier et la détermination d'une pluralité de trames vidéo dans la vidéo à classifier ; l'entrée de la pluralité de trames vidéo dans un module de substitution de flux optique selon un modèle instruit d'optimisation de classification de mouvement vidéo pour obtenir des informations de caractéristique de flux optique correspondant à la pluralité de trames vidéo ; l'entrée de la pluralité de trames vidéo dans un module neuronal convolutionnel tridimensionnel selon le modèle instruit d'optimisation de classification de mouvement vidéo pour obtenir des informations de caractéristiques spatiales correspondant à la pluralité de trames vidéo ; et en fonction des informations de caractéristique de flux optique et des informations de caractéristique spatiale, la détermination d'informations de catégorie de classification correspondant à la vidéo à classifier. Grâce à la présente invention, une pluralité de trames vidéo provenant d'une vidéo à classifier peuvent être amenées à servir directement d'entrée pour un module de substitution de flux optique selon un modèle, ce qui permet au module de substitution de flux optique d'extraire directement des informations de caractéristiques de flux optique correspondant à la pluralité de trames vidéo de la vidéo à classifier et qui améliore encore l'efficacité de traitement de classification.
(ZH)
本申请是关于一种视频动作分类的方法、装置、计算机设备和存储介质,涉及机器学习模型技术领域。所述方法包括:获取待分类视频,确定待分类视频中的多个视频帧;将多个视频帧输入到训练后的优化视频动作分类模型中的光流替代模块中,得到多个视频帧对应的光流特征信息;将多个视频帧输入到训练后的优化视频动作分类模型中的三维卷积神经模块中,得到多个视频帧对应的空间特征信息;基于光流特征信息和空间特征信息,确定待分类视频对应的分类类别信息。采用本申请,可以将待分类视频的多个视频帧直接作为模型中的光流替代模块的输入,光流替代模块可以直接提取待分类视频的多个视频帧对应的光流特征信息,进一步提高了分类处理的效率。
Also published as
Latest bibliographic data on file with the International Bureau