Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022007827 - VIDEO RETRIEVAL METHOD AND APPARATUS, DEVICE, AND STORAGE MEDIUM

Publication Number WO/2022/007827
Publication Date 13.01.2022
International Application No. PCT/CN2021/104913
International Filing Date 07.07.2021
IPC
G06F 16/732 2019.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
70of video data
73Querying
732Query formulation
G06N 3/04 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06F 16/7328
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
70of video data
73Querying
732Query formulation
7328Query by example, e.g. a complete video frame or video sequence
G06F 16/75
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
70of video data
75Clustering; Classification
G06F 16/783
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
70of video data
78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
783using metadata automatically derived from the content
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
Applicants
  • 北京灵汐科技有限公司 LYNXI TECHNOLOGIES CO., LTD. [CN]/[CN]
Inventors
  • 吴臻志 WU, Zhenzhi
  • 祝夭龙 ZHU, Yaolong
Agents
  • 北京天昊联合知识产权代理有限公司 TEE&HOWE INTELLECTUAL PROPERTY ATTORNEYS
Priority Data
202010647229.X07.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) VIDEO RETRIEVAL METHOD AND APPARATUS, DEVICE, AND STORAGE MEDIUM
(FR) PROCÉDÉ ET APPAREIL DE RÉCUPÉRATION VIDÉO, DISPOSITIF ET SUPPORT DE STOCKAGE
(ZH) 一种视频检索方法、装置、设备及存储介质
Abstract
(EN) A video retrieval method and apparatus, a device, and a storage medium. The method comprises: obtaining a comparison video clip from a video library according to the time length of a video to be tested (S110); determining the similarity between said video and the comparison video clip by means of a target spatial-temporal neural network, a spatial-temporal convolutional layer of the target spatial-temporal neural network being configured to be capable of respectively performing two-dimensional convolution and time dimension information processing (S120); and traversing the video library and outputting the retrieval result according to the similarity (S130). According to the method, in the process that the target spatial-temporal neural network determines the similarity between said video and the comparison video clip, the spatial-temporal convolutional layer of the target spatial-temporal neural network performs two-dimensional convolution and processes spatial features of said video and the comparison video clip, and then processes time dimension information of said video and the comparison video clip. By means of a mode in which the spatial features and the time dimension information are successively processed, the low-complexity space-time feature extraction is realized.
(FR) La présente invention concerne un procédé et un appareil de récupération vidéo, ainsi qu'un dispositif et un support de stockage. Le procédé consiste à : obtenir une séquence vidéo de comparaison à partir d'une bibliothèque vidéo en fonction de la durée d'une vidéo à tester (S110) ; déterminer la similarité entre ladite vidéo et la séquence vidéo de comparaison au moyen d'un réseau neuronal spatio-temporel cible, une couche de convolution spatio-temporelle du réseau neuronal spatial-temporel cible étant configurée pour être capable de réaliser respectivement une convolution bidimensionnelle et un traitement d'informations de dimension temporelle (S120) ; et parcourir la bibliothèque vidéo et générer le résultat de récupération en fonction de la similarité (S130). Selon le procédé, dans le processus où le réseau neuronal spatio-temporel cible détermine la similarité entre ladite vidéo et la séquence vidéo de comparaison, la couche de convolution spatio-temporelle du réseau neuronal spatio-temporel cible effectue une convolution bidimensionnelle et traite les caractéristiques spatiales de ladite vidéo et de la séquence vidéo de comparaison, puis traite les informations de dimension temporelle de ladite vidéo et de la séquence vidéo de comparaison. Au moyen d'un mode dans lequel les caractéristiques spatiales et les informations de dimension temporelle sont successivement traitées, l'extraction de caractéristiques espace-temps à faible complexité est réalisée.
(ZH) 一种视频检索方法、装置、设备及存储介质。该方法包括:根据待测视频的时间长度从视频库中获取比对视频片段(S110);通过目标空时神经网络确定所述待测视频与所述比对视频片段的相似度,所述目标空时神经网络的空时卷积层设置为能够分别进行二维卷积和时间维度信息处理(S120);遍历所述视频库,根据相似度输出检索结果(S130)。该方法的目标空时神经网络在确定待测视频与比对视频片段的相似度的过程中,目标空时神经网络的空时卷积层先进行二维卷积,处理待测视频与比对视频片段的空间特征,再处理待测视频与比对视频片段的时间维度信息,通过将空间特征和时间维度信息先后处理的方式实现了低复杂度的空时特征提取。
Related patent documents
Latest bibliographic data on file with the International Bureau