Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020222027 - DYNAMIC MEDIA CONTENT CATEGORISATION METHOD

Publication Number WO/2020/222027
Publication Date 05.11.2020
International Application No. PCT/IB2019/053484
International Filing Date 29.04.2019
IPC
G06K 9/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
G06K 9/62 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62Methods or arrangements for recognition using electronic means
G06K 9/46 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
46Extraction of features or characteristics of the image
CPC
G06K 9/00711
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
G06K 9/00751
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
00744Extracting features from the video content, e.g. video "fingerprints", or characteristics, e.g. by automatic extraction of representative shots or key frames
00751Detecting suitable features for summarising video content
G06K 9/4628
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
46Extraction of features or characteristics of the image
4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
4609by matching or filtering
4619Biologically-inspired filters, e.g. receptive fields
4623with interaction between the responses of different filters
4628Integrating the filters into a hierarchical structure
G06K 9/6292
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62Methods or arrangements for recognition using electronic means
6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
6292of classification results, e.g. of classification results related to same input data
Applicants
  • ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE (EPFL) [CH]/[CH]
Inventors
  • AUTÈS, Gabriel
  • ARPA, Sami
  • SÜSSTRUNK, Sabine
Agents
  • LUMI IP GMBH
Priority Data
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) DYNAMIC MEDIA CONTENT CATEGORISATION METHOD
(FR) PROCÉDÉ DE CATÉGORISATION DE CONTENU MULTIMÉDIA DYNAMIQUE
Abstract
(EN)
The present invention concerns a method of classifying a media item into a user profile suitability class in a classification system comprising a set of pre-trained artificial neural networks. The method comprising: receiving (101) a media file; extracting (103) a first data stream and a second data stream from the media file, the first media stream comprising first media content of a first media content form, the second data stream comprising second media content of a second, different media content form, the first and second data streams being comprised in the media item; generating (109, 111, 113) a first sequence of first feature vectors describing the first media content; generating (109, 111, 113) a second sequence of second feature vectors describing the second media content; generating (117) at least a first single feature vector representing the first sequence of first feature vectors and the second sequence of second feature vectors, or generating (117) at least a first single feature vector representing at least the first sequence of first feature vectors, and generating (119) a second feature vector representing at least the second sequence of second feature vectors; generating (123) a probability vector at least from the first single feature vector, or at least from the first and second single feature vectors; and assigning (125) a user profile suitability class to the media item based on the probability vector.
(FR)
La présente invention concerne un procédé de classification d'un élément multimédia dans une classe d'adéquation pour un profil d'utilisateur dans un système de classification comprenant un ensemble de réseaux neuronaux artificiels préentraînés. Le procédé consiste à : recevoir (101) un fichier multimédia ; extraire (103) un premier flux de données et un deuxième flux de données à partir du fichier multimédia, le premier flux multimédia comprenant du premier contenu multimédia d'une première forme de contenu multimédia, le deuxième flux de données comprenant du deuxième contenu multimédia d'une deuxième forme de contenu multimédia différente, les premier et deuxième flux de données étant compris dans l'élément multimédia ; produire (109, 111, 113) une première séquence de premiers vecteurs caractéristiques décrivant le premier contenu multimédia ; produire (109, 111, 113) une deuxième séquence de deuxièmes vecteurs caractéristiques décrivant le deuxième contenu multimédia ; produire (117) au moins un premier vecteur caractéristique unique représentant la première séquence de premiers vecteurs caractéristiques et la deuxième séquence de deuxièmes vecteurs de caractéristiques, ou produire (117) au moins un premier vecteur caractéristique unique représentant au moins la première séquence de premiers vecteurs caractéristiques, et produire (119) un deuxième vecteur caractéristique représentant au moins la deuxième séquence de deuxièmes vecteurs caractéristiques ; produire (123) un vecteur de probabilité au moins à partir du premier vecteur caractéristique unique, ou au moins à partir des premier et deuxième vecteurs caractéristiques uniques ; et attribuer (125) une classe d'adéquation pour un profil d'utilisateur à l'élément multimédia en fonction du vecteur de probabilité.
Latest bibliographic data on file with the International Bureau