Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020063000 - NEURAL NETWORK TRAINING AND LINE OF SIGHT DETECTION METHODS AND APPARATUSES, AND ELECTRONIC DEVICE

Publication Number WO/2020/063000
Publication Date 02.04.2020
International Application No. PCT/CN2019/093907
International Filing Date 28.06.2019
IPC
G06K 9/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
CPC
G06K 9/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
G06K 9/20
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
20Image acquisition
G06K 9/32
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
20Image acquisition
32Aligning or centering of the image pick-up or image-field
G06T 7/73
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
70Determining position or orientation of objects or cameras
73using feature-based methods
Applicants
  • 北京市商汤科技开发有限公司 BEIJING SENSETIME TECHNOLOGY DEVELOPMENT CO., LTD. [CN]/[CN]
Inventors
  • 王飞 WANG, Fei
  • 黄诗尧 HUANG, Shiyao
  • 钱晨 QIAN, Chen
Agents
  • 北京派特恩知识产权代理有限公司 CHINA PAT INTELLECTUAL PROPERTY OFFICE
Priority Data
201811155648.029.09.2018CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) NEURAL NETWORK TRAINING AND LINE OF SIGHT DETECTION METHODS AND APPARATUSES, AND ELECTRONIC DEVICE
(FR) PROCÉDÉS ET APPAREILS DE DÉTECTION DE LIGNE DE VISION ET D'ENTRAÎNEMENT DE RÉSEAU NEURONAL, ET DISPOSITIF ÉLECTRONIQUE
(ZH) 神经网络训练、视线检测方法和装置及电子设备
Abstract
(EN)
Neural network training and line of sight detection methods and apparatuses, and an electronic device. The neural network training method comprises: determining first coordinates of a pupil reference point in a first image in a first camera coordinate system and determining second coordinates of a cornea reference point in the first image in the first camera coordinate system, the first image at least comprising an eye image; on the basis of the first coordinates and the second coordinates, determining a first line of sight direction of the first image; line of sight direction detection being performed by a neural network on the first image to obtain a first detected line of sight direction; and, on the basis of the first line of sight direction and the first detected line of sight direction, training the neural network. The line of sight detection method comprises: performing face detection on a second image included in video stream data (101); performing key point positioning on the detected face area in the second image to determine an eye area in the face area (102); intercepting an image of the eye area in the second image (103); and inputting the eye area image into a pre-trained neural network to output a line of sight direction of the eye area image (104). Also provided are corresponding apparatuses and an electronic device.
(FR)
L'invention concerne des procédés et des appareils de détection de ligne de vision et d'entraînement de réseau neuronal, et un dispositif électronique. Le procédé d’entraînement de réseau neuronal comprend les étapes consistant à : déterminer des premières coordonnées d’un point de référence de pupille dans une première image dans un premier système de coordonnées de caméra et déterminer des secondes coordonnées d’un point de référence de cornée dans la première image dans le premier système de coordonnées de caméra, la première image comprenant au moins une image d’œil ; sur la base des premières coordonnées et des secondes coordonnées, déterminer une première direction de ligne de vision de la première image ; la détection de la direction de ligne de vision étant effectuée par un réseau neuronal sur la première image pour obtenir une première direction de ligne de vision détectée ; et, sur la base de la première direction de ligne de vision et de la première direction de ligne de vision détectée, entraîner le réseau neuronal. Le procédé de détection de ligne de vision comprend les étapes consistant à : effectuer une détection faciale sur une seconde image incluse dans les donnée de flux vidéo (101) ; effectuer un positionnement de point clé sur la zone faciale détectée dans la seconde image pour déterminer une zone d’œil dans la zone faciale (102) ; intercepter une image de la zone d’œil dans la seconde image (103), et entrer l’image de zone d’œil dans un réseau neuronal pré-entraîné pour délivrer en sortie une direction de ligne de vision de l’image de zone d’œil (104). L'invention concerne également des appareils correspondants et un dispositif électronique.
(ZH)
一种神经网络训练、视线检测方法和装置及电子设备。该神经网络训练方法包括:确定第一图像中的瞳孔参考点在第一相机坐标系下的第一坐标,以及确定所述第一图像中的角膜参考点在所述第一相机坐标系下的第二坐标,所述第一图像中至少包括眼部图像;根据所述第一坐标和所述第二坐标确定所述第一图像的第一视线方向;经神经网络对所述第一图像进行视线方向检测,得到第一检测视线方向;根据所述第一视线方向和所述第一检测视线方向训练所述神经网络。该视线检测方法包括:对视频流数据中包括的第二图像进行人脸检测(101);对检测到的上述第二图像中的人脸区域进行关键点定位,确定上述人脸区域中的眼部区域(102);截取上述第二图像中的上述眼部区域图像(103);将上述眼部区域图像输入至预先训练完成的神经网络,输出上述眼部区域图像的视线方向(104)。相应的,还提供了对应的装置和电子设备。
Also published as
Latest bibliographic data on file with the International Bureau