Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022040954 - AR SPATIAL VISUAL THREE-DIMENSIONAL RECONSTRUCTION METHOD CONTROLLED BY MEANS OF GESTURES

Publication Number WO/2022/040954
Publication Date 03.03.2022
International Application No. PCT/CN2020/111216
International Filing Date 26.08.2020
IPC
G06T 19/00 2011.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
19Manipulating 3D models or images for computer graphics
G06F 3/01 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
3Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
01Input arrangements or combined input and output arrangements for interaction between user and computer
CPC
G06F 3/01
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
3Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
01Input arrangements or combined input and output arrangements for interaction between user and computer
G06T 19/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
19Manipulating 3D models or images for computer graphics
Applicants
  • 南京智导智能科技有限公司 NANJING ZHIDAO INTELLIGENT TECHNOLOGY CO., LTD [CN]/[CN]
Inventors
  • 陈雨 CHEN, Yu
Agents
  • 南京中律知识产权代理事务所(普通合伙) NANJING ZHONGLV INTELLECTUAL PROPERTY AGENCY FRIM (GENERAL PARTNERSHIP)
Priority Data
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) AR SPATIAL VISUAL THREE-DIMENSIONAL RECONSTRUCTION METHOD CONTROLLED BY MEANS OF GESTURES
(FR) PROCÉDÉ DE RECONSTRUCTION TRIDIMENSIONNELLE VISUELLE SPATIALE AR COMMANDÉ AU MOYEN DE GESTES
(ZH) 一种通过手势控制的AR空间可视三维重建方法
Abstract
(EN) An AR spatial visual three-dimensional reconstruction method controlled by means of gestures, comprising the following steps: 1: an AR glasses camera and a depth camera C1 are jointly calibrated; 2: a bounding box surrounding a target object is determined by means of gesture interaction; 3: three-dimensional reconstruction is started; 4: a client performs visualization while implementing virtual reality registration; 5: a user pauses the three-dimensional reconstruction process by means of a gesture, and views current three-dimensional reconstruction progress. 6: the target object is moved and rotated to a new observation angle, and then a three-dimensional reconstruction algorithm is re-started by means of a gesture; and 7: the three-dimensional reconstruction algorithm is terminated by means of a gesture, and a virtual model is outputted. In the described method, the current result of three-dimensional reconstruction can be seen at an AR end in real time by means of an AR spatial visual three-dimensional reconstruction method controlled by means of gestures, and a natural human gesture motion on the basis of a gesture sensor is used to control a reconstruction flow.
(FR) L'invention concerne un procédé de reconstruction tridimensionnelle visuelle spatiale AR commandé au moyen de gestes, comprenant les étapes suivantes : 1 : une caméra de lunettes AR et une caméra de profondeur sont étalonnées conjointement; 2 : une zone de délimitation entourant un objet cible est déterminée au moyen d'une interaction gestuelle; 3 : une reconstruction tridimensionnelle est lancée; 4 : un client effectue une visualisation tout en réalisant un enregistrement de réalité virtuelle; 5 : un utilisateur met en pause le processus de reconstruction tridimensionnelle au moyen d'un geste, puis visualise la progression de la reconstruction tridimensionnelle actuelle; 6 : l'objet cible est déplacé et pivoté vers un nouvel angle d'observation, puis un algorithme de reconstruction tridimensionnelle est relancé au moyen d'un geste; et 7 : l'algorithme de reconstruction tridimensionnelle est terminé au moyen d'un geste, et un modèle virtuel est généré. Selon le procédé de l'invention, le résultat actuel de la reconstruction tridimensionnelle peut être visualisé sur une extrémité AR en temps réel au moyen d'un procédé de reconstruction tridimensionnelle visuelle AR commandé au moyen de gestes, et un mouvement de geste humain naturel basé sur un capteur de geste est utilisé pour commander un flux de reconstruction.
(ZH) 一种通过手势控制的AR空间可视三维重建方法,其包括以下步骤:1:对AR眼镜相机和深度相机C1进行联合标定;2:通过手势交互确定包围目标物体的包围盒;3:开启三维重建;4:客户端进行可视化,同时实现虚实注册;5:用户通过手势暂停三维重建过程,查看当前的三维重建进度;6:将目标物体移动、旋转到新的观察角度,然后通过手势重新开启三维重建算法;7:通过手势结束三维重建算法,输出虚拟模型。所述方法通过手势控制的AR空间可视三维重建方法可在AR端实时看到三维重建的当前结果,使用基于手势传感器的人体自然手势动作,控制重建流程。
Latest bibliographic data on file with the International Bureau