Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019024577) NATURAL HUMAN-COMPUTER INTERACTION SYSTEM BASED ON MULTI-SENSING DATA FUSION
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2019/024577 International Application No.: PCT/CN2018/088077
Publication Date: 07.02.2019 International Filing Date: 23.05.2018
IPC:
G06F 3/01 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
3
Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
01
Input arrangements or combined input and output arrangements for interaction between user and computer
Applicants:
东南大学 SOUTHEAST UNIVERSITY [CN/CN]; 中国江苏省南京市 江宁区东南大学路2号 No.2, Southeast University Road, Jiangning District Nanjing, Jiangsu 211189, CN
Inventors:
宋爱国 SONG, Aiguo; CN
张慧 ZHANG, Hui; CN
余玉卿 YU, Yuqing; CN
秦欢欢 QIN, Huanhuan; CN
李会军 LI, Huijun; CN
徐宝国 XU, Baoguo; CN
Agent:
南京瑞弘专利商标事务所(普通合伙) NANJING RUIHONG PATENT & TRADEMARK AGENCY (ORDINARY PARTNERSHIP); 中国江苏省南京市 玄武区龙蟠路155号3幢411室 Room 411, Building 3, No.155 Long Pan Road, Xuanwu District Nanjing, Jiangsu 210000, CN
Priority Data:
201710646851.701.08.2017CN
Title (EN) NATURAL HUMAN-COMPUTER INTERACTION SYSTEM BASED ON MULTI-SENSING DATA FUSION
(FR) SYSTÈME D'INTERACTION NATURELLE HOMME-ORDINATEUR BASÉ SUR LA FUSION DE DONNÉES DE MULTI-DÉTECTION
(ZH) 基于多感知数据融合的人机自然交互系统
Abstract:
(EN) A natural human-computer interaction system based on multi-sensing data fusion, comprising an MEMS arm tracking device, a visual tracking device, a force feedback device, and a PC terminal. The MEMS arm tracking device consists of three groups of independent MEMS sensors for collecting arm joint angle information and measuring an arm movement track. The visual tracking device consists of a binocular camera for collecting image information and measuring a finger movement track. The force feedback device is mounted on the palm of an operator for providing force feedback to the finger. The PC terminal comprises a data display module, an arm movement calculating module, an image processing module, a mechanical calculating module, and a virtual scene rendering module. The system tracks the arm movement track of the operator by taking advantage of wide measurement range of the MEMS sensor and tracks the finger movement track of the operator by taking advantage of high precision of visual interaction, and provides force feedback interaction to the finger of the operator by means of the force feedback device, so that the sense of immersion of the operator can be improved.
(FR) Système d'interaction naturelle homme-ordinateur basé sur la fusion de données de multi-détection, comportant un dispositif MEMS de poursuite de bras, un dispositif de poursuite visuelle, un dispositif de retour d'effort, et un terminal de type PC. Le dispositif MEMS de poursuite de bras est constitué de trois groupes de capteurs MEMS indépendants servant à recueillir des informations d'angle d'articulation de bras et à mesurer une trajectoire de mouvement de bras. Le dispositif de poursuite visuelle est constitué d'une caméra binoculaire servant à recueillir des informations d'image et à mesurer une trajectoire de mouvement de doigt. Le dispositif de retour d'effort est monté sur la paume d'un opérateur pour fournir un retour d'effort au doigt. Le terminal de type PC comporte un module d'affichage de données, un module de calcul de mouvement de bras, un module de traitement d'images, un module de calcul mécanique, et un module de rendu de scène virtuelle. Le système suit la trajectoire de mouvement de bras de l'opérateur en tirant parti de la large plage de mesure du capteur MEMS et suit la trajectoire de mouvement de doigt de l'opérateur en tirant parti de la haute précision de l'interaction visuelle, et assure une interaction par retour d'effort avec le doigt de l'opérateur au moyen du dispositif de retour d'effort, de sorte que la sensation d'immersion de l'opérateur peut être améliorée.
(ZH) 一种基于多感知数据融合的人机自然交互系统,包括:MEMS手臂跟踪装置、视觉跟踪装置、力反馈装置、PC终端。所述MEMS手臂跟踪装置由3组独立的MEMS传感器构成,用于采集手臂关节角信息,测量手臂运动轨迹。所述视觉跟踪装置由双目摄像头构成,用于采集图像信息,测量手指的运动轨迹。所述力反馈装置安装在操作者的手掌上,用于给手指提供力反馈。所述PC终端包括数据显示模块、手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块。该系统利用MEMS传感器测量范围广的优势跟踪操作者手臂的运动轨迹,利用视觉交互的高精度优势跟踪操作者手指的运动轨迹,同时,通过力反馈装置为操作者的手指提供力反馈交互,可增强操作者的浸没感。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)