Processing

Please wait...

PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 27.07.2021 at 12:00 PM CEST
Settings

Settings

Goto Application

1. WO2020139105 - METHOD AND SYSTEM FOR PREDICTIVELY AVOIDING A COLLISION BETWEEN A MANIPULATOR AND A PERSON

Publication Number WO/2020/139105
Publication Date 02.07.2020
International Application No. PCT/RU2018/000876
International Filing Date 26.12.2018
IPC
G06T 1/40 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
1General purpose image data processing
20Processor architectures; Processor configuration, e.g. pipelining
40Neural networks
B25J 19/06 2006.1
BPERFORMING OPERATIONS; TRANSPORTING
25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; HANDLES FOR HAND IMPLEMENTS; WORKSHOP EQUIPMENT; MANIPULATORS
JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
19Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
06Safety devices
CPC
B25J 19/06
BPERFORMING OPERATIONS; TRANSPORTING
25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
19Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
06Safety devices
G06T 1/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
1General purpose image data processing
G06T 15/20
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D [Three Dimensional] image rendering
10Geometric effects
20Perspective computation
G06T 7/40
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
40Analysis of texture
Applicants
  • ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" PUBLICHNOE AKTSIONERNOE OBSHCHESTVO "SBERBANK RUSSIA" [RU]/[RU]
Inventors
  • ЕФИМОВ, Альберт Рувимович EFIMOV, Al'bert Ruvimovich
  • ПОСТНИКОВ, Алексей Леонидович POSTNIKOV, Aleksey Leonidovich
  • ГАМАЮНОВ, Александр Русланович GAMAYUNOV, Aleksandr Ruslanovich
  • ЗАТЯГОВ, Денис Дмитриевич ZATYAGOV, Denis Dmitrievich
Agents
  • ГЕРАСИН, Борис Валерьевич GERASIN, Boris Valer'evich
  • ТАРАСКАЕВ, Савр Олегович TARASKAEV, Savr Olegovich
  • ЧЕРНЯЕВ, Максим Андреевич CHERNYAEV, Maksim Andreevich
Priority Data
201814664726.12.2018RU
Publication Language Russian (RU)
Filing Language Russian (RU)
Designated States
Title
(EN) METHOD AND SYSTEM FOR PREDICTIVELY AVOIDING A COLLISION BETWEEN A MANIPULATOR AND A PERSON
(FR) PROCÉDÉ ET SYSTÈME D'ÉVITEMENT PRÉDICTIF DE COLLISION ENTRE UN MANIPULATEUR ET UNE PERSONNE
(RU) СПОСОБ И СИСТЕМА ПРЕДИКТИВНОГО ИЗБЕГАНИЯ СТОЛКНОВЕНИЯ МАНИПУЛЯТОРА С ЧЕЛОВЕКОМ
Abstract
(EN)
The present technical solution relates to methods and systems for avoiding collisions between an industrial robotic manipulator and a person situated in the operating zone of the manipulator. In the claimed method, virtual graphs of the passability of an industrial manipulator are generated; RGB images and depth maps are obtained from cameras directed at the working zone of the industrial manipulator; each RGB image obtained is segmented using a deep convolution neural network which determines which pixel of an image relates to a person; a point cloud of at least one person is generated by means of converting each pixel relating to a person, and by means of the remoteness of said pixel in the depth map; the distance of each three-dimensional point of the formed point cloud to each vertex of a virtual graph of the passability of the manipulator is determined; the value of the distance between a person and the working points of the industrial manipulator are obtained; the determined distance of each three-dimensional point of the point cloud is compared with a threshold value, wherein if said distance is less than the threshold distance, the vertex of the graph together with all of the outgoing edges are temporarily removed from the virtual graph of passability and the graph is reconstructed.
(FR)
La présente invention concerne des procédés et des dispositifs d'évitement de collision entre un robot-manipulateur industriel et une personne se trouvant dans la zone de travail du manipulateur. Ce procédé consiste ä former un graphique virtuel du déplacement du manipulateur; obtenir une image RVB et une carte de profondeur depuis des caméras orientées vers la zone de travail du manipulateur industriel; segmenter chaque image RVB obtenue en utilisant un réseau neuronal convolutif profond qui détermine quel pixel de l'image se rapporte à une personne; générer un nuage de points d'au moins une personne en effectuant une conversion de chaque pixel se rapportant à la personne et un éloignement de ce pixels dans la carte de profondeur; déterminer la distance entre chaque point tridimensionnel à partir du nuage formé de points jusqu'à chaque sommet du graphique virtuel de déplacement du manipulateur industriel; obtenir une valeur de la distance entre la personne et les points de fonctionnement du manipulateur industriel; comparer la distance obtenue de chaque point tridimensionnel du nuage de points et une valeur seuil, et si la distance est inférieure à la valeur seuil, le sommet du graphique avec toutes les arêtes qui en partent est éliminé du graphique virtuel de passage et le graphique est réajusté.
(RU)
Данное техническое решение относится к способам и системам избегания столкновений промышленного робота-манипулятора с человеком, который находится в рабочей зоне манипулятора. В заявленном способе формируют виртуальные графы проходимости промышленного манипулятора; получают RGB изображения и карты глубины из камер, направленных на рабочую зону промышленного манипулятора; сегментируют каждое полученное RGB изображение посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку; формируют облако точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины; определяют расстояние каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора; получают значение расстояния между человеком и точками работы промышленного манипулятора; сравнивают определенное расстояние каждой трехмерной точки облака точек и пороговое значение, причем если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
Also published as
Latest bibliographic data on file with the International Bureau