(EN) Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance are disclosed. According to an aspect, a system includes one or more controllers configured to receive an image dataset of an actual environment within which the robotic tool is positioned. The controller(s) are also configured to generate a virtual environment of the actual environment based on the image dataset. Further, the controller(s) can control display of the virtual environment including a virtual tool controllable by a user for use to control the robotic tool within the actual environment. The controller(s) can receive user input for altering a perspective view of display of the virtual environment from a first perspective view to a second perspective view. Further, the controller(s) can maintain orientation of display of the virtual tool with respect to the user during display of the first perspective view and the second perspective view of the virtual environment.
(FR) L'invention concerne des systèmes et des procédés de manipulation robotisée à point d'observation arbitraire et d'assistance chirurgicale robotisée. Selon un aspect, un système comprend un ou plusieurs dispositifs de commande conçus pour recevoir un ensemble de données d'images d'un environnement réel à l'intérieur duquel l'outil robotisé est positionné. Le ou les dispositifs sont également conçus pour générer un environnement virtuel de l'environnement réel sur la base de l'ensemble des données d'images. En outre, le ou les dispositifs de commande peuvent commander l'affichage de l'environnement virtuel comprenant un outil virtuel pouvant être commandé par un utilisateur destiné à pouvoir commander l'outil robotisé au sein de l'environnement réel. Le ou les dispositifs de commande peuvent recevoir une entrée utilisateur afin d'altérer une vue en perspective de l'affichage de l'environnement virtuel en passant d'une première vue en perspective à une seconde vue en perspective. En outre, le ou les dispositifs de commande peuvent maintenir une orientation d'affichage de l'outil virtuel en fonction de l'utilisateur pendant l'affichage de la première vue en perspective et de la seconde vue en perspective de l'environnement virtuel.