VR-Enhanced Remote Inspection Framework for Semi-Autonomous Robot Fleet

Kuupäev

2024

Ajakirja pealkiri

Ajakirja ISSN

Köite pealkiri

Kirjastaja

Tartu Ülikool

Abstrakt

This thesis presents the design and development of a Virtual Reality (VR)-enhanced user interface and communication infrastructure for remote inspection using a semiautonomous robot fleet. The core of this project is the creation of a VR interface that allows operators to immerse themselves in a digital twin of the remote environment, facilitating intuitive and efficient control over robot inspection. This interface supports both third-person and robot’s point-of-view perspectives, enhancing situational awareness and decision-making capabilities in hazardous environments. The software framework is built upon ROS 2 Foxy, and the VR application was designed with a new graphics engine called Wonderland Engine, particularly suited for lightweightWebXR experiences capable of running on a number of VR headsets, like the Oculus Quest 2. The communication between the interface and the robot fleet is tackled by a custom-built WebSocket server. The work is demonstrated using simulated robot scenarios in Gazebo. The demonstration serves as a proof of concept, showcasing the viability of the VR interface in a controlled environment and setting the stage for future real-world applications. This work contributes to the field of VR-enhanced remote inspection by providing an interface that bridges the gap between operators and remote environments. The integration of VR technology with robotic systems opens new possibilities for remote operation, offering a more immersive and intuitive control mechanism that can be adapted to various industrial and research applications.

Kirjeldus

Käesolev magistritöö kätkeb virutaalreaalsuse (VR) põhise kasutajaliidese ja kommunikatsiooni infrastruktuuri väljatöötamist, mille abil saab juhtida poolautonoomset robotparve ohtlikke keskkondade monitoorimise eesmärgil. Väljatöötatud kasutajaliides võimaldab operaatoril siseneda monitooritava keskkonna digitaalsesse kaksikusse, hõlbustades intuitiivset ja tõhusat kontrolli robotparve üle. Antud kasutajaliides toetab nii kolmanda isiku kui ka roboti vaatenurka, suurendades operaatori olukorrateadlikkust. Töö tulemusel valminud tarkvararaamistik põhineb robootika tarkvaraarenduse platvormil ROS 2.VR kasutajaliidese loomisel kasutati graafikamootorit Wonderland Engine, mis liidestati Oculus Quest 2 VR peakomplektiga läbi veebilehitseja põhiste VR rakenduste liidestamise teegi WebXR. Graafikamootori ja robotite vaheline suhtlus teostati töö käigus loodud WebSocket serveri abil. Tööd demonstreeritakse simuleeritud keskkonnas, kasutades robootikasimulaatorit Gazebo. Demonstratsioon näidatab väljatöötatud VR-liidese rakendatavust kontrollitud keskkonnas, mis loob eeldused tulevaste reaalsete rakenduste jaoks.

Märksõnad

VR, robotics, fleet, interface, HRI, teleoperation, autonomous, inspection, SAR, search and rescue, disaster, AR, XR, WebXR

Viide