VR-Enhanced Remote Inspection Framework for Semi-Autonomous Robot Fleet
Kuupäev
2024
Autorid
Ajakirja pealkiri
Ajakirja ISSN
Köite pealkiri
Kirjastaja
Tartu Ülikool
Abstrakt
This thesis presents the design and development of a Virtual Reality (VR)-enhanced
user interface and communication infrastructure for remote inspection using a semiautonomous
robot fleet. The core of this project is the creation of a VR interface that
allows operators to immerse themselves in a digital twin of the remote environment,
facilitating intuitive and efficient control over robot inspection. This interface supports
both third-person and robot’s point-of-view perspectives, enhancing situational awareness
and decision-making capabilities in hazardous environments.
The software framework is built upon ROS 2 Foxy, and the VR application was
designed with a new graphics engine called Wonderland Engine, particularly suited for
lightweightWebXR experiences capable of running on a number of VR headsets, like the
Oculus Quest 2. The communication between the interface and the robot fleet is tackled
by a custom-built WebSocket server.
The work is demonstrated using simulated robot scenarios in Gazebo. The demonstration
serves as a proof of concept, showcasing the viability of the VR interface in a
controlled environment and setting the stage for future real-world applications.
This work contributes to the field of VR-enhanced remote inspection by providing
an interface that bridges the gap between operators and remote environments. The
integration of VR technology with robotic systems opens new possibilities for remote
operation, offering a more immersive and intuitive control mechanism that can be adapted
to various industrial and research applications.
Kirjeldus
Käesolev magistritöö kätkeb virutaalreaalsuse (VR) põhise kasutajaliidese ja kommunikatsiooni
infrastruktuuri väljatöötamist, mille abil saab juhtida poolautonoomset
robotparve ohtlikke keskkondade monitoorimise eesmärgil. Väljatöötatud kasutajaliides
võimaldab operaatoril siseneda monitooritava keskkonna digitaalsesse kaksikusse, hõlbustades
intuitiivset ja tõhusat kontrolli robotparve üle. Antud kasutajaliides toetab nii
kolmanda isiku kui ka roboti vaatenurka, suurendades operaatori olukorrateadlikkust.
Töö tulemusel valminud tarkvararaamistik põhineb robootika tarkvaraarenduse platvormil
ROS 2.VR kasutajaliidese loomisel kasutati graafikamootorit Wonderland Engine,
mis liidestati Oculus Quest 2 VR peakomplektiga läbi veebilehitseja põhiste VR rakenduste
liidestamise teegi WebXR. Graafikamootori ja robotite vaheline suhtlus teostati töö
käigus loodud WebSocket serveri abil.
Tööd demonstreeritakse simuleeritud keskkonnas, kasutades robootikasimulaatorit
Gazebo. Demonstratsioon näidatab väljatöötatud VR-liidese rakendatavust kontrollitud
keskkonnas, mis loob eeldused tulevaste reaalsete rakenduste jaoks.
Märksõnad
VR, robotics, fleet, interface, HRI, teleoperation, autonomous, inspection, SAR, search and rescue, disaster, AR, XR, WebXR