Real-time Pose Estimation of a Surgical Tool using Optical Coherence Tomography

Abstract

Minimally invasive and robotic-assisted surgeries have transformed medicine by reducing patient trauma, infection risk, and recovery times. Within these procedures, precise instrument tracking is critical, especially when navigating intricate anatomical structures and performing delicate interventions such as neurosurgery and microsurgery. Optical coherence tomography has emerged as a promising imaging modality that can provide high-resolution, real-time, and volumetric field-of-view for surgical sites. Existing methods that leverage optical coherence tomography for instrument pose tracking primarily focus on rigid instruments or rely on artificial markers; however, these approaches may fall short in practical scenarios involving occlusions and the dynamic nature of multi-jointed surgical tools. This thesis addressed this challenge by developing a markerless, high-speed, and accurate pose estimation method for an 8-degree-of-freedom microsurgical tool using optical coherence tomography. The proposed method achieves an average position error of 0.26 millimeters, an orientation error of 2.3 degrees, and joint angle errors of 1.9 and 1.9 degrees for θ1 and θ2, respectively, while operating with an inference speed of 20 milliseconds per volume. By eliminating the need for markers and being robust to occlusions, our method improves the reliability and feasibility of optical coherence tomography-based microsurgical instrument tracking in complex, dynamic, and realistic surgical environments. Future work should focus on testing this approach with more annotated real-world data and validating its effectiveness through in-vivo applications, thereby enhancing its reliability and practical impact. Minimaalselt invasiivsed ja robotite abiga operatsioonid on muutnud meditsiini, vähendades patsiendi traumasid, infektsiooniriski ja taastumisaega. Nende protseduuride puhul on instrumentide täpne jälgimine ülioluline, eriti keerulistes anatoomilistes struktuurides navigeerimisel ja delikaatsete sekkumiste (nt neurokirurgia ja mikrokirurgia) tegemisel. Optiline koherentstomograafia on kujunenud paljulubavaks pildistamisviisiks, mis suudab pakkuda kirurgilistele kohtadele kõrge eraldusvõimega, reaalajas ja mahulist vaatevälja. Olemasolevad meetodid, mis võimendavad optilist koherentstomograafiat instrumentaalpooside jälgimiseks, keskenduvad peamiselt jäikadele instrumentidele või tuginevad tehismarkeritele; need lähenemisviisid võivad siiski osutuda puudulikuks praktilistes stsenaariumides, mis hõlmavad oklusioone ja mitme liigendiga kirurgiliste tööriistade dünaamilist olemust. See lõputöö käsitles seda väljakutset, töötades välja markeriteta, kiire ja täpse poosi hindamise meetodi 8 vabadusastmega mikrokirurgilisele tööriistale, kasutades optilist koherentstomograafiat. Kavandatav meetod saavutab 20 millisekundilise järeldamiskiirusega töötades keskmise asukohavea 0,26 millimeetrit, orientatsiooniviga 2,3 kraadi ning ühendusnurga vead vastavalt 1,9 ja 1,9 kraadi θ1 ja θ2 korral mahu kohta. Kaotades vajaduse markerite järele ja olles vastupidav oklusioonidele, parandab meie meetod optilise koherentsustomograafial põhineva mikrokirurgilise instrumendi jälgimise usaldusväärsust ja teostatavust keerukates, dünaamilistes ja realistlikes kirurgilistes keskkondades. Edaspidine töö peaks keskenduma selle lähenemisviisi katsetamisele rohkem annoteeritud reaalmaailma andmetega ja selle tõhususe kinnitamisele in vivo rakenduste kaudu, suurendades seeläbi selle usaldusväärsust ja praktilist mõju.