Classifying, constraining and ranking metamorphic relations

Abstract

Tarkvara testimine tagab, et lõplik tarkvaratoode töötab õigesti, kuid see on sageli aeganõudev, kulukas ja keeruline, eriti suurte süsteemide puhul. Üks suurimaid väljakutseid on "testioraakli probleem"—raskus määrata tarkvara testimise ajal õige väljund. See probleem tekib, kui testitaval tarkvaral (SUT) puudub oraakel või selle loomine on teostamatu. Metamorfne testimine (MT) otsib sellele probleemile lahendust. Erinevalt traditsioonilistest testimismeetoditest, mis keskenduvad üksikute sisend-väljund kombinatsioonide kontrollimisele, analüüsib MT sisend-väljund paaride seoseid üle tarkvara mitmete käivituste. Neid seoseid määratlevad metamorfsed seosed (ingl Metamorphic Relations, MRs), mis näitavad, kuidas peaksid väljundid vastavalt konkreetsete sisendite muutustele muutuma. Selliste seoste rikkumine viitab suurele tõenäosusele, et SUT sisaldab viga. Käesoleva lõputöö eesmärk on MT tulemuslikkust parandada, uurides ja tutvustades uusi meetodeid metamorfsete seoste klassifitseerimiseks, täiustamiseks ja järjestamiseks. Töö esimeseks väljundiks on MetaTrimmer, mis võimaldab metamorfseid seoseid klassifitseerida. See meetod hindab seoste käitumist programmi erinevate sisendite põhjal, mis on programmile testandmetena antud. Jättes kõrvale eelduse, et metamorfne seos kehtib universaalselt, tuvastab MetaTrimmer konkreetsed testandmed, mille puhul seos kehtib ning võimaldab seega täpsemat klassifitseerimist. Teine panus, MetaTrimmer+, tuvastab testandmetes mustreid eesmärgiga segajuhtumites kasutatavaid metamorfseid seoseid täiustada. Kolmas panus keskendub metamorfsete seoste järjestamisele nende veatuvastamise võimekuse alusel, kusjuures kõige tõhusamad seosed prioritiseeritakse kasutades MetaTrimmerit, mis on kombineeritud mutatsioonitestimisega. See meetod aitab vähendada testjuhtumite arvu, säilitades samal ajal kõrge veatuvastuse. Kolmas panus rakendati edukalt tööstuslikus juhtumiuuringus, tõestades selle praktilist väärtust.

Software testing ensures the final software product functions correctly, but it is often time-consuming, costly, and complex, particularly for large systems. One major challenge is the "test oracle problem"—the difficulty of determining the correct output when testing software. This problem arises when the software under test (SUT) lacks an oracle or when creating one is infeasible. Metamorphic Testing (MT) addresses this problem. Unlike traditional techniques that focus on verifying individual input-output combinations, MT analyzes relationships between input-output pairs across multiple executions. These relationships are defined by Metamorphic Relations (MRs), specifying how outputs should change in response to specific input modifications. Violating an MR signals a potential fault within the SUT, making MT a valuable tool for addressing the test oracle problem. The effectiveness of MT depends largely on the quality of the MRs. This thesis introduces new methods for classifying, refining, and ranking MRs to improve MT’s efficiency. The first contribution, MetaTrimmer, offers a method for classifying MRs based on their behaviour across different test data inputs. This allows for a more accurate classification by identifying specific cases where MRs are valid. The second contribution, MetaTrimmer+, refines MRs that show mixed results by identifying patterns within the data. This refinement enhances usability and expands the range of effective test cases. The third contribution focuses on ranking MRs based on their defect-detection capabilities, using MetaTrimmer and mutation testing to prioritise the most effective MRs. This method helps reduce the number of test cases while maintaining high defect detection. The contribution three was successfully applied in an industrial case study, proving their practical value.