Collaborative Multi-Agent Architecture for Domain-Agnostic Named Entity Recognition

Abstract

Named Entity Recognition(NER) traditionally requires extensive domain-specific training data to achieve satisfactory performance for a given domain. Recent advancements in large language models have enabled the development of NER systems without supervised training, though this approach still requires careful prompt engineering and may need external knowledge augmentation during inference. This thesis introduces a novel domain-agnostic NER framework based on a collaborative multi-agent architecture that can adapt to any domain given only entity definitions and their descriptions. The framework consists of 4 high-level components: a team of agents, a metaprompter, a chat supervisor and a grounding engine. The system requires no training data or prompt engineering for new domains, operating as a few-shot solution for NER tasks. The framework's performance is evaluated across 4 distinct domains using standard NER benchmark datasets. Our evaluation shows that the multi-agent approach outperforms the baseline of few-shot NER with single LLM call in 3 out of 4 benchmarks, suggesting a promising direction for domain-agnostic NER. Ablation studies demonstrate varying effectiveness of each component on the system's performance depending on the domain, with the combination of three specialized agents and grounding engine proving generally most effective in all tested domains.

Nimiolemite märgendamine(NER) nõuab mingis valdkonnas rahuldava tulemuse saamiseks tüüpiliselt massiivset valdkonnapõhist treeningandmestikku. Viimased edusammud suurte keelmudelite vallas on võimaldanud välja töötada NER-süsteeme juhendatud õppimiseta. See lähenemine nõuab aga hoolikat viipade loomist (prompt engineering) ja võib vajada lisaks domeenieksperdi sisendit. Käesoleva lõputöö raames valmis uus domeenist sõltumatu NER-raamistik, mis põhineb mitme agendi koostöö arhitektuuril ning suudab kohaneda erinevate valdkondadega, vajades vaid olemite definitsioone ja kirjeldusi. Raamistik koosneb neljast kõrgetasemelisest komponendist: agentide meeskonnast, metaviipajast, vestluse juhendajast ja tõendajast. Süsteem ei vaja uutes valdkondades olemeid tuvastades treeningandmeid ega eraldi viiba kohandamist, talitades nõnda väheste näidete lahendusena (few-shot solution) NER ülesannete raames. Raamistiku jõudlust hinnatakse neljas erinevas valdkonnas, kasutades standardseid NER-süsteemide hindamisandmeid. Saadud tulemused toetavad domeenist sõltumatu NER-süsteemi loomise võimalikkust, saavutades väheste näidetega üksikust viipamisest parema tulemuse kolmes valdkonnas neljast. Abaltsiooniuuringud näitavad, et iga komponendi efektiivsus varieerub valdkonnati, kusjuures kolme agendi ja tõendaja kombinatsioon osutus valdkondade üleselt üldiselt kõige tõhusamaks.