Science and Technology - Bachelor's theses. Kuni 2024

Permanent URI for this collectionhttps://hdl.handle.net/10062/63912

Browse

Now showing 1 - 5 of 5

Artificial Intelligence Based Profession Prediction Using Facial Analysis
(2020) Mert, Gülce Naz; Anbarjafari, Gholamreza; Karabulut, Doğuş
Youth unemployment is a global problem which affects millions of young people. One of the reasons for this is that young people are often misguided, or have adopted professions that are not a good fit for them. If an association between facial features and certain professions can be established using artificial intelligence, it is possible to guide young people into suitable career paths, providing them a better future with more satisfying jobs. In order to achieve this goal, different neural network models that employ deep learning and transfer learning were built, alongside with a dataset consisting of face images of people who are professionals in their fields. This data was then fed into these neural networks, testing effects of different networks and their parameters on the accuracy of predicting professions based on face images. The experiments however, did not lead to high accuracy rates. The results and networks are then analyzed and limitations are brought up. The possible solutions to what could have caused low accuracy rates are discussed. In estonian: Noorte tööpuudus on globaalne probleem mis mõjutab miljoneid noori. Üks põhjustest on kuna noori inimesi on tihti valesti juhitud või nad on omastanud ameteid mis pole neile sobilikud. Kui on võimalik leida assotsiatsioone näojoonte ja kindlate ametite vahel kasutades tehisintellekti, kas siis on võimalik juhtida noori inimesi parematele ametikohtadele, varustades neid parema tulevikuga, kus on rohkem rahuldavad töökohti. Et sellise saavutusega hakkama saada, ehitati erinevaid närvivõrgud mudeleid mis kasutavad süvaõpet ja ülekandmise õpe koos andmetega, mis koosnevad inimeste näo piltidest kes on oma ala professionaalid. See informatsioon siis sisestati närvi võrkudesse, katsetades erinevate võrkude efekte ja nende parameetreid näo järgi ameti valimise täpsuses. See katse kahjuks ei viinud kõrge täpsusega tulemusteni. Tulemused ja võrgud siis analüüsiti ja leiti limiidid. Võimalike lahendusi arutatakse selle üle mis võiksid tekitada vähese täpsusega tulemusi.
Deep learning based protein-protein interaction prediction using universal protein sequence representations
(2020) Jermakovs, Klavs; Morgunov, Alekszej; Loog, Mart; Anbarjafari, Gholamreza
Protein-Protein Interactions (PPI) govern key biological events in the cell and serve as a basis for understanding disease mechanisms and developing treatments. Currently used PPI predictive methods that rely on information from multiple sequence alignments are ineffec-tive on proteins with few known homologs. Recent advances in self-supervised learning per-mit extracting complex features directly from the protein sequence (sequence embeddings) for later use with predictive algorithms. In this thesis, several sequence embedding methods were used in combination with Siamese deep neural network-based classifier architecture for PPI prediction. An average AUROC score of 0.70 on C1 test set suggests that more complex embedding methods such as UniRep and PLUS-RNN are able to extract more in-formation relevant to PPI prediction from the protein sequence. Performance of all methods dropped markedly for C2 and C3 test sets, 0.62 for UniRep and 0.58 for PLUS-RNN, sug-gesting that further improvements are necessary to develop models that are more general in their coverage of the protein sequence space. The results of this work confirm that using pre-trained protein representations with deep learning based classifiers is a viable approach to PPI prediction from sequence alone. In Estonian: Proteiin-proteiini vastastiktoimed (PPI) juhivad olulisi bioloogilisi etappe rakus ning on aluseks haigusmehhanismide mõistmisel ja ravimite tootmisel. Hetkel kasutusel olevad PPI ennustamise meetmed, mis sõltuvad mitme järjestuse joondamise teabest, on ebatõhusad proteiinidel, millel on vähe kaardistatud homolooge. Viimased edusammud iseenesliku õppimise vallas lubavad eraldada keerulisi eripärasusi otse proteiini sekventsist (sekventsi kodeerimine), et neid hiljem ennustavate algoritmidega rakendada. Selle lõputöö käigus kasutati mitmeid sekventsi kodeerimise meetodeid koos Siiami sügava närvivõrgu põhise PPI ennustamise algoritmiga. Keskmine AUROCi skoor 0.70 C1 testandmestikus viitab, et keerulisemad kodeerimise meetodid nagu UniRep ja PLUS-RNN, suudavad proteiini sekventsist rohkem PPI ennustamisele asjakohast informatsiooni eraldada. Kõigi meetodite täpsus langes märkimisväärselt C2 ja C3 testandmestikes, 0.62 UniRepi ja 0.58 PLUS-RNNi puhul. See näitab, et üldisema kattuvusega proteiini sekventsi mudelite arendamiseks on vaja teha edasisi täiendusi. Selle töö tulemused tõestavad, et eeltreenitud proteiini kujutiste kasutamine koos sügavõppel põhinevate klassifitseerijatega, on võimalik lähenemine PPI ennustamisele ainult sekventsi põhjal.
Privacy preserving using face replacement-based image anonymisation tool
(2020) Popens, Maris; Karabulut, Doğuş; Anbarjafari, Gholamreza
The General Data Protection Regulation that was implemented in 2018 put increased stress on online privacy of people. This increased the pressure on social media platforms to protect privacy and follow the new set of guidelines. Currently, the only possible tool for preserving personal privacy is censorship, which either covers up or blurs out a part of an image that could potentially conceal vital details. This thesis proposes a proof of concept for a solution that could keep the image undisrupted while preserving the privacy of the person. This potential solution replaces the face with a generated face that lacks distinguishing features. This thesis describes the steps required to carry out face replacement. It takes advantage of precise facial detection in combination with a face collage that was generated by averaging copious amounts of facial images. The result is an image that still has all its details while preserving the privacy of the person. In estonian: Isikuandmete kaitse üldmäärus, mis võeti kasutusele aastal 2018, rõhutas inimeste privaatsust veebis. See nõudis, et sotsiaalmeedia kanalid peavad kaitsma inimeste privaatsust ja järgima uusi suuniseid. Hetkel ainuke vahend eraelu privaatsuse säilitamiseks on tsensuur, mis katab või hägustab osa pildist, kuid võib potentsiaalselt varjata tähtsaid detaile. Selles lõputöös esitletakse lahenduse kontseptsioon, mis ei moonda pilti, kuid säilitab inimese privaatsuse. See potentsiaalne lahendus asendab inimese näo genereeritud näoga, millel puuduvad eristatavad iseärasused. Selles lõputöös kirjeldatakse vajalikke etappe, et teostada näovahetust. See kasutab täpset näotuvastust koos näokollaažiga, mis loodi mitmete nägude kokku ühtlustamise teel. Tulemuseks on pilt, mis sisaldab kõiki vajalikke detaile, kuid säilitab inimese privaatsuse.
Smart Traffic Control Using Optimised Convolutional Neural Network
(Tartu Ülikool, 2019) Surrage Reis, Mateus; Anbarjafari, Gholamreza
In English: The state-of-the-art in image object detection is in convolutional neural networks, which is a computationally expensive base to build on. To run accurate detection in an embedded device, additional optimization is required if there is a need to run it real-time on each frame of a video. This thesis details work done in the development of a smart pedestrian crosswalk: an Internet of Things enabled embedded platform for traffic control. By fine-tuning an individual neural network for each SPC post, it was possible to significantly boost accuracy in a fast, low-accuracy CNN. This was accomplished by taking advantage of the low variation in possible input images, being drawn from only 3 cameras per post. The improvement was from 33.1% mAP in general context images and 80 classes to 60.7% mAP on solely traffic images and seven traffic-relevant classes. Eesti keeles: Uusimad objekti tuvastus meetodid kasutavad oma töös konvuleerivaid närvivõrke, mis arvutuslikust küljest on ressursiahned. Täpsete tuvastusmudelite jooksutamine manussüsteemides vajab palju optimeerimist, eriti kui seade peab toimima reaalajas. Käesolev töö kirjeldab targa ülekäiguraja teemärgi loomist: nutiseade, mis on mõeldud liikluse juhtimiseks. Seadistades iga SPC posti eraldi närvivõrku, oli võimalik märkimisväärselt tõsta kiire ja ebatäpse närvivõrgu selgust. See saavutati kasutades ära kolmest kaamerast tulevate sisendpiltide minimaalset varieeruvust. Algoritmi täpsust parandati 80 klassilise üldnärvivõrgu 33.1% mAP pealt 60.7% mAP peale, rakendades ainult liiklusega seotud pilte koos seitsme erineva teemakohase klassiga.
Video Face Swapping
(2020) Wilson Soto, Barbara; Anbarjafari, Gholamreza; Karabulut, Doğuş
Face swapping is the challenge of replacing one or multiple faces in a target image with a face from a source image, the source image conditions need to be transformed in order to match the conditions in the target image (lighting and pose). A code for Image Face Swapping (IFS) was refactored and used to perform face swapping in videos. The basic logic behind Video Face Swapping (VFS) is the same as the one used for IFS since a video is just a sequence of images (frames) stitched together to imitate movement. In order to achieve VFS, the face(s) in an input image are detected, their facial landmarks key points are calculated and assigned to their corresponding (X,Y) coordinates, subsequently the faces are aligned using a procrustes analysis, next a mask is created for each image in order to determine what parts of the source and target image need to be shown in the output, then the source image shape has to warp onto the shape of the target image and for the output to look as natural as possible, color correction is performed. Finally, the two masks are blended to generate a new image output showing the face swap. The results were analysed and obstacles of the VFS code were identified and optimization of the code was conducted. In estonian: Näovahetusena mõistetakse käesolevalt lähtekujutiselt saadud ühe või mitme näo asendamist sihtpildil. Lähtekujutise tingimusi peab transformeerima, et nad ühtiksid sihtpildiga (valgus, asend). Pildi näovahetus (IFS, Image Face Swapping) koodi refaktoreeriti ja kasutati video näovahetuseks. Video näovahetuse (Video Face Swapping, VFS) põhiline loogika on sama kui IFSi puhul, kuna video on olemuselt ühendatud kujutiste järjestus, mis imiteerib liikumist. VFSi saavutamiseks tuvastatakse nägu (näod) sisendkujutisel, arvutatakse näotuvastusalgoritmi abil näojoonte koordinaadid, pärast mida joondatakse näod Procrustese meetodiga. Järgnevalt luuakse igale kujutisele image-mask, määratlemaks, milliseid lähte- ja sihtkujutise osi on vaja näidata väljundina; seejärel ühitatakse lähte- ja sihtkujutise kujud ja võimalikult loomuliku tulemuse jaoks viiakse läbi värvikorrektsioon. Lõpuks hajutatakse kaks maski uueks väljundkujutiseks, millel on näha näovahetuse tulemus. Tulemusi analüüsiti ja tuvastati VFS koodi takistused ning seejärel optimeeriti koodi.

Browse

Browsing Science and Technology - Bachelor's theses. Kuni 2024 by Author "Anbarjafari, Gholamreza"