Semiotics of multimodal conflict: modes, modalities and audio-visual incongruence in feature film

Abstract

Multimodaalseid nähtusi ja tekste iseloomustab esmajoones kaks tunnust: esiteks väjenduvad nad korraga mitmes erinevas märgisüsteemis, teiseks sõltub nende vastuvõtt ja mõistmine mitmest tajukanalist. Esimese tunnuse näide on ajakirjas trükitud foto selle allkirjaga – seal kombineeruvad pildiline ja verbaalne tähenduse loomise viis ehk moodus. Teist tunnust illustreerib film, mis sõltub korraga visuaalsest ja auditiivsest tajumodaalsusest. Multimodaalsust käsitlevates teooriates valmistab nende kahe tunnuse kombineerimine raskusi: sageli aetakse segamini mõisted, mis puudutavad väljendusviise ehk mooduseid (mida sotsiosemiootik Gunther Kress on nimetanud ka semiootilisteks ressurssideks) ning tajumodaalsusi. Käesoleva doktoritöö esimene eesmärk on pakkuda neile metodoloogilistele probleemidele võimalik lahendus, eristades selgelt mõisteid moodus ja modaalsus ning luua multimodaalsete objektide käsitlemiseks kahetasandiline raamistik. Selle raamistiku üks tasand koosneb sotsiaalselt konstrueeritud, seetõttu ka paindlikest ja mõnevõrra ebastabiilsetest moodustest; teine tasand aga võrdlemisi kindlalt fikseeritud tajumodaalsustest, mille käsitlus põhineb kognitiivsel neuroteadusel. Need kaks tasandit täiendavad teineteist ja võimaldavad läheneda nii neile multimodaalsetele objektidele, mida iseloomustab ainult esimene ülaltoodud tunnus kui ka neile, millel on esimene ja teine tunnus kombineeritud. Lisaks esitab doktoritöö mitme tajumodaalsuse võimalike kombinatsioonide tüpoloogia. Käesoleva töö teine eesmärk on keskenduda konfliktsele suhtetüübile. Peamiseks uurimisobjektiks on visuaalse ja auditiivse modaalsuse konflikt mängufilmis. Seda konflikti vaadeldakse kui võtet, millel on kindlad kunstilised või retoorilised eesmärgid, näiteks kummastamine, iroonia loomine, tegelase sisekõne edastamine jne. Ühe näitena käsitletakse ka filmitreilereid, millega viiakse turunduslikel eesmärkidel vaatajat segadusse, esitades ühes tajumodaalsuses filmi kuulumist ühte, teises tajumodaalsuses aga teise žanrisse. Multimodaalset, sünteetilist tähendusloomet sobib iseloomustama ka Juri Lotmani idee kahest, osaliselt ühildamatust märgisüsteemist, mis on vajalik eeltingimus uue informatsiooni loomiseks.

This dissertation aspires to contribute to the development of the semiotic theory of multimodality. Primarily, it addresses the central concepts of the theory – (semiotic) mode and (sensory) modality. By various authors, these terms are used interchangeably and without sufficient specification of their meanings. To overcome such a problem, the dissertation proposes a two-level framework that combines the constancy of modalities and the flexibility of modes, seeing modalities and modes in a mutually complementary relationship. The organization of sensory modalities can be seen as a foundational layer under the system of modes. The second objective of the dissertation is to construct a typology of modality relations. This typology distinguishes between supporting, modifying, conflicting, substituting and cross-activating relations. Subsequently, the work focuses on conflicting modalities as an extremely interesting and revealing category that corresponds to several semiotic strategies and purposes, e.g. the artistic devices that defamiliarize or self-reflexively indicate the constructedness of the text. Also, conflicting modalities are occasionally employed in deceptive meaning-making. The instance of such strategy is discussed, analysing film trailers that are used to communicate one genre by auditive and another genre by visual modality. The dissertation proposes that synthetic meaning-making can be examined in the light of Juri Lotmanʼs idea about two incompatible languages that comprise a mechanism for creating new information. Discussing multimodal conflicts in various feature films, the work focuses on some specific devices as contrapuntal editing and the use of internal diegetic sound. The possibilities of detecting and measuring the presence of multimodal conflict are also evaluated. Redundancy and synchrony as possible parameters that are violated in multimodal conflict are considered but dismissed. Instead, the work acknowledges that space as the fundamental device for artistic modeling in Juri Lotmanʼs semiotics allows the modeling of multimodal conflicts. The alternation between conflicts and habituation is seen as a fundamental component of meaning-making both in nature and culture.