Lisättyä todellisuutta museonäyttelyssä

Digitaalinen Pompejin naamio -teos reagoi museovieraan kasvonilmeisiin. Tässä artikkelissa kerron, miten tämä interaktiivinen teos syntyi.

Merikeskus Vellamon Pako Pompejista -näyttelyyn toteutettu interaktiivinen lisätyn todellisuuden teos Pompejin naamio reagoi katsojan kasvojen ilmeisiin ja liikkeisiin.

Kun katsoja hymyilee, teoskin hymyilee, ja jos museovieras kääntää suupielensä alaspäin, vääristyy naamionkin naama. Ilmeiden vaihtuessa naamiosta tippuu pieniä kivenmurusia virtuaalisesti.

Museossa interaktiivinen kokemus on koettavissa seinälle kiinnitetyltä tablettitietokoneen ruudulta. Alkuperäisen, noin 2000 tuhatta vuotta vanhan marmorisen veistoksen, katsoja voi nähdä lasivitriinissä samassa museotilassa.

Teoksen suunnittelu

Lähdin suunnittelemaan interaktiivista teosta saatuani Merikeskus Vellamolta kuvia rakenteilla olevan näyttelyn esineistä. Valitsin useiden kuvien joukosta kuvan naamiosta, joka symboloi Dionysosta.

Kreikkalaisessa mytologiassa Dionysos tunnetaan viinin, näyttämötaiteen ja hedelmällisyyden jumalana. Länsimaisen teatterin alkujuuret ulottuvat Dionysoksen kunniaksi järjestettyihin seremonioihin ja palvontaan.

Teatterinaamiota esittävän marmoriveistoksen kuva kiehtoi minua. Naamiolla on erikoinen ilme, mikä herätti kysymyksiä siitä, miten veistosta on mahdollisesti käytetty historiallisessa Pompejissa. Halusin syventyä aiheeseen lähemmin luomalla veistoksesta interaktiivisen lisätyn todellisuuden kokemuksen.

Näyttelyssä esillä olevaa alkuperäistä, kohtuullisen kookasta ja painavalta näyttävää veistosta, on mahdollisesti käytetty suihkulähteen koristeena. Tämä olikin oman teokseni suunnittelun ensimmäinen lähtökohta.

Ajattelin, että olisi hauskaa, jos veistoksen suusta tulisi vettä, kun katsoja avaa oman suunsa. Tämän idean kuitenkin hylkäsin nopeasti sitä kokeiltuani, koska liikkuva vesisuihku suusta muistutti liikaa pahoinvointia.

Teoksen 3D-mallinnus

Aloitin interaktiivisen teoksen toteuttamisen tekemällä 3D-mallinnuksen veistoksen 2D-valokuvan pohjalta. Prosessi oli erittäin kiinnostava ja haastava, koska en ollut koskaan nähnyt alkuperäistä marmoriveistosta. Minulla oli käytössäni ainoastaan yksi kuva veistoksesta, joka oli kuvattu suoraan edestäpäin.

Yleensä 3D-mallinnusta tehdessä objektista on käytössä useampia referenssikuvia eri suunnista katsottuna. Tällöin mallintaessa on helpompi hahmottaa mittasuhteet ja syvyydet. Tällä kertaa tulkitsin veistoksen pinnassa olevia valoja ja varjoja, ja arvioin veistoksen muotoja kuvan perusteella millimetrin tarkkuudella.

Kun tutkin tarkasti veistoksen valokuvaa, sain aivan uudenlaisen kosketuksen esineeseen ja aikakauteen. Uppoutumalla historiallisen teoksen yksityiskohtiin tunsin jännittävää yhteyttä tuohon käsityöläiseen tai taiteilijaan, joka oli veistänyt tämän historiallisen veistoksen noin 2000 vuotta sitten. Nyt minä veistin samaa muotoa digitaalisesti.

Koko prosessin kohokohta oli, kun vihdoin menimme ripustamaan omaa osuuttamme näyttelystä. Pääsin lopulta näkemään alkuperäisen veistoksen lasivitriinissä ja tarkistamaan, kuinka hyvin olin onnistunut arvioimaan kolmiulotteisen muodon yhden valokuvan perusteella.

Immersiivisyys taiteessa

Taiteessa immersiivisyys tarkoittaa uppoutumista ja hetkellistä lumoutumista taideteoksesta. Immersiivisyys ei liity ainoastaan digitaalisiin teoksiin, vaan uppoutumisen voi kokea yhtä lailla, kun katsoo itselleen merkityksellistä maalaustaidetta tai kun lukee mukaansatempaavaa kirjaa.

Pompejin naamio -teoksessa immersiivisyys toteutuu samaistumalla virtuaaliseen naamioon. Alkuperäisellä naamiolla on suu auki, joten jätin teoksen suun aukinaiseksi 3D-mallissakin. Moni virtuaalista teosta kokeillut on sanonut, että teosta katsellessa tuntuu siltä, kuin oma suukin olisi auki tai että se pitäisi aukaista.

Kun virtuaalista naamiota katselee ja sen kanssa on vuorovaikutuksessa, taidekokemus tapahtuu suhteessa omiin valintoihin. Se miten liikut, vaikuttaa siihen, miten teos liikkuu. Samalla voit katsojana olla aktiivisena toimijana kokiessasi teosta ja sillä tavoin osana teosta.

Yksi suuri kysymys taiteessa on taidekokemuksen tapahtumapaikka. Missä taide tapahtuu? Onko taide siinä eleessä, minkä taiteilija taidetta tehdessään tekee, esimerkiksi siveltimen vedossa? Vai onko taide siellä, missä katsoja taidekokemuksen saa, eli teoksen äärellä?

Interaktiivinen taide tuo kiinnostavan kulman tähän kysymykseen, koska teos on tavallaan olemassa ainoastaan silloin, kun se on vuorovaikutuksessa taiteen kokijan kanssa. Samanaikaisesti katsoja on välttämätön osa teoksen olemassaoloa.

Lisätyn todellisuuden teos, joka reagoi katsojan kasvoihin, on hyvin intiimi kokemus: katsoja näkee, kokee ja tuntee taiteen omilla kasvoillaan tai suhteessa kasvoihinsa. Minua houkutteli Pompejin naamio -teoksessa toteuttaa jotakin, mitä ei olisi fyysisesti mahdollista tehdä. Tein jäykästä marmorisesta naamiosta liikkuvan ja sain sen murenemaan virtuaalisesti katsojan sille antamista liikkeistä.

Teoksen vuorovaikutus

Viimeistelin 3D-mallin käyttämällä tekstuurina alkuperäistä valokuvaa veistoksesta. Kasvojen ilmeet toteutin Blenderissä Shape Keyes -toiminnon avulla. Tein ilmeistä jähmeät, koska tavoittelin veistoksen kivimäistä tuntumaa.

Lisätyn todellisuuden kokemuksen rakensin Meta Spark Studiossa. Ohjelmassa on valmiina kasvojentunnistus, jota hyödyntäen 3D-mallin saa reagoimaan katsojan ilmeisiin. Meta Spark Studiossa muotoilin ja toteutin myös partikkelit eli kivenmuruset, jotka reagoivat katsojan liikkeisiin. Mitä enemmän katsoja ilmeilee, sitä enemmän partikkeleita tippuu. Yritin saada partikkelit käyttäytymään mahdollisimman kivimäisesti.

Näyttelyssä vuorovaikutteinen Pompejin naamio -teos on katsojalle kehollinen kokemus historiallisten esineiden joukossa. Kehollisuus jättää näyttelyvieraalle erilaisen muistijäljen kuin kuvien tai videoiden katsominen, ja voi samalla tukea oppimisprosessia museoympäristössä uudella tavalla.

Sosiaalinen media ja markkinointi

Pompejin naamio -teos on esillä Merikeskus Vellamossa Pako Pompejista -näyttelyn ajan, mutta teos on julkaistu myös Merikeskus Vellamon ja Suomen merimuseon Instagram-tileillä. Instagramissa kuka tahansa käyttäjä voi löytää teoksen ja kuvata sillä kuvia ja videoita.

Museot voivat käyttää lisätyn todellisuuden efektejä näyttelyidensä markkinoinnissa. Mahdolliset uudet asiakkaat voivat efektin avulla saada ensimmäisen omakohtaisen kosketuksen näyttelyyn jo etukäteen, tai he voivat palata näyttelyn tunnelmiin vielä museovierailun jälkeenkin. Tällä tavalla näyttelykokemus laajenee museon ulkopuolelle.

Mikäli efektin käyttö leviää, tieto museosta ja näyttelystä voisi periaatteessa levitä ympäri maailman. Suomessa käytön haasteena on se, että lisätyn todellisuuden efektit mielletään usein ainoastaan kauneusfilttereiksi, eivätkä ihmiset ole vielä oppineet käyttämään niitä muihin tarkoituksiin. Euroopassa ja Yhdysvalloissa voi nähdä, miten monet ison brändit markkinoivat tuotteitaan onnistuneesti lisätyn todellisuuden efekteillä Instagramissa, Snapchatissä ja TikTokissa.

Parhaimmassa tapauksessa lisätty todellisuus voi mahdollistaa sosiaalisen median käyttäjän itseilmaisun, luovuudella leikkimisen ja uusien asioiden kokeilemisen. Käyttäjä voi esimerkiksi valita efektin, joka kuvastaa hänen omaa sisäistä oloaan ja ilmaista siten itseään – tai hän voi kokeilla jotain, mikä ei muuten olisi mahdollista.

Käyttäjä voi esimerkiksi testata kalliita aurinkolaseja, jotka eivät ole omaa tyyliä – tai saada virtuaalisen lemmikin istumaan olkapäälleen. Efekteillä voi kuvata muistoja kuten kuvia ja videoita, joita voi halutessaan jakaa seuraajilleen ja ystävilleen.

Efektin tekijä voi seurata alustan tarjoamista tilastoista muun muassa, missä maissa ja kaupungeissa efektiä on käytetty, kuinka usein efekti on aukaistu, minkä ikäiset ihmiset ovat sitä käyttäneet, kuinka monta minuuttia tai sekunttia efektiä on käytetty, onko efektillä kuvattu videoita ja kuinka moni niitä on nähnyt. Todennäköisesti lisätyn todellisuuden efekteillä markkinointi yleistyy lähivuosina Suomessakin.

Taiteilijoille sosiaalisen median alustat tarjoavat uuden kiinnostavan ympäristön taidekokemuksen luomiseen tavoilla, tekniikoilla ja työkaluilla, jotka poikkeavat perinteisestä tavasta esittää ja kokea taidetta.

Digitaalinen keräily ja tulevaisuuden yhteisöt museoissa

Ihmisen halua keräilemiseen ja muistoihin voisi soveltaa myös virtuaalisen matkamuiston muodossa. Monista urheilutapahtumista voi ostaa itselleen tapahtumaan tai urheiluseuraan liittyvän matkamuiston, kuten kaulahuivin tai lippalakin. Opiskelijakulttuurissa haalarimerkkien keräily on tärkeä osa yhteisöön kuulumista.

Kulttuurin puolella yhteisöllisyyttä voisi vahvistaa keräiltävillä digitaalisilla teoksilla. Museovieraalle muiston voisi toteuttaa muun muassa näyttelyyn liittyvänä sosiaalisen median efektinä tai toisenlaisena mukaan saatavana lisätyn todellisuuden toteutuksena.

Voisiko tulevaisuudessa museossa käymisestä saada lohkoketjulompakkoonsa näyttelyyn liittyvän keräiltävän NFT-teoksen? Entä voisiko NFT korvata museoiden pääsylipputarrat?

NFT eli non-fungible token tarkoittaa digitaalista hallinta- tai aitoustodistusta, jolla voidaan varmistaa digitaalisen sisällön omistajuus ja alkuperä. Tämä hallintatodistus voi viitata esimerkiksi digitaaliseen taideteokseen ja siten todistaa teoksen omistajuuden.

NFT:tä verrataan usein taideteoksen paperiseen aitoustodistukseen tai asunnon osakekirjoihin sillä erotuksella, että NFT:tä on hyvin vaikea ellei jopa mahdotonta väärentää. NFT:ssä voidaan nähdä monia uusia mahdollisuuksia taidemaailman uusiin rahoitusmalleihin ja käytäntöihin.

Museomaailmassa NFT voisi tukea museon digitaalista laajentumista rakennuksen seinien ulkopuolelle esimerkiksi keräiltävinä pääsylipputodistuksina ja samalla lisätä yheisöllisyyttä kaikkien kulttuurista kiinnostuneiden välille.

 

Lähteet

Aartomaa, J. Näyttelytuottaja. Sähköpostikeskustelu 4.–8.9.2023. Suomen kansallismuseo, Suomen merimuseo.

Esinetekstit. Suomen kansallismuseo, Suomen merimuseo, Merikeskus Vellamo. Pako Pompejista -näyttely 31.3.–1.10.2023.

H. Honour & J. Fleming. 1994 (toim.) Maailman taiteen historia, 2. painos. Helsinki: Otava, s.160.

Näyttelytiedote 30.3.2023 https://www.merikeskusvellamo.fi/223830/ (luettu 11.9.2023)

Yle Areena. Kulttuuricocktail Live. Digitaiteilijat takovat taiteen tulevaisuutta. https://areena.yle.fi/1-50991222 (Katsottu 2.10.2023)