Composizione multimediale e installazione d'arte

1. Composizione multimediale e installazione d'arte II lezione – 3 ore Conservatorio di Musica Antonio Buzzolla di Adria Marco A. Fabris, Luca A. Ludovico

2. Acusmetria • Neologismo coniato nel 2002 • Collaborazione di • Francesco Rampichini (musicista) • Marco Maiocchi (fisico) • Ettore Lariani (architetto e designer) • Settori investiti: architettura, design, multimedialità, musica, psicoacustica,semantica.

3. Acusmetria: definizioni • Acusmetria = acustica + metrìa • acustica = parte della fisica che studia la generazione, la propagazione e la ricezione del suono • -metrìa = misura • Disciplina delle proporzioni e delle misure delle forme acusmetriche

4. Forma acusmetrica: definizioni • Forma acusmetrica = oggetto sonoro che – in particolari condizioni – induce la percezione di figure geometriche statiche (fisse) o dinamiche (in movimento nello spazio). • In Inglese: Acusmetric Shape (AS)

5. Forma acusmetrica: definizioni • Forme acusmetriche imitano il gesto compiuto per tracciare i loro omologhi grafici • Sono metafore uditive per forme geometriche • Figure 2D e 3D, anche complesse

6. Acusmetria: obiettivi • Evocare la visione di forme anche in assenza dello stimolo visivo(cortocircuito immediato vista-udito) • Si sfrutta una capacità “trasversale” delle nostre percezioni: la sinestesia

7. Sinestesia • Fenomeno per cui la percezione di determinati stimoli è accompagnata da immagini proprie di un’altra modalità sensoriale • Esempi: • un’audizione colorata • una visione uditiva

8. Scheda sulla sinestesia • Origini: infanzia • Automaticità: è involontaria, non può essere soppressa • Realismo: sensazioni percepite come reali • Prevalenza: circa 1 individuo su 2000 • Genere: più comune tra le donne • Familiarità: è familiare (base genetica?)

9. Origini neurali della sinestesia • Varie teorie: • un fenomeno puramente patologico • Interconessioni fra sistemi sensoriali della corteccia (ad es. aree uditive e visive) che non scompaiono dopo lo stato neonatale • Prossimità anatomica delle vie uditive e visive, che causa falle (leaks) • una funzione dell'emisfero sinistro, su cui gioca un ruolo importante l'ipocampio • un semplice apprendimento

10. Sinestesia acquisita • Compare in età adulta • Riconducibile a lesioni al cervello • Provocabile tramite allucinogeni

11. L’audizione colorataVoyelles • Sonetto del 1872 di Arthur Rimbaud • Le vocali hanno il potere di evocare i colori: • A = nero • E = bianco • I = rosso • U = verde • O = blu

12. L’audizione colorataProméthée (Le Poème du feu) • Composizione sinfonica del 1911 di Alexander Skriabin • Da eseguire su un clavier à lumières • Scala nota-colore (progressione di quinte): • Do = rosso Fa# = blu • Sol = rosa arancione Reb = viola • Re = giallo Lab = viola porpora • La = verde Mib = grigio acciaio • Mi = bianco azzurro Sib = bagliore metallico • Si = blu perlaceo Fa = rosso scuro

13. La visione uditivaL’urlo • Dipinto del 1911 di Edward Munch • La luce e gli impulsi pittorici sono in grado di tradurre un’impressione sonora • Il paesaggio fa eco alla figura terrorizzata, deformandosi di onde sonore e travolgendo ogni elemento della natura è il suono deforma e risucchia il mondo reale e la stessa natura

14. Allucinazioni sonore • Sentire le voci dei personaggi di cui si legge • Caso particolare di visione uditiva:la lettura del libro (vista) evoca il suono delle voci (udito)

15. L’Acusmetria funziona? • Parte 1:Test acusmetrico immediato • Immediato = non mediato = senza previe spiegazioni sul codice

16. Principi e basi dell’Acusmetria

17. Rapporti tra musica e forme visivo-spaziali • Intensità: dinamica, volume • Altezza assoluta di un suono: alto/basso • Altezza relativa di un suono: ascendente/discendente • Timbro: chiaro/scuro • Disposizione delle voci: voce interna, superiore, inferiore • Movimento delle voci: moto retto, contrario, obliquo • Spettro: rumore bianco, rosa • Altri termini: posizione, intervallo,…

18. Rapporti tra musica e forme spaziali • Esempio: andamento altimetrico

19. Rapporti tra musica e forme spaziali • Esempio: andamento altimetrico “sample & hold”

20. Ascolto stereofonico ideale do = distanza dall’osservatore; da = distanza fra altoparlanti

21. Parametri acusmetrici

22. Pan [0…127] Pan = 64 Pan = 32 Pan = 0

23. Come descrivere le AS • Modalità tabellare: • Eventi = quantità di note • Altezze = pitch in notazione anglosassone • Modulazioni = variazioni di altezza • Intensità espressa tramite valori di velocity • Timbri con i nomi dello standard GM • Durate espresse in secondi • Pan • Quarto = tempo di metronomo assegnato

24. Esempio: punto .

25. Esempio: due punti, dx > sx . .

26. Esempio: cinque punti, dx > sx . . . . .

27. Esempio: triangolo di punti . . .

28. Esempio: rettangolo di punti . . . .

29. Esempio: rombo di punti . . . .

30. AS lineari

31. Come descrivere le AS • Modalità analogico-descrittiva: • Eventi = elenco numerato (ordine degli eventi) • Altezze indicate dai numeri in corsivo • Modulazioni per analogia grafica • Intensità e dinamiche omesse • Timbri omessi • Durate omesse • Pan indicato dai numeri in grassetto • Quarto = numero in basso a sinistra

32. Esempio: poligoni regolari Come si determinano i pitch MIDI?

33. Esempio: figure continue

34. Altre possibilità • Superfici • Solidi • Oltre la stereofonia: • Quadrifonia frontale • Quadrifonia orizzontale • Ottofonia

35. Si può fare di meglio! • Wright Patterson Air Force Base (Dayton, Ohio):sfera geodesica del raggio di 5 m, composta da 277 altoparlanti e situata in una camera anecoica (cioè in totale assenza di echi dalle pareti, per evitare interferenze sonore). • Sincronizzando in maniera appropriata gli altoparlanti, chi si trova al centro della sfera percepisce un'immagine sonora virtuale.

36. Olofonia • Si simula il funzionamento dell'orecchio, tenendo conto di come avviene la decodifica dei suoni a livello cerebrale. • L'ascoltatore riesce poi a ricostruire un'immagine sonora tridimensionale (come gli occhi di fronte a un ologramma). • Segnali mono creano un'immagine acustica centrale • Segnali stereo percepiti come provenienti da destra o da sinistra • Suoni olofonici occupano posizioni ben precise nello spazio • Limite: l'ascolto deve avvenire in cuffia. • L’hanno usata: Michael Jackson, Peter Gabriel dei Genesis, Jon Anderson degli Yes, Luigi Nono, i Pink Floyd (“The final cut”)

37. L’Acusmetria funziona? • Parte 2:Test acusmetrico mediato • Mediato = con informazioni di base sui presupposti

38. Il progetto conclusivo

39. Dati e obiettivi • Dati di partenza: • 2 oggetti • 1 settimana di tempo • Obiettivo: contestualizzare gli oggetti • sulla base delle spiegazioni odierne • sulla base dei successivi esempi • Realizzazione • presentazione orale (con PowerPoint?) • tesina scritta Attenzione: contribuisce al voto finale

40. Esempi di aspetti da esaminare • Forma • Sezioni • Proiezioni • Regolarità/irregolarità • Colori • Suoni • Luogo provenienza • Epoca • Diffusione • Caratteristiche del prodotto • Nome e logo (se presente) • Caratterizzazione dei destinatari

41. Esempio: lattina di Coca Cola

42. Esempio di sonorizzazione • Forma • Sezioni • Proiezioni • Regolarità/irregolarità • Colori • Suoni • Luogo provenienza • Epoca • Diffusione • Caratteristiche del prodotto • Nome e logo (se presente) • Caratterizzazione dei destinatari

43. Esempio di contestualizzazione

44. Esempio di contestualizzazione • Forma • Sezioni • Proiezioni • Regolarità/irregolarità • Colori • Suoni • Luogo provenienza • Epoca • Diffusione • Caratteristiche del prodotto • Nome e logo (se presente) • Caratterizzazione dei destinatari

45. Assegnazione degli oggetti

46. Applicazioni dell’Acusmetria

47. Web-design e spazi acusmetrici • Opera lineare vs ipertestuale • Nuove possibilità computazionali è Sonorizzazione dei siti • Risultati scarsi: il Web designer non è un compositore! • Buona gestione del medium sonoro potenzia ed estende la capacità comunicativa del Web

48. Modalità di applicazione • Si auspica: • Corrispondenza forma-contenuto • Rara ripetitività • Spazializzazione • Ipertestualizzazione sonora • E’ possibile usare AS • Una tecnologia: Macromedia Flash

49. Esempi di sonorizzazione • http://www.locusnovus.com/lnprojects/winterlyric/Colonna sonora “lineare”, ma sincronizzata con l’avanzamento delle pagine • http://chill.coca-cola.com/Sito per manipolare l’audio simulando multi-traccia

50. Marchi sonori • Riconoscimento AS di base è spontaneo • Possibili applicazioni: • Affiancamento rafforzativo di 2 mediaMarchi pubblicitari, sigle TV, segnaletica • Sostituzione sinestetica del medium visivoMessaggi radiofonici, riproduzioni audio • Utilizzo subliminale (segno acusmetrico all’interno di un veicolante incoerente)