DŹWIĘK INTERAKTYWNY II

Dźwięk w projektach interaktywnych – przykłady, analizy, symulacje

Materiały pomocnicze do ćwiczeń

Dorota Błaszczak

2

DŹWIĘK INTERAKTYWNY II

____________________________________________________________ Część I

Podstawowe cechy nowych mediów........................................................................... 4

Projektowanie nowych mediów................................................................................... 5

Nowe nowe media ...................................................................................................... 6

Intermedia................................................................................................................... 6

Typy projektów interaktywnych................................................................................... 7

Strategia instrumentu - nadrzędność interfejsu Strategia gry - nadrzędność interakcji Strategia archiwum - nadrzędność danych Strategia labiryntu - nadrzędność organizacji danych (hipertekst) Strategia kłącza - rozwój organizacji danych Strategia systemu - interaktywność wewnętrzna Strategia sieci - relacje sieciowe Strategia spektaklu - nadrzędność wydarzenia i odbiorcy

____________________________________________________________ Część II

Klasyfikacje w sferze sztuki audiowizualnej.............................................................. 10

Strefa przestrzeni w muzyce..................................................................................... 12

Sfera elektroakustyczna ........................................................................................... 13

Strefa muzyki komputerowej..................................................................................... 14

Strefa przestrzeni słuchowej..................................................................................... 15

Strefa krajobrazu dźwiękowego................................................................................ 16

Strefa urbanistyki i architektury................................................................................. 18

Strefa dźwięku gier komputerowych ......................................................................... 19

____________________________________________________________ Część III

Typy projektów interaktywnych. Przykłady audiowizualne........................................ 20

Strategia instrumentu................................................................................................ 20

Strategia archiwum................................................................................................... 21

Interaktywność wewnętrzna...................................................................................... 22

____________________________________________________________ Dodatek

Media interaktywne na rynku pracy .......................................................................... 23

3

Przedmiot „Dźwięk interaktywny II” jest kontynuacją nauki o wykorzystaniu dźwięku w

interaktywnych projektach, które obejmują zarówno prace związane tylko z samym dźwię-

kiem, jak i prace audiowizualne. Zajęcia opierają się na realizacji indywidualnych lub grupo-

wych projektów wykorzystujących różne techniki interaktywne i są zajęciami wspomagają-

cymi dla przedmiotu głównego „Kreacja dźwięku w formach audiowizualnych”.

Ze względu na indywidualny charakter zajęć, materiały do przedmiotu „Dźwięk inter-

aktywny II” mają na celu przedstawienie różnorodnych zagadnień z wielu dziedzin. Takich,

które tworzą wielowymiarową przestrzeń potencjalnego zaistnienia dźwięku interaktywnego

oraz takich, które mogą być inspiracją i pomocą w decyzjach dotyczących wyboru projektu

i jego realizacji w ciągu dwóch semestrów zajęć.

Materiały zawierają przykłady atrybutów charakteryzujących nowe media oraz przy-

kłady klasyfikacji dzieł interaktywnych i audiowizualnych, opierające się na różnorodnych

materiałach źródłowych, prezentujące możliwości różnorakiego spojrzenia na zagadnienie

interaktywności i wyodrębnienie cech łączących grupy projektów. Szeroki zakres tematów i

dziedzin, nie zawsze związanych bezpośrednio z dźwiękiem, ma na celu pokazanie, że

dźwięk w sztukach interaktywnych może czerpać inspiracje z wielu źródeł, aby odnaleźć

„pomiędzy” nimi nowe miejsce dla siebie, aby poszukiwać nowych środków wyrazu i podpo-

rządkować istniejące technologie założonemu celowi estetycznemu.

Dla wybranych typów projektów interaktywnych zostały przedstawione przykłady dzieł

ilustrujące związane z nimi zagadnienia. Tak jak i w części pierwszej tego przedmiotu

wybrany zestaw przykładów nie stanowi systematycznego przeglądu dzieł interaktywnych.

Może, i powinien być, zmieniany oraz uzupełniany o inne dzieła charakterystyczne dla oma-

wianych zagadnień przez prowadzącego oraz przez studentów. Zadania, przedstawione dla

ilustracji kilku typów projektów i zagadnień związanych z interaktywnością, są propozycjami

do wyboru i realizacji na zajęciach.

4

____________________________________________________________ Część I Opracowania dotyczące nowych mediów zajmują się najczęściej zagadnieniami

związanymi ze sztuką wizualną, czasem przedstawiając również zagadnienia dotyczące

dźwięku. Dlatego też przedstawiane tu klasyfikacje są często modyfikacją i rozszerzeniem

myślenia o kulturze wizualnej również w stronę kultury dźwiękowej.

___________________________________________________________________

Podstawowe cechy nowych mediów. (W oparciu o książkę L.Manovicha „ Język nowych mediów”)

„Język nowych mediów” (2001) jest „klasycznym” opracowaniem na temat nowych

mediów, ich definicji i wpływu na kulturę wizualną oraz na powstawanie nowych form

kulturowych i pojawianie się nowych możliwości estetycznych. W wyniku

komputerowej rewolucji medialnej zmieniły się wszystkie etapy komunikacji medialnej,

a same media przekształcone do postaci danych komputerowych, na których można

dokonywać obliczeń i przekształceń, stały się nowymi mediami. Autor książki

przedstawia główne cechy i pojęcia dotyczące nowych mediów.

1. Reprezentacja numeryczna

Cyfryzacja mediów daje możliwości manipulowania danymi za pomocą algorytmów,

możliwości tworzenia symulacji fizycznych obiektów i procesów opisanych równa-

niami matematycznymi. Media stają się programowalne.

2. Modularność

Obiekty nowych mediów składają się z niezależnych od siebie części (dźwięk, obraz,

kształt, zachowania), co umożliwia łatwą modyfikację całości poprzez modyfikację

elementów na różnych etapach produkcji i procesu komunikacji.

3. Automatyzacja

Wiele procesów przetwarzania i modyfikacji obiektów mogło zostać automatyzowa-

nych, gdyż pojawiła się możliwość definiowania i proponowania użytkownikom okre-

ślonych szablonów. Również zautomatyzowany dostęp do obiektów nowych mediów

w bazach danych, umożliwił ułatwione wyszukiwanie istniejących już obiektów.

4. Wariacyjność

Obiekt nowych mediów ze względu na swoją budowę modularną może istnieć w wielu

wersjach. Tworzone są one czasem automatycznie w procesach dopasowania danego

obiektu do określonego środowiska prezentowania danych – obiekty nowych mediów

są skalowalne.

5

5. Transkodowanie kulturowe

Obiekty nowych mediów składają się z warstwy kulturowej i komputerowej. Warstwa

komputerowa, poprzez swoją określoną strukturę i określone działanie wpływa i mode-

luje organizację warstwy kulturowej, wpływa na gatunki i treść nowych mediów.

6. Interaktywność

Media komputerowe są z definicji interaktywne poprzez interfejs człowiek-komputer.

Interakcja może być odniesiona do fizycznej interakcji człowieka z interfejsem, jak

również do psychologicznych procesów interakcji pozwalających na tworzenie

obrazów mentalnych. Takie podejście pozwala na stwierdzenie, że interaktywne

media komputerowe umożliwiają eksternalizację i uprzedmiotowienie operacji myś-

lowych. To jednocześnie umożliwia nakierowanie odbiorcy nowych mediów na

podążanie tokiem myślenia twórcy przekazu.

7. Nawigowalna przestrzeń

Jest to przestrzeń subiektywna, która reaguje na ruchy użytkownika. Ruch pozwala

na odkrywanie otoczenia. Przestrzeń nawigowalna może zmieniać się dosłownie,

odzwierciedlając subiektywność użytkownika. Jest pełnoprawną formą kulturową

(obok bazy danych), a jej obecność może definiować nowe media.

8. Interfejs

Interfejs kształtuje i „narzuca” sposób, w jaki użytkownik postrzega obiekt medialny

i jak jest kształtowane przeżycie estetyczne widza.

Projektowanie nowych mediów

Projektowanie nowych mediów związane jest z konstruowaniem interfejsu do multime-

dialnych baz danych oraz z definiowaniem poruszania się widza w nawigowalnej przestrzeni.

Projektanci nawigowalnych przestrzeni mogą wykorzystać współczesną sztukę, jako

źródło inspiracji i źródło wielu przydatnych koncepcji.

- Architektura filmowa - tworzona na potrzeby nawigacji i eksplorowania jej za pomocą

kamery.

- Malarstwo - organizacja przestrzeni w obrębie krawędzi ramy ograniczającej przestrzeń.

- Instalacje - aranżacje przestrzeni, umożliwiające widzowi wybór kolejności oglądania danej

instalacji, która posiada określoną strukturę przestrzenną i określoną dramaturgię powsta-

jącą w trakcie poruszania się widza w obrębie instalacji.

6

Projektowanie nowych mediów powinno być skoncentrowane na przeżyciu estetycz-

nym widza w czasie i przestrzeni, a nie na obiekcie samym w sobie.

Aby zrozumieć logikę nowych mediów, które są w coraz większym stopniu programo-

walne, należy poznać zasady programowania w praktyce, co może ułatwić zrozumienie

otaczających nas mediów.

___________________________________________________________________

Nowe nowe media (W oparciu o książkę P. Levinsona „ Nowe nowe media”)

Pojęcie „nowe nowe media” zostało zaproponowane przez Paula Levinsona w 2010

roku, tak aby uniknąć definiowania rzeczywistości poprzez kolejne liczby, jak w określeniach

Web 2.0 czy 3.0. Opracowanie to dotyczy szybko zmieniającej się rzeczywistości medialnej

i mediom nowszym niż „nowe media” i opisuje zagadnienia dotyczące takich pojęć jak

blogowanie, YouTube, Wikipedia, MySpace, Facebook, Twitter, Second Life, podcasty,

nadużycia w sieci i sprzętu.

Podstawowym wyróżnikiem nowych nowych mediów jest to, że konsument staje się

jednocześnie producentem, a media mają charakter społecznościowy i mobilny.

Te zmiany wpływają na rodzaje medialnych przekazów komunikacyjnych, możliwych

do wykorzystania dla celów projektów artystycznych, które mają się zmierzyć z przekształca-

jącymi się mediami i dotrzeć ze swoim przekazem do odbiorców.

___________________________________________________________________

Intermedia (W oparciu o książkę K.Chmieleckiego „Estetyka intermedialności”)

Pojęcie intermediów zostało zaproponowane latach 60-tych XX w przez Dicka Hig-

ginsa, jako określenie nowego statusu sztuki szukającej swojego miejsca pomiędzy mediami.

To pojęcie jest też wykorzystywane obecnie w zakresie estetyki mediów i badań nad kulturą

audiowizualną, co opisuje i analizuje Konrad Chmielecki w książce „Estetyka intermedial-

ności”, książce o estetyce, której przedmiotem badań są relacje zachodzące między już ist-

niejącymi mediami. A do intermediów zostają zaliczone: poezja wizualna, muzyka wizualna,

sztuka światła, fotografia intermedialna, film, video, wideoklipy, sztuka telewizyjna, animacja

komputerowa, kino interaktywne, net art., holografia, teatr, balet, multimedialne przedsta-

wienia performatywne.

7

___________________________________________________________________ Typy projektów interaktywnych

(W oparciu o książkę Ryszarda W. Kluszczyńskiego „Sztuka interaktywna. Od dzieła-

instrumentu do interaktywnego spektaklu”)

Przedstawiona poniżej klasyfikacja opiera się na analizie przedstawionej w książce

„Sztuka interaktywna. Od dzieła-instrumentu do interaktywnego spektaklu”. Książka

stanowi obszerne omówienie zagadnień związanych z interaktywnością, jej

rozumieniem, definicjami i teoriami z nią związanymi.

Przedstawione poniżej w sposób skrótowy „kategorie”, mogą stać się narzędziem do

analizy dzieł z ważnym komponentem dźwiękowym i interaktywnej sztuki dźwięku. W

części III skryptu, znajdują się dodatkowe przykłady interaktywnych projektów (spoza

wyżej wymienionej książki).

W książce znajdujemy obszerną analizę prac wizualnych lub audiowizualnych i pro-

pozycję podziału interaktywnych dzieł według strategii, jako podstawowego wkładu artysty

w dzieło interaktywne. Strategie „łączą wszystkie składowe w jeden układ i wyznaczają

proponowane pola aktywności odbiorców”, a ich kategoryzacja opiera się w dużym stopniu

na zmieniającej się hierarchii i ważności pomiędzy składowymi dzieł interaktywnych: inter-

fejsu, interakcji, organizacji i wykorzystania danych, systemu technologicznego, sieci społe-

cznej i wydarzenia artystycznego.

1. Strategia instrumentu - nadrzędność interfejsu

Projekt ma charakter przede wszystkim wykonawczy, w oparciu o interfejs, wykorzystany

tu jak instrument do grania, do wytwarzania określonego ciągu zdarzeń dźwiękowych czy

wizualnych. Dla użytkownika/uczestnika/potencjalnego wykonawcy, zostaje przygoto-

wane środowisko wykonawcze – użytkownik może stać się wykonawcą, sprawiając tym

samym, że dzieło zaistnieje.

W zależności od przygotowanych przez artystę ram środowiska wykonawczego, dzieło

może mieć charakter koncertu dźwiękowego czy wizualnego, charakter peformatywny lub

kształt manipulacji udostępnionymi użytkownikowi środkami.

8

2. Strategia gry - nadrzędność interakcji

W tym przypadku, interakcja jest dominującym elementem dzieła, które bazuje na dzia-

łaniach uczestnika zmierzających do postawionego przed nim celu, według określonych

reguł. Praca realizująca strategie gry może być transformacją gry już istniejącej lub być

dziełem autonomicznym z własnymi zasadami działania. Może być zbudowana wokół

przestrzeni sieci internetowej lub jako instalacja lokalna. Granica między grą kompute-

rową a sztuką opierającą się na jej zasadach powstaje poprzez stworzenie takiego

środowiska gry, które kieruje uwagę uczestnika nie tylko na przebieg gry, ale również na

różne aspekty świata gier i samego procesu interakcji i kontroli nad grą.

3. Strategia archiwum - nadrzędność danych

Wszystkie elementy dzieła interaktywnego zostają tu podporządkowane zgromadzonym

danym, zaprezentowanym do eksploracji użytkownikowi. Takie audiowizualne dane

zorganizowane są w postaci baz danych, jednego z wyznaczników nowych mediów.

Bazy danych, wraz z odpowiednim oprogramowaniem, organizują zawarte w nich dane,

relacje między nimi i umożliwiają szeroki do nich dostęp. Dzieła wykorzystujące strategie

archiwum stwarzają dla odbiorców określone możliwości przeglądania i łączenia danych

w tymczasowe struktury i ich zestawienia, zgodne z zamierzeniami twórcy.

4. Strategia labiryntu - nadrzędność organizacji danych (hipertekst)

Sposób organizacji danych w uporządkowane struktury hipertekstowe jest głównym

wyznacznikiem dzieł realizujących strategię labiryntu, jak interaktywnych narracji

i nawigowalnych środowisk. Hipertekst jest strukturą danych zawierającą odniesienia

między jej elementami. Wszystkie odniesienia są zdefiniowane, ale sposób nawigacji

pomiędzy nimi nie jest wstępnie określony i zależy od zachowania odbiorcy.

Doświadczanie danego dzieła nie jest poprzedzone wyjaśnieniem jego struktury i opiera

się na konieczności podejmowania wielu decyzji i poszukiwaniu rozwiązań.

5. Strategia kłącza - rozwój organizacji danych

W dziełach wykorzystujących strategię kłącza nadrzędnym elementem jest również

organizacja danych, przy czym zasoby danych zorganizowane są w sposób otwarty

i podczas doświadczania danego projektu następuje ewolucja organizacji danych. Tym

samym środowisko i zasady eksploracji dzieła ulegają zmianie według założeń artysty.

9

6. Strategia systemu - interaktywność wewnętrzna

Dzieło zgodne ze strategią systemu nie daje odbiorcy możliwości interakcji. Jest przykła-

dem interaktywności wewnętrznej systemu technologicznego składającego się na dane

dzieło i tworzy zakomponowane odwzorowania zachowania systemu oraz zmienności

danych wejściowych. Takie wizualizacje i sonifikacje wybranych przez artystę zjawisk,

oglądane są przez publiczność, jako wydarzenie audiowizualne.

7. Strategia sieci - relacje sieciowe

Projekty sieciowe, które proponują środowisko umożliwiające tworzenie konkretnych

relacji między użytkownikami uczestniczącymi w wydarzeniu artystycznym. Stworzenie

określonej sieci odbiorców stanowi główny cel prac realizujących strategię sieci i jest

odzwierciedleniem idei interaktywności, jako partycypacji kulturowej.

8. Strategia spektaklu - nadrzędność wydarzenia i odbiorcy

Spektakle interaktywne zmieniają podejście do odbiorcy wydarzenia artystycznego i zak-

ładają aktywne uczestniczenie publiczności w przebiegu takiego spektaklu na każdym

jego etapie. Publiczność jest nie tylko obserwatorem, ale i uczestnikiem wydarzenia.

10

____________________________________________________________ Część II Znajomość szerokiego zakresu idei estetycznych i gatunków sztuki związanych z

dźwiękiem i obrazem w przekroju historycznym, daje możliwość korzystania z tej bazy

wiedzy w procesie tworzenia własnych projektów, przy wykorzystaniu zmieniających się

możliwości technologicznych tak, aby technologie podporządkować własnym zamysłom

artystycznym. Poniżej zaprezentowane są przykładowe klasyfikacje i podstawowe

zagadnienia z różnych sfer około-dźwiękowych i około-muzycznych.

___________________________________________________________________

Klasyfikacje w sferze sztuki audiowizualnej [Sonification, Sound Art, Sound Design, Color Organs, Music Video, Performance Art,

Software Art, Synesthesia]

( W oparciu o książkę „See this Sound. Audiovisuology. Compedium.

An Interdisciplinary Survey of Audiovisual Culture”, http://www.see-this-sound.at/en)

Książka i archiwum sieciowe na temat sztuk audiowizualnych powstały w wyniku

działań związanych z projektem „See this sound” (Linz, 2009) i obejmują wiele

przekrojowych zagadnień związanych z formami sztuki łączącymi w sobie obraz

i dźwięk, z koncepcjami sztuki i rozwojem technologicznym wpływającym na sztukę.

Zagadnienia te przedstawione są w ujęciu historycznym dla poszczególnych

gatunków sztuki oraz w ujęciu przekrojowym pod kątem zjawisk audiowizualnych i ich

percepcji.

Wybrane gatunki i obszary działania w sferze audiowizualnej zaproponowane w książce:

- Film abstrakcyjny, jako forma zbliżenia sztuki wizualnej do muzyki.

- Animacja i zastosowanie dźwięku w oparciu o korelacje obrazu i dźwięku.

- Architektura a muzyka - analogie w zasadach proporcji i harmonii oraz w kierunkach

zmian historycznych obu dziedzin.

- Działania na pograniczu wielu dziedzin sztuki przez artystów wizualnych będących jedno-

cześnie muzykami.

- Kino a taniec – analogie w wykorzystaniu ruchu dla celów estetycznych i ruchu powiąza-

nego z muzyką.

- Organy kolorów, jako wizualizacja muzyki.

11

- Taniec, jako przedstawienie audiowizualne.

- Kino rozszerzone, jako eksploracja przestrzennych cech filmu i jego nowych prezentacji.

- Muzyka filmowa, jako kompozycja funkcjonalna współgrająca z estetycznymi założeniami

montażu filmowego.

- Gry komputerowe a warstwa dźwiękowa i muzyczna – poszerzenie funkcji muzyki

i dźwięku w filmie o interaktywną kontrolę tych warstw dźwiękowych przez użytkownika.

- „Gesamtkunstwerk”, utopia zespolenia wszystkich sztuk w jednym dziele, jako idea reali-

zująca się w sztuce cyfrowej, o zintegrowanym środowisku danych i rozmytych granicach

gatunków.

- Graficzna notacja i muzyczna grafika, jako połączenie notacji muzycznej i sztuki wizu-

alnej.

- Sztuka interaktywna tworząca nowe relacje między dźwiękiem a obrazem, dla nowej,

partycypacyjnej roli widza i dla nowego charakteru sztuki, jako zdarzenia a nie obiektu.

- Lingwistyczne przedstawienie dźwięku i obrazu w literaturze, jako pole do eksperymen-

tów semantycznych i strukturalnych.

- Elementy wizualne w muzyce w utworach inspirowanych obrazem i światłem.

- Malarstwo a muzyka, jako model sztuki.

- Wideo muzyczne, jako ilustracja wizualna utworu muzycznego.

- Teatr muzyczny, jako współpraca twórców z wielu dziedzin na rzecz jednego dzieła.

- Sztuka performatywna, jako artystyczna praktyka intermedialna.

- Audiowizualna sztuka komputerowa, jako wizualizacja dźwięku i sztuka generatywna.

- Sonifikacja, jako metoda naukowa i praktyka dźwiękowa.

- „Sound Art”, sztuka dźwięku, jako odchodząca od liniowości i czasowej ograniczoności

muzyki.

- „Sound design”, jako kompozycja dźwięku w filmie współtworząca przestrzeń filmową.

- Wideo, jako sztuka audiowizualna.

12

___________________________________________________________________ Różne dziedziny i idee mogą inspirować w procesie tworzenia dźwięku interaktywnego

w określonym środowisku audiowizualnym. Poniżej znajduje się propozyjca kilku pozycji

książkowych i „internetowych” wskazująca na możliwości poszukiwań inspiracji na temat

przestrzeni i sceny słuchowej, krajobrazu dźwiękowego i historii dźwięku, muzyki

wykorzystującej przestrzeń, jako element kompozycji, muzyki elektroakustycznej, muzyki

interaktywnej, dźwięku w grach komputerowych.

___________________________________________________________________

Strefa przestrzeni w muzyce (W oparciu o pracę doktorską M.A. Harley

„Space and Spatialization in Contemporary Music: History and Analysis, Ideas and

Implementation”)

W latach 50-tych i 60-tych XX wieku wzrosło zainteresowanie przestrzenią, jako

elementem kompozycji muzycznej, a nie tylko zewnętrznym aspektem wykonania

danej kompozycji. Idee filozoficzne i muzyczne z tego okresu mogą stanowić bazę do

poszukiwań dźwiękowych w przestrzeni dźwięku interaktywnego, gdzie można

pokazać mechanizmy percepcji poprzez odpowiedź dźwięku na ruch i gest odbiorcy.

- Muzyka jest sztuką przestrzenno-czasową, a nie tylko czasową.

- Dzieło muzyczne jest niekompletne bez konkretyzacji przez odbiorcę. Przy słuchaniu tego

samego nagrania fizyczna sekwencja dźwięków nie zmienia się, ale zmienia się percepcja

słuchacza (Roman Ingarden).

- Możliwość i doświadczanie ruchu są źródłem wiedzy o otaczającym świecie (Susanne

Langer).

- Ciało człowieka w przestrzeni jest podstawą bycia człowieka w świecie (Maurice Merleau-

Ponty).

- Różnice w polach percepcji dźwiękowej i wizualnej sprawiają, że mamy możliwość słysze-

nia tego, co niewidoczne: znajdujemy się w środku przestrzeni dźwiękowej, a na skraju prze-

strzeni wizualnej (Don Ihde).

- Wiedząc o możliwościach percepcji aktywnego słuchacza, który w sferze percepcji może

wybierać te warstwy muzyczne, których chce słuchać, kompozytor może wykorzystać tech-

nikę niezależnych warstw muzycznych, jako organizację planów dźwiękowych utworu.

Możliwość poruszania się przez słuchacza w rzeczywistej przestrzeni wykonania kompozycji,

wzbogaca percepcję utworu o różne perspektywy (Charles Ives, Henry Brant).

13

- Kompozycja w oparciu o obiekty dźwiękowe o określonych cechach barwowych, dynamicz-

nych i przestrzennych, powinna traktować je jak fizyczne obiekty poruszane w rzeczywistej

przestrzeni (Edgar Varese, Pierre Schaeffer).

- Dla muzyki elektroakustycznej, przestrzeń samej kompozycji nakłada się zawsze na przes-

trzeń wykonania utworu (Denis Smalley).

- Przestrzenna lokalizacja, jako jeden z parametrów dźwięku, umożliwia separację dźwięków

w przestrzeni i zmianę percepcji warstw dźwiękowych utworu poprzez niestandardowe usta-

wienie instrumentalistów w przestrzeni wykonawczej (Karlheinz Stockhausen) czy poprzez

zmiany w ustawieniu instrumentalistów w samej orkiestrze oraz zastosowanie interwałów

przestrzennych w kompozycji (Pierre Boulez).

- Role kompozytora, wykonawcy i odbiorcy-słuchacza zmieniają się, gdy muzyka staje się

procesem i happeningiem (John Cage).

- Praca z przestrzenią i uprzestrzennienie dźwięku w kompozycji jest jej bardzo ważnym

elementem, gdyż wszystkie dźwięki są z natury przestrzenne (Alvin Lucier).

- Słyszenie jest jak dotyk na odległość (Murray Schafer).

___________________________________________________________________ Sfera elektroakustyczna

(W oparciu o książkę L.Landy

“Understanding the Art of Sound Organization”,

http://www.ears.dmu.ac.uk )

Książka i strona internetowa (EARS – ElectroAcustics Resource Site) przedstawia

obszerny słownik oraz klasyfikacje różnych zjawisk, gatunków, działań związanych z

obszarem elektroakustycznej muzyki i dźwięku.

Muzyka elektroakustyczna, jako interdyscyplinarna, łączy w sobie takie dziedziny jak

kompozycję muzyczną, akustykę, psychoakustykę, teorię percepcji, fenomenologię, przetwa-

rzanie sygnałów, techniki obliczeniowe i inne. Jednocześnie wszelkie inne działania mające

swoją podstawę w dźwięku mają bardzo różnorodny i szeroki zakres. Stąd też potrzeba kate-

goryzacji sztuki związanej z dźwiękiem, jak i próby ujednolicenia terminologii.

Prace związane z projektem EARS nakierowane są na stworzenie systematyki i słownika

w zakresie zdefiniowania obszaru i dyscyplin objętych badaniami, gatunków muzyki elektroakus-

tycznej, muzykologii muzyki elektroakustycznej, praktyki wykonawczej i prezentacji muzyki elek-

troakustycznej, struktur muzycznych, produkcji dźwiękowej i przetwarzania dźwięku.

14

___________________________________________________________________ Strefa muzyki komputerowej

(W oparciu o książki:

C. Roads, “The Computer Music Tutorial”,

R. Rowe, “Interactive Music Systems. Machine Listening and Composing”)

Projekty powiązane z dźwiękiem interaktywnym i muzyka komputerowa często mogą

całkiem pokrywać się albo różnić się sygnałem wejściowym, rodzajem analiz i

odpowiedzi systemu interaktywnego, ale schemat działania, narzędzia, obliczenia

mogą być wykorzystane te same.

Pojęcie muzyki komputerowej obejmuje różne dziedziny działalności muzycznej

wykorzystującej komputer do procesu tworzenia kompozycji muzycznej, zarówno na pozio-

mie samego przygotowywania materiału dźwiękowego jak i na poziomie generowania par-

tytury oraz wykonania utworu. Komputer może być wykorzystywany na etapie przygotowania

utworu lub w czasie rzeczywistym podczas jego wykonania.

Dziedzina muzyki komputerowej rozwija się w oparciu o szeroki zakres wiedzy z róż-

nych dyscyplin: kompozycji, akustyki, psychoakustyki, fizyki, przetwarzania sygnałów, wyko-

nawstwa, informatyki, elektroniki, stąd też potrzebne jest powiązanie zagadnień technologi-

czno-informatycznych z ich zastosowaniami muzycznymi.

Podstawowe zagadnienia związane z muzyką komputerową obejmują: metody syn-

tezy dźwięku, miksowanie i przetwarzanie sygnału dźwiękowego, metody analizy sygnału

dźwiękowego – wysokości dźwięku, rytmu i widma dźwięku, rodzaje interfejsów i rozpozna-

wanie gestów wykonawcy, języki programowania, algorytmy generacyjne, protokół MIDI,

połączenia sieciowe, percepcja dźwięku, podstawy matematyczne dla muzyki komputerowej.

Jednym z rodzajów muzyki komputerowej jest muzyka interaktywna, w której oprogra-

mowanie interpretuje wykonanie utworu i w odpowiedzi wykazuje zmienne zachowanie w

zależności od sygnału wejściowego i zaprogramowanych reguł działania, w postaci zmiany

generacji przebiegu muzycznego lub zmiany parametrów przetwarzania dźwięku.

System muzyki interaktywnej składa się z dwóch podstawowych modułów działają-

cych w czasie rzeczywistym:

- moduł „słuchacza” – program analizujący przebieg sygnału wejściowego, aby wyodrębnić

predefiniowane struktury muzyczne, atrybuty dźwięku oraz zachowania się dźwięku w czasie

i przesłać tę informację w określonym formacie do modułu „grającego”,

15

- moduł „grający” – program realizujący przygotowane algorytmy kompozycyjne i procedury

przetwarzania dźwięku w odpowiedzi na przesłane dane z analizy z modułu „słuchacza”.

Połączenie między dwoma modułami może być konfigurowalne: poszczególne odpo-

wiedzi drugiego modułu mogą być przypisane odpowiednim zakresom danych z analizy pier-

wszego modułu. Konfiguracja ta może być zmienna w czasie w sposób ciągły lub może być

zmieniana dla poszczególnych części utworu.

___________________________________________________________________ Strefa przestrzeni słuchowej [Aural Architecture, Sonic Architecture, Auditory Culture]

(W oparciu o książkę B.Blesser i L.Salter

“Spaces Speak, Are You Listening? Experiencing Aural Architecture”)

Obserwacje i pojęcia dotyczące przestrzeni architektonicznej i sceny słuchowej

można wykorzystać do zastanowienia się nad zachowaniem się dźwięku i obrazu w

interaktywnej przestrzeni audiowizualnej i pokazania powiązania tej przestrzeni z

obecnością widza.

W książce analizowana jest przestrzeń słuchowa w kontekście przestrzeni widzialnej,

ich podobieństwa i różnice i konsekwencje z tego wynikające.

Każda przestrzeń może być odbierana nie tylko wzrokowo, ale i słuchowo. Można jej

doświadczyć poprzez uważne słuchanie, a unikalne właściwości akustyczne różnych przes-

trzeni naturalnych i architektonicznych mają silny wpływ na ich percepcję i znaczenie,

w określonym kontekście społecznym.

Najczęściej w projektowaniu przestrzeni architektonicznej największą wagę ma strona

wizualna i czysto akustyczna, architektura słuchowa jest pomijana, choć wszyscy w prze-

strzeni słuchowej funkcjonujemy. To, że możemy nauczyć się „słyszeć” układ przestrzenny

i obiekty w przestrzeni, nie jest w pełni uznawane przez ludzi widzących. A taka umiejętność

pozwala docenić działania zmierzające do zmiany lokalnej akustyki, poprzez zmiany mate-

riałów i obiektów w przestrzeni czy też „rzeźby słuchowe”. Przy czym świadomość przes-

trzeni słuchowej zawiera się również w rozpoznawaniu kontekstu społecznego i jej wpływu

na zachowanie ludzi w danej przestrzeni.

Można wyróżnić cztery aspekty słuchowej architektury: socjalny, nawigowalny, este-

tyczny, przestrzenny w sensie muzycznym.

16

Wybrane poniżej pojęcia i zjawiska powiązane z architekturą słuchową ułatwiają zde-

finiowanie znaczenia i obszaru jej wpływu oraz umożliwiają porównania ze sferą widzialną.

- Aktywność ludzka wytwarzająca dźwięk, a nie światło.

- Iluminacja dźwiękiem, jako artefakt działań społecznych.

- Scena dźwiękowa i dynamiczny krajobraz dźwiękowy (przy zwykle statycznej architekturze

widzialnej),

- Przekształcanie doświadczania zdarzeń dźwiękowych, poprzez architekturę słuchową.

- Zanurzenie słuchacza w przestrzeni odpowiedzi dźwiękowych.

- Znaczenie pamięci słuchowej w słyszeniu przestrzeni: waga czasu w percepcji dźwięku

związana z prędkością rozchodzenia się dźwięku, nakładanie się istniejącego dźwięku na

dźwięk „z przeszłości”,

- Możliwość usłyszenia atrybutów przestrzeni (objętość), których nie można zobaczyć.

___________________________________________________________________

Strefa krajobrazu dźwiękowego [Soundscape, Soundwalks, Sound Map, Acoustic Ecology, Listening Day]

(W oparciu o książki R.Murraya Schafera

„The Soundscape: Our Sonic Environment and the Tuning of the World”

oraz “100 Exercises in Listening and Sound-Making”)

Klasyfikacje otaczających nas dźwięków, historia dźwięków i zmiany krajobrazu

dźwiękowego dają podstawę do świadomego tworzenia własnych przestrzeni

dźwiękowych w projektach interaktywnych.

Książka Murraya Schafera „The soundscape” stanowi obszerne omówienie

zagadnień związanych z krajobrazem dźwiękowym, jego elementami i zmianami

historycznymi wynikającymi z działalności człowieka. Proponuje edukację w

dziedzinie świadomego słuchania oraz rozwijanie dziedziny projektowania

akustycznego mieszczącego się pomiędzy nauką, socjologią i sztuką. Podkreśla rolę

muzyki w kształtowaniu krajobrazu dźwiękowego i jego wpływu na zachowanie się

człowieka.

Krajobraz dźwiękowy zmienia się w kolejnych epokach poprzez powstawanie zupeł-

nie nowych dźwięków, zmianie ich jakości i intensywności. Obecnie dźwięk zaczyna mieć

coraz większe znaczenie w każdej dziedzinie życia zawodowego i prywatnego. Stąd też

potrzeba analizy i badania tego zagadnienia, badania zależności między ludźmi a dźwiękami

17

związanymi z ich środowiskiem, potrzeba badania „zanieczyszczenia” środowiska dźwię-

kowego, takimi dźwiękami, które są ignorowane i odrzucane oraz potrzeba wpływania

w sposób pozytywny na krajobraz dźwiękowy.

Analizowanie krajobrazu dźwiękowego obejmuje wiele zagadnień związanych

z dźwiękiem oraz z porównywaniem dźwięku ze sferą widzenia:

- Opisywanie krajobrazu dźwiękowego i trudności związane z opisem dźwięku poprzez „mil-

czące” pismo i rysunki.

- Porównanie krajobrazów dźwiękowych w różnych epokach i trudności związane z brakiem

możliwości posłuchania rzeczywistego dźwięku (brak „muzeów dźwiękowych”, analiza w

oparciu o przekazy w literaturze, w sztuce).

- Określenie głównych cech krajobrazu dźwiękowego (dźwięki bazowe, sygnały, dźwięki uni-

kalne).

- Określenie rodzajów krajobrazów dźwiękowych (wiejski, miejski, sakralny, świecki…).

- Analiza dźwięków uważanych za hałas w różnych epokach historycznych (regulacje

prawne).

- Analiza wpływu rewolucji technologicznych na krajobraz dźwiękowy.

- Analiza zmian charakteru dźwięków związanych z urządzeniami technicznymi.

- Analiza zmian percepcji dźwięków.

- Tworzenie klasyfikacji dźwięków według ich właściwości fizycznych, psychoakustycznych,

semantycznych i estetycznych.

- Obserwacje krajobrazu dźwiękowego i tworzenie map dźwiękowych i map hałasu.

- Poznawanie krajobrazu dźwiękowego poprzez spacery dźwiękowe.

- Tworzenie programów nauczania dotyczących świadomości słyszenia, poznawania otacza-

jących dźwięków, solfeżu przestrzennego.

18

___________________________________________________________________ Strefa urbanistyki i architektury

(W oparciu o książkę Kazimierza Wejcherta

“ Elementy kompozycji urbanistycznej”)

Tworząc nawigowalne przestrzenie interaktywne można sięgnąć do różnych

przydatnych zasad istniejących już dziedzinach zajmujących się projektowaniem

rzeczywistej przestrzeni dla jej mieszkańców - obserwatorów.

Wybrane zagadnienia związane z projektowaniem urbanistycznym:

- Kompozycja urbanistyczna i architektoniczna powinna brać pod uwagę oddziaływanie form

przestrzennych na doznania poruszającego się w niej człowieka - obserwatora.

- Przestrzeń świadomie zorganizowana w celu oddziaływania na patrzącego obserwatora

może wpływać na niego emocjonalnie oraz może uczyć patrzenia i dostrzegania elementów

otaczającego środowiska.

- Na kompozycję przestrzeni składają się zróżnicowane rejony, pasma graniczne, dominanty,

punkty węzłowe i znaki szczególne.

- Dla rozległych kompozycji przestrzennych wzrasta rola czasu, jako ważnego czynnika,

który musi być uwzględniony w rozwiązaniach kompozycyjnych.

- Ciągi czasoprzestrzenne muszą być dostosowane do możliwości percepcyjnych człowieka

przy danej prędkości przemieszczania się.

- Subiektywny odbiór zaprojektowanej przestrzeni jest silnie uzależniony zarówno od zmien-

nych warunków zewnętrznych jak i od obserwatora – jego wiedzy, doświadczeń i nastroju

w danej chwili. Siła przeżywania przestrzeni jest bardzo zróżnicowana: od pozornego niedo-

strzegania dobrze znanej przestrzeni, po duże zainteresowanie nowymi czy zmiennymi kom-

pozycjami przestrzennymi.

- Postrzeganie przestrzeni uzależnione jest też od kontekstu społecznego – oglądania indy-

widualnego, we dwoje czy w dużej grupie. Pierwsza z tych sytuacji, odbiór indywidualny,

stwarza warunki do powstawania najbardziej niezależnych ocen przestrzeni, bez wpływu

grupy czy drugiej osoby. Odpowiednie zaprojektowanie przestrzeni może stwarzać warunki

właśnie takich indywidualnych doznań.

19

___________________________________________________________________ Strefa dźwięku gier komputerowych

(W oparciu o www.iasig.org, WWise – www.audiokinetic.com, UDK – www.udk.com)

Struktura gry komputerowej wymaga zastosowania dźwięku interaktywnego. Taki

sam mechanizm działania i zasady projektowania obiektów dźwiękowych z ich

atrybutami i zachowaniami, może być również wykorzystany w projektach

artystycznych.

Dźwięk w grach komputerowych może pełnić rolę semiotyczną, emocjonalną, strukturalną,

narracyjną, immersywną, kinetyczną i estetyczną. Obecnie dźwięk ten nie odbiega od stan-

dardów dźwięku wysokiej jakości, często jest to dźwięk przestrzenny. Gry komputerowe, ze

swej natury interaktywne, wymagają tworzenia dźwięku nieliniowego i interaktywnego, szy-

bko reagującego na zachowania użytkownika we wszystkich warstwach dźwiękowych gry,

nie tylko w warstwie efektów synchronicznych, ale również dla efektów asynchronicznych

i atmosfer oraz muzyki. Ze względu na istniejące ograniczenia każdej z platform sprzęto-

wych, projektowanie dźwięku musi uwzględniać ograniczenia pamięci, ograniczenia czasowe

przy utrzymaniu możliwie najlepszej jakości dźwięku.

Środowiska do pracy nad dźwiękiem do gier komputerowych umożliwiają oddzielenie części

dotyczącej dźwięku od całego projektu tak, aby osoba odpowiedzialna za dźwięk mogła pra-

cować w dużym stopniu samodzielnie, równolegle do programowania gry, z możliwością tes-

towania z grafiką i możliwością pełnej integracji z całym środowiskiem gry.

W pracy nad dźwiękiem w jednym projekcie dostępne są wszystkie dane dotyczące ruchu

i dźwięku dla danej gry, co umożliwia pracę nad:

- zarządzaniem obiektami dźwięków, dialogu, muzyki i ruchu oraz budowanie hierarchicz-

nych struktur między tymi obiektami,

- zarządzaniem bibliotekami dźwięków,

- definiowaniem parametrów obiektów (głośność, wysokość, lokalizacja…) i zasad odtwa-

rzania przypisanym im dźwięków (przypadkowa, sekwencyjna…),

- tworzeniem zdarzeń związanych z akcją i dialogiem, które wyzwalają dźwięk i ruch w grze,

- definiowaniem zależności między obiektami dźwiękowymi a zdefiniowanymi parametrami

gry zmieniającymi się w czasie rzeczywistym,

- tworzeniem wersji prototypowych i symulacji dla różnych platform sprzętowych i wersji języ-

kowych.

20

____________________________________________________________ Część III Typy projektów interaktywnych. Przykłady audiowizualne.

___________________________________________________________________ Strategia instrumentu 1. TheFunTheory.com – Piano Staircase

Schody w przejściu podziemnym zamienione w klawiaturę fortepianową, wpływające na

zachowanie ludzi.

2. Toshio Iwai – Resonance of 4

(Barbican Arts Centre, Londyn 1997)

Cztery myszy pozwalające na wpisywanie punktów na czterech siatkach graficznych,

stanowiących zapis dźwięków muzycznych, odtwarzanych synchronicznie.

3. Gregory Lasserre, Anais met den Ancxt – Akusmaflore

(WRO 09 13. Biennale Sztuki Mediów, Wrocław 2009)

Rośliny reagujące na oddziaływanie człowieka poprzez własny strumień dźwięku.

4. Paweł Janicki – Mapping Chopin

(Warszawska Jesień, 2010)

Zapis pianolowy wyświetlany na podłodze, uruchamiany przez ruch słuchaczy.

5. Marek Chołoniewski, Krzysztof Knittel – qub

(Warszawska Jesień, 2010)

Harfa ISA, rama z „niewidzialnymi” strunami, jako interfejs dla różnorodnych kompozycji

dźwiękowych.

6. Krzysztof Czaja, Andrzej Kopeć – Chopout

(Warszawska Jesień, 2010)

Improwizacja pianisty na instrumencie disklavier stanowiąca materiał do odpowiedzi

muzycznej komponowanej przez komputer.

Zadania: 1. Przygotowanie algorytmicznego materiału dźwiękowego dla harfy ISA.

2. Przygotowanie dwóch graficznych tablic do wpisywania krótkich przebiegów

melodycznych odtwarzanych synchronicznie.

3. Etiuda na jeden tłumik – synteza algorytmiczna dźwięku z jednym zmiennym

parametrem.

21

___________________________________________________________________ Strategia archiwum 1. Perry Hoberman – Bar Code Hotel

(Walter Phillips Gallery, Banff, Kanada 1994)

Czytnik kodów paskowych jako interfejs pozwalający na dostęp do „archiwum”

zgromadzonych obiektów i ich zachowań, wraz z odpowiadającymi im dźwiękami

synchronicznymi.

2. Exploratorium, The Museum of Science, Art And Human Perception, San Francisco

Listening Memory Game - projekty popularyzujące wiedzę o słuchaniu i uczące słuchać.

3. Akustikon, Linz (2009)

a. The Polyphon (I) Harmonia mundi

b. The Polyphon (II) Forbidden Sounds

Polyphon - struktura z wieloma małymi szufladami, których otwarcie pozwala na

usłyszenie schowanego dźwięku.

4. Christian Moeller – On Air

(Castle Eggenberg, Graz, 2003)

Dźwiękowa instalacja interaktywna, w której dotknięcie fizycznych obiektów umożliwia

usłyszenie audycji w różnych językach nadawanych poprzez satelitę.

Zadania:

1. Projekt wirtualnego muzeum dźwięków różnych (dział historyczny, dział dźwięków ukry-

tych dla wzroku, dział dźwięków ruchomych, dział kroków etc.).

2. Baza transpozycji melodii wywoływanych przez wybór dźwięku początkowego, spośród

pochodu chromatycznego. Ilustracja zjawiska synestezji poprzez przypisanie różnych

kolorów dla wszystkich dźwięków chromatycznych.

3. Mapa utworu muzycznego, jako zestawu zapętlonych kolejnych fraz muzycznych, dostę-

pnych równocześnie w postaci graficznych elementów.

(na podstawie instalacji wizualnej: Norbert Pfaffenbichler - Mosaik Mécanique – WRO

2009)

22

___________________________________________________________________ Interaktywność wewnętrzna 1. Sonifikacja wyników sportowych na Olimpiadzie 2010

(strona internetowa The New York Times)

Dane wejściowe: baza wyników dla różnych dyscyplin sportów zimowych.

2. Chris Chafe, Greg Niemeyer – Ping

(SFMOMA 010101: Art in Technological Art, San Francisco 2001)

Dane wejściowe: internetowe komunikaty ping z różnych lokalizacji – sonifikacja zjawiska

transmisji danych.

3. Paweł Janicki – NetEater: DataTower – instalacja/rzeźba generatywna

(Upgrade 2.0, ASP Warszawa 2009)

Dane wejściowe: skanowana sieć komputerowa ASP – wizualizacja i sonifikacja ruchu

danych w sieci lokalnej.

Zadania:

1. Sonifikacja rozkładów dnia poszczególnych studentów wydziału I lub VI UMFC, poprzez

mapowanie w czasie różnych typów zajęć na wybrane parametry dźwięku.

2. Analiza dźwięku pomieszczeń uczelni i synteza dźwięku kontrolowanego przez

parametry analizowanego dźwięku.

3. Wizualizacja melodii: wysokości dźwięku, interwałów, rytmu, tempa.

23

____________________________________________________________ Dodatek Media interaktywne na rynku pracy ( W oparciu o http://www.skillset.org oraz http://www.interactiveselection.com)

Media interaktywne obejmują każdy przekaz, który pozwala użytkownikowi być akty-

wnym uczestnikiem modyfikującym zawartość i kształt tego przekazu. Jest to pojęcie bardzo

szerokie, bardzo różnie rozumiane przez poszczególne osoby, a obejmujące różnego

rodzaju „produkty”: strony sieciowe, interaktywne banery reklamowe, multimedialne płyty CD

i DVD, interaktywne elementy płyt wideo DVD czy Blu-ray, interaktywne programy telewi-

zyjne, interaktywne projekty dla urządzeń przenośnych, gry komputerowe - i również sztukę

interaktywną. Media interaktywne wykorzystywane są w szeroko rozumianej komunikacji,

e-learningu, rozrywce, turystyce i sztuce.

Pojęcie mediów interaktywnych funkcjonuje na rynku pracy, jako oddzielna dyscy-

plina, która wykorzystywana jest w coraz większej części rynku medialnego. Stanowiska

związane z interaktywnymi mediami obejmują projektantów, specjalizujących się w tworzeniu

projektu produktu zgodnego z założeniami wyglądu i sposobu odbioru, deweloperów/progra-

mistów, tworzących dany produkt według projektu oraz producentów i menedżerów projektu

zarządzających produkcją. Projektowanie i tworzenie produktów mediów interaktywnych

związane jest z jednej strony z kreatywnością i zdolnościami artystycznymi, a z drugiej strony

z posiadaniem wiedzy interdyscyplinarnej od rozumienia zasad interaktywności i percepcji

audiowizualnej człowieka, podstaw socjologii, po znajomość bieżących możliwości techno-

logicznych, konkretnych narzędzi multimedialnych i środowisk programowania.

Edukacja dla potrzeb mediów interaktywnych nie może być edukacją zawężoną do

jednej specjalizacji, a wymaga szerokiego spojrzenia na tę dziedzinę i umiejętności ciągłego

samokształcenia się.

24

_________________________________________________________ Bibliografia

Manovich, Lev, Język nowych mediów, Wydawnictwa Akademickie i Profesjonalne

Warszawa 2006,

Levinson, Paul, Nowe nowe media, Wydawnictwo Wam Kraków 2010,

Chmielecki, Konrad, Estetyka intermedialności, Wydawnictwo RABID Kraków 2008,

Kluszczyński, Ryszard W., Sztuka interaktywna. Od dzieła-instrumentu do

interaktywnego spektaklu, WAiP Warszawa 2010,

Daniels, Dieter; Naumann, Sandra; Thoben, Jan (red.) See this Sound.

Audiovisuology. Compendium. An Interdisciplinary Survey of Audiovisual Culture,

Verlag der Buchhandlung Walter Konig 2009

Harley, M.A. Space and Spatialization in Contemporary Music: History and Analysis,

Ideas and Implementation. Montreal: McGill University 1994,

Landy, Leigh, Understanding the Art of Sound Organization, The MIT Press 2007,

Rowe, Robert, Interactive Music Systems – Machine Listening and Composing, The

MIT Press 1994,

Roads, Curtis, The Computer Music Tutorial, The MIT Press 1996,

Blesser, Barry; Salter Linda-Ruth, Spaces Speak, Are You Listening? Experiencing

Aural Architecture, The MIT Press 2007,

Schafer, Murray, The Soundscape. Our Sonic Environment and the Tuning of the

World, Destiny Books 1977, 1994,

Schafer, Murray, Poznaj dźwięk. 100 ćwiczeń w słuchaniu i tworzeniu dźwięków,

Brevis 1995,

Wejchert, Kazimierz, Elementy kompozycji urbanistycznej, Arkady 1974