Dome Conductor

Grunden för upplevelsen är en inspelning av Sveriges Radios Symfoniorkester under ledning av chefsdirigent Daniel Harding, som framför de första 90 sekunderna av Beethovens femte symfoni - en av de mest igenkännliga och krävande öppningarna i klassisk musik. Vi filmade orkestern med en vidvinkelkamera som fångade hela konserthallen, och producerade material som kunde mappas på den 180° stora domen och spelas upp i variabel hastighet. Flera tagningar spelades in under två sessioner, tillsammans med extra material för spelifieringselement där orkestern reagerar på besökarens framgång eller misslyckande. Orkesterns egna ljudtekniker gjorde en professionell ljudinspelning som används som soundtrack.

Den centrala utmaningen var att översätta en besökares dirigeringsgester till en tidssignal som styr orkesterns uppspelning. Forskare vid KTH utvecklade en maskininlärningsmodell tränad på rörelsedata från flera dirigenter - från erfarna professionella till studenter - som alla dirigerade samma inspelning. Varje dirigent bidrog med sin egen stil och tolkning, vilket gav modellen ett brett ordförråd av dirigeringsrörelser att lära sig från. I domen ersatte vi den rörelsefångstdräkt som användes under forskningen med en enklare kamerabaserad lösning - en enda skelettspårare som läser besökarens rörelser i realtid. Det gjorde lösningen praktisk för en museemiljö: ingen dräkt att ta på sig, ingen kalibrering, bara kliv upp och börja dirigera. Systemet läser besökarens gester och skickar en tidssignal till vår uppspelningsmotor, som spelar inspelningen i motsvarande tempo. Tillsammans med SMASH byggde vi hela realtidspipelinen som kopplar gestinput till domuppspelning.

Besökaren står i mitten av Wisdome Stockholms domteater, omgiven av en 180° projektion av orkestern. Skalan är livslik - musikerna fyller besökarens synfält precis som de skulle göra från en riktig dirigentpulpet. När besökaren lyfter händerna och börjar dirigera, följer orkestern efter. Rör dig snabbare och musiken accelererar. Pausa, och orkestern väntar. Upplevelsen varar cirka 90 sekunder och innehåller spelifiering: om besökaren inte lyckas kommunicera tydligt blir orkestern synligt missnöjd. Lyckas besökaren, applåderar de. En instruktionsvideo ger väntande besökare en snabbkurs i grundläggande dirigeringsmönster innan det är deras tur. Installationen öppnade på Tekniska museet 2025 och har upplevts av hundratals besökare hittills - många av dem barn som möter en symfoniorkester för första gången.