[Achtergrond] Muziek voor Games

Samenvatting door Jelmer Bron van het artikel "APPROACHES TO CREATING REAL-TIME ADAPTIVE MUSIC IN INTERACTIVE ENTERTAINMENT: A MUSICAL PERSPECTIVE"

Introductie:
Zoals iedereen weet zijn muziek en film sinds jaar en dag verbonden aan elkaar. Dit gebeurde voor het eerst op 28 december 1895 toen een pianist een serie van korte films van de gebroeders Lumière begeleidde in het Grand Café in Parijs. Muziek wordt voornamelijk gebruikt om de emoties bij een visueel stuk te onderbouwen. De reden dat dit zo goed werkt is dat een film zich in een vaste lijn afspeelt. Dit worden dan ook wel lineaire stukken genoemd. Hierdoor kan de muziek er makkelijk onderschreven worden. Door bepaald hitpoints te pakken, en het aantal maten te berekenen wat stuk nodig heeft kan hier een compositie onder gemaakt worden. Bij games ligt dit echter anders. Neem bijvoorbeeld een typische first-person game, waarin de illusie wordt gewekt dat je alle vrijheid hebt. Het is dan lastig te voorspellen wat de speler zou gaan doen. Je hebt dan te maken met verschillende variabelen binnen het spel. Zoals: je spelers gezondheid, locaties, eventueel gevaar en je hoeveelheid munitie.
Hier moet de compositie zich dan ook op aanpassen. Het is daarom belangrijk dat er rekening mee gehouden wordt. Bijvoorbeeld: Hoe vaak verandert de muziek aan je omgeving/speler, Wat voor muziek is er dan nodig en het  meeste belangrijke hoe zijn de overgangen van de stukken? Dit allemaal om de juiste game-state te creëren.

1. Geschiedenis van game muziek.

Games werden erg populair vanaf eind jaren zeventig, begin jaren tachtig. De eerste games hadden een computerchip die elektronische geluidsgolven genereerden die zonder onderbreking onder het spel zaten. Deze technische restrictie zorgde voor de herkenbare sound van zowel Pacman als Space Invaders. Midden jaren tachtig kwamen er een aantal consoles uit die gebruik maakte van de Motorola 68000 en de Yamaha YM chip. Deze chips konden in totaal vijf kanalen draaien. Dit zorgde voor een nog betere integratie en een realistische beeld van muziek in games. 
Een console die hier om bekend stond was de Nintendo Famicon. Deze console had vijf kanalen, en kon via een kanaal een PCM (Pulse Code Modulatie) afspelen. Toen muzikanten zich begonnen te realiseren dat er een nieuwe markt was voor hun muziek werden de soundtracks voor games steeds beter. Door deze ontwikkelingen op het technische gebied kwam het idee om in plaats van een statische compositie een interactieve compositie te maken voor games.
Een hoofdrolspeler op dat gebied was LucasArts. Zij hadden in de film wereld een flinke naam opgebouwd en kwamen met een hun eigen systeem genaamd iMuse. Dit systeem bood een interactieve filmische muziek ervaring. In de jaren erna was er de CD-rom die in elke PC en console werd gebruikt. Een uitstekende manier om de muziek in games te verbeteren. Zo werden de sequenced en de gesynthetiseerde geluiden ondersteund door een volledig muziek productie gestreamed van de CD-rom. Door de groei van dit medium zagen bekende artiesten een nieuwe publishing kans en game uitgevers zagen nieuwe markt kansen. Een goede voorbeeld hiervan is Trent Raznor (Nine Inch Nails) die de soundtrack voor de game Quake heeft gemaakt.
Na de wisseling van het millennium kwamen er audio engines zoals FMOD. Dit programma bestaat uit een bibliotheek om geluid te faciliteren over verschillende platformen zoals hardware en software. Met komst van FMOD designer is het mogelijk om complexe audio evenementen en interactieve muziek te beheren, zodat de componist en de programmeur samen kunnen werken zodat alles naadloos aan elkaar komt te liggen. Met de steeds sneller groeiende technologie komen er ook steeds betere interactieve game consoles. Denk bijvoorbeeld aan de Wii, waarbij jezelf de controller bent. En de games worden hier ook op aangepast.

2. Muziek en interactie en interactieve muziek.

Muziek speelt verschillende rollen in de interactieve entertainment. Op sommige punten zorgt het voor leiding en op andere punten ondersteuning van de speler. De muziek geeft een weergave van het gehele spel. Het zorgt er voor dat muziek zich aanpast aan jou game gedrag. Ook wel interactieve muziek genoemd. De term interactieve muziek is nogal vaag. Een artiest die live speelt heeft bijvoorbeeld ook interactie met zijn publiek. Hij speelt, het publiek klapt en daardoor zal het gedrag van de artiest veranderen en het gedrag van het publiek ook. Dit wordt ook wel het two-way feedback proces genoemd. Wat eigenlijk gebeurt heet real-time adaptieve music. De muziek wordt ter plekke aangepast of opnieuw gearrangeerd in respons van actieve speler.

3. Game muziek en hun elementen.

Er zijn verschillende gevallen van game muziek. Deze zijn per genre en context verschillend, maar je kunt ze wel opdelen in vier klassen van gebruik.

3.1 Titelmuziek

Titelmuziek voor games is hetzelfde als een leader voor een radioprogramma en/of een tv programma. Het zorgt voor een bepaalde gemoedsstand voor de game. Het bereid de speler voor op wat voor game-play er plaats gaat vinden. En natuurlijk ook dat het spel geladen wordt.
Dit laatste is niet meer van toepassing voor de nieuwe generatie games. Deze starten in het algemeen veel sneller op. Het eerste werd voornamelijk gebruikt om speler de tijd te laten overbruggen. Deze muziek heeft echter ook een culturele functie door zijn populariteit. Zo worden sommige stukken zelfs live uitgevoerd.

3.2 Menu en Hi-score muziek

Menu muziek is alomtegenwoordig de 'lift muziek' van games geworden. Het is een thema gevarieerd op het hoofdthema. Het zorgt ervoor dat de speler rustig door het menu heen kan gaan zonder verder afgeleid te worden.

3.3 Cut scenes

Cut scene zijn exceptionele sequensen die tussen levels door worden geïntroduceerd worden. Vaak zijn het filmpjes waar de game play even wordt stil gelegd. En de verhaallijn verder wordt verteld. Deze wordt ondersteund door bepaalde muziek die de bij het filmpje hoort bij het behalen van een missie een level of een opdracht.

Een cut scene uit StarCraft II

De arrangementen worden hierbij hetzelfde geschreven als bij een film. Het is dus een lineair stuk wat van te voren vast staat. De compositie dus ook.

3.4 In-game muziek

In-game muziek is muziek die de speler tijdens het spel, en de grote gameplay elementen begeleidt. Hierbij zit de grootste uitdaging om de interactieve muziek te implementeren. De muziek verandert van level tot level, of van situatie naar situatie. Maar meestal reflecteert het de gemoedstoestand, locatie en actie en is vrijwel hetzelfde als in een film. Dit vraagt om een andere aanpak qua componeren. Sommige dingen zijn gekoppeld aan de groei van een karakter binnen de game. Dit komt voornamelijk voor in perspectieven first-person en third-person shooters.

3.5 Event-driven cues.

Veel games maken gebruik van event-driven cues. Voornamelijk platform en scrolling games. Deze events zitten voornamelijk als een laag onder het spel en geven korte muzikale fragmenten weer bij het het behalen van level starts, het verliezen van levens, bonussen en power-ups. Al zijn ze niet heel erg adaptief de losse elementen werken wel effectief tijdens de game. Tevens moeten alle losse elementen goed samen smelten met de andere muzikale elementen binnen de game. Dit zorgt voor veel problemen bij de game componisten.

4 Aanpak van Real-Time adaptieve muziek.

Sinds de midden jaren negentig zijn er drie hoofdmethodes voor het implementeren van adaptieve muziek binnen game engines.

4.1 Event-driven music cues

De simpelste en de meest effectieve adaptieve muziek systeem-engine is gebaseerd op de event-driven cues. Dit systeem volgt de game en zorgt voor de juiste muzikale cues in juiste game state komt. Deze cues bestaat vaak uit een simpele melodie die ervoor zorgen dat de game de juiste feel krijgt.

4.2 Horizontale re-sequencing

Horizontale re-sequencing is eigenlijk een verfijndere techniek van het vorige methode en deze arrangeert van te voren opgenomen sequensen van muziek in real-time in respons van de game state variabelen. Er wordt hier vooral met loops gewerkt. De sequens begint met een loopje, en zal vervolgens naadloos over schieten in de tweede loop bij een belangrijke verandering binnen het spel.

Een uitleg-filmpje over horizontale re-sequencing
(van Nederlandse bodem)

4.3 Verticale Re-orkestratie

Dit systeem werkt volgens eenzelfde methode als horizontale re-sequencing, maar dit system mixt de tracks real-time, door tracks weg te laten vallen, of door er meer aan toe te voegen. Tevens kan deze methode meer variabelen binnen de game sturen. Hierdoor kun je dus voor elke parameter een aparte track maken.
Het succes van dit systeem ligt vooral in muzikale context. Alles je tracks niet correct overlopen door de verschillende stages zal het systeem minder goed tot zijn recht komen.

5 Muziek in actie

De technieken leunen op een hele strakke integratie tussen technische en creatieve componenten. Voornamelijk de zwaktes zullen aan het licht komen tijdens de overgangspunten, omdat het systeem niet lineair is. Hierdoor zul je het systeem dus moet laten aangeven wanneer hij de cues moet geven. En er voor zorgen dat de melodische en de harmonische stukken zich hier op gaan aanpassen. Crossfaden van stukken is een manier op dit te doen. Je kan hier makkelijk stukken rustig naar elkaar over laten lopen, maar bij plotselinge veranderingen zul je een stuk moeten creëren met een overbrugging of een stop. Deze zullen van te voren gecodeerd moeten zijn, zodat het systeem zelf in real-time het stuk kan aanpassen op het juist moment.
In de praktijk is de taak van het matchen van tevoren geschreven sequensen bibliotheken van muzikale events van het spel afhankelijk van de onderliggende mapping van de gameplay en de gecomponeerde parameters. Omdat dit systeem zich steeds verder ontwikkelt zullen er in de toekomst steeds beter mappings van de verschillende parameters gaan komen. Om dit allemaal te kunnen doen zullen er nieuwe complexe algoritmes geschreven moeten worden. Dit om ervoor te zorgen dat alles nog geloofwaardiger in beeld komt. De fundamenten van dit alles is natuurlijk een combinatie van beeld en geluid. Als de graphics realistisch zijn is er al gauw spraken van een wow-effect. Adaptieve muziek mits goed gedaan zal deze beelden kunnen versterken zonder echter in de voorgrond te treden. In interactieve en non-lineaire systemen worden de curven van de muziek bepaald door de speler. Dit maakt synchronisatie en anticipatie bijna onmogelijk.

6 Procedureel en algoritmische benadering van game muziek

Algoritmische en procedurele generatie (generatieve) routines, die real-time componeren in reactie op game-states hebben een interessante kansen. De sleutel om dit te benaderen is gekoppeld aan de compositie en het gedrag, en de extensie van het spel.

6.1 Gameplay als een dynamisch controle systeem.

Een andere manier op dit probleem aan te pakken is om het controle systeem voor de muziek een eigen systeem te geven. Deze zal dan reageren op het gedrag binnen de game, zodat deze strak aan elkaar zullen aansluiten. Het probleem wordt er dan een van abstracties om de verschillende parameters de juist mapping van de muziek te geven. Sterker nog het geeft nog een ander probleem. Zo’n systeem zou gebaseerd moeten worden op een onverwachte gameplay. Dit om het ervoor te zorgen dat muziek er zo effectief mogelijk uitkomt.

6.2 Muziek als een dynamische controller

Het is ook mogelijk om het tegenovergestelde van dit idee te gebruiken. Zoals eerder aangegeven zijn er enkele games die gebaseerd zijn op de muziek als gameplay. Ze zorgen ervoor dat de het spel dus om de muziek draait. Deze worden dan vaak bestuurd met controllers die lijken op instrumenten. Er is geen enkele reden om deze methode niet op andere genres toe te passen. Het proces zal nog steeds bestaan uit abstracties en mapping,  maar het heeft lineaire muziek als basis. Deze tracks moeten dan wel capabel zijn moet die pieken die het spel heeft, en dan zou de componist meer aanwezig moeten zijn bij het maken van de game zelf.

6.3 Procedurele Ambiance

Meestal ligt er als een onderliggende lijn voor de compositie een ambiance track. Dit meestal een compositie waar geen ‘muzikale’ lijnen voor worden gebruikt, maar waar sounds, omgevingsgeluiden etc plaats vinden. Omdat er in games meer dan 100 uur aan muziek kan zitten is het natuurlijk onmogelijk om hiervoor ook een ambiance track te maken. Om zoveel mogelijk variaties te maken op een ambiance is er een algoritme ontwikkelt op basis van priemgetallen. Je neemt drie verschillende ambiance track met lengtes van 3, 5 en 7 seconde, deze stream je tegelijkertijd dan zal er geen complete cyclus zijn tot 3 x 5 x 7 = 105 seconden. Dus als je tracks van variërende secondes maakt zul je eindeloos kunnen herhalen. Tevens moet de compositie wel gemaakt worden, en deze moeten goed aansluiten op elkaar.

6.4 Improvisatie als model voor een real-time adaptief muziek

We kennen de term improviseren als iets wat muzikanten doen zonder enige voorbereiding. Dit systeem zou je ook kunnen gebruiken als basis van een game systeem. Je kunt een improvisatie opdelen in twee verschillende soorten: melodische improvisatie en ritmische improvisatie.
Door een van te voren soundtrack te gebruiken en hier een hieraan een aantal spelregels te koppelen. Is het vrij eenvoudig om een script te maken dat de muziek steeds zal laten variëren. Door te beginnen met stukken met  relatief weinig maten, en deze steeds verder uit te bouwen zou het mogelijk kunnen zijn dit te realiseren. Maar zoals bij al het andere ideeën moet er een systeem voor gebouwd worden en de motieven moeten op juist manier geschreven worden.

7. Conclusie

We hebben nu vastgesteld dat computergames en films twee totaal verschillende media zijn. Terwijl er toch redelijk wat overeenkomsten zijn. Bij beide elementen wordt de muziek gebruikt om de beelden te versterken. Maar we komen tot conclusie dat bij de game muziek veel is gebeurt, en er nog veel gaat gebeuren. Veel dingen worden opgelost, maar er blijven ook veel dingen open voor nader onderzoek. Ook dat de componisten er veel werk aan hebben om alles vloeiend te laten verlopen. Met dit ons achterhoofd geeft ons genoeg ruimte om de huidige systemen steeds verder te ontwikkelen.

Jelmer Bron schreef in het kader van zijn opleiding aan de faculteit Muziek-technologie deze uitstekende samenvatting van een artikel over interactieve muziek, met de fraaie titel:
"APPROACHES TO CREATING REAL-TIME ADAPTIVE MUSIC IN INTERACTIVE ENTERTAINMENT: A MUSICAL PERSPECTIVE" van Dr. Kenneth B. McAlphine e.a., en zoals gepresenteerd op de 35e Internationale AES Conferentie.

|

Verwante artikelen

Het, vele awards winnende, spel Red Dead Redemption staat ook bekend om de grandiose soundtrack...

Componisten Stan Koch en Than van Nispen tot P van het...

De Internationale ComputerMuziek Conferentie is een van de meest belangrijke computer-muziek...

Dit jaar is het 10-jarige jubileum van het veelbesproken gamebedrijf Sonic Picnic! Dit...

In de context van 'Een geschiedenis van de Game Muziek' verdient pop muziek...

Google Ads