Zo werkt het geautomatiseerd inkleuren van historische foto's

Yoeri Nijs  | Deel:  
Artikel-plaatje

Beeld: Defensieminister Lim Kim San van Singapore houdt een toespraak (1969), ingekleurd door Colourise.sg.

Wie aan oude beelden denkt, denkt waarschijnlijk snel aan zwartwitbeelden. Soms duiken ook gekleurde beelden op. Vaak zijn dit fragmenten die door anderen jaren later handmatig zijn ingekleurd. Computers kunnen hier tegenwoordig bij helpen. Maar hoe werkt dit?

Intensieve klus
Het is iets waar je bij het bekijken van ingekleurde beelden misschien niet overna denkt. Het kleuren van historische zwartwitfragmenten is een intensieve klus. Dat zegt kunstenaar Jordan Lloyd. Lloyd kleurt beelden in en verdient daar zijn brood mee.

“Je kijkt naar de hele compositie. Als je de foto’s inkleurt, kijk je naar de kleine details die voorheen niet opvielen”, vertelt de Brit, die zelf foto’s heeft ingekleurd van onder meer D-day, Times Square en indianen, tegen het Amerikaanse mediabedrijf Vox.

Betrouwbaarheid van kleuren essentieel
Een artiest onderscheidt zich met name door de betrouwbaarheid van de kleuren die hij toekent aan mensen en objecten. Een netwerk is daarbij erg belangrijk, legt Lloyd uit. “We hadden iemand die een specialist is kleding. Hij leeft en ademt dit werk en weet de kleur van elk detail, zoals van een ketting.”

Behalve de kleuren van details, is ook de representatie van licht belangrijk voor het inkleuren, laat Vox in een imposante reportage zien. Zoals de vraag of de zon scheen toen de foto werd genomen. En vanuit welke hoek precies? Dit zijn allemaal zaken die van belang zijn.

 

Concluderend zijn twee dingen essentieel bij het inkleuren van een historische foto. Ten eerste moet de persoon die kleuren toekent, begrijpen en snappen wat de historische, geografische en culturele context van een foto was, om zo te bepalen welke kleuren realistisch waren. Ten slotte moet hij de software beheersen om de foto’s in te kleuren.

Geautomatiseerd inkleuren
Wetenschappers van de Data Science and Artificial Intelligence Division van GovTech Singapore hebben een manier bedacht om met kunstmatige intelligentie oude foto’s in te kleuren. Op basis van het werk van mensen zoals Lloyd constateerden ze dat hun software twee dingen moet kunnen:

  • Objecten herkennen op een zwartwitfoto en bepalen hoe waarschijnlijk het was dat het object een bepaalde kleur had;
  • De historische foto’s inkleuren.

Specifieke variant van deep learning
Voor hun software gebruikten de onderzoekers een specifieke variant van deep learning, namelijk generative adversarial networks. Het belangrijkste hieraan zijn de woorden 'generative' en 'adversarial'.

LEES OOK: Deep learning, een algoritme dat van zichzelf leert

'Generatief' is een ingewikkelde term voor het feit dat de netwerken met verschillende generaties werken. Na een eerste versie, komt er een tweede, dan een derde, enzovoort. Het idee is dat nieuwere generaties vaak beter zijn dan vorige, omdat ze leren van vorige generaties.

Voorbeeld
Hier zie je een filmpje van iemand die een generatief netwerk gebruikt. De bedoeling is dat de autootjes leren om zelf de weg te vervolgen. Het idee is dat ze steeds beter worden, omdat ze leren van hun vorige pogingen.

Twee netwerken
Zoals gezegd is een ander belangrijk aspect van generative adversarial networks het woord 'adversarial'. Dit woord duidt erop dat er een tegenstrijdigheid is, oftewel een verschil. Vaak komt het er op neer dat er een netwerk is dat iets maakt (een generator), en er een ander netwerk is dat de creatie beoordeelt (een discriminator).

In het geval van de historische foto’s werkten de wetenschappers met twee tegenstrijdige neurale netwerken:

  • Het eerste netwerk - de generator - probeert aan de hand van talloze wiskundige variabelen (meer dan twintig miljoen!) te voorspellen welke kleur een bepaald object op een zwartwitfoto had;
  • Een tweede netwerk - de discriminator - probeert vast te stellen of hetgeen dat het eerste netwerk heeft bedacht, wel overeenkomt met de werkelijkheid. Hiervoor baseert het netwerk zich op 'echte' ingekleurde foto’s.
Gaat dit te snel voor je of is de uitleg niet duidelijk genoeg? Lees dan ons artikel over hoe schilderijen worden gemaakt door kunstmatige intelligentie. Hier gaan we dieper in op generative adversarial networks.

Niet perfect
De onderzoekers zeggen dat met hun algoritme veel foto’s naar eigen zeggen geloofwaardig kunnen worden ingekleurd. Helemaal perfect is hun systeem echter niet, zo zeggen ze. Sommige foto’s worden niet of foutief ingekleurd.

Het fenomeen dat foto's verkeerd worden ingekleurd, heet in de computerwetenschap ook wel occlusion. Hierbij heeft software moeite om objecten te herkennen, omdat deze objecten maar deels zichtbaar zijn.

Daarbij valt er nog iets op te merken aan het systeem. Want hoewel de software goed lijkt te werken en zich baseert op foto’s waarvan de kleur is bevestigd, moet worden gezegd dat bij het geautomatiseerd inkleuren van oude foto’s nooit navraag wordt is gedaan bij specialisten, zoals antropologen.

Zoals we eerder hebben aangegeven, is juist de context van belang. Dit is zeker het geval bij historisch belangrijke beelden; een misrekening kan een compleet verkeerd beeld van de geschiedenis geven.

Mooie tools
Zolang duidelijk is wat de voor- en nadelen zijn van het geautomatiseerd inkleuren van oude beelden, kan iedereen met gerust hart foto’s van vroeger laten verrijken. De wetenschappers kwamen zelf met hun tool Colourise.sg, maar er is onder andere ook Algorithmia.

LEES OOK: Zo worden kostbare kunstwerken gemaakt met kunstmatige intelligentie




Wil je deelnemen aan dit gesprek? Log in of meld je aan.