In het deelproject TroniesAI doet Alec Van den broeck onderzoek naar de mogelijkheid om zogeheten tronies te detecteren aan de hand van artificiële intelligentie. Contentpartners in dit deelproject zijn het KMSKA, het Rubenshuis en het Rubenianum.
Een tronie is een studie van een hoofd of een kopstuk (geen portret) dat moest dienen als model voor herhaald hergebruik in schilderijen met vele personages. Voor deze casestudy kijken we naar het oeuvre van Peter Paul Rubens. Als evaluatie gebruiken we het standaardwerk over tronies in het atelier van Rubens Corpus Rubenianum Ludwig Burchard Part XX (2) – Study Heads van Nico Van Hout (KMSKA).
Omdat bestaande gezichtsherkenningssoftware (zoals bvb. Microsoft Azure Face API en Google Cloud Vision) getraind is op realistische foto’s genomen vanuit een frontaal perspectief, levert dit op schilderijen een vrij pover resultaat op. Hierdoor was het nodig om zelf een oplossing te zoeken voor gezichtsherkenning op kunstwerken. Alec Van den broeck gebruikt hiervoor de Keypoint Estimation of Pose Estimation-technieken.
Eenvoudig gesteld trachten dergelijke technieken geautomatiseerd sleutelpunten (zoals ogen, wenkbrauwen, neus, mond, kin, …) in het gezicht te detecteren. Enkele voorbeelden hiervan kan je terugvinden in Figuur 1, waar de rode punten aanduidingen zijn van de sleutelpunten.
De volgende stap in de workflow bestaat eruit om op basis van deze sleutelpunten de belangrijkste kenmerken geautomatiseerd uit het gezicht te snijden. Hoe dit eruit ziet, wordt geïllustreerd in Figuur 2.
Het is de bedoeling dat deze belangrijkste sleutelpunten uit verschillende hoofden daarna met elkaar worden vergeleken om de statistische mogelijkheid van de detectie van een tronie te kunnen afwegen.
Momenteel werkt Alec op een proefset van tronies uit het standaardwerk van Nico Van Hout om de vooropgestelde workflow uit te proberen. Kan artificiële intelligentie even goed tronies herkennen als een menselijke expert? En zo ja, is artificiële intelligentie sterk genoeg om tronies te ontdekken die het menselijk oog nog niet heeft gedetecteerd? Dat onderzoekt Alec in het verdere verloop van het project.
Bekijk de projectpagina voor meer informatie over VKC Enriched.
Your browser doesn't meet the minimum requirements to view this website. The browsers below are compatible. If you do not have one of these browsers, click on the icon to download the preferred browser.
