De verwachting is dat we de komende jaren niet om de toepassing van AI in de gezondheidszorg heen kunnen. Door onder andere de vergrijzing worden de zorgkosten onbeheersbaar. Bovendien is er niet genoeg medisch personeel te vinden om de toegenomen zorgvraag het hoofd te bieden. AI kan een oplossing bieden, omdat het veel processen kan automatiseren en versnellen. Maar er is één groot probleem: bias, oftewel vooringenomenheid. Het automatisch opsporen van huidkanker met behulp van AI, blijkt bijvoorbeeld minder goed te werken voor mensen met een donkere huidskleur. Ook krijgen vrouwen met hartkwalen vaker een verkeerde diagnose, wanneer AI wordt ingezet om die diagnose vast te stellen.

Annoteren

‘Met bias wordt een systematische fout in machine learning modellen bedoeld, en die beïnvloedt het vermogen om patiëntengroepen correct te classificeren’, zegt Maria Galanty, promovendus van de  Quantitative Healthcare Analysis (qurAI) groep op het gebied van AI en gezondheidszorg aan de UvA. Deze bias kan ontstaan door het gebruik van datasets waarin bepaalde doelgroepen niet goed zijn vertegenwoordigd. Om bias op te sporen en te beperken, moeten datasets goed gedocumenteerd zijn, stelt Galanty. ‘Als cruciale informatie ontbreekt, is het onmogelijk voor datawetenschappers om zich bewust te zijn van mogelijke vooringenomenheid.’ Naast over- en ondervertegenwoordiging van een bepaalde groep, kan bias ook ontstaan door de manier van annoteren. Hoe artsen MRI-beelden labelen kan bijvoorbeeld enorm verschillen, afhankelijk van hun individuele stijl en medische achtergrond. Dit beperkt de herbruikbaarheid van gegevens.

Wonen in het buitenland

Galanty behaalde haar dubbele bachelor in wiskunde en cognitieve wetenschappen aan de Universiteit van Warschau (Polen), maar besloot naar Nederland te verhuizen. ‘Ik wilde ervaren hoe het zou zijn om in het buitenland te werken en wonen, en vond Nederland aantrekkelijk vanwege het uitstekende opleidingsniveau en de balans tussen werk en privé.’ Ze volgde een master kunstmatige intelligentie aan de Universiteit Utrecht en raakte geïnteresseerd in het snijvlak van AI en gezondheidszorg. Daarom besloot ze te solliciteren voor een promotieonderzoek naar dat onderwerp, en kwam ze bij de UvA terecht. Vorig jaar startte ze samen met collega-promovendus Dieuwertje Luitse een onderzoek naar bias in medische data. Als geesteswetenschapper bestudeert Luitse de ethische en politieke aspecten van AI-ontwikkeling in de gezondheidszorg. Ze werken samen in het Research Priority Area (RPA) Artificial Intelligence for Health Decision-making. Dit is een interdisciplinaire hub van experts uit vakgebieden als informatica, geneeskunde, recht en ethiek, met als doel ethische, hoogwaardige AI-oplossingen te ontwikkelen die patiënten helpen.  

Checklist

Galanty en Luitse hebben een onderzoek uitgevoerd naar openbaar beschikbare documentatie van medische datasets. Deze openbare datasets worden vaak hergebruikt door machine learning engineers, wat betekent dat ze niet betrokken waren bij het creatieproces van de dataset en daar dus geen extra kennis over hebben.

De onderzoekers richtten zich op drie zogenaamde modaliteiten: Magnetic Resonance Imaging (MRI), Color Fundus Photography (CFP) van het oog en elektrocardiogrammen (ECG's), die het hartritme meten. Hun eerste stap was het maken van een evaluatie-instrument, een soort checklist om de volledigheid van de documentatie van de dataset te beoordelen. Galanty: ‘We keken naar verschillende onderdelen van de documentatie van de dataset, waaronder de demografische gegevens van de patiënt, de inclusiecriteria en het annotatieproces.’

Verscheidenheid

Galanty en Luitse concluderen dat er veel variatie is in de datasetdocumentatie. ‘Sommige informatie vermeldt bijvoorbeeld alleen dat de annotaties zijn uitgevoerd door een medische professional, terwijl andere het proces gedetailleerd beschrijven. Wij denken dat het goed zou zijn als makers van datasets zich altijd houden aan richtlijnen voor het opstellen van goede documentatie, zodat alle relevante informatie wordt opgenomen.’ Goede documentatie zorgt er immers voor dat datagebruikers zich bewust zijn van het mogelijk ontstaan van bias. Deze bewustwording is een eerste stap op weg naar het verminderen van bias.

‘Ik wil graag bijdragen aan robuustere medische AI-oplossingen, door het belang van datasetdocumentatie te benadrukken,’ zegt Galanty. ‘De stap van het ontwikkelen van machine learning tools aan de universiteit naar toepassing in ziekenhuizen is nog vrij groot. Als we willen dat een tool daadwerkelijk gebruikt wordt voor patiënten, moet deze zeer goed getest zijn en voldoen aan alle ethische en wettelijke voorwaarden. Met robuustere oplossingen wordt die stap hopelijk wat kleiner.’