Het inzetten van AI om patiënten te screenen op bepaalde ziekten kan supernauwkeurig zijn in het lab, maar toch falen in de echte wereld van de gezondheidszorg. UvA-promovendus Coen de Vente zoekt oplossingen voor dit probleem. Binnen het Instituut voor Informatica doet De Vente onderzoek naar machinaal lerende technieken voor de screening van oogziekten. Hij werkt in de Quantitative Healthcare Analysis (qurAI) groep van professor Clarisa Sánchez Gutierrez.

Hoe kan het dat AI-technieken voor medische beeldvorming in het lab nauwkeurig zijn, en toch falen in de praktijk?

‘In essentie komt dat door een gebrek aan robuustheid. AI-modellen worden getraind op een dataset. Wanneer die dataset onvoldoende representatief is voor de patiënten die in de praktijk gescreend worden, dan kan een patiënt die wel een aandoening heeft te horen krijgen dat er niets aan de hand is, of omgekeerd: een patiënt krijgt de diagnose van een ziekte terwijl er niets aan de hand is.’

Wat zijn dan de problemen van datasets?

‘Soms is dat het feit dat bepaalde etniciteiten te weinig in de data voorkomen, bijvoorbeeld te veel data van witte mensen en te weinig van zwarte mensen. Maar er ontstaan ook problemen doordat verschillende typen scanners verschillende soorten artefacten in hun beelden geven, of doordat de omstandigheden waaronder een scan wordt gemaakt in het ene ziekenhuis net iets anders is dan in het andere. Bij oogscans kan dat ontstaan door net iets andere lichtomstandigheden.’

Hoe proberen jullie dit soort problemen op te lossen?

‘Tussen december 2021 en maart 2022 hebben we samen met Het Oogziekenhuis Rotterdam een wedstrijd georganiseerd: de Artificial Intelligence for RObust Glaucoma Screening challenge, kortweg AIROGS. Een glaucoom is een oogaandoening waarbij door een verhoogde oogboldruk een deel van het gezichtsveld wegvalt. Vroegtijdige detectie kan veel ellende voorkomen en automatische screening met AI kan daarbij helpen. De uitdaging voor de teams die deelnamen aan onze wedstrijd was om in ruim drie maanden tijd AI-software te bouwen die enerzijds kan detecteren of iemand een glaucoom heeft of niet, en anderzijds ook kan aangeven of een bepaalde scan wel of niet goed leesbaar is. Onze dataset bestond uit 113.000 beelden van ongeveer zestigduizend patiënten, afkomstig van vijfhonderd verschillende screeningcentra in de VS.’

En wat was het resultaat?

‘We hebben de oplossingen van veertien teams geëvalueerd. De beste teams presteerden vergelijkbaar met een team van oogartsen en optometristen. Veel van de algoritmen leverden bovendien robuuste prestaties bij tests op drie andere openbaar beschikbare datasets. Deze resultaten tonen de haalbaarheid aan van robuuste, door AI ondersteunde glaucoomscreening.’

Jullie dataset komt uit de VS. Kunnen we het beste AI-screeningsmodel dan probleemloos in Nederland gebruiken?

‘Daar zou ik toch voorzichtig mee zijn. Als we dit algoritme zouden toepassen in Nederlandse ziekenhuizen weten we niet zeker of onze Amerikaanse trainingsdata voldoende representatief zijn voor de Nederlandse context. Je wilt niet dat het algoritme onverwacht iets compleet verkeerds gaat doen. Daarom bestaat er strenge regulering voordat AI-software gebruikt mag worden in de medische praktijk. Er bestaat voor de screening van glaucoom nog geen AI-software die in de EU of de VS is goedgekeurd. Er bestaat wel andere software die goedkeuring heeft gekregen voor het toepassen van AI in de oogheelkunde, zoals software die autonoom diabetische retinopathie detecteert. Deze heeft zowel in de VS door de FDA als in de EU met een CE-markering goedkeuring gekregen.’

Wat moet er nog gebeuren om dit soort AI-screeningstechnieken dichter bij de patiëntenzorg te brengen?

‘Als onderzoekers moeten we veel werk doen aan het opzetten van grote studies. Alleen dan kunnen we robuuste AI-screeningstechnieken ontwikkelen. Er liggen nog grote uitdagingen op het terrein van de interpreteerbaarheid van de resultaten. Het liefst zouden we willen dat het AI-systeem zijn resultaten kan uitleggen en ook laat weten als hij het niet weet. En wat is de beste manier waarop het systeem zijn resultaten aan een arts laat weten? Ook dat is een uitdaging. En ten slotte moeten we natuurlijk ook kijken naar de kosteneffectiviteit.’