In de oogheelkunde zijn er momenteel slechts een klein aantal AI-systemen gereglementeerd en zelfs die worden zeer zelden gebruikt. Ondanks het feit dat de prestaties dicht bij die van deskundigen liggen - of zelfs beter zijn - gaapt er een kritieke kloof tussen de ontwikkeling en integratie van AI-systemen in de oogheelkundige praktijk. Het onderzoeksteam keek naar de belemmeringen die het gebruik in de weg staan en hoe deze kunnen worden weggenomen. Zij kwamen tot de conclusie dat voor grootschalige toepassing in de medische praktijk de grootste uitdaging het garanderen van de betrouwbaarheid was. Daarvoor moeten de systemen aan bepaalde essentiële aspecten voldoen: ze moeten deugdelijk, robuust en duurzaam in de tijd zijn.

AI in klinieken, niet op de plank

Cristina González Gonzalo, eerste auteur: ‘Het blijft essentieel om alle relevante groepen belanghebbenden in elke fase samen te brengen. Als elke groep op hun eigen eilandje blijft werken, zullen we blijven eindigen met systemen die heel goed zijn in slechts één aspect van hun werk en zullen ze gewoon op de plank blijven liggen.

Bij de productie van AI-systemen voor de oogheelkunde zijn er tal van belanghebbenden, denk aan: AI-ontwikkelaars, leescentra, zorgverleners, zorginstellingen, oogheelkundige genootschappen en werkgroepen/commissies, patiënten, regelgevende instanties, en betalers. Met de belangen van zoveel groepen om rekening mee te houden, creëerde het team een 'AI-ontwerppijplijn' (zie afbeelding) om een zo goed mogelijk overzicht te krijgen van de betrokkenheid van elke groep bij het proces. De pijplijn identificeert mogelijke belemmeringen in de verschillende stadia van de AI-productie en toont de noodzakelijke mechanismen om deze aan te pakken. Op deze manier kan worden geanticipeerd op risico's en negatieve gevolgen tijdens de integratie of invoering.

De ‘black box’ openen

Het team realiseerde zich dat 'uitlegbaarheid' een van de belangrijkste elementen zou zijn om vertrouwen te wekken. De zogenaamde 'black box' rond AI moest worden geopend. De 'black box’ is een term die wordt gebruikt om de ondoordringbaarheid van veel AI te beschrijven. Aan de ene kant krijgen systemen gegevens en aan de andere kant levert het output op, maar wat er tussenin gebeurt is niet duidelijk. González Gonzalo: ‘Een systeem dat bijvoorbeeld een binair antwoord geeft - 'Ja, het is een cyste' of 'Nee, het is geen cyste' - zal door clinici niet gemakkelijk worden vertrouwd. Het is namelijk niet hoe ze zijn opgeleid en ook niet hoe ze in de dagelijkse praktijk werken. Als we clinici zinvol inzicht geven in hoe de beslissing tot stand is gekomen, kunnen ze samenwerken met de AI en bevindingen ervan meenemen in hun diagnose.’

González Gonzalo: ‘De technologie die nodig is om deze systemen te laten werken, hebben we al in huis. We moeten alleen nog uitzoeken hoe we die het beste kunnen laten werken voor degenen die er gebruik van gaan maken. Ons onderzoek is een volgende stap in die richting en ik denk dat we de resultaten binnen niet al te lange tijd in klinische settings gebruikt zien gaan worden.

Publicatiedetails

Cristina González-Gonzalo, Eric F. Thee, Caroline C.W. Klaver, Aaron Y. Lee, Reinier O. Schlingemann, Adnan Tufail, Frank Verbraak, Clara. I. Sánchez (2021): Trustworthy AI: Closing the gap between development and integration of AI systems in ophthalmic practice