Von Stackelberg krijgt via social media regelmatig advertenties voor plastische chirurgie, Blösser wordt bestookt met advertenties voor afslankpillen. 2 onderwerpen waar ze geen enkele interesse in hebben, en die toch in hun tijdlijn verschijnen. En toen Blösser onlangs aan Google vroeg om het begrip ‘mannelijk’ te beschrijven, kreeg ze het volgende antwoord: dapper en avontuurlijk. Toen ze vervolgens vroeg naar een omschrijving van ‘vrouwelijk’ kwam het algoritme met het volgende antwoord: wellustig en aantrekkelijk.

Verantwoordelijkheid nemen

Von Stackelberg en Blösser maken zich zorgen over deze ontwikkeling. Dat is dan ook de reden dat ze FemData hebben opgericht: een serie evenementen waar ze in gesprek gaan met gasten over dit onderwerp. Op 12 juni zijn ze zelf sprekers op een event: ze zijn uitgenodigd om over gender vooroordelen en data te spreken bij  cultureel academisch podium SPUI25.

Tijdens dit event willen de onderzoekers duidelijk maken dat data lang niet altijd objectief zijn en dat we ons daar bewust van moeten zijn. Blösser: ‘Dat is niet alleen belangrijk voor onderzoekers, maar ook voor bijvoorbeeld model-bouwers. We moeten met elkaar het gesprek aangaan over de verantwoordelijkheid die je hebt bij het gebruik van data. Er wordt nog vaak niet erkend dat ook data vooroordelen kunnen bevatten, en als dat wel gebeurt, weten mensen vaak niet hoe ze er mee om moeten gaan. Wij willen het gesprek starten, met zoveel mogelijk mensen uit zoveel mogelijk disciplines, om aandacht te krijgen voor dit onderwerp. Zolang er vooroordelen bestaan, en die zullen helaas altijd bestaan, is het goed om rekening te houden met het feit dat die vooroordelen ook in data terechtkomen.’

Von Stackelberg: ‘Ook in de geneeskunde zien we waar dit toe kan leiden. Bij het samenstellen van medische voorspellende data bijvoorbeeld, waar de onderzoekers zagen dat er bij vrouwen vaker sprake was van een vals-negatieve uitslag. Dit kan uiteindelijk leiden tot slechtere behandelresultaten.'Blösser: ‘Soms is het voor iedereen zichtbaar: in de aanbevelingen die je krijgt van Netflix bijvoorbeeld. Of als ik afbeeldingen zoek voor bij een onderzoek, bijvoorbeeld een verpleger, en alleen kan kiezen uit afbeeldingen van vrouwen. En voor een datawetenschapper juist alleen kan kiezen uit foto’s van mannen. Maar vaak zijn vooroordelen in data onzichtbaarder. Daarom is het zo belangrijk om het gesprek aan te gaan, en de discussie op te starten.’

Verschillende oplossingen

Er is niet 1 kant-en-klare oplossing voor het probleem, maar er zijn wel hoopvolle ontwikkelingen. Von Stackelberg: ‘Het is belangrijk om op verschillende niveaus bezig te zijn met dit probleem, en om kennis te delen. Door bijvoorbeeld de software, die vooroordelen in data kan opsporen, beschikbaar te maken voor iedereen. Zodat niet alleen mensen met uitgebreide statistische kennis, zoals statistici, bias op een technisch niveau kunnen detecteren en beperken, maar ook mensen die met gegevens werken maar niet gespecialiseerd zijn in het modelleringsaspect. We moeten van jongs af aan leren wat de risico’s zijn van vooroordelen. Wat mij betreft is dit ook een verantwoordelijkheid van opleidingen. Je moet mensen leren hoe vooroordelen ontstaan en hoe die ons dagelijks leven beïnvloeden. Vooroordelen hebben een breed scala aan oorzaken, waarvan er veel verder gaan dan wat je direct ziet. Daarom denk ik dat we meerdere lagen van oplossingen nodig hebben: Ten eerste hebben we technische oplossingen nodig. Ten tweede moeten we nadenken over hoe vooroordelen ontstaan, onder andere door ze in een sociaal-wetenschappelijke en historische context te zien. Ten slotte is het belangrijk om ook een meer beleidsgericht perspectief te integreren.' Blösser: ‘We kunnen niet vroeg genoeg beginnen met bewustwording. Wat je visie op gender ook is, ik denk dat we het allemaal eens zijn over dat discriminatie op basis van iemands geslacht slecht is.’ Von Stackelberg: ‘Het gesprek over data kan wat mij betreft ook al veel eerder gevoerd worden. Ook op jonge leeftijd kun je leren om kritisch te kijken naar gegevens. Het is goed om aandacht te geven aan AI-geletterdheid, en kinderen te leren wat een algoritme is en hoe het tot stand komt.’

Zorgvuldig omgaan met vooroordelen

Wat ook zou helpen: meer verschil in mensen die aan modellen werken. Von Stackelberg: ‘Als je zelf ervaring hebt met vooroordelen, is er een kans dat je daar meer op let als je een model bouwt. Maar ik zie ook dat het een sector is met een hoge werkdruk en weinig tijd voor verandering. Het is niet zo dat als je een paar vrouwelijke data-analisten aan boord hebt, de vooroordelen ineens veel duidelijker aan het licht komen. Blösser: ‘Ook met een divers team is het niet gegarandeerd dat je zorgvuldiger met vooroordelen omgaat. In de bedrijven die wij spraken is er simpelweg geen tijd om mensen dit onderwerp verder te laten onderzoeken. Het heeft geen prioriteit. Dat moet veranderen. Uiteindelijk bepalen we samen hoe onze samenleving eruit ziet en moeten we samen onze verantwoordelijkheid nemen.’

Meld je aan voor het SPUI25-event