SCORE

is een breed initiatief in de Noordzee-regio op het gebied van AI en Data Science voor Smart Cities. De deelnemende steden, waaronder Amsterdam, richten zich daarbij op het delen van ervaring en open data om grootstedelijke problemen op te lossen. Dat kunnen bijvoorbeeld projecten zijn op het gebied van duurzaamheid of logistiek. De Universiteit van Amsterdam, Bradford en Aarhus werken mee aan het project.

Het onderzoek van promovenda Inske Groenen richt zich op het gebruik van deep learning-netwerken op onder andere panoramabeelden, om zo een beter beeld te krijgen van de leefbaarheid van de stadsomgeving. Groenen maakt deel uit van het Multimedia Analytics Lab Amsterdam (MultiX) binnen het Informatics Institute (IvI). Deep learning-netwerken zijn systemen die leren door het zien van voorbeelden. Dit is anders dan systemen die werken op basis van beslisbomen. Deze kun je voorprogrammeren om bepaalde acties steeds op dezelfde manier uit te voeren. 

Deep learning-netwerken trainen op beelddata 

De datasets, PanorAMS-gt en PanorAMS-noisy, die Groenen ontwikkelt, beperken zich vooralsnog tot beelden die gemaakt zijn in Amsterdam. 'De gemeente heeft een auto die rondrijdt en panoramabeelden maakt. Maar voor andere steden kunnen we in principe ook beelden gebruiken van Google Streetview.' Een voordeel van werken met de Amsterdamse data is dat geografische informatie over objecten in het straatbeeld, zoals afvalcontainers en lantaarnpalen, goed is vastgelegd. Het doel is om deep learning-systemen te trainen op deze beelddata om vervolgens de geografische informatie te gebruiken om beelden te labelen. 'Hiermee is aan de hand van een hoogtekaart met de foto’s te achterhalen hoe hoog een gebouw is.'

Voor Amsterdam is nu voor 24 soorten objecten een pipeline (een standaard 'ontwikkelstraat') gemaakt, met de benodigde 3D wereld-coördinaten en een cameramodule om deze om te zetten naar 2D-coördinaten in de panoramabeelden. 'Wat je dan krijgt, zijn zogeheten 'bounding boxes' op basis van deze data. Daarin staat welke objecten zich waar in de panoramabeelden bevinden. Dit kun je op grote schaal doen. Voor Amsterdam hebben we een dataset met meer dan 14 miljoen boxen, waar je verschillende deep learning-methodes op kunt toepassen. Een uitdaging daarbij is echter dat het automatisch labelen van zo’n dataset veel onnauwkeurigheden oplevert. Soms ontbreken objecten, omdat informatie niet up-to-date is. Of zijn er fouten, omdat er sprake is van informatie die ooit door de gemeente onjuist is ingemeten. Dat geeft een onduidelijk signaal af met een negatief effect op de prestaties van het netwerk dat je hierop traint.' Om de zwakheden in kaart te brengen en te ontdekken hoe een netwerk wel goed te trainen is, was een subset met schone labels nodig. Hiervoor is gebruikgemaakt van crowdsourcing, om de subset, bestaande uit zo'n 7.000 afbeeldingen met 150.000 boxes, correct te labelen. Dit hield in dat grote aantallen mensen, overal ter wereld, tegen een beloning konden meehelpen bij het uitvoeren van dit werk.

Er werd, met behulp van de gemeente Amsterdam, een crowdsourcing-actie opgezet met een annotatie-applicatie op Amazon Mechanical Turk. 'Dat gebeurt wel vaker in dit veld, het is vooral een kwestie van goed opzetten, mensen duidelijke instructies geven en blijven controleren of de taken goed worden uitgevoerd.' De subset van goed gelabelde beelden maakt verschillende toepassingen mogelijk. 'Dit opent nieuwe onderzoeksmogelijkheden. Vanuit de gemeente is het correct vastleggen van waar objecten zich bevinden een belangrijke taak. Men zoekt naar slimme manieren om dit proces te optimaliseren. Maar vanuit wetenschappelijk oogpunt is het ook interessant, bijvoorbeeld om specifieke netwerken te ontwikkelen die beter omgaan met de aanwezige ruis in de PanorAMS-noisy dataset of de vervormingen in panoramabeelden.'

Startschot voor innovatie

Hoe nu verder? 'De grote PanorAMS-noisy dataset met ruim 14 miljoen ruizige bounding boxes in bijna 800.000 panoramabeelden is te gebruiken om deep learning-netwerken te trainen. Bijvoorbeeld voor objectherkenning en lokalisatie. Door middel van de kleinere PanorAMS-gt dataset, die handmatig is gelabeld, konden we evalueren hoe bestaande beeldherkenningssystemen kunnen leren van ruizige bounding boxes. Deze dataset is ook apart te gebruiken als een op zichzelf staande dataset voor supervised objectherkenning en lokalisatie. En bijvoorbeeld dus om specifieke netwerken te trainen die beter kunnen omgaan met de panoramavervorming. Wij gebruiken onze dataset in het kader van leefbaarheid, maar de mogelijke toepassingen gaan verder. De datasets kunnen bijvoorbeeld ook gebruikt worden in het kader van autonomous driving.' 

Voor Groenen zelf begint nu het leukste deel van haar onderzoek. 'Nu kunnen we experimenten en verschillende netwerken loslaten op onze datasets. Vanuit SCORE en de Gemeente Amsterdam bestaat ook de wens om ons te richten op leefbaarheid. Dit kan door op basis van bepaalde objecten kenmerken te signaleren die een effect hebben op de leefbaarheid in een wijk. Denk aan de aanwezigheid van groen of bepaalde bouwstijlen. Hoe we dat precies gaan doen, zijn we nu aan het onderzoeken.'

Groenen wordt in haar promotie-onderzoek begeleidt door dr. Stevan Rudinac en prof. dr. Marcel Worring.