Argu lanceert OpenBesluitvorming.nl

Argu lanceert OpenBesluitvorming.nl; een web app waarmee door vergaderstukken van meer dan 120 gemeenten en provincies kan worden gezocht.

Achtergrond

In 2014 begonnen we ons e-participatie platform Argu, met het doel om mensen te betrekken bij besluitvorming. We werkten met diverse overheden en lanceerden online discussies waar mensen ideeën konden delen, discussie voerden en stemden over thema's. Hoewel burgerparticipatie op deze manier vaak goed werkt, mist er een belangrijk onderdeel: de daadwerkelijke besluitvormingsprocessen. De agendapunten, documenten en moties die door een gemeenteraad worden behandeld zijn de feitelijke kern van besluitvorming en zouden daarom ook net zo goed interactief moeten zijn voor burgers. Het is daarom al een tijd onze wens om burgerparticipatie en raadsinformatie samen te brengen. De eerste stap om dit te realiseren, is het samenbrengen en het standaardiseren van raadsinformatie, zodat er op één punt, met één standaard kan worden gezocht door alle vergaderstukken.

Open Data

De Open State Foundation was begonnen met Open Raadsinformatie. Wij raakten daar vroeg bij betrokken, en werkten sindsdien in opdracht van VNG Realisatie als software ontwikkelaars aan de zoekmachine en de API. We hielpen met het opschalen van zes naar meer dan 120 gemeenten, en later zijn daar ook zes provincies bij gekomen. Op dit moment stellen we meer dan een miljoen documenten beschikbaar via de API. Deze dataset blijft groeien, elke nacht komen er honderden nieuwe documenten bij. Alle informatie die is verzameld, is gratis te gebruiken middels de linked data API. Al deze open informatie maakt het eenvoudiger voor journalisten, ambtenaren en burgers om de overheid te volgen en controleren.

Alle software die we voor dit project hebben ontwikkeld staat open source op GitHub. Het is een technisch uitdagend project, omdat de informatie uit verschillende bronnen (vergadersystemen / raadsinformatiestystemen) moet komen die allemaal op een andere manier werken.

Bezoek OpenBesluitvorming.nl om vergaderstukken vanaf het jaar 2000 van meer dan 127 overheden te doorzoeken.

Van PDF naar verrijkte text

Nederlandse gemeenten produceren een hoop informatie. Ze gebruiken allemaal een raadsinformatiesysteem om vergaderingen, documenten, moties en rapportages te organiseren en te publiceren. Er zijn echter verschillende raadsinformatiesystemen beschikbaar die allemaal anders werken en een eigen informatiemodel hebben. Daarnaast zijn de meeste stukken en documenten opgeslagen in PDF formaat, en vaak niet publiekelijk toegankelijk beschikbaar. Doordat wij toegang hebben tot al deze systemen, kunnen wij alles samenbrengen in een altijd publiek beschikbare centrale dataset.

De meest interessante informatie zit in PDF bestanden verborgen en kan niet worden doorzocht. Door de teksten uit al deze miljoenen PDF bestanden te extraheren, hebben we al deze teksten voor het eerst doorzoekbaar gemaakt. We slaan de bestanden op voor caching in Google Cloud Storage, samen met de bronnen en metadata. Daardoor kunnen we altijd een specifieke versie terughalen of zien wat er is gewijzigd tussen versies. Daarnaast hebben we twee zogeheten 'enrichers' die de informatie verrijken:

• Thema herkenning: een machine-learning classifier gemaakt door de Open State Foundation. Geeft relevantie scores van een document op basis van een set gespecificeerde thema's waaronder: Economie, Veiligheid en Onderwijs.

• Locatie herkenning: gebaseerd op het project LocLinkVis van onder andere Alex Olieman en de Universiteit van Amsterdam. Het zoekt straten en locaties in document teksten en koppelt het aan de geografische coördinaten van een buurt of wijk.

Deze enrichers zorgen dat alle gebruikers van Open Raadsinformatie kunnen filteren op thema tags en kunnen zoeken welke documenten er binnen een geografisch gebied vallen.

Hergebruikers

Er zijn op dit moment al verschillende applicaties die gebruik maken van de vrij beschikbare data via de API:

OpenBesluitvorming.nl

Deze zoekapplicatie ondersteunt het zoeken op locatie met een kaart, heeft diverse filter opties, kan PDFjes weergeven in de browser en ondersteunt het vinden van definities door tekst in PDFjes te selecteren. Bekijk de broncode hier.

RaadsTalk.nl

VNG heeft ons gevraagd om de webapplicatie RaadsTalk te bouwen, waarmee te zien is welke woorden er per maand trending zijn in gemeenten. De app is als widget toe te voegen binnen je eigen website. Bekijk voor meer informatie de broncode en technische uitleg.

Waaroverheid.nl

WaarOverheid toont documenten die een locatie bevatten in jouw buurt of wijk. Op een kaart kun je tussen buurten navigeren om documenten in de daargelegen straten te vinden. De technologie voor deze app wordt ook gebruikt voor het locatie zoeken binnen OpenBesluitvorming.nl.

1848.nl

1848 verzamelt politieke informatie en nieuws van verschillende bronnen. Door te zoeken en notificaties te ontvangen kan je zo op de hoogte blijven van ontwikkelingen in besluitvorming.

Nu en de toekomst

Het begon allemaal met Open Raadsinformatie, maar het project bevat al lang niet enkel raadsinformatie meer. De scope van het project is verbreed naar provinciale data en binnenkort wordt ook nationale data toegevoegd. Op dit moment werken we samen met De Tweede Kamer der Staten-Generaal om hun nieuwe API in het project te integreren. Daarnaast werken we aan de integratie met het Argu platform zelf, zodat de vergaderstukken kunnen worden gekoppeld aan inspraak van bewoners.

PDF als bottleneck - gestructureerde data als oplossing

Zoeken door documenten is leuk en handig, maar er is in theorie veel meer mogelijk. We zouden profielen kunnen maken van politici, waar te zien is hoe ze gestemd hebben. We zouden kunnen tonen wie welke moties heeft ingediend. We zouden burgers automatisch op de hoogte kunnen houden over het verloop van zaken via mail.

Helaas kan dit met de huidige data nog niet. Het probleem is dat er nog veel te veel gebruik wordt gemaakt van PDF als format. Hoewel PDFjes handig zijn voor printen, bevat het vaak erg weinig gestructureerde data, waardoor computers er niets mee kunnen (op weergeven na dan). Zo staat er onder een motie misschien de naam van de indieners, maar staat dit niet in de data beschreven. Ook zijn stemmingen vaak met pen genoteerd en ingescand, in plaats van in een machineleesbaar format opgeslagen.

Om meer te kunnen doen met open data, moet het anders worden aangemaakt. De software die wordt gebruikt om de vergaderingen aan te maken zal op een andere manier informatie moeten opslaan - in datavelden, niet in documenten. Ook moeten we werken aan het standaardiseren van de manier waarop de informatie zelf word gestructureerd. Gelukkig is VNG hier goed mee op weg.

Doe mee!

Open Besluitvorming is mogelijk gemaakt dankzij het werk van vele gemeenten, provincies, de VNG en de Open State Foundation. Door nieuwe gemeenten en provincies toe te voegen hopen we nog meer impact te maken. Als u een gemeente vertegenwoordigt en deel zou willen nemen, kunt u dit formulier in vullen. Meedoen als gemeente aan het project is kosteloos, meer informatie over deelname en het project kunt u hier vinden. Provincies of waterschappen kunnen mailen naar joep@argu.co.