Datamanagement Houtribdijk

De Houtribdijk met zandige oevers versterkt. Een natuurvriendelijke oplossing is voor het eerst uitgevoerd in een zoetwater binnenmeer zonder getijden. Er zijn echter nog veel onzekerheden over het gedrag van de zandige oevers, bijvoorbeeld tijdens stormen. Rijkswaterstaat heeft daarom samen met de TU Delft een monitoringsprogramma opgezet en het consortium HKV/Tauw/IV-Infra gevraagd om het datamanagement in dit monitoringsprogramma te verzorgen. Enerzijds betekent dit het maken van procesafspraken en afstemmen met data-leveranciers en data-afnemers, maar anderzijds ook het opzetten en inrichten van een hoogwaardig datamanagementsysteem (DMS) wat in staat is om nagenoeg real-time monitoringsdata op te halen en te verwerken tot data die gebruikt kan worden in onderzoeken.

Inmiddels draait het datamanagementsysteem al geruime tijd naar volle tevredenheid van Rijkswaterstaat en onderzoekers van de TU Delft. Dit is niet vanzelfsprekend. We hebben een systeem opgezet dat in staat is om nagenoeg real-time data te verwerken van verschillende type instrumenten op 6 vaste en 6 verplaatsbare meetopstellingen. Deze data wordt continu gemeten, soms elk uur, soms elke minuut, soms zelf 4 keer per seconde. Alle data wordt continu in een FEWS systeem ingelezen en wordt direct gecontroleerd op hiaten en onrealistische meetwaarden. Zodra dergelijke waarnemingen worden geconstateerd, gaat er een automatisch bericht uit naar de instanties die verantwoordelijk zijn voor de meetinstrumenten. Hoe eerder we in staat zijn om fouten te detecteren, des te sneller we dit kunnen herstellen en zo worden grote data achterstanden voorkomen.

Nadat alle ruwe data is ingelezen, wordt de data verrijkt met informatie o.a. van het KNMI en standaardiseren we de data. Alle data wordt verwerkt tot NetCDF bestanden en wordt voorzien van metadata, met o.a. informatie van de ruwe data, maar ook referenties naar alle script (versies) die gebruikt zijn om de data te bewerken tot standaard data. Hiermee borgen wij de reproduceerbaarheid van alle data in het datamanagementsysteem.
Tot slot wordt standaard data bewerkt tot zogenoemde tailored data, zo worden o.a. met behulp van spectrale analyse, golfparameters uitgerekend. Voordat standaard en tailored data worden vrijgegeven voor gebruik, worden ook hier controles gedaan. Uitschieters worden automatisch gedetecteerd en gemeld, maar ook wordt gecontroleerd of er inconsistentie optreedt tussen verschillende meetinstrumenten op 1 locatie, of tussen vergelijkbare meetinstrumenten op verschillende locaties. Deze controles verhogen de datakwaliteit.

Alle data wordt uiteindelijk via een Thredds Server beschikbaar gesteld aan de data-afnemers. Onze aanpak voldoet aan de FAIR principes en RWS heeft aangegeven dat dit pilot project een referentie zal zijn voor toekomstige datamanagement projecten bij RWS.

Bron headerfoto: Arjen Ponger, Rijkswaterstaat