Recente rampen en crises, zoals COVID-19, laten zien dat crisisprofessionals hun vaardigheden en procedures voortdurend moeten oefenen, evalueren en aanpassen. Helpen evaluaties de professionals eigenlijk wel echt om beter voorbereid te zijn? Ralf Beerens, onderzoeker bij het IFV, onderzocht hoe bruikbaar (nuttig) evaluaties zijn in de rampen- en crisisbeheersing. De uitkomsten van zijn promotieonderzoek helpen crisisprofessionals met een betere voorbereiding door (beter) gebruik te maken van inzichten uit evaluaties. Beerens is vorige week op dit onderwerp gepromoveerd aan de Universiteit van Lund in Zweden.
Het eerste deel van het onderzoek richtte zich op het in kaart brengen van de huidige staat van evalueren van crises en crisisoefeningen. “Uit mijn onderzoek blijkt dat evaluaties vaak eenmalig zijn. We evalueren een bepaald scenario of gebeurtenis en gaan weer door. Er worden nauwelijks verbanden gelegd met eerdere of soortgelijke evaluaties of eerdere vergelijkbare crises. Hierdoor is het onduidelijk of de lessen uit een evaluatie ook daadwerkelijk in de praktijk worden toegepast”, aldus Beerens. “Om beter voorbereid te zijn op rampen en crises is het zaak dat we leren van elkaar. Niet alleen binnen een veiligheidsregio, maar ook tussen veiligheidsregio’s onderling. Ook kunnen we leren van gebeurtenissen elders in de wereld.”
De onderzoeker ziet ook een kans voor de toekomst. “Door meer te doen met de evaluaties en de resultaten kunnen we een soort kennisbank met evaluaties en uitkomsten (POAC) opzetten. Evaluaties die uitgevoerd worden komen hierin bij elkaar zodat het met elkaar gedeeld kan worden. Door het uitvoeren van meta-evaluaties krijgen we beter inzicht in wat er goed gaat en wat er beter zou kunnen, bijvoorbeeld het systeem, de structuur of opleidingen. Hierdoor kunnen we dus als crisisprofessionals van elkaar leren en de crisisbeheersing verbeteren.
Beschrijving en presentatie resultaten bepalend voor leereffect
De promovendus onderzocht ook het leerrendement van evaluaties door praktijkevaluaties voor te leggen aan crisisprofessionals, die nauw zijn betrokken bij het onderzoek. Iedere evaluatie bevatte vier onderdelen: doel, objectbeschrijving, analyse en conclusie. Het doel hiervan was om te onderzoeken welke onderdelen van evaluaties van invloed zijn op het nut voor de gebruiker. “Uit de resultaten blijkt dat de manier waarop de analyse en de conclusies zijn beschreven van invloed zijn op het leerrendement. Hoe iets wordt beschreven en gepresenteerd is dus van invloed op of hulpverleners ook daadwerkelijk iets leren van de evaluatie. Het is dus belangrijk om hiermee rekening te houden bij het delen van resultaten”, vertelt Beerens.
Evaluatie is geen doel, maar middel om doel te bereiken
Er zijn verschillende mogelijkheden om evaluaties in de toekomst anders aan te pakken waardoor de resultaten bruikbaarder zijn. Beerens deelt zijn aanbevelingen. “Een mogelijkheid voor verbetering is dat we kijken naar hoe we conclusies van evaluaties met elkaar delen. Welke manier van evalueren past het beste bij de mensen die ervan moeten leren? Uit mijn onderzoek blijkt dat een standaard evaluatierapport niet altijd de beste manier hoeft te zijn. Verder pleit ik ervoor dat er meer samenhang komt tussen evaluaties. Wat kun je bij een evaluatie leren van eerdere evaluaties? Daarnaast is het belangrijk om goed na te denken over waarom een evaluatie wordt uitgevoerd. Ben duidelijk en eerlijk over het doel dat je wilt bereiken met een evaluatie.” Beerens heeft tot slot nog een advies. “Evaluaties zijn geen doel op zich, maar een middel om een doel te bereiken.”
Vervolg
In zijn rol als onderzoeker bij het IFV gaat Beerens aan de slag met het toepassen van de uitkomsten en aanbevelingen uit zijn onderzoek. Deze worden gebruikt om de evaluaties en evaluatieproducten van het IFV te verbeteren. Beerens: “Met deze kennis willen we ook partners zoals veiligheidsregio’s, gemeenten, waterschappen, ministeries, e.d. ondersteunen in de vorm van onderwijs (bijscholing), onderzoek, uitvoering van evaluaties en advies.”
Promotiegegevens
Ralf Beerens, Improving disaster response evaluations: Supporting
advances in disaster risk management through the enhancement of response
evaluation usefulness. Meer
informatie over het onderzoek is te lezen in de Nederlandstalige
samenvatting.
| Ambities IFV: onderzoek en crisisbeheersing, verbinder Het onderzoek en de uitkomsten sluiten aan bij de ambities van het IFV. “We zijn er trots op dat Ralf Beersens als onderzoeker verbonden is aan ons kennisinstituut. We blijven als organisatie versterkte aandacht geven aan onderzoek en crisisbeheersing waarbij publieke veiligheid centraal staat. Hoogwaardig onderzoek zoals dat van Beerens is hierbij heel belangrijk, in het bijzonder voor een kennisinstituut dat praktijkonderzoek moet borgen naar de toekomst. We kijken er naar uit dat Ralf de conclusies en aanbevelingen uit zijn promotieonderzoek nu ook in de praktijk vervolg kan geven vanuit ons instituut”, aldus IJle Stelstra, directeur van het IFV. |
