POSITION PAPER: Leren van het verleden – Het informeren van toekomstige beleidsmaatregelen

In deze position paper gaan we dieper in op het belang van ex-post evaluaties en beklemtonen we hun aandeel in het bevorderen van empirisch onderbouwde en effectieve beleidsinterventies. Op basis van inzichten uit het Horizon-project PATTERN en het European Topic Centre on Climate Change Mitigation, bieden we inzicht in de huidige evaluatiepraktijken in het Europese klimaatbeleid. Daarbij identificeren we hiaten en mogelijkheden voor verbetering. Bovendien onderzoeken we de talrijke uitdagingen waarmee beleidsmakers te maken krijgen bij het evalueren van milieu- en klimaatbeleid. Tot slot doen we aanbevelingen om de evaluatiepraktijken te verbeteren en geïnformeerde besluitvorming te ondersteunen.

Deze position paper kwam tot stand dankzij de expertise van onze EnergyVille/VITO-onderzoekers Nele Renders, Tom Dauwe, Kelsey van Maris en Annabel Vella.

Huidige evaluatiepraktijken in het Europese klimaatbeleid

De cruciale rol van evaluatie

Het principe van beleidsevaluatie wordt algemeen erkend en ondersteund door substantieel wetenschappelijk onderzoek. Toch blijft er een grote kloof bestaan in de evaluatie van klimaat- en energiebeleid in Europese landen, waaronder België. Evaluaties spelen een cruciale rol binnen het kader van de Governance Regulation om de strenge klimaat- en energiedoelstellingen voor 2030 te halen. Daarom is het van vitaal belang om beleidsmaatregelen op een efficiënte, effectieve, coherente en relevante manier te ontwerpen en implementeren om deze ambitieuze doelstellingen te bereiken.

Onvoldoende rapportage van ex-post evaluaties

Het verbinden van ex-ante en ex-post evaluaties leidt tot meer op feiten gebaseerde en effectieve beleidsinterventies. Ex-post evaluaties zijn namelijk gebaseerd op gegevens en ervaringen uit de echte wereld, in plaats van op aannames en prognoses¹. Een goed uitgevoerde ex-post evaluatie is daarom cruciaal voor geïnformeerde beleidsvorming.

Om het belang van ex-post evaluaties te begrijpen, is het eerst nodig om te verduidelijken wat een ex-post evaluatie is en welke rol deze speelt in de beleidscyclus:

Ondanks de cruciale rol van ex-post evaluatie, is er een opvallend gebrek aan rapportage over ex-post evaluaties op het gebied van klimaatbeleid. Het gaat hierbij om factoren zoals emissiereducties, kosten en baten, en voortgangsindicatoren. In het kader van het European Topic Centre on Climate Change Mitigation (ETC CM) analyseert EnergyVille/VITO de rapportage over beleidsmaatregelen (PaMs)⁵ van Europese lidstaten als onderdeel van de nationale voortgangsrapporten over energie en klimaat⁶.

In het jaar 2023 rapporteerden slechts zeven EU-lidstaten ex-post gekwantificeerde gegevens voor ten minste één beleid of maatregel. Dit gold voor België, Griekenland, Finland, Frankrijk, Ierland, Polen en Slovenië, zoals wordt getoond in Figuur 1. Deze rapportage had betrekking op 142 beleidslijnen en maatregelen met in totaal 448 gekwantificeerde emissiereducties in 2023⁷. Dit in vergelijking met 167 beleidslijnen en maatregelen en 640 gekwantificeerde emissiereducties in 2021.

Inzichten uit het PATTERN-project

In het Horizon-project PATTERN voerde EnergyVille/VITO een meta-analyse uit van ex-post en ex-ante evaluaties, waarbij 58 studies in Europa over milieu- en klimaatbeleid werden geïdentificeerd. Echter, deze ex-post studies bestrijken niet alle sectoren en beleidsinstrumenten op dezelfde manier. Terwijl sectoren zoals energie, gebouwen en industrie veel aandacht krijgen, zijn andere sectoren zoals landbouw, bosbouw en afval relatief onderbelicht. Met name economisch en fiscaal beleid wordt meer beoordeeld in ex-post evaluaties dan andere beleidstypes zoals informatie, vrijwillige maatregelen en regelgevende maatregelen.

Wat betreft het overbruggen van ex-post en ex-ante evaluaties, is de interactie in de huidige praktijk beperkt. Ex-post evaluaties worden maar zelden uitgebreid gebruikt voor ex-ante evaluaties. Bij de weinige studies die een consistente informatiestroom tussen deze beoordelingen bewerkstelligen, ligt de nadruk meestal op gegevensverzameling en monitoring. Daarbij worden cruciale aspecten zoals het definiëren van de interventielogica, het betrekken van belanghebbenden en het verfijnen van methodologieën, over het hoofd gezien.

Bezorgdheden en aanbevelingen van de Europese Rekenkamer

Ook de Europese Rekenkamer heeft de algemene tekortkoming van ex-post evaluaties door de Europese lidstaten onder de aandacht gebracht⁸. In haar beoordeling van de voortgang van de EU op bij het behalen van haar energie- en klimaatdoelstellingen voor 2030, vermeldt de Rekenkamer in de analyse:

                       “… We stelden vast dat de Commissie weinig informatie heeft over het beleid van de lidstaten om hun klimaatdoelstellingen te halen. … Gegevens over de kosten bestonden slechts voor een beperkt aantal beleidslijnen en maatregelen die ten uitvoer waren gelegd. Dezelfde beperkingen gelden voor gegevens over broeikasgasemissiereducties.”

Als gevolg hiervan adviseert de Europese Rekenkamer – nu al voor de tweede keer – de Commissie om “meer transparantie te bieden over de prestaties van de EU en haar lidstaten op het gebied van klimaat- en energiemaatregelen”.

Met welke evaluatie-uitdagingen worden beleidsmakers geconfronteerd?

Variatie in evaluatiepraktijken

Beleidsmakers worden geconfronteerd met tal van uitdagingen bij de evaluatie van milieu- en klimaatbeleid, elk met een eigen complexiteit^{9 10}. Een fundamentele uitdaging is de overheersende ad-hocaanpak van beleidsevaluatie in veel Europese landen. De praktijken in de EU-lidstaten lopen sterk uiteen, en in bepaalde lidstaten ontbreekt zelfs een formele definitie van evaluatie.

Doordat er geen duidelijke en alomvattende interventielogica in beleidsevaluatieprocessen aanwezig is, wordt het moeilijker om inzicht te krijgen in de beoogde mechanismen en effecten van beleid. Dit belemmert de inspanningen om te achterhalen hoe het beleid input en activiteiten omzet in gewenste resultaten. Zo wordt het moeilijker om de effectiviteit te beoordelen en verbeteringen te implementeren.

Problemen met de beschikbaarheid en betrouwbaarheid van gegevens

Een alomtegenwoordige uitdaging bij evaluaties is het gebrek aan monitoringgegevens. Dit kan leiden tot dure en tijdrovende inspanningen om gegevens te verzamelen en tot afhankelijkheid van algemene gegevensbronnen, wat resulteert in hiaten in het bewijsmateriaal. Moeilijkheden bij het verkrijgen van representatieve steekproeven voor onderzoeken en het selecteren van geschikte controlegroepen ondermijnen de betrouwbaarheid van evaluaties nog verder.

Bovendien is het vaak moeilijk om oorzaak-gevolgrelaties (input/uitkomsten) vast te stellen omdat parallelle beleidsmaatregelen of interventies tot vergelijkbare effecten leiden. Het ingewikkelde web van bestaande maatregelen waarbinnen beleid wordt geïmplementeerd, creëert interacties die de effectiviteit ervan kunnen beïnvloeden. Dit maakt een genuanceerd begrip van beleidsinteracties noodzakelijk – of ze elkaar nu overlappen, versterken of onafhankelijk van elkaar werken.

Het begrijpen van gedragseffecten

Gedragseffecten op beleidsmaatregelen zorgen voor complicaties bij ex-post evaluaties. Het zogenaamde rebound-effect, waarbij efficiëntieverbeteringen paradoxalerwijs leiden tot een toename van de totale consumptie, bemoeilijkt de beoordeling van beleid om het gebruik van hulpbronnen of de uitstoot van broeikasgassen te verminderen. Het kwantificeren van het rebound-effect brengt onzekerheden met zich mee, gezien de variabiliteit ervan voor verschillende sectoren en beleidsmaatregelen.

Bovendien kan beleid dat financiële steun biedt onbedoeld free-rider gedrag stimuleren. Economische agenten maken dan gebruik van de financiële steun, zelfs als ze van plan waren dezelfde investering of gedragsverandering te doen zonder die steun. Hierdoor verminderen free-rider effecten de doeltreffendheid en efficiëntie van de interventie. Het is lastig om onderscheid te maken tussen veranderingen die door het beleid worden veroorzaakt en onafhankelijke acties, wat ex-post evaluaties nog ingewikkelder maakt.

Beleidsevaluaties verbeteren – Onze aanbevelingen

Beleidsevaluaties zijn essentiële leermiddelen om inzicht te krijgen in waarom beleid succesvol was, of juist belemmeringen ondervond op het gebied van effectiviteit en efficiëntie^{11 12}.

In dit hoofdstuk doen we vijf aanbevelingen om beleidsevaluaties te verbeteren en ervoor te zorgen dat ze een integraal onderdeel worden van het beleidsvormingsproces.

1. Maak beleidsevaluatie een integraal onderdeel van de beleidscyclus.

In veel landen worden beleidsevaluaties vaak ad hoc uitgevoerd. Daarom is het noodzakelijk om beleidsevaluaties te institutionaliseren binnen beleidsvormingsprocessen. Dit houdt in dat er wettelijke, institutionele en procedurele kaders moeten worden vastgesteld die de verantwoordelijkheden van overheidsinstanties en ministeries afbakenen, agendaprioriteiten vaststellen, en evaluatiedoelstellingen, methodologieën en kwaliteitsnormen definiëren.

2. Erken de rol van interventielogica.

Inzicht in de logica achter interventies helpt bij het identificeren van factoren die de effectiviteit van het beleid beïnvloeden en bij het beperken van onbedoelde gevolgen. Interventielogica, vaak weergegeven in narratieven en diagrammen, structureert en communiceert ex-post evaluaties. Het Europees Milieuagentschap (EEA) benadrukt het belang ervan voor het afbakenen van oorzaak-gevolgrelaties binnen interventies¹³. Betrokkenheid van belanghebbenden verrijkt dit proces door de keten van doelstellingen, inputs, outputs en effecten te verduidelijken. Bovendien helpt interventielogica bij het bepalen van evaluatiecriteria, het benodigde bewijsmateriaal en de methodologieën, waardoor uitgebreide en effectieve evaluaties worden gegarandeerd.

3. Beperk vertekening door optimisme.

Bij het schatten van kosten en baten is het essentieel om rekening te houden met vertekening door optimisme, en zo te voorkomen dat de kosten van beleidsinterventies worden onderschat. Dit is vooral belangrijk wanneer er beperkte gegevens beschikbaar zijn. In zulke gevallen kan historisch bewijs van kostenoverschrijdingen bij vergelijkbare projecten of interventies worden gebruikt om aanpassingen te onderbouwen. Dit vereist het identificeren van een referentieklasse van vergelijkbare interventies om de verwachte kosten en baten te kunnen vergelijken. Verder moet, op basis van historische discrepanties, een bandbreedte van vertekend optimisme worden vastgesteld en moeten evaluatieschattingen worden bijgesteld. Met deze proactieve benadering wordt een stevige basis gelegd voor het uitvoeren van realistische en uitgebreide evaluaties.

4. Interacties tussen beleidsmaatregelen aanpakken.

In de praktijk is er vaak interactie tussen beleidsinterventies, wat de algemene effectiviteit en efficiëntie kan verbeteren. Omdat deze interacties de resultaten kunnen versterken, kan worden gekozen om groepen beleidsmaatregelen gezamenlijk te evalueren in plaats van individueel. De beslissing om beleid samen of apart te evalueren hangt af van contextuele factoren zoals de beschikbaarheid van gegevens en de doelstelling om de rol van individuele interventies te begrijpen. Het evalueren van beleidsgroepen kan leiden tot meer coherente resultaten, het risico op dubbeltellingen verminderen en interactie-effecten integreren. Een beleidsinteractiematrix kan een nuttig instrument zijn om deze interacties te analyseren en om te beoordelen of ze neutraal, overlappend of versterkend zijn, waardoor beter geïnformeerde evaluatiestrategieën mogelijk worden.

5. De betrouwbaarheid van een evaluatie verbeteren door onzekerheidsanalyses.

De betrouwbaarheid van een evaluatie hangt af van de mate waarin het ontwerp, de methoden voor gegevensverzameling en de gegevensanalyse herhaalbare antwoorden bieden op evaluatievragen. Om dit te bereiken is het essentieel om onzekerheid te minimaliseren en te zorgen voor transparante rapportage. Triangulatie, waarbij meerdere informatiebronnen en methodologieën worden geïntegreerd, kan bevindingen valideren en eventuele discrepanties onderzoeken. Daarnaast zijn gevoeligheidsanalyses en scenarioanalyses gangbare benaderingen om onzekerheidsbronnen aan te pakken. Beide analyses beoordelen de gevoeligheid van beleidsresultaten voor veranderingen in onzekere parameters, om het bereik van onzekerheid in de parameters en de resulterende effecten aan te tonen.

In het algemeen is het belangrijk om zo transparant mogelijk te zijn bij het rapporteren over aannames en bronnen van onzekerheid.

Conclusie

Als conclusie kunnen we stellen dat betrouwbare beleidsevaluaties onmisbare instrumenten zijn bij het vormgeven van effectief klimaat- en energiebeleid. Door de belangrijkste uitdagingen te identificeren en praktische aanbevelingen te doen, willen we het inzicht vergroten in de complexiteit van het evalueren van milieubeleid.

Om zinvolle vooruitgang te boeken bij het behalen van klimaat- en energiedoelstellingen, moeten beleidsmakers prioriteit geven aan een aantal belangrijke acties. Deze omvatten het institutionaliseren van evaluatieprocessen, het herkennen van interventielogica, het beperken van optimisme, het aanpakken van beleidsinteracties en het verbeteren van de betrouwbaarheid van evaluaties.

Door deze aanbevelingen proactief uit te voeren, kunnen we niet alleen beter onderbouwde beslissingen nemen, maar komen we ook dichter bij het behalen van onze klimaat- en energiedoelstellingen.

Voetnoten

1. PATTERN: Pattern-Heu – Providing operational economic appraisal methods and practices for informed decision-making on climate and environmental policies
2. European Commission, Better regulation: guidelines and toolbox:  https://commission.europa.eu/law/law-making-process/planning-and-proposing-law/better-regulation/better-regulation-guidelines-and-toolbox_en
3. HM Treasury, The Magenta Book (2011): https://www.gov.uk/government/publications/the-magenta-book.
4. European Commission, Better Regulation: guidelines and Toolbox: https://commission.europa.eu/law/law-making-process/planning-and-proposing-law/better-regulation/better-regulation-guidelines-and-toolbox_en
5. Eionet, ETC CM report 2023/06: Overview of reported integrated national climate and energy policies and measures in Europe in 2023:  https://www.eionet.europa.eu/etcs/etc-cm/products/etc-cm-report-2023-06
6. Article 17 of Regulation (EU) 2018/1999 on the Governance of the Energy Union and Climate Action.
7. Een lidstaat kan emissiereducties rapporteren voor meerdere afgelopen jaren voor één of een groep van afzonderlijke beleidslijnen en maatregelen.
8.  European Court of Auditors, Special report 18/2023: EU climate and energy targets – 2020 targets achieved, but little indication that actions to reach the 2030 targets will be sufficient: Report | European Court of Auditors (europa.eu)
9. Eionet, Guidance document for ex-post evaluation of climate policies in Effort Sharing sectors: Guidance document for ex-post evaluation of climate policies in Effort Sharing sectors — Eionet Portal (europa.eu)
10. Eionet, ETC CM report 2023/06: Overview of reported integrated national climate and energy policies and measures in Europe in 2023: ETC CM report 2023/06: Overview of reported integrated national climate and energy policies and measures in Europe in 2023 — Eionet Portal (europa.eu)
11. Eionet, Guidance document for ex-post evaluation of climate policies in Effort Sharing sectors: Guidance document for ex-post evaluation of climate policies in Effort Sharing sectors — Eionet Portal (europa.eu)
12. OECD, Improving Governance with Policy Evaluation: Improving Governance with Policy Evaluation: Lessons From Country Experiences | OECD Public Governance Reviews | OECD iLibrary (oecd-ilibrary.org)
13. EEA Report, Environment and climate policy evaluation: Environment and climate policy evaluation — European Environment Agency (europa.eu)

Wil je meer weten?

Voor meer inzicht in ons lopende onderzoek en onze expertise op dit gebied, verwijzen we je graag door naar onze expert, Nele Renders.