Evaluierung

Arbeitshilfe

Schulungen

Hintergrundinformationen

Was ist eine Evaluierung?

Gesetze und Verordnungen (Regelungsvorhaben) werden immer mit einem Ziel beschlossen, welches auf dem Vorblatt oder dem Begründungsteil des Gesetzentwurfs aufgeführt ist. Eine Evaluierung prüft, ob das Ziel durch das Regelungsvorhaben erreicht worden ist. Wirkt das Regelungsvorhaben so wie erwartet? Und hätte die gleiche Wirkung auch günstiger/ einfacher erreicht werden können? Das sind die Hauptfragen, die eine gute Evaluierung beantworten sollte. Zur Beantwortung können verschiedene Indikatoren und Daten herangezogen werden.

Wo sind die rechtlichen Rahmenbedingungen für eine Evaluierung geregelt?

Grundlage für Evaluierungen bilden zwei Beschlüsse des Staatssekretärsausschusses Bessere Rechtsetzung und Bürokratieabbau. Der erste Beschluss vom 23. Januar 2013 legt fest, dass wesentliche Regelungsvorhaben zu evaluieren sind. Ob ein Regelungsvorhaben evaluiert werden muss, bemisst sich hauptsächlich aus der Höhe des ex ante geschätzten Erfüllungsaufwands. Der zweite Beschluss des Staatssekretärsausschusses vom 26. November 2019 sowie die Gemeinsame Geschäftsordnung der Bundesministerien (GGO) ergänzen den ersten Beschluss, um dauerhaft qualitativ hochwertige Evaluierungen sicherzustellen. Beispielsweise ist festgelegt, dass bereits vor Inkrafttreten eines Gesetzes die Eckpfeiler der Evaluierung im Gesetzentwurf darzustellen sind. Das vereinfacht die spätere Durchführung einer Evaluierung.

Wann ist eine Evaluierung notwendig?

Eine Evaluierung ist dann notwendig, wenn ein Regelungsvorhaben als wesentlich angesehen wird. Die Wesentlichkeit eines Reglungsvorhabens bemisst sich unter anderem nach der Höhe des zu erwartenden jährlichen Erfüllungsaufwands. Die jährlichen Schwellenwerte, ab wann ein Regelungsvorhaben evaluierungspflichtig ist, sind:

  • 1 Millionen € Sachkosten oder 100 000 Stunden für Bürgerinnen und Bürger oder
  • 1 Millionen € jährlicher Erfüllungsaufwand für die Wirtschaft oder
  • 1 Millionen € jährlicher Erfüllungsaufwand für die Verwaltung

Die Wesentlichkeit von Regelungsvorhaben kann sich allerdings auch aus anderen Gründen ergeben, beispielsweise aufgrund einer hohen politischen und gesellschaftlichen Relevanz.

Was bedeutet eine Evaluierung im System der Besseren Rechtsetzung?

Durch eine Evaluierung soll die Zielerreichung eines Regelungsvorhabens (Gesetz oder Verordnung) bewertet werden, sodass festgestellt wird, ob beispielsweise ein Gesetz Wirkung zeigt oder seine Wirkung verfehlt. Ist Letzteres der Fall, so entsteht Handlungsbedarf. Bei einem Gesetz muss gegebenenfalls mit einer Novelle nachgebessert werden. Dadurch kann die Gesetzgebung in Deutschland kontinuierlich überprüft und verbessert werden.

Wie kann der Erfüllungsaufwand bei einer Evaluierung berücksichtigt werden?

Haben Regelungsvorhaben Entlastungen von Bürgerinnen und Bürgern, Unternehmen oder der Verwaltung zum Ziel, so kann der Erfüllungsaufwand bei der Evaluierung berücksichtigt werden. Der Erfüllungsaufwand, der einen Teil der Kosten von Gesetzen oder Verordnungen darstellt, kann aber auch grundsätzlich für Evaluierungen genutzt werden. So können die durch ein Gesetz oder eine Verordnung entstandenen Belastungen in ein Verhältnis zur Wirkung gesetzt werden. Vor allem die Ergebnisse der Nachmessung des Erfüllungsaufwands sind hier dienlich, da sie die zuvor geschätzten Belastungsänderungen in der Praxis überprüfen. Während der Planung einer Evaluierung sollte geprüft werden, ob die Nachmessung und Evaluierung verzahnt und die Daten gebündelt abgefragt werden können. Oftmals werden bei einer Evaluierung und einer Nachmessung Betroffene befragt. Eine doppelte Befragung von zum Beispiel Unternehmen kann somit vermieden werden.

Wann sollte eine Evaluierung geplant werden?

Die Planung beginnt mit der Festlegung der zu erhebenden Parameter für die Evaluierung im Gesetzentwurf. Dies dient dazu, dass mit Inkrafttreten für die Evaluierung notwendige Daten gesammelt werden können. Dafür muss das zuständige Ministerium bereits Angaben im Gesetzentwurf machen, bis wann und wie die Evaluierung durchgeführt wird.

Wer führt eine Evaluierung durch?

Das für das Gesetz zuständige Ressort ist auch für die Evaluierung zuständig. Evaluiert das Ministerium selbst, ist von einer internen Evaluierung die Rede. Vergibt das Ministerium die Evaluierung an einen Dienstleister, wird dieses Vorgehen externe Evaluierung genannt. Andere Ministerien oder nachgeordnete Bereiche können in die Evaluierung eingebunden werden.

Was ist ein Wirkmodell und wie kann es bei einer Evaluierung helfen?

Ein Wirkmodell stellt einen logischen Zusammenhang zwischen dem Gesetz oder einer Verordnung und der Zielerreichung dar. Es dient oftmals dazu, grafisch darzustellen, wie ein Vorhaben in der Praxis wirkt. Das Wirkmodell unterteilt die Wirkung von Vorhaben in verschiedene Phasen, die einzeln analysiert werden können. Die Phasen unterteilen sich grundlegend in die Umsetzung, den Output, den Outcome und den Impact. Die wichtigste Phase des Wirkmodells ist meistens der Outcome. Hier wird untersucht, ob das konkrete Ziel erreicht wurde. Wenn man feststellt, dass der Outcome, also das Ziel, nicht er-reicht worden ist, kann man in den anderen Phasen des Wirkmodells auf die Ursachensuche dafür gehen. Vielleicht wurden einzelne Teile eines Gesetzes nicht wie geplant umgesetzt, sodass das Ziel nicht erreicht wurde. Das Wirkmodell gibt der Evaluierung eine Struktur und sollte bei jeder guten Evaluierung im Vorfeld aufgestellt werden. Mehr Infos zum Wirkmodell finden Sie in der Arbeitshilfe zur Evaluierung von Regelungen der Bundesregierung.

Was sind Indikatoren?

Indikatoren werden für jede Phase des Wirkmodells benötigt. Der Grad der Zielerreichung (Outcome) muss beispielsweise über einen geeigneten Indikator messbar sein. Hat zum Beispiel ein Gesetz zum Ziel, durch Anreize und Abbau von bürokratischen Hürden den Zuzug von ausländischen Fachkräften nach Deutschland zu stärken, könnte ein geeigneter Indikator wie folgt aussehen: Es wird die Entwicklung des Zuzugs von ausländischen Fachkräften über mehrere Jahre betrachtet. Der Indikator ist dann die Anzahl der zugezogenen ausländischen Fachkräfte. Ist hier eine Steigerung erkennbar? Das wäre in dem Fall die Hauptfrage, die in der Evaluierung beantwortet werden muss. Eine Befragung der zugezogenen Fach-kräfte könnte Zusatzerkenntnisse liefern. Zum Beispiel könnte abgefragt werden, wie die Verfahren zur Anerkennung ausländischer Abschlüsse weiter verbessert werden können oder welche Hilfestellungen die Fachkräfte benötigen.

Welche Daten bieten sich für eine Evaluierung an?

Für jeden Indikator werden Daten benötigt. Diese Daten können sehr vielfältig sein und hängen von verschiedenen Faktoren ab. Oftmals bieten sich Befragungen von Betroffenen oder Expertinnen und Experten an, die Auskunft zu verschiedenen Sachverhalten geben. In diesem Fall werden Daten für die Evaluierung erstmalig erhoben, weshalb diese Daten auch Primärdaten genannt werden. Bereits bestehende Daten des Statistischen Bundesamtes oder anderer Institutionen, zum Beispiel von Universitäten, können ebenfalls für eine Evaluierung genutzt werden. Diese werden Sekundärdaten genannt.

Welche Methoden kommen bei einer Evaluierung zum Einsatz?

Sämtliche Methoden der Datenerhebung und -auswertung können genutzt werden. Statistische Analysen, qualitative Auswertungen von Interviews, die Analyse von Rechtsgutachten, experimentelle Designs sowie weitere Methoden können für eine Evaluierung verwendet werden.

Was ist ein Evaluierungsbericht?

Im Evaluierungsbericht werden die Erkenntnisse und Ergebnisse der Evaluierung aufgeführt. Er beinhaltet Informationen zum Evaluierungsgegenstand, der Methodik, dem Vorgehen sowie den Ergebnissen der Evaluierung. Abschließend wird ein Fazit zwischen dem Soll-Zustand aus der Zielsetzung des Vorhabens und dem Ist-Zustand, der durch die Evaluierung festgestellt wurde, gezogen. Auf den Erkenntnissen aufbauend sollen zudem Handlungsempfehlungen ausgearbeitet und formuliert werden, mit denen die Ziele des Vorhabens besser erreicht werden können.

Wo werden Evaluierungsberichte veröffentlicht?

Evaluierungsberichte werden in Zukunft auf einer zentralen Plattform der Bundesregierung veröffentlicht.

Wie ist ein Evaluierungsbericht aufgebaut?

Der Aufbau eines Evaluierungsberichts hängt stark vom Gegenstand der Evaluierung und ihrer konkreten Durchführung ab. Grundsätzlich bietet es sich an, zuerst den Evaluierungsgegenstand (das Regelungs-vorhaben und die dadurch entstandenen Änderungen) zu beschreiben. Auch das Ziel des Regelungsvor-habens sollte benannt werden, da die Evaluierung prüft, ob dieses Ziel erreicht worden ist. Hierfür bietet es sich an, die relevanten Informationen aus der Begründung des Gesetzentwurfs zu entnehmen. Da-nach sollte das Vorgehen der Evaluierung beschrieben werden. Ist ein Wirkmodell erstellt worden, kann dieses in den Evaluierungsbericht übernommen und anhand des Wirkmodells der Evaluierungsbericht aufgebaut werden. Die angewandte Methodik inklusive verwendeter Indikatoren und Daten sollte näher beschrieben werden, bevor die Analyse beginnt. Die Analyse hängt stark von der eingesetzten Methodik ab: Qualitative Inhaltsanalysen von Stellungnahmen sowie die Auswertungen von quantitativen Befragungen oder Statistiken – die Analysemöglichkeiten sind vielfältig. Im Anschluss sollten die Ergebnisse der Analyse in einen größeren Kontext eingebettet und bewertet werden. Handlungsempfehlungen oder -optionen bieten sich an, um Anpassungsbedarfe zu identifizieren. Bei einer externen Evaluierung muss das Ressort zu den Handlungsempfehlungen eine Stellungnahme abgeben, die ebenfalls dem Evaluierungsbericht beizufügen ist.

Welchen Umfang hat ein Evaluierungsbericht?

Der Umfang des Evaluierungsberichts hängt davon ab, wie aufwändig die Ermittlung der Zielerreichung ist. So kann ein Bericht einige wenige Seiten, bis hin zu mehr als hundert Seiten umfassen.

Was ist eine Qualitätssicherung und wann muss diese durchgeführt werden?

Bei einer Qualitätssicherung werden sowohl das Vorgehen als auch die Ergebnisse einer Evaluierung hinsichtlich ihrer Qualität und Aussagekraft bewertet. Eine Qualitätssicherung ist dann verpflichtend, wenn eine interne Evaluierung – also eine Selbstevaluierung – vom zuständigen Bundesministerium durchgeführt wurde. Gegenstand der Qualitätssicherung sind die in der Evaluierung verwendeten Indikatoren und Daten. So soll bewertet werden, ob diese für die Überprüfung der Wirksamkeit des Vorhabens geeignet sind. Daneben sollen die Datenauswertung und die Verwendung der Ergebnisse überprüft werden. Abschließend wird ein Fazit gezogen, ob der Evaluierungsbericht von der prüfenden Stelle als aussagekräftig und valide angesehen wird. Die Einbindung der Qualitätssicherung sollte bereits zur Planung des Evaluierungsvorhabens erfolgen.

Wer führt die Qualitätssicherung durch?

Die Qualitätssicherung sollte von einer unabhängigen und neutralen Stelle durchgeführt werden. Als neutrale Stellen können der Normenkontrollrat (NKR) oder die Kompetenzstelle für Evaluierung im Statistischen Bundesamt herangezogen werden. Mit dem Bundesministerium des Innern und für Heimat (BMI) wurde bereits vereinbart, dass die Kompetenzstelle die Qualitätssicherungen für Regelungsvorhaben aus dem Geschäftsbereich des BMI durchführt.