Evaluation

Begriff, Zweck und Grundprinzip

Evaluation oder Evaluierung ist die sach- und fachgerechte Untersuchung und Bewertung. Sie bezieht sich meist auf Projekte, Prozesse, Funktionseinheiten wie Geräte oder Objekte sowie Organisationseinheiten. Dabei können Kontext, Struktur, Prozess, Aufwand und Ergebnis untersucht werden. Zentral ist die Frage, ob und inwieweit etwas geeignet ist, einen angestrebten Zweck zu erfüllen.

Dazu werden Daten methodisch erhoben und systematisch dokumentiert. So sollen Vorgehen, Untersuchung und Ergebnisse nachvollziehbar und überprüfbar sein. Die Bewertung vergleicht ermittelte Ist-Werte mit zuvor ausdrücklich festgelegten, operationalisierten und begründeten Soll-Werten. Operationalisiert bedeutet hier: Ziele oder Kriterien werden so genau beschrieben, dass sie beobachtet oder gemessen werden können. Als Maßstäbe dienen festgelegte Indikatoren.

Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung sowie dem Verständnis von Situationen und Prozessen. Ihre Daten können genutzt werden, um Prozesse anzupassen und zu optimieren. Anders als Forschung untersucht Evaluation konkrete Einzelfälle und ist praxisorientiert, teilt mit Forschung aber das Bemühen um empirische Überprüfbarkeit.

Zeitpunkte und Ablauf einer Evaluation

Je nach Zeitpunkt gibt es drei Formen. Eine antizipatorische oder prospektive Evaluation findet vor einer Maßnahme statt. Eine formative Evaluation begleitet die Maßnahme: In regelmäßigen Abständen werden Zwischenresultate erhoben, damit bei Fehlentwicklungen Anpassungen möglich sind. Sie kann außerdem subjektive Eindrücke von Betroffenen erfassen, ohne dass diese durch rückblickende Verzerrungen beeinflusst sind. Die summative Evaluation erfolgt nach Abschluss einer Maßnahme und bewertet zusammenfassend etwa Konzeption, Durchführung, Wirksamkeit und Effizienz.

Evaluation ist ein Prozess, bei dem ein Gegenstand anhand vorher festgelegter Ziele sowie ausdrücklich sachbezogener und begründeter Kriterien bewertet wird. Besonders qualifizierte Personen nutzen dazu sozialwissenschaftliche Methoden. Das Ergebnis soll als Beschreibungen, begründete Interpretationen und Empfehlungen an Beteiligte und Betroffene zurückgemeldet werden, um den Gegenstand zu optimieren und zukünftiges Handeln zu unterstützen.

Typisch ist ein Kreislauf: Auf eine Zielvereinbarung folgt eine Ausgangserhebung. Danach werden Maßnahmen geplant und Messinstrumente beziehungsweise Beurteilungskriterien entwickelt. Zwischenerhebungen können die Durchführung begleiten; eine Schlusserhebung prüft den Erfolg. Daraus können neue Zielvereinbarungen entstehen. Betroffene sollen zu Beteiligten werden, damit der Prozess konsensual verläuft und nicht von fremden Interessen oder unklaren Kriterien bestimmt wird.

Von Evaluation zu unterscheiden ist die Beurteilung von Personen oder Institutionen, die oft mit negativen Sanktionen verbunden ist. Evaluation im eigentlichen Sinn untersucht Maßnahmen auf ihre Wirksamkeit.

Methoden, Modelle und Qualitätsanforderungen

Professionelle, empirisch begründete Evaluationen unterscheiden sich von alltäglicher Bewertung: Sie beziehen sich auf einen klar definierten Gegenstand, werden von Experten durchgeführt, verwenden präzise festgelegte und offengelegte Bewertungskriterien, gewinnen Informationen durch empirische Datenerhebung und bewerten diese Informationen systematisch nach bestimmten Regeln.

Bortz & Döring unterscheiden populationsbeschreibende, explorative und hypothesenprüfende Methoden. Populationsbeschreibende Methoden schätzen Verbreitung und Hintergründe eines Sachverhalts ab und helfen, die Zielpopulation festzulegen. Explorative Methoden erkunden Interventionsprozesse und Wirkungen, konkretisieren Wirkhypothesen und identifizieren sowie operationalisieren relevante Variablen. Hypothesenprüfende Methoden testen den Einfluss einer Intervention auf sinnvoll operationalisierte Wirkkriterien.

Zur Datengewinnung und -verarbeitung gehören Beobachtung, Monitoring, Experiment, Fallstudie, Fragebogen, Interview, klinische Studie, qualitative und quantitative Forschung, statistische Methoden sowie Wirkungsanalyse. Die Modelle der Evaluation werden im Wesentlichen als methodenorientiert, nutzenorientiert oder bewertungsorientiert eingeordnet. Beispiele sind die Objectives-Oriented Evaluation von Ralph W. Tyler, das CIPP Model von D. L. Stufflebeam und Valuing von M. Scriven.

Als Gütekriterien werden Nützlichkeit, Objektivität, Reliabilität, Validität, Ökonomie und Normierung genannt. Reliabilität bedeutet Zuverlässigkeit einer Messung, Validität die Gültigkeit, also ob tatsächlich das Gemeinte erfasst wird. Andreas Gruschka formulierte 1976 für den Bildungsbereich dagegen Kommunikation, Intervention, Transparenz und Relevanz als vorrangige Gütekriterien.

Die Deutsche Gesellschaft für Evaluation unterscheidet Nützlichkeits-, Durchführbarkeits-, Fairness- und Genauigkeitsstandards. Sie sollen die Ausrichtung an Zielen und Informationsbedarf der Nutzer, eine realistische und kostenbewusste Durchführung mit möglichst geringen Belastungen, einen fairen und respektvollen Umgang sowie fachlich angemessene und nutzbare Informationen sichern.

Evaluation in Arbeit und Bildung

Im Qualitätsmanagement hat Evaluation unter anderem in TQM, ISO 9000, 2Q und Q2E einen festen Platz. Im EFQM-Modell erfasst sie Arbeitsergebnisse bei Kunden, Mitarbeitern und der Gesellschaft und dient als Rückkopplung für Prozesssteuerung sowie Organisations- und Qualitätsentwicklung. Untersucht wird, ob Interventionen die gewünschten Ergebnisse oder Wirkungen erzeugen. Dazu werden subjektive Daten über die Wahrnehmung von Mitarbeitern und Kunden ebenso erhoben wie objektive, intern messbare Leistungsindikatoren.

Das EFQM-Modell verlangt auch die direkte Bewertung von Abläufen, Interventionen und Maßnahmen in Führung, Strategie und Personal. Bei der Selbstevaluation bewerten Führungskräfte und Mitarbeiter sich selbst, Teams und Organisation anhand vorgegebener Kriterien und möglichst objektiver, verlässlicher und valider QM-Instrumente. Aus Daten, Einschätzungen und Belegen werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet. Selbst- und Fremdevaluation können durch Benchmarking ergänzt werden: Daten vergleichbarer Organisationen liefern Maßstäbe für die eigenen Werte. Für Zertifizierungen bewerten zudem unabhängige externe Auditoren die Organisation nach denselben Kriterien.

Im Bildungswesen liefern Evaluationsuntersuchungen Bestandsaufnahmen zum Bildungserwerb von Lernenden. Ihre Ergebnisse sollen pädagogische Praxis bewerten oder verbessern. In der empirischen Bildungsforschung bedeutet Evaluation das methodische Erfassen und begründete Bewerten von Prozessen und Ergebnissen, um eine Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion besser zu verstehen und zu gestalten.

Umwelt und Entwicklungszusammenarbeit

Sozialwissenschaftliche Evaluationen von Umweltproblemen waren bisher, abgesehen von einigen Ausnahmen, vor allem bei Energieverbrauch, Lärmschutz und Abfallproduktion selten. Nachdem viele sozialwissenschaftliche Studien die Annahme widerlegten, Umweltaufklärung führe über Umweltbewusstsein unmittelbar zu entsprechendem Verhalten, erhielt die Bedeutung sozialer Faktoren für umweltrelevantes Individualverhalten mehr Aufmerksamkeit. Umweltprobleme wurden dadurch weniger ausschließlich als technisch lösbar betrachtet.

Die Nachfrage nach Umweltevaluationen wird vor allem von öffentlichen Auftraggebern bestimmt und betrifft politische Programme oder Einzelprojekte. Internationale Organisationen entwickeln Qualitätsanforderungen, die Umweltevaluationen als Regelverfahren vorbereiten sollen. In Deutschland gibt es auf Bundes- und Landesebene höchstens erste Ansätze; auf regionaler und kommunaler Ebene wird eine stärkere Einbindung in technisch orientierte Planungsverfahren wie die Umweltverträglichkeitsprüfung erwartet. Private Nachfrage ist gering, und Erkenntnisse sozialwissenschaftlicher Evaluation sind trotz Umweltmanagementsystemen wie EMAS bisher nicht in Qualitätsmanagementsysteme von Betrieben eingebunden.

In der internationalen Entwicklungszusammenarbeit haben Evaluationen von Projekten und Programmen eine lange Tradition, weil eingesetzte Mittel gegenüber Geldgebern gerechtfertigt werden müssen. Millenniumserklärung und Pariser Erklärung prägen die Ansätze. Das Prinzip der „Harmonisierung“ führt etwa zur Forderung nach Gemeinschaftsevaluierungen; Partnerländer übernehmen zunehmend Auftrag und Durchführung.

Der Schwerpunkt verschiebt sich von Output-Evaluation als Leistungsnachweis zur Bewertung von Wirkungen: Outcomes und Impacts. Verwendet werden Wirkungsketten und Evaluationsdesigns wie die Logical Framework Matrix („Logframe“). Lineare Kausalitätsmodelle werden zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder verdrängt. Genannt werden außerdem Selbstbewertungsmethoden wie die Lernhelix sowie wissenschaftlich fundierte Konzepte, etwa Dienstleistungsqualitäts- und Lebensqualitätskonzept. Im Vergleich zu Bildungs-, Gesundheits- und Sozialwesen fließt jedoch vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) in Evaluationen der Entwicklungszusammenarbeit ein.

International unterhalten unter anderem UN, EU, OECD, IWF und GIZ eigene Evaluationsabteilungen. Sie bearbeiten konkrete Fragen und entwickeln beziehungsweise sammeln Standards und Methoden. Im deutschsprachigen Raum gibt die Deutsche Gesellschaft für Evaluation (DeGEval) Standards, Empfehlungen und Handreichungen heraus; weitere Beiträge zur Professionalisierung leisten unter anderem das Centrum für Evaluation im Saarland und proEval in Österreich.