4.9 Evaluation

Kooperative Regionalentwicklungsprozesse befinden sich oftmals in verfahrenen Situationen, der Prozess kommt nicht voran, die Mitarbeit geht zurück, Projekte scheitern. Hier setzt das Instrument Evaluation an. Evaluationen helfen problematische Entwicklungen frühzeitig zu erkennen und kritische Situationen zu verhindern.
Hinter dem Begriff Evaluation verbirgt sich vieles, was auch mit anderen Begriffen wie (indikatorengestützte) Erfolgskontrolle, Ergebnissicherung, Qualitätssicherung, Qualitätsmanagement, Benchmarking, Controlling, Monitoring, Supervision, Reflexion, Bilanzierung bezeichnet werden kann.

 
 

Evaluieren = verbessern und bewerten

Evaluationen sind sinnvoll und notwendig für das Gelingen des kooperativen Prozesses. Fehlentwicklungen können frühzeitig erkannt, Kernprobleme identifiziert und entsprechende Hemmnisse überwunden werden. Mittel können effizienter eingesetzt werden. Die Akteure reflektieren ihr eigenes Handeln, um es dann zu optimieren und zu effektivieren.
Gegenüber Mittelgebern, Trägern bzw. Beteiligten des Prozesses wird durch die Erfolgskontrolle und die Kontrolle der Mittelverwendung der Prozess legitimiert. Dadurch können der Prozess als ganzer aber auch die einzelnen Projekte hinsichtlich ihrer Ergebnisse optimiert und verbessert werden.

Eine gewünschte Qualität, wie z.B. der Beitrag zu einer nachhaltigen Entwicklung, kann gesichert werden. Durch das Kommunizieren der Erfolge können die beteiligten Akteure motiviert und der Prozess wiederbelebt und verbreitert werden. Eine Vergleichbarkeit verschiedener Regionen untereinander wird anhand von Indikatoren und Kriterien ermöglicht. Durch die Diskussion über die Kriterien lernen die beteiligten Akteure, was nachhaltige Entwicklung konkret für ihre Region bedeutet.
ZUSATZ-INFOGründe für die Durchführung von Evaluationen und Erfolgskontrollen.

Stolperstein
 

Prozess- und Projektebene evaluieren

Kooperative Entwicklungsprozesse sind vielschichtig und komplex. Ihr Erfolg in der Öffentlichkeit misst sich an konkreten Ergebnissen in Form von umgesetzten Projekten. Zum Erfolg gehört aber auch das Funktionieren ihrer Strukturen und das Zusammenwirken der verschiedenen Prozesselemente. Evaluierungen müssen daher auf der Prozess- und der Projektebene durchgeführt werden. Evaluation in kooperativen Regionalentwicklungsprozessen spannt somit einen Bogen zwischen einem betriebswirtschaftlich orientierten Controlling von Projekten und ständiger Reflexion als Überprüfung strategischer und inhaltlicher Aspekte.
Untersucht werden können: der Gesamtprozess, Bausteine des Gesamtprozesses, die Arbeit der Organisationseinheit (Regionale Koordinierungsstelle, Regionale Entwicklungsagentur), einzelne Projekte und Maßnahmen, das Funktionieren des Kooperationsnetzwerkes, die Arbeit von Beiräten oder anderen begleitenden Gremien, die konzeptionellen Grundlagen und Ziele, einzelne Veranstaltungen, wie Arbeitskreissitzungen, oder die Inhalte, wie der Beitrag zu einer nachhaltigen Entwicklung, oder die Erreichung von Umweltqualitätszielen. Evaluationen für kooperative Regionalentwicklungsprozesse sind nicht gesetzlich oder anderweitig normiert. Es können jedoch idealtypische Bausteine identifiziert werden, die eine Evaluation wenn möglich enthalten sollte.

 
 
Idealtypische Bausteine einer strukturierten Evaluation
  • Gesamtprozess
  • Koordinierungsstelle / Regionale Entwicklungsagentur
  • Netzwerk
  • Projekte
  • Einzelne Veranstaltungen
  • Beiräte und begleitende Gremien
  • Ziele
  • Inhalte
 
 

Spezifische Evaluationen

Je nach Gegenstand der Evaluation werden spezifische Fragen gestellt bzw. es müssen besondere Aspekte bedacht werden:

Eine Evaluierung des Gesamtprozesses ist mehr als die Summe der einzelnen Elemente. Es werden auch die Wechselwirkungen und gegenseitigen Abhängigkeiten untersucht. Fragen lauten z.B.: War der Prozess hinsichtlich seiner Ziele erfolgreich? Was waren die Ergebnisse, direkten Effekte und Nebeneffekte? Ist der Prozess stabil? Wie funktioniert die Prozesssteuerung insgesamt?
(-> Ablauforganisation) ZUSATZ-INFOCheckliste

 
 

Die Koordinationsstellen stehen oft unter erhöhtem Legitimationsdruck von Seiten der Mittelgeber und Träger sowie von Einrichtungen mit ähnlichen Aufgaben. Daher ist eine Evaluation unerläßlich, um effektiv zu arbeiten und die eigene Notwendigkeit nachzuweisen. Evaluationsfragen lauten z.B.: Welche Aufgaben nimmt die Regionale Entwicklungsagentur wahr? Entspricht ihre personelle und finanzielle Ausstattung diesen Aufgaben? Welche Projekte hat sie initiiert, unterstützt oder beraten? Welche dieser Projekte waren erfolgreich?
(-> Regionale Entwicklungsagentur) ZUSATZ-INFOCheckliste

Bei Netzwerken sollte grundsätzlich sollte die Zusammensetzung (Aufbauorganisation) sowie die innere Organisation (Ablauforganisation) untersucht werden. Untersuchungsfragen sind z.B.: Sind die für den Regionalentwicklungsprozess relevanten Akteure beteiligt? Welche Arten von Netzwerken existieren? Welche netzwerkinternen Beziehungen gibt es? Wie stabil ist das Netzwerk?
(-> Aufbau- /Ablauforganisation) ZUSATZ-INFOCheckliste

Das Umsetzen konkreter Projekte bzw. Maßnahmen ist ein Erfolgsfaktor für den gesamten Regionalentwicklungsprozess. Zum Erfolg der Projekte ist ein Projektcontrolling als zukunftsorientiertes Steuerungsinstrument sehr wichtig. Erfolge können aufgezeigt werden, das Image eines Projektes steigt. ZUSATZ-INFOCheckliste

Controlling ist dabei kein einmaliges Ereignis, sondern eine Schleife, die während eines Projektes öfters durchlaufen werden muß. Es erfordert ein systematisches Vorgehen. Grundlage ist eine gute Projektplanung mit der Festlegung von Meilensteinen als Kontrollpunkten. Für das Projektcontrolling muss Zeitaufwand eingeplant werden. In der Regel sind Zeitaufwände zwischen 5 und 10% des gesamten Arbeitsaufwandes sinnvoll.

ZUSATZ-INFOWie kann ich bei Abweichungen im Projektverlauf steuernd eingreifen?

Veranstaltungen, wie Arbeitskreissitzungen oder sonstige moderierte Sitzungen, sind tragende Elemente des Regionalentwicklungsprozesses. Ihr Gelingen hat große Auswirkungen auf die Motivation und die Mitarbeit der Beteiligten und somit entscheidenden Einfluß auf das Vorankommen des kooperativen Prozesses. Veranstaltungen sollten an deren Ende gemeinsam von Moderator/in und Teilnehmer/-innen reflektiert und bilanziert werden. Bei der Veranstaltungsplanung sollte dafür Zeit eingeplant werden. Methoden für die Reflexion von Sitzungen sind z.B. die Bilanzfrage oder Fragebögen mit vorgegebenen Antworten. Diese dienen nicht nur der Erhebung von Einstellungen und Bewertungen, sondern auch der gemeinsamen Erörterung im Plenum oder in Kleingruppen.
ZUSATZ-INFO Checkliste

Auch die Arbeit der begleitenden und unterstützenden Gremien wie einem wissenschaftlichen Beirat, einem Kuratorium, einer Lenkungsgruppe, einem Fachbeirat oder ähnlichem sollte mindestens jährlich evaluiert werden. Die Evaluation gibt allen Beiratsmitgliedern die Chance die Unzulänglichkeiten der bisherigen Arbeit zu diskutieren und Verbesserungen in Angriff zu nehmen. Die Evaluation kann zur Motivation der Beiratsmitglieder beitragen bzw. deren Mitwirkungsbereitschaft überprüfen. Für die jährliche Evaluation sollte eine Checkliste eingesetzt werden, die jedes Beiratsmitglied einzeln ausfüllt. Die Ergebnisse sollten dann diskutiert werden und in eine Strategie mit erreichbaren Zielen für das nächste Jahr münden.
(-> Aufbauorganisation) ZUSATZ-INFO Checkliste

Regionale Agendaprozesse definieren bzw. legitimieren sich wie lokale Agendaprozesse aus der Diskussion um eine nachhaltige Entwicklung heraus. Durch Evaluationen i.S. von Zielerreichungskontrollen lässt sich feststellen, ob die angestrebten inhaltlichen bzw. fachlichen Ziele erreicht wurden (z.B. Beitrag des Prozesses oder der Projekte zu einer nachhaltigen Entwicklung bzw. zum Umwelt- und Naturschutz). Dafür müssen jeweils geeignete Zielrahmen als Bewertungsgrundlage herangezogen werden. Dabei kann auf vorhandene Zielrahmen zurückgegriffen oder ein eigener erarbeitet werden. Solche inhaltlichen Erfolgskontrollen sind insbesondere notwendig um eine Beliebigkeit der Prozesse und deren Ergebnisse zu vermeiden und dienen in erster Linie der Qualitätssicherung.
(-> Konzept) ZUSATZ-INFOCheckliste

Gutes Beispiel
 

Zielgerichtet und adäquat evaluieren

Evaluationen können in verschiedener Form durchgeführt werden. Diese richtet sich nach dem Zweck und den Adressaten. Will man stärker partizipativ und öffentlichkeitswirksam evaluieren, wird man eher eine Veranstaltung, wie z.B. eine Bilanzkonferenz, ausrichten. Soll es tiefgehender und strategischer sein, greift man auf Gutachten oder Coaching zurück. Eine Kombination der verschiedenen Formen ist dabei vorteilhaft. So können z.B. die Ergebnisse eine Evaluationsstudie in einer Veranstaltung mit der breiten Öffentlichkeit diskutiert werden oder als Grundlage für ein Coaching der Schlüsselakteure dienen.

Gutes Beispiel
 
Mögliche Formen der Evaluation sind
  • Studien / Gutachten
  • Fortschrittsberichte, Bilanzberichte, Arbeitsberichte
  • Regionale Entwicklungskonzepte als strategische Controllinginstrumente, die auch einen ZUSATZ-INFONachhaltigkeitsbericht o.ä. enthalten
  • Aufbau eines regionalen Nachhaltigkeitsberichtssystems
  • Bilanzkonferenzen /-veranstaltungen (z.B. Regionalkonferenzen)
  • Supervising / Coaching der Koordinatoren und Schlüsselakteure
  • Kritische Moderation / Spiegelung
  • ZUSATZ-INFO Qualitätsmanagement
  • ZUSATZ-INFO Benchmarking
  • ZUSATZ-INFO Indikatorengestützte Evaluation
  • Erfahrungsaustausch mit anderen kooperativen Prozessen (Netzwerk Regionen der Zukunft, Bilanzkonferenzen in Bayern, Wettbewerbe)
  • Dialog in Arbeitsgruppen
Die Wahl der Methoden hängt neben der angestrebten Form hauptsächlich vom Gegenstand der Untersuchung ab. Häufig angewandte Methoden sind z.B.:
  • Effektivitäts- und Effizienzkontrollen,
  • Wirkungsanalysen,
  • Restriktionsanalysen,
  • Stärke-Schwächen-Analysen (SWOT)
  • Befragungen,
  • Leitfadengestützte Interviews,
  • kritische Spiegelung etc.
Gutes Beispiel
 

Maßstab der Bewertung heranziehen

Um etwas sinnvollerweise bewerten zu können, braucht man immer auch einen Maßstab anhand dessen Erfolge oder Fortschritte bewertet werden können. Die Maßstäbe können vorgegeben sein oder selbst entwickelt werden.

 
 
Solche Maßstäbe sind z.B.:
  • idealtypische Elemente eines Agendaprozesses,
  • ZUSATZ-INFOQualitätsstandards für Prozesse bzw. kooperative Planungsansätze,
  • Quantitative und qualitative Ziele (z.B. Nachhaltigkeits-, Umweltqualitätsziele),
  • Übergeordnete und regionsspezifische Ziele,
  • Nachhaltigkeitsindikatoren (+ Orientierungswerte),
  • Dokumentierte Vereinbarungen und Beschlüsse
  • vergleichbare andere Ansätze (Benchmarking).
 
 

Auch weiche Kooperationsergebnisse und Nebeneffekte beachten

Die Wirkung von kooperativen Prozessen sollte nicht nur an den Tätigkeiten gemessen werden die direkt sichtbar sind. Es sollten auch die weichen Kooperationsergebnisse und Nebeneffekte, die positiv wie negativ sein können, beachtet werden.

 
 
Solche Nebeneffekte sind z.B.:
  • ein verbessertes Verhältnis zwischen öffentlichen und privaten Akteuren,
  • die Initiierung von Projekten,
  • die anderweitige Anwendung von Kommunikationsformen und -verfahren, welche die regionalen Akteure in der Kooperation kennengelernt haben.
Gutes Beispiel
 

Regelmäßig evaluieren

Grundsätzlich gibt es die Möglichkeit Überprüfungen vorher (ex ante), nachher (ex post) oder im Ablauf des Prozesses als Zwischenevaluierung durchzuführen. Wichtig ist, dass die Evaluationen regelmäßig und systematisch durchgeführt werden.
Sinnvoll sind regelmäßige, systematische Evaluationen, die z.B. anhand von Etappenzielen oder Meilensteinen durchgeführt werden. Dadurch wird es im Sinne einer Frühwarnung ermöglicht, zeitnah Probleme zu erkennen und entsprechende Modifikationen vorzunehmen. Vorteil ist dabei, dass die Probleme noch nicht so schwerwiegend sind. Man kann frühzeitig und in Ruhe Veränderungen vornehmen, deren Qualität dann auch höher ist. Nerven, Zeit und Kosten werden gespart. ZUSATZ-INFOVorteile einer Frühwarnung
Den regelmäßigen Evaluationen sollte in der zeitlichen Planung des Prozesses bzw. der Projekte aus-reichend Platz eingeräumt werden. Die Evaluierungsschritte sollten im Prozess- bzw. Projektablauf institutionalisiert werden.

 
 
Wer evaluiert?
  • Die Akteure / Prozessbeteiligten selbst
  • Regionale Koordinierungsstelle
  • Externe Gutachter
  • wissenschaftlicher Beirat
  • Planungs- und Consultingbüros
  • Moderatoren
  • Coach / Supervisor
  • (Regionale) Wissenschaftliche Einrichtungen (Universität, Fachhochschule, außeruniversitär)
  • Landeseinrichtungen
  • Der Mittelgeber
 
 

Selbst- oder Fremdevaluation?

Generell stellt sich die Frage, ob die regionale Koordinierungsstelle oder die Beteiligten die Evaluation selbst durchführen oder ob ein externes Evaluationsteam herangezogen wird. Beide Arten sind sinnvoll und in Kombination durchführbar. Eine interne Evaluation sollte es regelmäßig geben. In größeren Abständen oder ad hoc bei größeren Problemen ist eine externe Evaluation angezeigt. Bei der Selbstevaluation kann auf externe Unterstützung zurückgegriffen werden.

Das Controlling von Projekten ist z.B. Aufgabe der Projektleitung. Es ist aber sinnvoll insbesondere in schwierigen und unklaren Situationen das gesamte Team am Controlling zu beteiligen. Dadurch kann das Wissen und die Erfahrung aller genutzt werden, was die Qualität der Analyse und Lösung erhöht. Insbesondere für das Aufspüren von Hemmnissen und die Qualitätssicherung des Prozesses ist ein professioneller, kritischer und neutraler Blick von außen hilfreich. Die Berater können als Supervisoren oder Coaches ein Projekt bzw. einen Prozess durch die verschiedenen Entwicklungsphasen, von Anfang bis zum Ende begleiten. Durch ihr fachliches Wissen und durch ihren neutralen Blickwinkel können sie wichtige Inputs vermitteln und Anregungen zum Einsatz von Hilfsmitteln geben.

Die regionale Organisationseinheit (Koordinierungsstelle / Regionale Entwicklungsagentur) kann Aufgaben der Evaluation für die eigene Arbeit, für den Gesamtprozess oder für die verschiedenen Projekte übernehmen. Die Regionale Entwicklungsagentur sollte die Selbstevaluation in Projekten anregen und unterstützen.
Gemeinsame Reflexionen können z.B. im Rahmen eines Workshops oder einer Bilanzkonferenz vorgenommen werden.

 
 

Potenzial wissenschaftlicher Einrichtungen nutzen

Wenn keine zeitlichen, finanziellen und personellen Kapazitäten für Evaluationen vorhanden sind, sollte das Potenzial regionaler wissenschaftlicher Einrichtungen insbesondere der Universitäten und Fachhochschulen genutzt werden. Die Hochschulen bzw. Professoren und wissenschaftliche Mitarbeiter sollten direkt angesprochen werden, ob im Rahmen von Begleitforschung, Dissertationen, Diplomarbeiten oder Studentischen Projekten Evaluationen des Gesamtprozesses oder einzelner Sachverhalte durchgeführt werden können. Dies hilft Kosten sparen und erlaubt es qualifizierte Evaluierungen durchzuführen. In Frage kommen insbesondere planerische, wirtschafts- und sozialwissenschaftliche Fachrichtungen.

Tipps
Checkliste

 

ZURÜCK ZUR STARTSEITE VORWÄRTS NACH OBEN