Impact II – Ein Leitfaden zur Wirkungsmessung

On 28. Mai 2015 by Anna

In meinem Artikel über Social Impact habe ich bereits einen kleinen Einblick in die Wirkungsmessung gegeben. Diese gehört, so denke ich, in das Standardrepetoire des Programms eines Sozialunternehmens. Warum?

  • Kommunikationsstrategie: Legitimation und Außenwirkung

  • Qualitätssicherung: Verstärkung des Wirkung, Bessere Einbindung aller Stakeholder
    Unternehmensentwicklung: Weiterentwicklung des Projekts/Unternehmens bzw. der Organisation

  • Effizienzsteigerung: Optimierung der Ressourcenverteilung und Verbesserung der Effizienz

  • Finanzierung: Eine nachvollziehbare Wirkungslogik, professionelle und transparente Berichterstattung sind die meistens Voraussetzung für eine Förderung

Leider erfordert eine umfassende Wirkungsmessung ein nicht unbeachtliches Maß an personellen und zeitlichen Kapazitäten sowie ein wenig Know-How. Dies ist für ein kleines Start-Up, welches sich in erster Linie auf die Verwirklichung der eigentlichen Mission konzentrieren muss, eine gewisse Herausforderung.

Das folgende Chart könnte dabei unterstützen, durch systematisches Vorgehen die eigene Wirkungslogik zu identifizieren und deren Messung zu planen, umzusetzen und zu evaluieren.

Auch wenn es zunächst nach einem hohen Mehraufwand aussieht, muss man sich nicht entmutigen lassen. Eine kleine Organisation darf sich zunächst nur mit kleinen Schritten der Wirkungsmessung annähern.

 Impact2

 

1. Mapping – Bedarfs- und Umfeldanalyse:

Um ein wirkungsorientiertes Projekt zu entwickeln, müssen wir zunächst den Bedarf und die Rahmenbedingungen erfassen. Dabei gilt: Je umfassender und detaillierter die Bedarfs- und Umfeldanalyse festgehalten wird, umso zielgerichteter können die erforderlichen Maßnahmen geplant werden.

„Welcher Personenkreis ist direkt und indirekt betroffen?“ „Handelt es sich um ein lokales Problem?“ „Wie lassen sich die Umstände und das Kernproblem beschreiben?“ „Was sind die Ursachen?“ „Gibt es externe Einflussfaktoren?“ „Gibt es bereits an der Thematik arbeitende Institutionen/Organisationen?“ „Gibt es in der Praxis bereits bewährte Methoden?“

Mithilfe dieses Arbeitssheets lässt sich die Analyse etwas besser kartographieren und Zusammenhänge erkennen.

Für die Ermittlung des Ist-Zustandes sollten wir möglichst 360 Grad vorgehen. Das bedeutet für die Recherche:

  • Daten aus vertrauenswürdigen / offiziellen Quellen filtern (z.B. Bundesamt für Statistik, bestehende Studien)

  • Das Thema deskriptiv und quantitativ Erfassen.

  • Die Ausgangssituation sollte vor Beginn der Wirkungsmessung erfasst werden, um später die positiven Veränderungen belegen zu können. Manchmal ist bereits hier eine erste Befragung der Zielgruppe erforderlich.

  • Konsultierung von Experten und im Feld bereits arbeitende Organisationen. Ich kann gar nicht genug hervorheben, wie förderlich dieser Punkt in vielerlei Hinsicht ist. Denn bereits aktive Menschen und Organisationen unterstützen meist gerne das Vorhaben.

 

 

2 A. Planung:

Das Feld ist erschlossen. Wir kennen die Mechanismen der sozialen Problematik, ihre Ursprünge und Entwicklungen und den Hebel unserer Arbeit. Nun wollen wir herausfinden, inwiefern sich unser angestrebter Impact durch Daten belegen lässt.

Um unseren Impact sichtbar zu machen, benötigen wir ein Tool das uns die Grundlagen dafür bietet. Das IOOI- Modell hat sich als Wirkungskette inzwischen zum Standard der Wirkungsmessung entwickelt.

Die einzelnen Stufen der Wirkungslogik können wir uns durch gezielte Fragestellungen erarbeiten:

  • Input: Welche personellen Ressourcen, Arbeitsmittel, Infrastrukturen etc. sind notwendig, um eine definierte Maßnahme in einem bestimmten Zeitraum (siehe Output) umzusetzen?

  • Output: Welche Leistung kann mit den beschriebenen Mitteln erreicht werden? In welchen Stufen, Schritten, zeitlichen Abständen und in welchem Umfang (Größe, Streuung) soll die Maßnahme umgesetzt werden?

  • Outcome: Welche unmittelbare Wirkung lässt sich mit der Maßnahme erzielen? Was ist das direkte aus der Leistung erbrachte Resultat?

  • Impact: Was ist unser intendierter Einfluss entlang unserer Problemstellung? Wie lassen sich Langzeiteffekte und die Tragweite unserer Maßnahme beschreiben?

Indikatoren identifizieren und Erhebungsmethoden festlegen:

Da es hier aber vor allem um die Sichtbarmachung und die Messung unserer Wirkungskette geht, sollten wir uns im gleichen Arbeitsschritt auch Gedanken über die Anhaltspunkte und Kennzahlen machen, welche diesen Impact belegen könnten. Wir fragen uns bei jeder IOOI-Stufe also:

  • Anhand welcher Indikatoren lassen sich die einzelnen Stufen und ihre Erfolge nachvollziehen?

  • Welche Methoden zur Erhebung und Messung sind erforderlich, um diese Indikatoren qualitativ oder quantitativ zu bündeln?

  • Sind die dadurch gewonnenen Daten aussagekräftig, belastbar und vergleichbar?

  • Ist die geplante Wirkungsmessung zweckdienlich für die Darstellung meiner späteren Erfolgsbilanz? Hier gilt es vor allem, sich auf das wesentliche zu reduzieren. Man könnte das Projekt in tausendfacher Weise evaluieren und unendliche Datenmengen generieren. Um sich dem Thema der Wirkungsmessung jedoch Schritt für Schritt anzunähern, sollte man das Projekt gerade am Anfang nicht überlasten. Wir wählen mit Bedacht einige wichtige Indikatoren aus und verfolgen diese konsequent. Step by Step; Learning by Doing.

 

IOOI

 

 

2 B. Operationalisierung:

Hierbei geht es darum, die geplante Wirkungsmessung konkret in den Projektablauf zu implementieren. Wie können wir das hochgesteckte Ziel der Wirkungsmessung überhaupt in unser Daily Business oder Projekt so integrieren, um qualitative Daten trotz beschränkter personeller und zeitlicher Kapazitäten zu erheben und ohne dabei den Ablauf unseres Kerngeschäftes zu behindern?

Die Antwort ist einfach: Die Wirkungskette muss von vornherein in die Projektplanung eingebunden sein und sich zum Standard des Betriebsablaufes entwickeln.

Zusammenfassend lässt sich die Operationalisierung in folgende Schritte einteilen:

  • Im vorherigen Schritt„Planing“ wurden bereits die erwünschten Daten, ihre Beschaffenheit und die Erhebungsmethoden festgelegt.

  • Nun müssen wir einschätzen, mit welchem Aufwand und welchen Ressourcen wir arbeiten:

    • Ablauf der Erhebung (Datenerhebung und Datenauswertung)

    • zeitlicher Bedarf

    • Personeller Bedarf

    • Technische Hilfsmittel

    • Potentielle Hürden

    • Mögliche externe Hilfestellungen, Leistungen, Unterstützung

  • Im nächsten Schritt werden die logistischen Schnittpunkte der Messung zum tatsächlichen Projekt identifiziert. „Zu welchem Zeitpunkt an welchem Ort, welcher Stelle kann die Messung sinnvoll und effizient durchgeführt werden?“

  • Um diesen Plan alsdann steuerbar und möglichst integrativ zu gestalten, sollte die Messung und die Auswertung wie eine Art Meta-Projekt behandelt werden: Am besten geht das mit der SMART-Methode aus dem Bereich des Projektmanagements. „Angestrebte Daten sollen innerhalb bestimmter Laufzeiten und anhand vereinbarter Bedingungen sowie unter folgender Verantwortung/Mitarbeit mit festgelegten Methoden erhoben werden“.

smart

Ich empfehle, die Wirkungsmessung direkt in den Businessplan (z.B. via des Business Model Canvas) einzuplanen. Wer von vornherein den Impact einkalkuliert, kann das Unternehmen stärker daran ausrichten.

 

 

3. Erhebung – Die Sichtbarmachung der Indikatoren

Dieser Schritt ist eigentlich Teil der Planung . Weil jedoch die Erhebung von Daten für viele Organisationen eine große Herausforderung darstellt, soll im Folgenden eine kleine Auswahl an Möglichkeiten des Monitorings kurz vorgestellt werden. An dieser Stelle empfehle ich auch das Kursbuch Wirkung. Hier werden viele Erhebungsmethoden detailliert und praxisnah erläutert.

  • Bilder- und Videodokumentation

  • Tätigkeitsberichte

  • Fokusgruppen und Interviews

  • Tracking: Teilnehmerzahlen, Besucherfrequenzen, Abschlusszahlen,

  • Studien

  • Beauftragung externer Fachleute zur Evaluation (z.B darauf spezialisierte Dienstleister wie Phineo oder Arbeitsprojekte an Hochschulen)

Folgende Kriterien sollte man sich außerdem bei der Erhebung stets bewusst machen:

  • Unterschiedliche Erhebungsformen liefern unterschiedliche Arten und Vorzüge von Informationen. Bereits bei der Planung fragen wir uns deshalb, was genau die erhobenen Daten der gewählten Methode belegen sollen. Manchmal gibt auch erst der richtige Methodenmix die entsprechenden Aufschlüsse. Auch hier empfehle ich das Kursbuch Wirkung als weiterführende Lektüre.

  • Das wohl wichtigste Qualitätsmerkmal einer jeden Erhebung ist die Standardisierung der Methode. Denn die gewonnenen Daten sollten im Laufe der Projektzeit eine gewisse Qualität und Kontinuität aufweisen um die Entwicklung oder den Vergleich mit bestehenden Daten sichtbar zu machen. Das bedeutet vor allem, Regelmäßigkeit und möglichst konstante Rahmenbedingungen der Datenerhebung zu schaffen.

  • Die Art der Fragestellung beeinflusst die Qualität der Antworten. In der Erstellung eines Fragebogens oder einer Interviews steckt viel psychologisches Wissen. Auch wenn an dieser Stelle leider nicht genug Platz ist, dies näher zu erläutern, lohnt sich ein Blick in entsprechende Fachliteratur.

  • Datenerhebung geht einher mit Datenschutz. Personen, deren Daten erhoben werden, müssen über die Art der Nutzung informiert werden und ihr Einverständnis geben.

  • Nur belastbare Daten sind brauchbare Daten. Es ist jedenfalls kaum hilfreich eine lückenhafte und inakkurate Erhebung durchzuführen. Ist der Aufwand einer gewählten Methode nicht praktikabel, sollte ein anderer Weg in Erwägung gezogen werden.

  • Wie erkennen wir, ob der Umfang der Daten für eine valide Evaluation ausreicht? Ab wann ist eine Studie repräsentativ? Von welchen „Massen“ an Daten sprechen wir eigentlich? Ich darf an dieser Stelle gerne etwas beruhigen. Niemand erwartet von einem soeben gestarteten Projekt, dass es sofort eine umfangreiche Studien nach allen wissenschaftlichen Ansprüchen liefert. Faustregel am Anfang könnte diese sein: „Ab wann können wir für uns selber feststellen, ob wir unsere Ziele erreicht haben, ohne dies schätzen zu müssen?“

  • Bezüglich des Ablaufes der Datenerhebung sollte darauf geachtet werden, den laufenden Betrieb nicht zu behindern. Deshalb haben wir diesen Punkt bereits bei der Operationalisierung bearbeitet.

 

Monitoring Checklist

 

4. Evaluation & Reporting:

Die Wirkungsmessung hat letztendlich zwei wertvolle Ziele: Zum einen die externe Berichterstattung, zum anderen die Kontrolle und Verbesserung von Unternehmensstrategie und der Prozesse.

Man kann durch eine geschickte Evaluation aus den richtigen Daten nicht nur den Erfolg eines Projektes ersehen sondern oftmals wichtige Rückschlüsse für die zukünftige Entwicklung ziehen. „Gibt es Veränderungen in der Altersklasse der Teilnehmer?“ „Hat ein neuer Inhalt im Curriculum zu einer höheren Abschlussquote geführt?“ „Finden die Kurse am Wochenende mehr Anklang als unter der Woche?“ „Erreiche ich meine Teilnehmer eher durch Aushänge in der Öffentlichkeit oder durch Informationsstände bei Veranstaltungen?“ (…)

Evaluation:

Um diese wertvollen Informationen herauszufiltern, müssen die Daten erst einmal ausgewertet werden. Ein Grundlagenwissen in Statistik ist dafür zwar bestimmt hilfreich, zunächst jedoch nicht notwendig; dafür jedoch ein wenig Excel-Kenntnis und eine Person (besser ein kleines Team), welche/s sich damit geduldig auseinandersetzt.

  • Auch ein am Projekt arbeitendes Team benötigt aufgewertete Daten und einen Bericht zur Reflektion. Bereite das Meeting entsprechend vor.

  • Vergleiche innerhalb der Datenmenge bieten einen großen Mehrwert: Soll-Ist Vorher-Nacher, Kosten-Leistung, Unterschiede bei Projektänderungen, Unterschiede innerhalb der Zielgruppen (Alter, Geschlecht, Herkunft), Benchmarking

  • Visuell aufbereitete Daten sind besser zu verstehen. Z.B. als Charts, Tabellen oder Trendkurven

  • Auch Einbindung von Zitaten, Fallstudien, Quick Facts und Bildern

Was sollte man mit den gewonnenen und sortieren Daten tun um diese zu bewerten? Wir besprechen sie in unserem Team! Dabei gilt:

  • Die Einbindung von Team-externen Stakeholdern ermöglicht neutrale und somit wertvolle Blickwinkel auf das Projektergebnis. Wir sollten alle einladen, deren Meinung uns wichtig ist.

  • Keine Schönmalerei. Negative Entwicklungen gehören nicht verschwiegen sondern müssen offen besprochen werden um sie zukünftig zu meistern.

  • Lessons Learned: Was wurde im Laufe der Projektes innerhalb des Teams gelernt, was für die Zukunft des Projektes wertvoll sein könnte? Was läuft besonders gut, was eher miserabel?

  • Erste Hochrechnungen dürfen gewagt und Handlungsempfehlungen ausgearbeitet werden.

  • Am Schluss sollte die Evaluation und alle gewonnenen Erkenntnisse als Grundlage zur weiteren Unternehmensplanung dienen.

  • Daten und Erkenntnisse gehören immer zu einem der wertvollsten Ressourcen, welches ein Unternehmen generieren kann. Behandeln wir sie wie Schätze. Innovationsmanagement geht einher mit Wissensmanagement.

Reporting:

Es gibt viele Formen des Reportings und der Berichterstattung. Und leider gibt es keinen einfachen Standard, der für alle Fälle anwendbar ist. Ein Tätigkeitsbericht zur Steuererklärung für das Finanzamt hat andere Anforderungen, als ein auf der Homepage öffentlich gemachter Wirkungsbericht. Auch Kooperationspartner und Geldgeber haben unterschiedliche Erwartungen an Form und Inhalt der Berichterstattung. Oftmals fordern sie die Einreichung vorgefertigter Berichtsformulare.

Ansonsten ist hier die Heranziehung des Social Reporting Standards (SRS) als einfaches aber ausführliches und vor allem weithin anerkanntes Format der Berichterstattung zu empfehlen

Folgende Qualitätsmerkmale haben Sie jedoch alle Inne:

  • Der Bericht ist prägnant und zielführend. Das bedeutet für den Umfang: Soviel wie nötig, so wenig wie möglich.

  • Der Bericht ist lesefreundlich gestaltet und u.U. durch Stilmittel (Bilder, Zitate, Fallstudien, Graphiken) aufbereitet.

  • Die Berichterstattung ist transparent und aufrichtig.

  • Vor allem soll der Bericht folgendes deutlich machen: „Wir kennen die Wirkung unseres Projektes, haben die Folgen erkannt und arbeiten daran uns zu verbessern.“

 

 

5. Developing

Wie bereits erwähnt, können und sollten die Daten und Erkenntnisse eine unserer Grundlagen für die nächsten Entscheidungen bieten. Um ganzheitlich zu arbeiten, sollte nicht nur der Vorstand oder die Geschäftsleitung diese kennen, sondern das ganze Team.

Daten gehören also nicht nur sauber archiviert, sondern über die Jahre hinweg verglichen. Den Erkenntnissen müssen Taten folgen. Es gibt kein Unternehmen, welches nach dem Controlling keine Anpassungen und manchmal sogar Kursänderungen vornimmt.

Dies bedeutet, eine positive und kreative Scheiter-, Lern- und Innovationskultur zu pflegen, vielleicht sogar ein strukturelles Qualitäts- und Wissensmanagement einzuführen.

Aber auch im Dialog nach Außen entstehen durch den Austausch eigener Erfahrungen sehr oft fruchtbarer Input und Unterstützung.

 

 

Weiterführende Literatur:

– Kursbuch Wirkung von Phineo, download hier: http://www.phineo.org/fuer-organisationen/kursbuch-wirkung/

-Corporate Citizenship planen und messen – Ein Leitfaden der Bertelsmann-Stiftung: kostenlos bestellbar: http://www.upj.de/iooi-Leitfaden.198.0.html

– Prove and Improve, in Englisch http://www.proveandimprove.org

– Der Social Reporting Standard: Hier erfährt man mehr und kann sich den Leitfaden downloaden http://www.social-reporting-standard.de

Eine hervorragende SROI-Analyse (und ein Bericht) des Projektes „Balu und Du“: http://www.benckiser-stiftung.org/blog/wp-content/uploads/2015/02/SROI-Bericht-BuD-final-17Feb2015.pdf

Bild: http://www.newschool.edu

One Response to “Impact II – Ein Leitfaden zur Wirkungsmessung”

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.