REFLEXION UND LERNEN: EVALUATION MACHT DEN UNTERSCHIED
- 19.10.2021
- Talenthelden
- 6 Min
Evaluation gewährleistet als Bewertungs- und Reflexionsinstrument, dass aus erzielten Erfolgen, aufgetretenen Problemen und beobachteten Wirkungen kontinuierlich gelernt werden kann. Ohne Evaluation keine systematische Weiterentwicklung − das gilt für Organisationen und Projekte gleichermaßen. Doch wie sieht es damit bei Personalentwicklung und Transformationsprozessen aus? Im Talenthelden-Interview befragen wir Dr. Elisa Knödler und Dr. Anna von Werthern. Beide sind langjährig erfahrene Evalutorinnen und Evaluationsberaterinnen. Gemeinsam sorgen sie u. a. auch dafür, dass die Talenthelden Entwicklungsjourneys in ihrer Wirksamkeit messbar gemacht werden.
Tun, was wirkt!
Wirksamkeit und Nachhaltigkeit gehen bei von werthern & knödler Hand in Hand. Selbstbestimmt und ohne Kompromisse in der Qualität begleiten und befähigen sie relevante Akteure, die Wirksamkeit ihres Tuns zu überprüfen und eröffnen so die Möglichkeit, nachhaltige Veränderungen zu implementieren.
Evaluation ist für Dr. Elisa Knödler (links) und Dr. Anna von Werthern (rechts) nicht nur ein Job. Es ist eine Herzensangelegenheit, hinter der sie mit Überzeugung und Leidenschaft stehen. Ihre Philosophie und Expertise machen sie für uns zum idealen Partner.
Weiterbildung/Transformation in Unternehmen: Wie ist der wahrgenommene Status Quo der Wirksamkeitsmessung?
Das ist unserer Erfahrung nach von Unternehmen zu Unternehmen sehr unterschiedlich. In anderen Worten: Es lässt sich diesbezüglich ein äußerst heterogenes Bild zeichnen.
Grundsätzlich kann es sich heutzutage kaum ein Unternehmen leisten, das Thema Evaluation gänzlich auszusparen und gerade die Evaluation von individueller Weiterbildung (PE) sowie von größer angelegten Veränderungsprozessen (OE) ist dabei natürlich ein Dauerbrenner. Jedoch ist hier zwischen diversen Interessenlagen zu unterscheiden. Entscheidend ist, welches Ziel mit einer PE- oder OE-Maßnahme verfolgt wird und welche Funktion die dazugehörige Evaluation ausfüllen soll. Hier finden sich unter dem Label „Evaluation“ verschiedenste Herangehensweisen, bis hin zu Pseudo-Evaluationen und Evaluationen mit anderen, durchaus legitimen Sekundärfunktionen.
Abseits dieses allgemeinen, ganz grob umrissenen IST-Zustandes, lassen sich hinsichtlich der Messung von Wirksamkeit beim Thema Weiterbildung/Transformation eindeutig positive Tendenzen feststellen. Ein deutlicher Gradmesser ist für uns, dass die Theoriebasierte Evaluation (TBE) − auch, wenn sie nicht immer als solche bezeichnet wird − mehr und mehr Einzug in das Bewusstsein der mit Evaluation befassten Akteursgruppen hält. Begrifflichkeiten wie Wirkungsmodelle, Programmtheorien, logische Modelle, logic chains oder Ursache-Wirkungs-Zusammenhänge haben noch vor einigen Jahren eher ein Nischendasein gepflegt, mittlerweile gehören sie jedoch zum Vokabular vieler, für uns relevanter Stakeholder. Wir persönlich sind darüber sehr glücklich, denn wir arbeiten bereits seit vielen Jahren mit der TBE als evaluationstheoretischem Referenzrahmen, und das aus tiefster Überzeugung.
Wer an nachhaltiger Transformation und auch nachhaltigem Wirtschaften im Sinne eines positiven ROI interessiert ist, kommt nicht umhin, sich ernsthaft mit Wirksamkeitsmessungen auseinanderzusetzen.
Wer Weiterbildungen als Incentives für die Mitarbeiter:innen einsetzt und sie mit spannendem Input und gutem Kaffee versorgt, um die gefühlte Zufriedenheit zu erhöhen oder Transformationsprozesse lediglich für das Image des Unternehmens ausrollt, muss jedoch tatsächlich nicht so weit ausholen, sondern kann sich weiterhin der happy sheets bedienen. Womit wir wieder bei den Zielen von Weiterbildung/Transformation und deren Evaluation wären.
Change Management/Transformation: Welche Evaluationsmethoden bieten sich an, um die Wirksamkeit von Maßnahmen zu messen?
Change Management und Transformation sind aktuell vielbemühte Begriffe, die bei genauerem Hinsehen jedoch häufig einfach als Buzzwords genutzt werden, ohne sich in ihrer Nutzung durch inhaltliche bzw. definitorische Präzision auszuzeichnen. Schält man die Begrifflichkeiten aus den ihnen zugeschriebenen, unterschiedlichen Bedeutungszusammenhängen heraus, landet man schlicht bei dem lange nicht so fancy klingenden, aber umso wichtigeren Begriff der Veränderung. Und hier beginnt es spannend zu werden. Die Frage danach, wie nachhaltige Verhaltensänderungen oder auch tiefgreifende Veränderungen von Einstellungen und Haltungen erzielt werden können – ob bei einzelnen Mitarbeiter:innen oder auf ganze Organisationen bezogen −, treibt die Expert:innen aus Forschung und Praxis nicht umsonst seit vielen Jahren um. Kurz gefasst lässt sich das vor allem damit erklären, dass es nicht nur anspruchsvoller ist, Veränderungen zu erreichen, sondern auch Veränderungen zu messen und auf die jeweiligen Maßnahmen kausal zu attribuieren. Im Gegensatz dazu ist es geradezu ein Kinderspiel, Wissenszuwachs zu quantifizieren.
Eben dies spiegelte sich auch lange Zeit in der Art und Weise wieder, wie Unternehmen Weiterbildungen durchgeführt und deren Erfolg gemessen haben – sofern das überhaupt passiert ist: Der Fokus wurde auf den Wissenszuwachs gelegt.
Als irgendwann jedoch nicht mehr zu übersehen war, dass der gemessene Wissenszuwachs den Transfer in den Arbeitsalltag nicht schafft und vor allem Wissen nicht das entscheidende (oder nicht das alleinig entscheidende) Vehikel ist, um Veränderungen zu erreichen, musste eine neue Strategie her. Erste Versuche waren Nachbefragungen und Follow-Ups. Doch auch diese Methoden sind begrenzt in ihren Möglichkeiten, mehr als den einfachen Wissenszuwachs über einen längeren Zeitraum und die subjektive Einschätzung bezüglich der Anwendung des Gelernten in der Praxis zu erfragen.
Um jedoch tatsächliche Wirksamkeit zu messen, reichen einfache Prä-Post-Befragungen seit Langem nicht mehr aus. Vielmehr bedarf es einer Theorie der Wirksamkeit bzw. explizierte Wirkannahmen und deren Operationalisierung. Welche Methoden dafür einzusetzen sind, gilt es hands-on am konkreten Gegenstand zu entscheiden. Fest steht, dass eine theoriebasierte Herangehensweise ein erfolgsversprechender Weg ist, wenn einem daran gelegen ist, Weiterbildung und Transformation auf ihre Wirksamkeit hin zu überprüfen.
Ist das auf Output-Dimensionen von PE-Maßnahmen fokussierte „Four Levels Evaluation Model" heute noch zeitgemäß? Falls nein, was sind die Grenzen?
Um diese Frage fundiert zu beantworten, ist man − wie bei allen Ansätzen und Herangehensweisen − gut beraten, den Ansatz eines Modells oder Ansatzes zunächst in seiner Entstehungsgeschichte und dem dazugehörigen zeitlichen Kontext zu verorten. Damals war die Betrachtung von unterschiedlichen Ebenen unter Einbezug der Verhaltensebene − also die Ebene, auf der die Veränderung sichtbar wird − ein großer Schritt. Eine Reihe von Veröffentlichungen von Kirkpatrick Ende der 1950er und Anfang der 1960er Jahre können gar als frühes Beispiel einer Programmtheorie angesehen werden, die im Rahmen einer program theory evaluation entwickelt wird.
Damit kann das Modell von Kirkpatrick durchaus auch heute noch ein dienlicher Orientierungsrahmen sein. Jedoch nur, wenn man sich im Zuge der Nutzung des Modells dessen gewahr ist, dass sich seitdem sowohl in der pädagogischen Psychologie bzw. der Lehr-Lern-Forschung, im Speziellen in der Forschung zu Lerntransfer, wie auch im Feld der Evaluation, hier vor allem in methodischer Hinsicht, einiges getan hat.
Kurzum: Wenn das Modell angemessen in das 21. Jahrhundert übersetzt wird und somit den aktuellen Wissenstand berücksichtigt, ist es durchaus brauchbar und häufig (leider) auch schon elaborierter, als das, was in manch einem Unternehmen zu beobachten ist.
Was sind die größten Veränderungen und Erkenntnisse bzgl. Evaluation von OE und PE? Und: Wohin geht die Reise?
Hier lässt sich einiges an der Weiterentwicklung von Evaluationsmodellen und -ansätzen aufzeigen – der Weg führte hier von klassischen Evaluationsansätzen, welche lediglich der Frage nachgehen, ob ein Programm oder eine Weiterbildung (nicht) funktioniert, hin zu Evaluationskonzepten, welche sich auch dem wie und warum widmen.
Es kann heute in der Evaluationscommunity schon fast als Common Sense bezeichnet werden, dass das Messen von erfolgskritischen Faktoren in einigermaßen komplexen Zusammenhängen mehr als eine Messung des Wissenszuwachses bedeutet. Im Fokus stehen mehr und mehr die tiefergehenden Mechanismen, die Veränderungen zugrunde liegen.
Unserer Einschätzung nach geht die Reise weiter in diese Richtung – und damit in eine Richtung, die für alle am Evaluationsprozess beteiligten Akteursgruppen einen nachhaltigen Mehrwert generiert: Fundierte Evaluationsdaten können eine Grundlage für die Konzeption und Durchführung von weiteren, erfolgsversprechenden Maßnahmen bilden sowie den Teilnehmenden einen hohen Mehrwert im Sinne eines nachhaltig spürbaren, positiven Lerneffekts und den Organisationen Orientierung verschaffen, wie es um ihre gesetzten Transformationsziele steht. Und auch abseits von diesen eher „weichen“ Effekten, kann sich der zeitliche sowie monetäre Aufwand auch an Zahlen sichtbar amortisieren, wenn die Evaluationsergebnisse in entsprechende Veränderungs- und Anpassungsprozesse münden. Last but not least kann eine belegbare Wirksamkeit der Transformation/Weiterbildung auch gut und gerne als Werbemaßnahme und Aushängeschild dienen.
Kurzum kann Evaluation – ganzheitlich gedacht – nicht nur Veränderungsprozesse datenbasiert begleiten, sondern auch selbst als Instrument zur Personal- und Organisationsentwicklung eingesetzt werden und damit sowohl mittelbar als auch unmittelbar zu erfolgreicher Weiterbildung/Transformation beitragen.
Liebe Elisa, liebe Anna, vielen Dank, dass ihr euch die Zeit genommen habt. Für uns gehört es zum absoluten Selbstverständnis die Ergebnisse unserer Arbeit zu hinterfragen. Einerseits selbst-reflektierend, doch noch viel wichtiger − wissenschaftlich evaluiert. Schließlich wollen wir nicht mit der Masse „mit-buzzen“, sondern wirklich wirken.
Wir sind überzeugt: Was gemessen werden kann, kann auch gemanagt werden und bietet somit die Chance auf echte, nachhaltige Veränderung.
Mehr zu professioneller Evaluationsberatung gibt es hier: www.evaluationsberatung.com
