Weiterbildungserfolg messen: Kirkpatrick, Phillips-ROI und Transfer

Unternehmen in Deutschland investierten 2022 laut IW-Weiterbildungserhebung 46,4 Milliarden Euro in Weiterbildung. Wie viel davon im Arbeitsalltag ankommt, verrät diese Zahl nicht. Oft wird nur abgefragt, ob den Teilnehmenden das Seminar gefallen hat. Das ist der einfachste Teil der Messung. Leider auch der, der am wenigsten aussagt.

Dabei gibt es Modelle, die seit Jahrzehnten im Einsatz sind. Die zwei bekanntesten sind das Kirkpatrick-Modell und die ROI-Methode nach Phillips. Beide lassen sich mit vertretbarem Aufwand anwenden, wenn Sie vor dem Start planen.

Das Kirkpatrick-Modell: vier Ebenen von Reaktion bis Ergebnis

Das Kirkpatrick-Modell bewertet Weiterbildung auf vier aufeinander aufbauenden Ebenen. Es geht auf Donald Kirkpatrick zurück und wurde 2016 von Jim und Wendy Kirkpatrick als „New World Kirkpatrick Model“ überarbeitet.

Zwei Neuerungen des New World Model sind für die Praxis wichtig. Erstens soll die Planung bei Ebene 4 beginnen: Erst das gewünschte Ergebnis festlegen, dann rückwärts ableiten, welches Verhalten dafür nötig ist und was dafür gelernt werden muss. Zweitens betont das Modell das Arbeitsumfeld. Es kann Transfer fördern oder verhindern, und deshalb gehören Unterstützung und Nachhalten durch Vorgesetzte zur Ebene 3.

Was die ROI-Methode nach Phillips ergänzt: Ebene 5

Die ROI-Methode nach Jack und Patti Phillips übernimmt die vier Ebenen und ergänzt eine fünfte: die Rendite in Prozent. Auf Ebene 1 fragt sie zusätzlich nach geplanten Maßnahmen, also danach, was Teilnehmende konkret umsetzen wollen.

Um auf Ebene 5 zu kommen, braucht es zwei zusätzliche Schritte:

1. Den Effekt isolieren. Welcher Teil der Verbesserung geht auf das Programm zurück, welcher auf andere Einflüsse? Das ROI Institute nennt dafür Vergleichsgruppen, Trendanalysen, Prognosemodelle und Schätzungen von Fachleuten oder Teilnehmenden.
2. In Geld umrechnen. Verbesserungen werden mit Standardwerten bewertet, etwa mit den Kosten einer Neubesetzung oder einer Reklamation.

Daraus ergeben sich zwei Kennzahlen:

• Nutzen-Kosten-Verhältnis (BCR) = Programmnutzen ÷ Programmkosten
• ROI in Prozent = (Programmnutzen − Programmkosten) ÷ Programmkosten × 100

Nutzen, die sich nicht seriös in Geld umrechnen lassen, etwa Teamklima oder Zufriedenheit, werden als immaterieller Nutzen separat berichtet. Das ROI Institute betont, dass diese oft genauso wichtig sind wie die Rendite.

Beispielrechnung: ROI eines Führungsprogramms

Die folgende Rechnung ist ein konstruiertes Beispiel, um den Rechenweg zu zeigen. Alle Werte sind Annahmen.

Ein Unternehmen schickt 20 Teamleitungen aus der Logistik durch ein Programm. Ziel ist, die Fluktuation in ihren Teams zu senken.

Zwei Punkte entscheiden über die Glaubwürdigkeit: die Isolierung des Effekts und die Vollkosten. Wer die Arbeitszeit der Teilnehmenden weglässt, rechnet sich den ROI schön. Laut IW machen indirekte Kosten wie Arbeitszeit fast die Hälfte der Weiterbildungskosten aus.

Warum Gelerntes im Alltag ausbleibt: was Meta-Analysen zeigen

Ob Transfer gelingt, hängt neben dem Training auch vom Arbeitsumfeld ab. Die Meta-Analyse von Blume und Kollegen (2010) über 89 Studien fand Zusammenhänge zwischen Transfer und Motivation, Gewissenhaftigkeit sowie einem unterstützenden Arbeitsumfeld. Bei offenen Fertigkeiten wie Führung hingen diese Faktoren stärker mit dem Transfer zusammen als bei eng umrissenen Fertigkeiten.

Die gute Nachricht kommt aus der Meta-Analyse von Lacerenza und Kollegen (2017) über 335 Stichproben: Führungstrainings verbessern den Transfer deutlich, wenn das Design stimmt. Wirksamer waren Programme mit Bedarfsanalyse, Feedback, praktischem Üben und zeitlich verteilten Terminen.

Für die Messung heißt das: Erheben Sie auf Ebene 3 auch, ob Vorgesetzte die Anwendung unterstützt haben. Sonst wissen Sie nicht, ob ein schwaches Ergebnis am Training oder am Umfeld lag.

So bauen Sie die Messung auf: Checkliste

1. Welche betriebliche Kennzahl soll sich ändern? Notieren Sie den Ausgangswert vor dem Start.
2. Was müssen Führungskräfte anders tun, damit sich die Kennzahl bewegt? Drei bis fünf beobachtbare Verhaltensweisen reichen.
3. Was müssen sie dafür wissen und können? Daraus werden die Lernziele.
4. Wie begleiten Vorgesetzte den Transfer, etwa mit Gesprächen vor und nach dem Training?
5. Mit welchen Instrumenten messen Sie wann? Die Tabelle oben hilft. Ebene 3 erheben Sie, sobald die Teilnehmenden Gelegenheit zur Anwendung hatten; Kirkpatrick Partners rät, damit nicht lange zu warten.
6. Können Sie eine Gruppe später starten lassen und als Vergleich nutzen?
7. Ist der Betriebsrat eingebunden? Standardisierte Befragungen mit personenbezogenen Daten können als Personalfragebogen nach § 94 BetrVG zustimmungspflichtig sein.
8. Wer bekommt welche Ergebnisse, und welche Entscheidung hängt davon ab?

Diese Punkte gehören in das Briefing an Anbieter. Wie Sie sie in die Auswahl einbauen, steht im Ratgeber Anbieter für Führungskräfteentwicklung auswählen.

Welche Daten Sie für Ebene 4 meist schon haben

Für Ebene 4 brauchen Sie selten neue Erhebungen. Viele Kennzahlen liegen in HR und Controlling bereits vor und lassen sich nach Teams der Teilnehmenden auswerten:

• Fluktuation und Frühfluktuation in der Probezeit,
• Krankenstand und Fehlzeiten,
• Ergebnisse von Mitarbeiterbefragungen, besonders Fragen zur direkten Führungskraft,
• Zeit bis zur Besetzung offener Stellen im Team,
• Qualitäts- oder Kundenkennzahlen, wenn das Programm darauf zielt.

Achten Sie auf ausreichend große Gruppen. Bei kleinen Teams schwanken solche Werte stark, und einzelne Personen lassen sich identifizieren. Werten Sie dann über mehrere Teams oder einen längeren Zeitraum aus.

Fünf Fehler bei der Transfermessung

• Nur Ebene 1 messen. Zufriedenheit sagt wenig über Verhalten. Fragen Sie auf Ebene 1 lieber, wie relevant das Training für die eigene Arbeit war.
• Erst nach dem Programm an die Messung denken. Ohne Ausgangswert lässt sich keine Veränderung zeigen.
• Zu viele Kennzahlen wählen. Eine oder zwei, die das Programm plausibel beeinflusst, sagen mehr als ein Dashboard mit zwanzig Werten.
• Effekte nicht isolieren. Steigt gleichzeitig die Vergütung, sinkt die Fluktuation auch ohne Training.
• Daten einzelner Personen an Vorgesetzte geben. Dann antworten die Leute in der nächsten Befragung vorsichtiger. Werten Sie auf Gruppenebene aus.

Wie viel Messaufwand angemessen ist: Ebenen je Maßnahme

Nicht jedes Training braucht eine ROI-Studie. Wir würden den Messaufwand nach Kosten und Tragweite der Maßnahme staffeln, ungefähr so:

Für Coachings gelten dieselben Ebenen, allerdings mit besonderer Rücksicht auf Vertraulichkeit. Wie Unternehmen das lösen, beschreibt der Ratgeber Coaching im Unternehmen einführen.

Nächste Schritte

Nehmen Sie Ihr nächstes geplantes Programm und beantworten Sie die ersten drei Punkte der Checkliste. Ihr Briefing an Anbieter wird damit deutlich konkreter. Die Kosten, die Sie der Rechnung gegenüberstellen, finden Sie auf der Seite Kosten der Führungskräfteentwicklung. Einen Überblick über Formate gibt die Seite Weiterbildung und Leadership.