Evaluation von eLearning - Erfolg von Trainings- und Schulungsmaßnahmen messen und bewerten

Sind die Lernenden zufrieden mit einer eLearning-Maßnahme? Haben sie etwas gelernt, sich weiter entwickelt, Kompetenzen erworben? Welchen konkreten Nutzen hat eine Maßnahme für das Unternehmen? Welche Maßnahmen sollten ausgebaut, welche eingestellt werden? Um gutes von schlechtem eLearning unterscheiden zu können, ist eine strukturierte Bewertung der eingesetzten Maßnahmen notwendig. Eine solche Evaluation kann auch für die Planung und Steuerung von eLearning eingesetzt werden. Dieser Beitrag gibt einen Überblick und stellt eine Checkliste vor, mit der sich Evaluationen planen lassen.

Was ist eine Evaluation?

Der Begriff Evaluation beschreibt die Bewertung der Ergebnisse von Projekten oder Prozessen. Damit ist die ganze Bandbreite unterschiedlicher Methoden und Herangehensweisen abgedeckt, von einem Wissenstest, den die Teilnehmenden nach einer eLearning-Einheit ausfüllen, bis hin zu einer mehrjährigen Längsschnittstudie, die z. B. Auswirkungen von digitaler Kommunikation auf die Unternehmenskultur bewertet. Dabei wird bei einer Evaluation im Vorfeld festgelegt, welche Ergebnisse evaluiert werden sollen (z. B. Zufriedenheit mit einer Maßnahme, Lernerfolg der Teilnehmenden, Kosteneinsparung) und mit welchen Kriterien Erfolg oder Misserfolg gemessen werden (z. B. weniger Krankheitstage der Mitarbeitenden, Rückmeldung in einem Fragebogen, Bewertungen durch den Vorgesetzten). Es geht also um die Frage, ob ein intendiertes Ziel erreicht wurde und eine Maßnahme wirksam war.

Es lassen sich zwei Arten von Evaluationen unterscheiden. Bei der summativen Evaluation wird ein Projekt (z. B. eine eLearning-Maßnahme) nach der Durchführung bewertet. Rückblickend wird untersucht, ob das geplante Ziel erfolgreich erreicht wurde, die Maßnahme also wirksam war. Beispiele für eine summative Evaluation sind ein Feedback-Bogen, den die Teilnehmenden im Zusammenhang mit einer Maßnahme ausfüllen, oder ein Wissenstest, mit dem das erworbene Wissen gemessen werden soll. Bei der formativen Evaluation wird die Wirksamkeit einer Maßnahme laufend überprüft.

Ziel ist es, bereits während eines Projektes Änderungen oder Anpassungen vorzunehmen, um sicherzustellen, dass das geplante Ziel erreicht werden kann. Während bei der summativen Evaluation nur überprüft wird, ob der Zielzustand erreicht wurde oder nicht, unterstützt eine formative Evaluation dabei, eine Maßnahme ständig weiterzuentwickeln und anzupassen. Im Folgenden wird zunächst das Modell von Donald Kirkpatrick beschrieben, das als Grundlage für die Planung von Evaluationen genutzt werden kann. Dann werden zwei konkrete Evaluationsprojekte vorgestellt, zu den eingesetzten Methoden diskutiert und die Ergebnisse dargestellt. Außerdem werden methodische Herausforderungen von Evaluationsprojekten benannt. Den Abschluss des Kapitels bildet eine Checkliste, die genutzt werden kann, um Evaluationen zu planen und durchzuführen.

Rahmenmodell für die Planung einer Evaluation

Das Modell von Donald Kirkpatrick, das bereits 1959 entwickelt wurde, gilt mittlerweile als Klassiker für die Bewertung von Trainings- und Schulungsmaßnahmen. Das Modell beschreibt vier Ebenen, auf denen Veränderungen bewertet werden können.

1. Zufriedenheit:
Oft beschränkt sich eine Evaluation auf diese Ebene. Hier wird die Reaktion der Teilnehmenden auf eine Maßnahme gemessen, deshalb verwendet Kirkpatrick für diese Ebene den Begriff Reaktion. Erfragt wird z. B. ob die Teilnehmenden mit der Trainerin oder der Gestaltung einer Maßnahme zufrieden waren, ob die Maßnahme als relevant wahrgenommen wurde oder ob der Umfang und die Schwierigkeit der Inhalte angemessen waren. Die Zufriedenheit der Teilnehmenden ist dabei ein Wirkfaktor für den Erfolg einer Maßnahme, stellt aber nicht den Erfolg auf den anderen Ebenen sicher.

2. Lernen: Auf dieser Ebene geht es um die Frage, ob die Maßnahme zu einem Zuwachs an Wissen und Fähigkeiten geführt hat. Dabei wird entweder vor und nach der Maßnahme das Wissen der Teilnehmenden gemessen, um daraus eine Verbesserung des Wissens durch die Maßnahme ableiten zu können. Als Alternative werden Lern- oder Entwicklungsziele definiert, deren Erreichung dann nach einer Maßnahme überprüft wird.

3. Verhalten:
Neues Wissen und neue Fähigkeiten zeigen sich nicht notwendigerweise auch im veränderten Verhalten. Auf dieser Ebene wird deshalb der Transfer des Gelernten auf den Arbeitsalltag gemessen. Es geht um die Frage, ob die durchgeführte Maßnahme zu einer Änderung des Verhaltens der Teilnehmenden führt.

4. Ergebnisse: Hier geht es nicht mehr nur um Veränderungen im Bezug auf das Wissen oder Verhalten einer einzelnen Person, sondern um Veränderungen auf organisationaler Ebene. Auf dieser Ebene wird z. B. bewertet, ob das Unternehmen durch die Maßnahme effizienter oder produktiver wird, ob die Zufriedenheit von Kunden mit dem Unternehmen als Ganzes steigt oder ob es durch weniger Fehler zu messbaren Einsparungen kommt.

Das vorgestellte Modell von Kirkpatrick bezieht sich zunächst nicht auf die Messmethoden, mit der Ergebnisse auf den einzelnen Ebenen gemessen werden. Eine Verhaltensänderung kann festgestellt werden sowohl durch einen Fragebogen, mit dem der Vorgesetzte die Leistung der Mitabeitenden bewertet, als auch mit einem Leistungstest, in dem  Mitarbeitende  neu erworbene Kompetenzen unter Beweis stellen.

Allerdings steigt der Aufwand, der mit der Messung verbunden ist, über die vier Ebenen hinweg an. Gerade die Messung der Ergebnisse auf der vierten Ebene muss in der Regel viele Einflussfaktoren mit einbeziehen und erfordert wie die Messung des Transfers einen Vorher- /Nachher-Vergleich. Gleichzeitig steigt auch der Informationsgehalt an: Gerade die Ergebnisse der Evaluation auf den höheren Ebenen sind zentral, um den Erfolg von eLearning zu bewerten und die Maßnahmen zu optimieren.

Um abzubilden, wie die Evaluation von eLearning in der Praxis aussehen kann, werden im Folgenden zwei Evaluationsprojekte vorgestellt. Dabei wird jeweils kurz das Projekt beschrieben, die bei der Evaluation eingesetzten Methoden und die Ergebnisse dargestellt sowie das Vorgehen bei der Evaluation kurz eingeordnet.

Praxisbeispiel: geistreich.de

Projekt: Im Forschungsprojekt PATONGO (Patterns and Tools for Non Governmental Organizations) wurde eine Online-Plattform innerhalb der Evangelischen Kirche in Deutschland entwickelt. Auf dieser Plattform können haupt- und ehrenamtliche Mitarbeitende unterschiedliche Kooperationswerkzeuge zum Austausch von Wissen und Erfahrungen nutzen. Mit der Evaluation sollte zum einen sichergestellt werden, dass die entwickelte Plattform den Bedürfnissen und Anforderungen der Nutzerinnen und Nutzer entspricht und kontinuierlich weiter entwickelt werden kann. Zum anderen sollte untersucht werden, welche Faktoren in der Praxis eine aktive Beteiligung am Austausch fördern oder behindern.

Eingesetzte Methoden:
In diesem Projekt wurden drei Methoden eingesetzt. Zu Beginn des Projektes wurden zunächst mehrere Fokusgruppen mit späteren Nutzerinnen und Nutzern durchführt. Hier ging es um die Frage, was für ein Bedarf besteht, wie solch eine Plattform konkret gestaltet sein müsste und welche Barrieren für die Nutzung bestehen. Nachdem die Plattform dann in Betrieb war, wurde in einer quantitativen Befragung erhoben, welche Faktoren nach Einschätzung der Nutzerinnen und Nutzer eine aktive Beteiligung an der Plattform beeinflussen. Diese subjektive Einschätzung wurde durch das tatsächliche Verhalten auf der Plattform ergänzt, das mit Logfiles gemessen wurde, in denen die Aktivitäten der Nutzerinnen und Nutzer gespeichert waren (z. B. Welche Bereiche der Plattform werden wie lange genutzt?). Außerdem wurden in einem dritten Schritt mögliche Veränderungen der Plattform evaluiert. Dazu wurden die Teilnehmenden gebeten, sich bestimmte Änderungen vorzustellen und deren Einfluss auf die eigene Aktivität zu bewerten.

Ergebnisse: Die Evaluation zeigt, dass eine hohe Qualität und Quantität des Angebots aus Sicht der Nutzer ein wesentlicher Erfolgsfaktor ist. Eine große Anzahl aktiver und informierter Nutzerinnen und Nutzer stellt dabei sicher, dass ein aktiver Austausch entsteht. Auch der Spaß an der Nutzung des Angebotes – eine intrinsische Motivation, sich zu beteiligen – ist ein wichtiger Faktor. Dazu kommt die Möglichkeit, durch die Beteiligung an der Plattform das eigene Prestige zu steigern, sich z. B. als Experte für ein Thema zu positionieren.

Als größte Hürde sehen die Nutzerinnen und Nutzer einen erhöhten Zeitverlust oder einen zusätzlichen Aufwand, der sich zum Beispiel aus einer mangelnden Nutzerfreundlichkeit ergibt. Auch die fehlende Identifizierbarkeit der eigenen Beiträge, Angst vor Gesichtsverlust oder verletzendem Feedback, mangelnde Reziprozität (also eine faire Beteiligung aller Nutzerinnen und Nutzer) werden als potentielle Barriere für eine aktive Beteiligung genannt. Aus diesen Rückmeldungen lassen sich konkrete Verbesserungen der Plattform ableiten.

Fazit: Eine umfangreiche Evaluation wie in diesem Projekt mit Fokusgruppen zu Beginn, Befragungen, Auswertung von Logfiles und weiteren Erhebungen für mögliche Veränderungen wird nur selten möglich sein. Sie ist vor allem dann sinnvoll, wenn ein Projekt evaluiert werden soll, das als Prototyp dient oder wenn aus der Evaluation allgemeine Ergebnisse abgeleitet werden sollen. Da das beschriebene Projekt als Forschungsprojekt angelegt war, war das Ziel der Evaluation, hier nicht nur eine konkrete Maßnahme (in diesem Fall das entwickelte Portal) zu bewerten, sondern darüber hinaus auch Empfehlungen für den Einsatz von Web 2.0 – Plattformen in der beruflichen Bildung zu erarbeiten. Ein Ergebnis des Projektes ist somit eine umfangreiche Liste von Erfolgsfaktoren und potentiellen Barrieren sowie deren Relevanz im Feld (Matschke u. a., 2014).

Abbildung 1: Auf der Plattform geistreich.de können haupt- und ehrenamtliche Mitarbeitende unterschiedliche Kooperationswerkzeuge zum Austausch von Wissen und Erfahrungen nutzen.
Abbildung 2: Die virtuelle Trainingsumgebung „Virtuelle Polizei“ wurde von der TriCat GmbH für die Polizei in Baden-Württemberg entwickelt.

Praxisbeispiel: Virtuelle Polizei

Im Forschungsprojekt Virtuelle Polizei wurde eine virtuelle Trainingsumgebung evaluiert, die von der TriCat GmbH für die Polizei in Baden-Württemberg entwickelt wurde. In der virtuellen 3D-Umgebung können die Trainierenden unter Anleitung eines Trainers z. B. die Kommunikation im Team, die Zusammenarbeit von Bodenpersonal und einer Hubschrauberbesatzung und das Verhalten in Konfliktsituationen trainieren. Dabei sind die Teilnehmer mit Avatar-Bildern auf dem Bildschirm repräsentiert, steuern ihre Aktionen mit Maus und Tastatur und können mit Headsets miteinander kommunizieren. Ziel der Evaluation war, die Trainingsumgebung und das entwickelte Trainingskonzept mit den bisherigen Trainingsmöglichkeiten zu vergleichen in Bezug auf die Zufriedenheit der Teilnehmenden und den erzielten Lernerfolg (Moskaliuk, Bertram & Cress, 2013).

Eingesetzte Methoden:
Für die Evaluation wurden drei Gruppen gebildet: Die erste Gruppe trainierte mit der virtuellen Trainingsumgebung, die zweite Gruppe nahm an dem bisherigen Standardtraining teil (auf Basis von Trainingsvideos, Präsentationen der Trainer und angeleiteten Gruppenübungen), die dritte Gruppe wurde nicht trainiert (Kontrollgruppe). Mit Fragebögen wurde dann zunächst die Zufriedenheit mit dem Training gemessen, außerdem mussten die Teilnehmer einschätzen, welchen subjektiven Wert das Training für sie hatte (Beispielfrage: „Durch das Training fühle ich mich gut vorbereitet auf zukünftige Einsätze mit einem Hubschrauber“). Es wurde außerdem mit einer Vorher- und Nachher-Messung das erworbene Wissen erhoben. Zusätzlich wurde die Fähigkeit zum Wissens-transfer gemessen, um zu untersuchen, ob die Teilnehmenden in der Lage waren, das im Training Gelernte auf die Situationen aus dem Berufsalltag zu übertragen. Dazu wurden kurze Videosequenzen (wenige Sekunden lang) eines Einsatzes gezeigt, die jeweils in einer kritischen Situation unterbrochen wurden. Dann sollten die Teilnehmenden antworten, wie sie in dieser Situation reagieren würden.

Ergebnisse: Im Bezug auf die Zufriedenheit mit dem Training und dem subjektiven Wert schnitt das Standardtraining besser als das virtuelle Training ab. Diese Ergebnisse können für die Weiterentwicklung der virtuellen Trainings genutzt werden, z. B. indem etablierte Methoden aus dem Standardtraining in das virtuelle Training integriert werden oder die Nutzerfreundlichkeit der virtuellen Trainingsumgebung weiterentwickelt wird. In allen drei Gruppen zeigt sich ein Wissenszuwachs.

Auch die Kontrollgruppe zeigte bei der Nachher-Messung mehr Wissen als in der Vorher-Messung. Bei den beiden ersten Gruppen (Standardtraining und virtuelles Training) ist der Wert allerdings höher als bei der Kontrollgruppe. Außerdem zeigte sich ein Vorteil des virtuellen Trainings für den Wissenstransfer. In der Gruppe, die virtuell trainiert hatte, wurden höhere Werte gemessen als in der Gruppe, die an dem Standardtraining teilgenommen hatte bzw. gar nicht trainiert wurde. Da das virtuelle Training kostengünstiger in der Durchführung ist und dabei die Aspekte trainiert werden können, die im Standardtraining nicht trainiert werden können, legen diese Ergebnisse nahe, das virtuelle Training als effiziente Maßnahme zu bewerten.

Fazit: Auch die in diesem Projekt eingesetzten Methoden werden in der Praxis nur selten umzusetzen sein. Der direkte Vergleich unterschiedlicher Trainingsmethoden (in diesem Fall Standardtraining vs. virtuelles Training) mit einer Kontrollgruppe und die umfangreichen Messmethoden, erfordern einen großen organisatorischen Aufwand. Bei der virtuellen Trainingsumgebung handelt es sich um eine Pilotanwendung, die erst nach einer ausführlichen Evaluation und entsprechender Weiterentwicklung breit angewandt werden soll. Außerdem existieren bis jetzt kaum empirische Arbeiten, aus denen sich konkrete Aussagen zur Wirksamkeit von virtuellem Training ableiten lassen. Das rechtfertigt den hohen Aufwand der Evaluation.

Besser als gut?

Die beiden vorgestellten Praxisbeispiele illustrieren ein methodisches Problem bei der Durchführung einer Evaluation: Womit wird das gemessene Ergebnis verglichen? Damit die Ergebnisse einer Evaluation interpretiert und die Wirkung einer Maßnahme verlässlich bewertet werden können, ist eine Kontrollgruppe notwendig, die an der Maßnahme nicht teilgenommen hat (bzw. an einer anderen Maßnahme). Unterschiede zwischen der Kontrollgruppe und der Gruppe, die an der Maßnahme teilgenommen hat (Experimentalgruppe), lässt sich dann auf die durchgeführte Maßnahme zurückführen, und nicht auf andere Variablen. Nehmen z. B. nur neue Mitarbeitende an einer Schulungsmaßnahme teil oder nur die Mitarbeitenden einer Abteilung, so könnte der Leistungsunterschied durch die hohe Motivation der neue Mitarbeitenden begründet werden oder durch den Führungsstil der Führungskraft der Abteilung. Im Idealfall wird hier zufällig entschieden, welche Personen an einer Maßnahme teilnehmen und welche nicht, die Zuweisung zur Kontrollgruppe oder Experimentalgruppe erfolgt also randomisiert. Diese randomisierte Zuordnung ist in der Praxis in den wenigsten Fällen möglich. Es lassen sich drei alternative Strategien unterscheiden:

- Vorher/Nachher: Hier werden vor und nach der Durchführung einer Maßnahme die Variablen erhoben, die von Interesse sind. Zeigen sich z. B. Verbesserungen in einem Wissenstest, lassen sich die Unterschiede mit der Wirkung der Maßnahme erklären.

- Unterschiede zwischen den beiden Messungen können allerdings auch durch weitere Einflussfaktoren verursacht sein, sind also nicht ausschließlich durch die durchgeführte Maßnahme erklärbar. So führt z. B. das Ausfüllen eines Wissenstest oft bereits zu Lerneffekten oder allein eine höhere Arbeitserfahrung eines Mitarbeiters bei der zweiten Messung erklärt die Veränderung. 
 
- Festlegung von Zielwerten: Hier wird vor der Durchführung der Maßnahme festgelegt, welcher Zielzustand erreicht werden soll. In der Evaluation wird dann geprüft, ob bzw. zu welchem Grad das Ziel erreicht wurde. Dieses Vorgehen bietet sich insbesondere bei formativen Evaluationen an, wenn laufend geprüft werden soll, ob ein Ziel bereits erreicht wurde, um rechtzeitig entsprechende Anpassungen vornehmen zu können.

- Vergleich mit Kennwerten: Diese Strategie bietet sich an, wenn bereits Kennwerte vorliegen, die Auskunft über den Ist-Zustand geben und deshalb zur Bewertung herangezogen werden können. In der Regel handelt es sich bei den Kennwerten dann um unternehmensweite oder sogar unternehmensübergreifende Daten. So kann z. B. untersucht werden, ob die Einführung einer Maßnahme die Anzahl der Krankheitstage reduziert (im Vergleich zu branchenspezifischen Zahlen) oder die Anzahl der Kundenbeschwerden im Vergleich zum Vorjahr sinkt. Hier wird also eine natürliche Kontrollgruppe verwendet. Auch hier besteht die Gefahr, dass die Unterschiede durch andere Einflussfaktoren verursacht sind.

Ein weiteres methodisches Problem ist, dass bereits das Durchführen einer Evaluation zu einer Veränderung führt. Erwarten die Teilnehmenden z. B., dass sie an einem Wissenstest teilnehmen werden, kann die Motivation, hier gut abschneiden zu wollen, die Wirkung einer Maßnahme steigern. Ähnliches gilt auch für die Messung der Zufriedenheit mit einer Maßnahme. Wenn die Teilnehmenden wissen, dass ihre Einschätzung z. B. mitentscheidend ist, ob eine Maßnahme fortgeführt wird, kann das die Bewertung erheblich beeinflussen. Eine Lösungsmöglichkeit ist, die Teilnehmenden zunächst über die Ziele der Evaluation und der verwendeten Messmethoden im Unklaren zu lassen. Das kann allerdings auch dazu führen, dass die Teilnehmenden dann wenig motiviert sind sich an einer Befragung zu beteiligen oder selbst (falsche) Annahmen über die Ziele der Evaluation entwickeln. Hier ist deshalb ein sorgfältiges Abwägen notwendig. Damit die Ergebnisse einer Evaluation als Grundlage für weitere Entscheidungen genutzt werden können, ist es also notwendig, methodische Grundlagen zu berücksichtigen. Nur dann können die Ergebnisse interpretiert werden. Das Modell von Kirkpatrick bietet eine erste Struktur, im nächsten Schritt können konkrete Messmethoden festgelegt werden. Die Checkliste unterstützt Sie bei der Planung eines Evaluationsprojektes.

Zusammenfassung und Fazit

Die Evaluation von eLearning ist ein Instrument für die Planung und Steuerung von Trainings- und Entwicklungsmaßnahmen. Damit die Ergebnisse einer Evaluation als Grundlage für weitere Entscheidungen genutzt werden können, müssen methodische Grundlagen bei der Planung und Durchführung berücksichtigt werden. Das Modell von Kirkpatrick, das vier Ebenen einer Evaluation vorschlägt, ist hier eine Strukturierungshilfe. Im nächsten Schritt kann anhand von 8 Fragen der vorgestellten Checkliste das Vorgehen bei der Evaluation konkretisiert werden. Neben den Zielen der Maßnahme, möglichen Messmethoden und Entscheidungskriterien, ist insbesondere die Zielsetzung der Evaluation zu klären und die Frage, wie die Ergebnisse interpretiert, kommuniziert und genutzt werden. Werden zentrale methodische Fragen bereits zu Beginn eines Evaluationsprojektes geklärt, kann sichergestellt werden, dass die Ergebnisse der Evaluation zur Verbesserung von eLearning beitragen.

Checkliste: Evaluation von eLearning erfolgreich durchführen

1. Was sind die Ziele des Projektes, das evaluiert werden soll?


Eine Evaluation vergleicht den geplanten mit dem tatsächlichen Zielzustand. Deshalb ist die Grundlage für eine Evaluation, einen geplanten Zielzustand möglichst genau zu definieren. Dazu gehört z. B. das Festlegen von Lern- oder Entwicklungszielen, die an die Durchführung einer eLearning-Maßnahme geknüpft sind.

2. Was sind die Erfolgskriterien?

Im nächsten Schritt muss festgelegt werden, wie das Erreichen des geplanten Zielzustands gemessen werden kann. Das können objektive Kriterien sein, wie z. B. ein Rückgang der Krankheitstage als Ergebnis einer eLearning-Maßnahme zur Gesundheitsprävention oder die Steigerung der Verkaufszahlen bei einem Vertriebstraining. Es können auch subjektivere Kriterien verwendet werden, z. B. die Steigerung der Zufriedenheit der Mitarbeitenden oder der wahrgenommene Nutzen einer eLearning-Einheit.

3. Welche Messmethoden werden eingesetzt?

In diesem Schritt wird festgelegt, mit welchen Messmethoden die Kriterien gemessen werden, bzw. auf Basis welcher Daten die Bewertung erfolgt. Um ein möglichst genaues Bild zu erhalten, ist es sinnvoll, unterschiedliche Datenquellen zu nutzen, z. B. die subjektive Einschätzung der Teamleitenden zur Zufriedenheit der Mitarbeitenden mit objektiven Daten zu Krankheitstagen zu ergänzen. Je nach Fragestellung ist hier außerdem wichtig zu überlegen, ob es durch die bloße Befragung von Personen zu Verzerrungen der Bewertung kommen kann, z. B. dass Personen eine eLearning-Maßnahme zwar als willkommene Abwechslung auffassen (und deshalb zufrieden sind), aber der tatsächliche Lernfortschritt eher gering ausfällt.

4. Wer ist von der Maßnahme betroffen?


Neben direkt Betroffenen (z. B. den Teilnehmenden einer eLearning-Maßnahme) gibt es in der Regel weitere Personen, die von einer Maßnahme betroffen sind und deshalb zu deren Bewertung beitragen können. Neben Vorgesetzten und Kollegen sind es in vielen Fällen Kunden oder Klienten (die z. B. die gestiegene Service-Qualität bewerten könnten). Es sollte außerdem überlegt werden, wer von den Ergebnissen einer Evaluation betroffen ist und dadurch bei der Festlegung von Kriterien, Messmethoden und der Bewertung der Ergebnisse einbezogen werden sollte.  

5. Wird die Evaluation intern oder extern durchgeführt?

Bei einer internen Evaluation sind die Personen, die für die Durchführung einer Maßnahme verantwortlich sind, auch für die Evaluation zuständig. Das kann sinnvoll sein, um die Ergebnisse der Evaluation direkt und unmittelbar in die Weiterentwicklung einer Maßnahme einfließen zu lassen und es stellt sicher, dass die Aspekte evaluiert werden, die aus Sicht der Verantwortlichen für den Erfolg ausschlaggebend sind und vor allem auch beeinflusst werden können. Bei einer externen Evaluation werden Personen mit der Evaluation beauftragt, die nicht für die Durchführung der Maßnahme verantwortlich sind, bzw. nicht direkt von den Ergebnissen der Evaluation betroffen sind. Diese „Sicht von außen“ stellt eine objektive und neutrale Bewertung sicher.

6. Wer interpretiert die Ergebnisse?

Die Erhebung von Daten (z. B. die Durchführung eines Wissenstests nach einer eLearning-Maßnahme) und die Interpretation dieser Ergebnisse (ist eine Verbesserung von 5 auf 6 Punkte bereits als Erfolg zu werten?) lassen sich konzeptuell voneinander trennen. Werden bereits zu Beginn die entsprechenden Zuständigkeiten geklärt, beugt das späteren Konflikten vor. Dazu gehört auch die Frage, an wen die Ergebnisse kommuniziert werden. Sollen z. B. neben den Verantwortlichen auch die Teilnehmenden informiert werden? Soll das Ergebnis der Evaluation veröffentlicht werden? Das ist bei der Zusammenarbeit mit Partnern aus Hochschulen oft eine Voraussetzung.

7. Bestehen ethische und rechtliche Bedenken?


In der Regel wird bei Evaluationsprojekten der Betriebs- oder Personalrat miteinbezogen. Dabei geht es darum sicherzustellen, dass datenschutzrechtliche Vorgaben eingehalten werden und die Ergebnisse der Evaluation keine nachteiligen Auswirkungen für Einzelne haben (die z. B. schlecht bei einem Wissenstest abschneiden oder Unzufriedenheit mit einer Maßnahme äußern). Deshalb sollten alle Daten anonymisiert erhoben und Ergebnisse nur in aggregierter Form zurückgemeldet werden. Außerdem muss geprüft werden, ob es durch die Teilnahme an der Evaluation zu Belastungen oder Gefährdungen der Teilnehmenden kommen kann. Diese sind in den wenigsten Fällen physischer Art (z. B. durch das Abnehmen von Blut zur Messung von Cortisol als Indikator für Stress oder die Teilnahme an einer Simulationsübung), in der Regel geht es um mögliche psychische (z. B. durch die Rückmeldung negativer Leistungen) oder soziale Belastungen (z. B. wenn die negative Bewertung einer Führungskraft zu Konflikten im Team führt). Es sollten dabei auch Nachteile berücksichtigt werden, die sich für die Kontrollgruppe ergeben (z. B. durch die Nichtteilnahme an einer wirksamen Maßnahme) und geprüft werden, wie diese kompensiert werden können.  

8. Lohnt sich eine Evaluation?

Die Evaluation von Trainings- und Entwicklungsmaßnahmen ist in vielen Bereichen mittlerweile Standard und wird oft von Auftrag- und Geldgebern gefordert. Eine Evaluation bedeutet immer einen zusätzlichen Aufwand. Dabei ist nicht nur die Planung der Evaluation und die Auswertung der Ergebnisse zu bedenken, sondern auch der Aufwand, der für die Teilnehmenden entsteht. Deshalb sollte zu Beginn der Evaluation neben den Zielen der Maßnahmen (siehe Punkte 1) auch das Ziel der Evaluation geprüft werden. Dabei wird festgelegt, wie die Ergebnisse der Evaluation genutzt werden, z. B. zur Verbesserung einer Maßnahme, zur Auswahl der effektivsten Maßnahme oder zur Entscheidung, ob eine Maßnahme weitergeführt wird.

Literatur

Matschke, C., Moskaliuk, J., Bokhorst, F., Schümmer, T., & Cress, U. (2014): Motivational factors of information exchange in social information spaces. Computers in Human Behavior, 36, 549-558.
Behringer, N. (2011): Bildungscontrolling: Woran erkennt man erfolgreiche Schulungsmaßnahmen. wissens.blitz (34). www.wissensdialoge.de/evaluation_kirkpatrick
Moskaliuk, J., Bertram, J., & Cress, U. (2013): Impact of virtual training environments on the acquisition and transfer of knowledge. Cyberpsychology, Behavior, and Social Networking, 16(3), 210-214.

DER AUTOR

Dr. Johannes Moskaliuk

ist Diplom-Psychologe und arbeitet als Wissenschaftler an der Universität Tübingen. Als Experte für E-Learning interessiert er sich vor allem für das Potenzial neuer Technologien für individuelles und organisationales Lernen. Unter blog.moskaliuk.com schreibt er regelmäßig über eigene Forschungsarbeiten und aktuelle Themen rund um Medien, Psychologie und Kommunikation. Außerdem ist er Geschäftsführer der ich.raum GmbH, die Seminare, Weiterbildungen und Coaching für Führungskräfte anbietet.

KONTAKT

Dr. Johannes Moskaliuk

Universität Tübingen,
Angewandte Kognitions- und Medienpsychologie

Schleichstraße 4
72072 Tübingen

johannes.moskaliuk(at)uni-tuebingen.de
www.blog.moskaliuk.com


SoftDeCC



Aktuelle Publikation:

eLearning Journal - 2/2017
Kaufberater & Markt 2017/2018
>> Jetzt bestellen eLJ2/2017