personalentwicklung – evaluation von off-the-job-maßnahmen ... · personalentwicklung –...

134
Dennis Hoss ______________________________________ Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung Theoretische Grundlagen und praxisorientierter Leitfaden zur Lösung der Evaluationsproblematik

Upload: others

Post on 06-Sep-2019

5 views

Category:

Documents


0 download

TRANSCRIPT

Dennis Hoss

______________________________________

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung

Theoretische Grundlagen und praxisorientierter Leitfaden zur Lösung der Evaluationsproblematik

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung I

Inhaltsverzeichnis

Abbildungsverzeichnis .................................................................................................. IV

Tabellenverzeichnis ...................................................................................................... V

1 EINFÜHRUNG UND AUFBAU DER ARBEIT .......................................................... 1 2 DEFINITORISCHE UND INHALTLICHE GRUNDLEGUNG..................................... 3

2.1 Personalentwicklung ...................................................................................... 3 2.1.1 Definition Personalentwicklung ................................................................... 3 2.1.2 Ziele der Personalentwicklung .................................................................... 4 2.1.3 Maßnahmen der Personalentwicklung........................................................ 6

2.2 Betriebliche Weiterbildung als Teilbereich der Personalentwicklung........ 7 2.2.1 Definition betriebliche Weiterbildung........................................................... 8 2.2.2 Betriebliche Bildungsmaßnahmen off the job.............................................. 8

2.3 Evaluation...................................................................................................... 10 2.3.1 Definition Evaluation ................................................................................. 10 2.3.2 Evaluation betrieblicher Weiterbildungsmaßnahmen ................................ 11 2.3.3 Abgrenzung der Bildungsevaluation von Bildungscontrolling.................... 12

3 EVALUATION IN DER BETRIEBLICHEN WEITERBILDUNG .............................. 14

3.1 Ziele der Evaluation...................................................................................... 14 3.1.1 Bewertung................................................................................................. 15 3.1.2 Optimierung .............................................................................................. 15 3.1.3 Integration ................................................................................................. 15 3.1.4 Kontrolle.................................................................................................... 16 3.1.5 Dokumentation.......................................................................................... 16 3.1.6 Entscheidung ............................................................................................ 17 3.1.7 Imageverbesserung .................................................................................. 17

3.2 Formen der Evaluation................................................................................. 17 3.2.1 Teil- und Gesamtevaluation ...................................................................... 17 3.2.2 Input- und Outputevaluation...................................................................... 18 3.2.3 Selbst- und Fremdevaluation .................................................................... 18 3.2.4 Vergleichende und nichtvergleichende Evaluation.................................... 19 3.2.5 Interne und externe Evaluation ................................................................. 19 3.2.6 Additive und integrierte Evaluation............................................................ 20

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung II

3.2.7 Subjektive und objektive Evaluation.......................................................... 20 3.2.8 Direkte und indirekte Evaluation ............................................................... 21 3.2.9 Quantitative und qualitative Evaluation ..................................................... 21 3.2.10 Hypothesenprüfende und hypothesengenerierende Evaluation................ 21 3.2.11 Intrinsische und extrinsische Evaluation ................................................... 22 3.2.12 Formative und summative Evaluation ....................................................... 22

3.3 Evaluationsdesign ........................................................................................ 24 3.4 Adressaten der Evaluationsergebnisse...................................................... 26

3.4.1 Teilnehmer ................................................................................................ 27 3.4.2 Lehrkräfte.................................................................................................. 28 3.4.3 Interne Bildungsexperten .......................................................................... 28 3.4.4 Externe Bildungsexperten......................................................................... 28 3.4.5 Vorgesetzte............................................................................................... 29 3.4.6 Unternehmensführung .............................................................................. 30

3.5 Probleme der Evaluation.............................................................................. 30

3.5.1 Methodenprobleme ................................................................................... 31 3.5.2 Probleme durch verschiedene Personengruppen ..................................... 32

4 LEITFADEN ZUR EVALUIERUNG VON OFF-THE-JOB-MASSNAHMEN............ 34

4.1 Evaluation im Vorfeld der Maßnahmenrealisierung ................................. 37

4.1.1 Entscheidung zwischen interner und externer Qualifizierung.................... 38 4.1.2 Auswahl des Anbieters.............................................................................. 40 4.1.3 Auswahl des Trainers ............................................................................... 42 4.1.4 Ermittlung der Eingangsvoraussetzungen der Teilnehmer ....................... 43

4.2 Evaluation in der Durchführungsphase...................................................... 44 4.2.1 Formative Evaluation ................................................................................ 50

4.2.1.1 Methoden zur Ermittlung des Zufriedenheitserfolgs ......................... 50

4.2.1.1.1 Schriftliches Feedback........................................................... 51 4.2.1.1.2 Mündliches Feedback............................................................ 52

4.2.1.2 Methoden zur Ermittlung des Lernerfolgs ......................................... 53

4.2.1.2.1 Beobachtung ......................................................................... 53 4.2.1.2.2 Testverfahren ........................................................................ 54

4.2.2 Summative Evaluation .............................................................................. 55

4.2.2.1 Methoden zur Ermittlung des Zufriedenheitserfolgs ......................... 55

4.2.2.1.1 Schriftliches Feedback........................................................... 55 4.2.2.1.2 Bewertung des Referenten .................................................... 56 4.2.2.1.3 Bewertung durch den Referenten.......................................... 57

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung III

4.2.2.2 Methoden zur Ermittlung des Lernerfolgs ......................................... 57

4.2.2.2.1 Beobachtung ......................................................................... 57 4.2.2.2.2 Befragung .............................................................................. 58 4.2.2.2.3 Testverfahren ........................................................................ 58

4.3 Evaluation nach Beendigung der Maßnahme ............................................ 59 4.3.1 Transfererfolg und Methoden zur Ermittlung des Transfererfolgs ............. 59

4.3.1.1 Transfererfolg ................................................................................... 59 4.3.1.2 Methoden zur Ermittlung des Transfererfolgs................................... 64

4.3.1.2.1 Fremd- und Selbstbeobachtung ............................................ 64 4.3.1.2.2 Transfergespräch mit dem Vorgesetzten............................... 65 4.3.1.2.3 Fragebogen zum Lerntransfer ............................................... 65

4.3.2 Organisationserfolg und Methoden zur Ermittlung des Organisationserfolgs ................................................................................. 66

4.3.2.1 Organisationserfolg........................................................................... 66 4.3.2.2 Methoden zur Ermittlung des Organisationserfolgs .......................... 67

4.4 Sonderfall E-Learning und Evaluation........................................................ 69

4.4.1 E-Learning ................................................................................................ 69 4.4.2 Evaluation ................................................................................................. 70

5 FAZIT UND AUSBLICK.......................................................................................... 73 Anlagenverzeichnis...................................................................................................... 76

Literatur- und Quellenverzeichnis .............................................................................. 120

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung IV

Abbildungsverzeichnis Abb. 1 Personalentwicklungsmaßnahmen 7 Abb. 2 Ziele der Evaluation 14 Abb. 3 Kontrollgruppen-Design in der Evaluation 25 Abb. 4 Adressaten der Evaluationsergebnisse 27 Abb. 5 Evaluation – Widerstände und Probleme 30 Abb. 6 Entscheidung zwischen interner und externer Qualifizierung 39 Abb. 7 Nutzwertanalyse – Auswahl des besten Anbieters 41

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung V

Tabellenverzeichnis Tab. 1 Gegenüberstellung der wesentlichen Merkmale von Evaluation und Controlling 13 Tab. 2 Evaluationsobjekte und Evaluationsmethoden 36

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 1

1 EINFÜHRUNG UND AUFBAU DER ARBEIT

Unternehmen unterliegen zunehmend gravierenderen Veränderungsprozessen, die

durch rasantes Tempo und Komplexität gekennzeichnet sind. Die Ursachen dieses

ständigen Wandels liegen in der Globalisierung, in einer stärkeren Markt- und

Technologiedynamik, in geänderten Werthaltungen und in einem größeren

ökologischen Verantwortungsbewusstsein.1

Häufig betreffen technologische Entwicklungen gleichzeitig die Bereiche Verfahrens-,

Werkstoff- und Produkttechnologie. Eine wichtige Rolle fällt – vor allem zukünftig – der

Kommunikationstechnologie zu. Immer schnellere und kostengünstigere Informations-

und Kommunikationsalternativen eröffnen neue Horizonte.2

Die Mitarbeiter verkörpern den entscheidenden Erfolgsfaktor in diesen turbulenten

Abläufen. Ihr Qualifikationspotenzial, ihre Veränderungsfähigkeit und ihre

Anpassungsbereitschaft ermöglichen erst, einerseits mit dem ständigen Wandel Schritt

zu halten und andererseits stets neue Impulse den ökonomischen Prozessen zu

geben.3 Das vom Personal geforderte Kompetenzspektrum beschränkt sich nicht nur

auf die fachliche Ebene, sondern umfasst verstärkt Schlüsselqualifikationen, die

persönliche, soziale und methodische Kompetenzen beinhalten. Als Schlüssel-

qualifikationen gelten insbesondere Lernbereitschaft und Lernfähigkeit, logisches

Denken, Konzentrationsfähigkeit, Kreativität, Kontaktfähigkeit, Planungsfähigkeit,

kooperatives Verhalten sowie sprachliche Kompetenz4. Der Personalentwicklung

kommt die verantwortungsvolle Aufgabe zu, den Mitarbeitern ständig aktuelles Wissen

und Können zu vermitteln.

Die vorliegende Arbeit befasst sich mit der Evaluation von off-the-job-Maßnahmen der

betrieblichen Weiterbildung und enthält einen praxisbezogenen Leitfaden für die Vorge-

1 Vgl. Mudra, P.: Personalentwicklung. Integrative Gestaltung betrieblicher Lern- und Veränderungsprozesse, München 2004, S. 1. 2 ebenda 3 Vgl. Mudra, P., a.a.O., S. 2. 4 Vgl. Körner, P.: Betriebliche Weiterbildung als Teil der Personalentwicklung. Konzeption und exemplarische Entwicklung eines rechnergestützten Systems zum Weiterbildungsmanagement, Landau 1997, S. 35.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 2

hensweise bei der Evaluierung. In der Betriebspraxis erfolgt häufig eine Evaluierung

nur am Ende einer Qualifizierungsmaßnahme anhand eines Fragebogens5. Die

folgenden Ausführungen verstehen die Evaluation dagegen als systematischen,

ganzheitlichen Prozess, der in den gesamten Bildungsvorgang integriert ist.

Im Kapitel Definitorische und inhaltliche Grundlegung wird die begriffliche und

thematische Basis zum Verständnis der Arbeit gelegt. Ausgangspunkt bildet die

Personalentwicklung, in deren „Landschaft“ sich die Funktion der betrieblichen Weiter-

bildung einordnen lässt; danach wird auf die Evaluation eingegangen.

Der theoretische Teil Evaluation in der betrieblichen Weiterbildung beschreibt die

Ziele und die verschiedenen Formen der Evaluierung. Es folgen Ausführungen zum

Evaluationsdesign, zu den Adressaten der Evaluationsergebnisse und zu den

Evaluationsproblemen.

Das Kapitel Leitfaden zur Evaluierung von off-the-job-Maßnahmen beinhaltet einen

praxisorientierten Ansatz zur Bewertung von Qualifizierungsmaßnahmen, die nicht

unmittelbar am Arbeitsplatz erfolgen. Dabei wird das Produkt Bildungsmaßnahme in die

Phasen des Ablaufs – vor, während und nach der Qualifizierung – zerlegt und für jede

der Phasen ein geeignetes Instrumentarium aufgezeigt, das eine umfassende

Bewertung ermöglicht.

Die vorliegende Arbeit schließt mit dem Kapitel Fazit und Ausblick. Hier sind wichtige

Aussagen und Erkenntnisse zusammengefasst, die aus Vorangegangenem resultieren.

Weiterhin wird ein Ausblick in das zukünftige Feld der Personalqualifizierung und ihrer

Evaluierung gewagt.

Wegen der einfacheren Lesbarkeit findet ausschließlich die männliche Form

Verwendung. Die jeweilige Aussage bezieht sich gleichermaßen auf Frauen wie auf

Männer.

5 Vgl. Häring, K.: Evaluation der Weiterbildung von Führungskräften. Anspruch und Realität des Effektivitätscontrolling in deutschen Unternehmen, Wiesbaden 2003, S. 97.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 3

2 DEFINITORISCHE UND INHALTLICHE

GRUNDLEGUNG 2.1 Personalentwicklung

Innovationsdruck, neue Technologien und hohe Ansprüche an Qualität von Produkten

und Leistungen zwingen Unternehmen, die Qualifikationen ihrer Mitarbeiter ständig an

die wachsenden Anforderungen anzupassen. Dabei handelt es sich um das Schließen

der Lücke zwischen Qualifikations- und Anforderungsprofil durch Bildungsaktivitäten.

Prinzipiell kann Personalentwicklung aus zwei Blickwinkeln betrachtet werden: aus

Unternehmensperspektive und aus Mitarbeiterperspektive. Aus der Sicht des

Unternehmens geht es darum, Mitarbeiter für die Bewältigung der gegenwärtigen und

zukünftigen Aufgaben zu qualifizieren und somit sicherzustellen, dass sie den

vielfältigen Anforderungen gewachsen sind. Diesen betrieblichen Notwendigkeiten

stehen die Bedürfnisse, Ziele, Wünsche und Erwartungen der Mitarbeiter gegenüber.

Gelingt es durch Personalentwicklungsmaßnahmen, die beruflichen Vorhaben der

Beschäftigten zu fördern bzw. zu realisieren, dann wird dies positive Auswirkungen auf

deren Motivationslage haben.6

2.1.1 Definition Personalentwicklung

Unter Personalentwicklung versteht man alle Formen der Mitarbeiterqualifizierung. Sie

umfasst die Aus-, Fort- und Weiterbildung von Mitarbeitern und kommt immer dann

zum Tragen, wenn Defizite zwischen der derzeitigen Qualifikation der Mitarbeiter und

den Anforderungen der Arbeitsaufgabe bestehen.7

6 Vgl. Freund, F.; Knoblauch, R.; Eisele, D.: Praxisorientierte Personalwirtschaftslehre, 6. Aufl., Stuttgart 2003, S. 152 f. 7 Vgl. Scholz, C.: Personalmanagement. Informationsorientierte und verhaltenstheoretische Grundlagen, 5. Aufl., München 2000, S. 505.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 4

2.1.2 Ziele der Personalentwicklung

Sowohl Mitarbeiter als auch Unternehmen verfolgen in Bezug auf die

Personalentwicklung eigene Ziele. Diese Ziele differieren oftmals und können sogar

miteinander konkurrieren. Aufgabe der Verantwortlichen ist es, die unterschiedlichen

Interessenlagen zusammen zu führen, indem sie die Interessen der Mitarbeiter in die

Unternehmensziele integrieren.8

Zu den Hauptzielen zählen die Vermittlung notwendiger Qualifikationen zur Ausübung

der Tätigkeit, die Gewährleistung des optimalen Personaleinsatzes9 und die intensive

Bindung der im Betrieb Beschäftigten an das Unternehmen10. Des weiteren wird von

der Personalentwicklung erwartet, dass sie einen wichtigen Beitrag zur Erreichung der

ökonomischen Zielsetzungen leistet11. Aus diesen zentralen Zielen lassen sich weitere

Ziele der Personalentwicklung ableiten:

• Sicherung des Bestands an Fach- und Führungskräften,

• Vorbereitung geeigneter Mitarbeiter auf höherwertige Tätigkeiten,

• Reduzierung der Abhängigkeit vom externen Arbeitsmarkt, insbesondere beim

Führungsnachwuchs,

• Verbesserung des Sozialverhaltens der Mitarbeiter,

• Erkennen und Ausschöpfen von Potenzialen der Mitarbeiter,

• Erhöhung der Leistung und der Flexibilität von Mitarbeitern,

• Vermittlung von Schlüsselqualifikationen,

• Schaffung eines Anreizes für Mitarbeiter, sich beruflich weiter zu entwickeln,

• Aufdecken und Vermeiden von Fehlbesetzungen,

• Erzeugung und Förderung von Innovationsbereitschaft,12

• Erhöhung der Reaktionsfähigkeit des Unternehmens auf Veränderungen am

Markt13,

8 Vgl. Mentzel, W.: Personalentwicklung. Erfolgreich motivieren, fördern und weiterbilden, 2. Aufl., München 2005, S. 11 f. 9 Vgl. Mentzel, W., a.a.O., S. 10. 10 Vgl. Schöni, W.: Praxishandbuch Personalentwicklung. Strategien, Konzepte und Instrumente, Chur, Zürich 2001, S. 34. 11 ebenda 12 Vgl. Mentzel, W., a.a.O., S. 10 f. 13 Vgl. Schöni, W., a.a.O., S. 35.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 5

• Verbesserung des Unternehmensimage und damit Erhöhung der

akquisitorischen Wirkung auf potenzielle neue Mitarbeiter,

• Vermittlung von Wissen und Kenntnissen im Hinblick auf die

Organisationsentwicklung,14

• Erhöhung der Arbeitsmotivation und –zufriedenheit15.

Diesen unternehmensorientierten Zielen stehen die mitarbeiterbezogenen Ziele

gegenüber. Mitarbeiter sehen in der Personalentwicklung die Möglichkeit zur

Verwirklichung folgender Ziele:

• Erlangen eines ausreichenden Qualifikationsniveaus, um die Tätigkeit optimal

wahrnehmen zu können,

• Vorantreiben des beruflichen Fortkommens und Nutzung von

Karrieremöglichkeiten,

• Verbesserung der Chancen auf dem Arbeitsmarkt, insbesondere bei

wirtschaftlichem und technologischem Wandel,

• Steigerung des Grads an Selbstverwirklichung wegen des größeren

Handlungsspielraums,

• Übernahme von mehr Verantwortung,

• Erhaltung des Status quo im Unternehmen und in der Gesellschaft,

• Sicherung eines ausreichenden Arbeitsvolumens,16

• Befriedigung persönlicher Bildungsbedürfnisse und Weiterentwicklung der

eigenen Persönlichkeit,

• Verbesserung der Arbeitszufriedenheit,

• Erhöhung der Arbeitsplatzsicherheit.17

14 Vgl. Lung, M.: Betriebliche Weiterbildung. Grundlagen und Gestaltung, Leonberg 1996, S. 40. 15 Vgl. Petersen, T.: Handbuch zur beruflichen Weiterbildung. Leitfaden für das Weiterbildungsmanagement im Betrieb, Frankfurt, Berlin, Bern, Brüssel, New York, Wien 2000, S. 15. 16 Vgl. Nentzel, B.: Personalentwicklung. Ergebnisse des Projekts „Neue Instrumente für Innovationsprozesse zur Gestaltung von Arbeit und Technik in öffentlichen Büro- und Verwaltungsbereichen“, hrsg. von: Grimmer, K., Düsseldorf 1997, S. 25. 17 Vgl. Mentzel, W., a.a.O., S. 12.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 6

2.1.3 Maßnahmen der Personalentwicklung

Grundsätzlich kann zwischen folgenden Gruppen von Personalentwicklungs-

maßnahmen unterschieden werden:

• Personalentwicklung into the job

Hier sind alle Maßnahmen zuzuordnen, die dem Erlernen einer neuen Funktion

und der Hinführung zu einer neuen Tätigkeit dienen.

• Personalentwicklung on the job

Diese Gruppe umfasst solche Bildungsmaßnahmen, die direkt am Arbeitsplatz

durchgeführt werden.

• Personalentwicklung along the job

Dabei handelt es sich um laufbahnbegleitende Qualifizierungsmaßnahmen.

• Personalentwicklung near the job

Unter diesem Begriff subsumiert man sämtliche arbeitsplatznahen

Bildungsaktivitäten.

• Personalentwicklung off the job

Zu diesem Maßnahmenbündel gehören externe Weiterbildungsveranstaltungen,

Inhouse-Qualifizierungen und Corporate Universities.

• Personalentwicklung out of the job

Diese Aktivitäten stellen die Beschäftigungsfähigkeit von ausscheidenden

Mitarbeitern sicher. Auch Ruhestandsregelungen fallen unter diese Gruppe.18

Betrachtet man die berufliche Biographie eines Mitarbeiters, dann wird deutlich, dass

eine erfolgreiche Personalentwicklungsstrategie nur durch die Kombination diverser

Personalentwicklungsaktivitäten sicherzustellen ist: So durchläuft ein Mitarbeiter

während seiner beruflichen Laufbahn beispielsweise die folgenden

Personalentwicklungsmaßnahmen:

• into the job: Berufsausbildung und diverse Einarbeitungen,

• on the job: Training,

18 Vgl. Scholz, C., a.a.O., S. 510 f.; siehe dazu auch: Oechsler, W. A.: Personal und Arbeit. Grundlagen des Human Resource Management und der Arbeitgeber-Arbeitnehmer-Beziehungen, 7. Aufl., München, Wien 2000, S. 593-596.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 7

• off the job: betriebsinterne Schulungen und externe Bildungsmaßnahmen,

• out of the job: gleitender Ruhestand.

Nachstehende Abbildung gibt einen Überblick über die verschiedenen Maßnahmen

der Personalentwicklung:

Abb. 1: Personalentwicklungsmaßnahmen Quelle: Scholz, C., a.a.O., S. 511.

2.2 Betriebliche Weiterbildung als Teilbereich der Personalentwicklung

Die betriebliche Weiterbildung gehört neben anderen Bildungsformen zur

Personalentwicklung. Betrieblich bedeutet, dass der Träger der Weiterbildung das

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 8

Unternehmen selbst ist. Dabei kommt dem Unternehmen die Aufgabe der Planung,

Organisation, Durchführung, Kontrolle und Finanzierung der Weiterbildungsmaßnahme

im Ganzen oder nur in Teilen zu. Unter Weiterbildung versteht man die Fortsetzung

oder Wiederaufnahme organisierten Lernens nach Abschluss einer ersten

Bildungsphase.19

2.2.1 Definition betriebliche Weiterbildung

Betriebliche Weiterbildung stellt den Teil der beruflichen Weiterbildung dar, der im

Bereich des Unternehmens angesiedelt ist20. Die Maßnahmen werden vom

Unternehmen durchgeführt und/oder veranlasst und finanziert; dazu gehören folglich

interne und externe Weiterbildungsmaßnahmen sowie Mischformen21.

2.2.2 Betriebliche Bildungsmaßnahmen off the job

Bei den sog. off-the-job-Maßnahmen der betrieblichen Weiterbildung werden die

Qualifizierungsmaßnahmen nicht am Arbeitsplatz umgesetzt, sondern an einem

anderen Ort.

Gerade wegen der fehlenden Nähe zum Arbeitsplatz und zu dessen Umfeld kann es im

Rahmen der Qualifizierung off the job zu Problemen beim Transfer kommen; d. h. das

im Rahmen der Weiterbildung Erlernte lässt sich aus verschiedenen Gründen nicht

immer unmittelbar auf die konkrete Arbeitssituation übertragen.22

19 Vgl. Weingärtner, M.: Betriebliche Weiterbildung und Weiterbildungsberatung in mittelständischen Unternehmen, Bergisch Gladbach, Köln 1995, S. 8 f. 20 Vgl. Mudra, P., a.a.O., S. 72. 21 Vgl. Pawlowsky, P.; Bäumer, J.: Betriebliche Weiterbildung. Management von Qualifikation und Wissen, München 1996, S. 9. 22 Vgl. Reuther, U.; Frank, G.: Lernerfolg und Transfer, in: Heeg, F. J.; Münch, J. (Hrsg.): Handbuch Personal- und Organisations- entwicklung, Stuttgart, Dresden 1993, S. 424.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 9

Bildungsmaßnahmen off the job können unterschieden werden in:

• Präsenzmaßnahmen: Hier hat der Lernende direkten Kontakt mit dem Trainer.

Die Vorzüge liegen darin, dass der Lehrende die Reaktion des Lernenden

wahrnimmt, den Lernfortschritt kontrollieren und ggf. intervenieren kann.

Außerdem besteht die Möglichkeit der Motivierung des Lernenden.

• Fernbildungsmaßnahmen: Bei dieser Art der Weiterbildung existiert kein direkter

Kontakt zwischen Trainer und Lernendem. Einst erhielt der Lernende die

Aufgaben und Lernmaterialien per Post, später per E-Mail.23 In der heutigen Zeit

gewinnt das sog. E-Learning, bei dem der Lernprozess anhand multimedialer

Lernprogramme und Computerunterstützung stattfindet, permanent an

Bedeutung24. Die zeitliche und räumliche Flexibilität25, die sehr kostengünstige

Umsetzung sowie verkürzte Trainingszeiten bilden die entscheidenden Vorteile

solcher Maßnahmen26.

Die Durchführung von Bildungsmaßnahmen kann unternehmensintern und/oder -extern

erfolgen. Zahlreiche Faktoren beeinflussen die Entscheidung darüber, ob die

Veranstaltung vom Unternehmen selbst oder von einem Fremdanbieter realisiert wird.

Meist können kleine und mittlere Unternehmen allein aus Kostengründen keine interne

Bildungsmaßnahme abhalten. Für sie kommt häufig nur eine Durchführung in

Kooperation mit einem externen Bildungsdienstleister in Frage27. Eine

zwischenbetriebliche Alternative besteht in einem Zusammenschluss mit anderen

Unternehmen zu einem Weiterbildungsverbund, z. B. mit Unternehmen der selben

Branche, um kostengünstig und bedarfsorientiert den Mitarbeitern Bildungsmaßnahmen

anbieten zu können28.

23 Vgl. Gutmann, J.; Klose, I.: Personalentwicklung. Wie Sie Ihre Mitarbeiter fit machen, Planegg 2005, S. 47. 24 Vgl. Dittler, U.: Einführung – E-Learning in der betrieblichen Aus- und Weiterbildung, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 11. 25 Vgl. Gutmann, J.; Klose, I., a.a.O., S. 47. 26 Vgl. Fackiner, C.: Konzepte für die Integration von Computer Based Training (CBT) in die betriebliche Weiterbildung am Beispiel Banken. Zielsetzung und Kriterien für den Einsatz computerunterstützter Lernprogramme in der Mitarbeiterschulung, Stuttgart, Marburg, Erfurt 1995, S. 58 f. 27 Vgl. Weingärtner, M., a.a.O., S. 73-84. 28 Vgl. Lung, M., a.a.O., S. 138 f.; siehe dazu auch: Engel, A.: Personalentwickler auf Abruf, in: managerSeminare 1/03, S. 80-88.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 10

Nachstehende Aufzählung benennt Formen der betrieblichen Weiterbildung off the job:

• Lehrgespräch,

• Fallmethode/Planspiel,

• Gruppenarbeit,

• Rollenspiel,

• gruppendynamisches Training,

• Moderationsmethode,

• Förderkreis/Erfahrungsaustauschgruppe,

• Qualitätszirkel,

• computerunterstütztes Lernen,

• Fernunterricht,29

• selbstgesteuertes Lernen,

• Leittextmethode,

• Referat/Vortrag/Vorlesung/Lehrvortrag.30

2.3 Evaluation

In diesem Teil wird zunächst der Begriff „Evaluation“ bestimmt, um dadurch das weitere

Verständnis von Evaluation im Zusammenhang mit Bildungsmaßnahmen zu

erleichtern. Anschließend erfolgt eine Abgrenzung zwischen Evaluation und Controlling.

2.3.1 Definition Evaluation

Evaluation lässt sich allgemein als Bewertung bzw. Beurteilung bezeichnen31. Die

Begriffe „Evaluation“ und „Evaluierung“ können dem englischen Begriff „evaluation“

29 Vgl. Mentzel, W., a.a.O., S. 202-219. 30 Vgl. Lung, M., a.a.O., S. 148-165. 31 Vgl. Lang, K.: Bildungs-Controlling. Personalentwicklung effizient planen, steuern und kontrollieren, Wien 2000, S. 87.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 11

gleichgesetzt werden; er hat die Bedeutung „Einschätzen eines Wertes“ oder „Etwas

einen Wert beimessen“.32

Kennzeichnend für Evaluation ist, dass

• sie als Planungs- und Entscheidungsunterstützung dient,

• ihre Hauptfunktion in der Überprüfung und Verbesserung von Maßnahmen33,

inhaltlich und methodisch34, besteht.

2.3.2 Evaluation betrieblicher Weiterbildungsmaßnahmen Die Evaluierung betrieblicher Weiterbildung umfasst die Aktivitäten im Vorfeld der

Maßnahmenrealisierung (z. B. interne oder externe Veranstaltung, Auswahl des

Anbieters) sowie sämtliche Aktivitäten zur Erfolgsbestimmung der Kompetenz-

erweiterung bei Mitarbeitern durch Qualifizierung35. Bei dieser Erfolgsfeststellung geht

es um die Ermittlung des

• Zufriedenheitserfolgs,

• Lernerfolgs,

• Transfererfolgs,

• Organisationserfolgs.

Daraus leitet sich ab, dass die Evaluation nicht nur die Bewertung des Erfolgs am Ende

einer Maßnahme übernimmt, sondern in allen Phasen des Bildungsprozesses zum

Einsatz gelangen muss. Sie kann auf diese Weise z. B. ganz entscheidend dazu

beitragen, dass noch im Verlauf einer Qualifizierungsveranstaltung aktuell

aufgetretenen Problemen entgegengewirkt wird.

32 Vgl. Mudra, P., a.a.O., S. 392. 33 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H.: Evaluation von Personalentwicklungsmaßnahmen, in: Sonntag, K. (Hrsg.): Personalentwicklung in Organisationen. Psychologische Grundlagen, Methoden und Strategien, 2. Aufl., Göttingen, Bern, Toronto, Seattle 1999, S. 261. 34 Vgl. Scherer, D.: Evaluation beruflicher Weiterbildung. Eine theoretisch-empirische Analyse auf der Datenbasis des sozio- ökonomischen Panels, Frankfurt, Berlin, Bern, New York, Paris, Wien 1996, S. 142 f. 35 Im Gegensatz dazu: Pieler, D.: Weiterbildungscontrolling. Eine systemorientierte Perspektive, Wiesbaden 2000, S. 37 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 12

2.3.3 Abgrenzung der Bildungsevaluation von Bildungscontrolling

Unter Bildungscontrolling36 versteht man die Planung, Steuerung und Kontrolle von

Bildungsmaßnahmen, in erster Linie mit dem Fokus auf Aufwand und Ertrag37. Im

Mittelpunkt steht also die Frage, wie sich die Bildungsinvestition, ökonomisch

betrachtet, auf das Unternehmen auswirkt.

Die Bildungsevaluation hingegen bewertet – anstelle der ökonomischen – die

pädagogische und qualifikatorische Zielerreichung der Bildungsaktivität38. Die

Messungen beziehen sich meist auf qualitative Merkmale und nicht auf mit Zahlen oder

monetären Größen quantifizierbare Faktoren.

Evaluation darf keinesfalls getrennt von Bildungscontrolling betrachtet werden, sondern

ist als integratives Element des Bildungscontrollings zu sehen39.

36 Siehe dazu: Kailer, N.: Controlling in der Weiterbildung, in: Münch, J. (Hrsg.): Ökonomie betrieblicher Bildungsarbeit. Qualität – Kosten – Evaluierung – Finanzierung, Berlin 1996, S. 233-250. 37 Vgl. Münch, J.: Personalentwicklung als Mittel und Aufgabe moderner Unternehmensführung, Bielefeld 1995, S. 134 f. 38 Vgl. Häring, K., a.a.O., S. 13. 39 Vgl. Mudra, P., a.a.O., S. 393.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 13

Untenstehende Tabelle macht die Unterschiede zwischen Bildungsevaluation und

Bildungscontrolling ersichtlich:

Tab. 1: Gegenüberstellung der wesentlichen Merkmale von Evaluation und Controlling Quelle: Gerlich, P.: Controlling von Bildung, Evaluation oder Bildungs-Controlling? Überblick, Anwendung

und Implikationen einer Aufwand-Nutzen-Betrachtung von Bildung unter besonderer Berücksichtigung

wirtschafts- und sozialpsychologischer Aspekte am Beispiel akademischer Nachwuchskräfte in Banken,

München, Mering 1999, S. 15.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 14

3 EVALUATION IN DER BETRIEBLICHEN

WEITERBILDUNG

3.1 Ziele der Evaluation

Die Evaluierung betrieblicher Weiterbildungsmaßnahmen hat für die verschiedenen

Adressaten eine unterschiedliche Bedeutung. So konzentriert sich die Unternehmens-

führung beispielsweise darauf, inwieweit sich die Bildungsinvestition positiv auf das

Geschäftsergebnis auswirkt. Die Trainer ihrerseits haben ausgeprägtes Interesse

daran, großen Lernerfolg zu erzielen, hohe Teilnehmerzufriedenheit zu erreichen sowie

ihre Weiterbildungsmaßnahmen stetig zu verbessern. Die Vorgesetzten der Mitarbeiter,

die zu einer Qualifizierung geschickt werden, erhoffen sich, dass ihre Mitarbeiter nach

Rückkehr möglichst viel von dem Erlernten am Arbeitsplatz anwenden können.

Nachfolgend abgebildetes Schaubild ermöglicht einen Überblick über die Ziele, welche

mit der Evaluation verfolgt werden:

Abb. 2: Ziele der Evaluation

Quelle: Der Verfasser

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 15

3.1.1 Bewertung Die Bewertungsfunktion der Evaluation zielt darauf ab, den Nutzen einer

Bildungsmaßnahme zu ermitteln. Sie gibt Aufschluss darüber, inwieweit sich die

Investition amortisiert. Die Bewertung dient der Rechtfertigung für die aufgewendeten

Kosten der Maßnahme; deshalb nennt man diese Funktion auch Legitimations-

funktion.40 Das Ergebnis einer Bildungsaktivität wird abschließend mit dem Ausmaß der

Erreichung bestimmter Bewertungsmaßstäbe verglichen. Solche Maßstäbe sind vorher

festgelegte Nutzenkriterien oder Zielerreichungsgrade.

3.1.2 Optimierung Die Optimierung der Bildungsmaßnahmen stellt ein bedeutendes Ziel der Evaluation

dar. Permanente Verbesserungen in der Qualität der Bildung sollen angestrebt

werden41. Optimierende Eingriffe können bereits in laufende Bildungsprozesse

geschehen. Durch die gewonnenen Erfahrungen lassen sich zukünftige

Qualifizierungen entsprechend verbessern42. Die Qualitätssicherung in der

Bildungsarbeit ist durch die Standardisierung der Anforderungen zu realisieren, die eine

Bildungsmaßnahme zu erfüllen hat43. Solch ein Qualitätsstandard kann sich

beispielsweise auf die technische Ausstattung beziehen, die in einem

Weiterbildungsseminar verwendet wird. Qualitätskriterien in diesem Zusammenhang

sind die Funktionalität, die Modernität, die Ästhetik u. a.44

3.1.3 Integration

Wie bereits oben dargelegt, soll die Evaluierung nicht lediglich als abschließende

Bewertung nach der Qualifizierung vollzogen werden, sondern in den Gesamtablauf

40 Vgl. Häring, K., a.a.O., S. 18 f. 41 Vgl. Götz, K.: Zur Evaluierung beruflicher Weiterbildung. Eine theoretische und empirische Studie zur Wirksamkeit beruflicher Weiterbildung, Weinheim 1993, S. 65. 42 Vgl. Mudra, P., a.a.O., S. 395. 43 Vgl. Mudra, P., a.a.O., S. 405 ff. 44 Vgl. Mudra, P., a.a.O., S. 407.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 16

des Bildungsprozesses integriert sein. Die sich daraus ergebende positive Wirkung des

Hawthorne-Effekts ruft eine Erhöhung der Lernmotivation bei den Teilnehmern hervor.

Der Hawthorne-Effekt besagt, dass die Evaluation selbst den Untersuchungs-

gegenstand beeinflusst.45 Übertragen auf die Bildungssituation bedeutet dies, dass sich

die Teilnehmer mehr anstrengen und mehr Verantwortung in ihrer Situation

übernehmen, wenn ständig Evaluierungsmaßnahmen „drohen“. Das Resultat sind

bessere Lernergebnisse.

3.1.4 Kontrolle

Eine weitere Zielsetzung liegt in der Kontrolle. Aufgabe der Evaluation ist, anhand

geeigneter Informationen Analysen durchzuführen und Bewertungen vorzunehmen, um

daraus einen Handlungsvorschlag für zukünftige Bildungsmaßnahmen ableiten zu

können.46 Dabei stellt der Erfolg einer Bildungsmaßnahme nicht ein zufällig

eingetretenes Resultat dar, sondern er ist das Ergebnis einer zielorientierten

Steuerung47. Es wird überprüft, ob die vorher festgelegten Ziele erreicht wurden.

Kontrolle ist demnach als Controlling-Aktivität zu verstehen48.

3.1.5 Dokumentation

Als weiteres Ziel der Evaluation gilt die Dokumentation der gewonnenen Ergebnisse.

Diese Resultate sollen systematisch gesammelt, verarbeitet und gespeichert werden.

Auf ihrer Grundlage werden später Entscheidungen getroffen.49 Je mehr Informationen

über frühere Weiterbildungsmaßnahmen vorhanden sind, desto sicherere Entschei-

dungen lassen sich treffen.

45 Vgl. Häring, K., a.a.O., S. 20. 46 Vgl. Häring, K., a.a.O., S. 21. 47 Vgl. Bronner, R.; Hische, V.: Zur Entwicklung eines Evaluations-Instrumentariums, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 50 f. 48 Vgl. Häring, K., a.a.O., S. 21. 49 Vgl. Häring, K., a.a.O., S. 22.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 17

3.1.6 Entscheidung

Die Ergebnisse der Evaluierung fließen in Entscheidungsprozesse ein; die Evaluation

beeinflusst insoweit Entscheidungen. Dabei werden Ergebnisse und Analysen aus

vergangenen Evaluationen dazu verwendet, richtige Entscheidungen über künftige

Weiterbildungsmaßnahmen zu fällen.50 Die Qualität der Entscheidung wirkt sich

letztendlich auf die Qualität der Maßnahme aus51.

3.1.7 Imageverbesserung

Die Imagewirkung wird zunehmend an Bedeutung gewinnen, weil Unternehmen mehr

und mehr um qualifizierte Nachwuchskräfte konkurrieren müssen. Eine Evaluierung der

Personalentwicklungsmaßnahmen wertet die Funktion der Personalentwicklung eines

Unternehmens auf und dies hat positive Konsequenzen auf das Image des Unter-

nehmens.52

3.2 Formen der Evaluation

Unter Evaluierungsformen versteht man die formale Vorgehensweise bei der

Datenerhebung. Davon abzugrenzen ist die inhaltliche Vorgehensweise, die sich mit

den Methoden und dem Design des Evaluationsvorgangs befasst.53

3.2.1 Teil- und Gesamtevaluation

Eine Teilevaluierung beurteilt nur bestimmte Aspekte einer Bildungsmaßnahme. Die

inhaltliche Konzeption, die Methodik, die Didaktik, oder der Einfluss des Trainers bilden

50 Vgl. Häring, K., a.a.O., S. 21. 51 Vgl. Götz, K., a.a.O., S. 71. 52 Vgl. Häring, K., a.a.O., S. 22. 53 Vgl. Götz, K., a.a.O., S. 105.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 18

beispielsweise solche Gesichtspunkte. Sind gleichzeitig mehrere Elemente Gegenstand

der Untersuchung, spricht man von einer Teilevaluierung oder partiellen Evaluierung.

Wird der Fokus auf ein einziges Element gerichtet, so heißt die Evaluation singuläre

Evaluation.54

Die Gesamtevaluierung bewertet alle relevanten Elemente einer Bildungsmaßnahme.

Das Ziel ist, kausale Zusammenhänge zwischen der Qualifizierung und den späteren

Verhaltenseffekten beim Teilnehmer am Arbeitsplatz aufzudecken.55

3.2.2 Input- und Outputevaluation

Die Inputevaluation hält fest, welche Mittel zur Durchführung einer Bildungsmaßnahme

eingesetzt werden. Dazu zählen sowohl die finanziellen Mittel als auch andere

Inputfaktoren, wie die verwendeten Medien und Unterlagen. Die Überprüfung, ob ein

vorher gestecktes Budgetziel eingehalten wurde, ist eine mögliche Form der

Inputevaluation. Weitere rein quantitative Datenerhebungen – z. B. Anzahl der

angebotenen Seminare, Zahl der Teilnehmer – sind denkbar.56

Die Outputevaluation misst das Ergebnis der Weiterbildungsmaßnahme. Dabei stehen

die beabsichtigten und unbeabsichtigten Wirkungen im Mittelpunkt. Eine

Gegenüberstellung der investierten Mittel mit dem erzielten Nutzen ermöglicht es,

Aussagen über die Effizienz der Maßnahme zu treffen.57

3.2.3 Selbst- und Fremdevaluation

Bei der Selbstevaluation nehmen die am Bildungsprozess Beteiligten eine Bewertung in

eigener Verantwortung vor. Gegenstandsbereiche können in diesem Fall der

Lernprozess, der Lernerfolg und der Lerntransfer sein.58

54 Vgl. Götz, K., a.a.O., S. 105. 55 ebenda 56 Vgl. Götz, K., a.a.O., S. 106. 57 ebenda 58 Vgl. Götz, K., a.a.O., S. 107-110.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 19

Eine Fremdevaluation erfolgt i. d. R. durch Verhaltensbeobachtung der Teilnehmer

durch andere Personen. Als mögliche Beobachter kommen hier Weiterbildungs-

teilnehmer, Vorgesetzte, Trainer und Kollegen in Frage.59

3.2.4 Vergleichende und nichtvergleichende Evaluation

Bei einer vergleichenden Evaluation werden die Erfolge einer Weiterbildungs-

maßnahme mit den Erfolgen einer oder mehrerer Gruppen, die an identischen

Maßnahmen teilgenommen haben, verglichen. Zu berücksichtigen ist allerdings, dass

sich ein empirisch-wissenschaftlicher Vergleich nur mit wirklich vergleichbaren

Datensätzen durchführen lässt.60

Die nichtvergleichende Evaluation stellt eine Bewertung der Teilnehmergruppe

und/oder eine Bewertung einzelner Teilnehmer innerhalb dieser Gruppe dar. Es wird

kein Vergleich mit einer anderen Gruppe vorgenommen.61

3.2.5 Interne und externe Evaluation

Bei einer internen Evaluierung erfolgt die Bewertung der Maßnahme von derselben

Organisation, die auch die Bildungsmaßnahme durchgeführt hat62. Dies kann das

Unternehmen selbst oder ein externer Veranstalter sein.

Um eine externe Evaluation handelt es sich dann, wenn eine betriebsfremde

Organisation mit der Untersuchung beauftragt wurde. Auch Mischformen aus beiden

Evaluationsarten sind vorstellbar.63

59 Vgl. Götz, K., a.a.O., S. 107-110. 60 Vgl. Reischmann, J.: Weiterbildungs-Evaluation. Lernerfolge messbar machen, Neuwied, Kriftel 2003, S. 105 f. 61 Vgl. Götz, K., a.a.O., S. 114. 62 Vgl. Götz, K., a.a.O., S. 117. 63 ebenda

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 20

3.2.6 Additive und integrierte Evaluation

Eine additive Evaluation hat keinen Einfluss auf einen laufenden Qualifizierungs-

prozess. Sie beurteilt lediglich am Ende einer Bildungsmaßnahme, inwieweit

Zufriedenheit bei den Teilnehmern herrscht und welche Verbesserungen angebracht

wären. Finden allerdings keine vergleichbaren Veranstaltungen mehr statt, so bleibt die

Evaluation ohne Wirkung.64

Die integrierte Evaluation ist die prozessuale Beurteilung einer Bildungsmaßnahme. Sie

ermöglicht es, steuernd auf die Maßnahme einzuwirken, um so von den notwendigen

Veränderungen und damit Verbesserungen profitieren zu können. Darüber hinaus dient

sie der Qualitätsmessung und Qualitätssicherung.65

3.2.7 Subjektive und objektive Evaluation

Als subjektiv bezeichnet man eine Evaluation, wenn Vorstellungen und Meinungen der

evaluierten Personen die Informationsgrundlage bilden66. Der Vorteil dieser

Evaluierungsart liegt darin begründet, dass derjenige, der selbst am Bildungsprozess

teilnimmt, am besten erkennen kann, was tatsächlich wichtig ist. Allerdings sollte sich

der Selbstevaluierende fragen, ob er sich selbst realistisch und nicht zu gut beurteilt

hat.67

Von objektiver Evaluierung spricht man dann, wenn die Informationen aus dem

erkennbaren Verhalten der beobachteten Personen abgeleitet werden68. Der Vorteil

einer Fremdevaluierung besteht darin, dass eine neutrale Person, die nicht an der

Schulung teilgenommen hat, zu „objektiveren“ Ergebnissen kommt69.

64 Vgl. Götz, K., a.a.O., S. 116. 65 Vgl. Götz, K., a.a.O., S. 116 f. 66 Vgl. Götz, K., a.a.O., S. 110. 67 Vgl. Reischmann, J., a.a.O., S. 106 f. 68 Vgl. Götz, K., a.a.O., S. 110. 69 Vgl. Reischmann, J., a.a.O., S. 106.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 21

3.2.8 Direkte und indirekte Evaluation

Bei der direkten Evaluation sammeln die Teilnehmer einer Bildungsveranstaltung selbst

Daten, um daraus den Erfolg zu bestimmen70.

Um indirekte Evaluation handelt es sich, wenn außenstehende Personen das Verhalten

der Teilnehmer beobachten und aus den daraus gewonnenen Informationen den

Maßnahmenerfolg ableiten.71

3.2.9 Quantitative und qualitative Evaluation

Kriterien, die anhand von Evaluationsverfahren bewertet werden, können quantitativ

erfasst werden. Darunter zu verstehen sind beispielsweise die Anzahl der gelösten

Aufgaben und/oder die dazu benötigte Zeit. Aber auch qualitative Aussagen lassen sich

anhand von Ratingskalen quantitativ ausdrücken. Entscheidender Vorteil dieser Form

ist die einfache Auswertung und Weiterverarbeitung der gewonnenen Daten,

gravierender Nachteil das vorgegebene Antwortspektrum.72

Ferner können die Bewertungen mittels qualitativer Evaluation durchgeführt werden;

dabei ist die Beurteilung in einem Freitextfeld abzugeben. Der Vorteil besteht im breiten

Informationsspektrum, das diese offene Bewertung ermöglicht. Die Schwierigkeit, die

gesammelten Antworten zusammenzufassen und weiterzuverarbeiten, stellt den

Nachteil dieser Methode dar.73

3.2.10 Hypothesenprüfende und hypothesengenerierende Evaluation

Bei einer hypothesenprüfenden Evaluation sind abzufragende Merkmale bekannt, mit

denen sich Fragestellungen formulieren lassen. Eine solche Frage könnte bei einem

70 Vgl. Götz, K., a.a.O., S. 112. 71 ebenda 72 Vgl. Reischmann, J., a.a.O., S. 108 f. 73 ebenda

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 22

Teilnehmer-Feedback beispielsweise sein: „Wie war der Medieneinsatz?“. Methoden

zur Informationsgewinnung sind Beobachtung, Befragung und Dokumentenanalyse.74

Viele Aspekte der Pädagogik und zahlreiche Probleme im Qualifizierungsbereich

können jedoch nicht klar strukturiert und leicht konkretisiert werden. Oftmals gestaltet

sich die Situation derart, dass lediglich das Bewusstsein zu einer notwendigen

Veränderung vorhanden ist. Damit sind zunächst die Vorgehensweise und teilweise

sogar der Zielzustand unbekannt. Es geht also in erster Linie darum, sich zuerst

Klarheit darüber zu verschaffen, was untersucht werden soll und welche Kriterien zur

Bewertung herangezogen werden sollen. Hierbei handelt es sich um eine

hypothesengenerierende Evaluation. Als Methoden eignen sich Beobachtungen im

Bildungsprozess, Befragungen der beteiligten Personen sowie Analysen von

Protokollen aus anderen Weiterbildungsveranstaltungen.75

3.2.11 Intrinsische und extrinsische Evaluation

Die intrinsische Evaluierung bewertet das Evaluierungsinstrument. Ansatzpunkte dazu

geben beispielsweise die angewandte Methode oder die Einstellung des Trainers. Die

einzuschätzenden Kriterien können jedoch nicht operationalisiert werden, da es nicht

um konkrete Auswirkungen einer Maßnahme, sondern um das Instrument selbst geht.76

Die extrinsische Evaluation beurteilt die Auswirkung des Lehrverhaltens des Trainers

auf die Teilnehmer einer Weiterbildungsmaßnahme77.

3.2.12 Formative und summative Evaluation

Die formative und die summative Evaluation werden im Bildungsbereich am häufigsten

durchgeführt. Die Anwendung beider Verfahren auf einen Bildungsprozess

74 Vgl. Reischmann, J., a.a.O., S. 109. 75 Vgl. Reischmann, J., a.a.O., S. 109 f. 76 Vgl. Götz, K., a.a.O., S. 113. 77 ebenda

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 23

kann zu Qualitätsverbesserungen führen.78 Aufgrund der großen Verbreitung der

formativen und summativen Formen in der Praxis werden sie im Rahmen dieser Arbeit

ausführlicher als die vorangehend beschriebenen Evaluationsformen erörtert.

Die formative Evaluation betrachtet den laufenden Bildungsprozess, um diesen noch

während der Durchführung optimieren zu können79. Sie hat zwei wesentliche

Zielsetzungen: Zum einen soll sie dem Trainer eine Rückmeldung zum laufenden

Abschnitt der Bildungsveranstaltung ermöglichen. Es kann sich herausstellen, dass in

einer bestimmten Phase gehäuft Probleme bzw. Defizite bei Teilnehmern auftreten. An

diesen Stellen gilt es, zu intervenieren und zu modifizieren. Zum anderen sollen die

Teilnehmer Informationen über ihren Lernfortschritt erhalten. Dazu können als

Methoden z. B. Zwischenprüfungen und prozessbegleitende Tests eingesetzt werden.

Auf diese Weise lassen sich sowohl Misserfolge als auch Erfolge offen legen.80 An

kritischen Punkten muss weiter gearbeitet werden, während Erfolgserlebnisse

motivieren.

Die formative Evaluation kann in die Untersuchung der Qualität sowie in die

Untersuchung der Wirkung aufgeteilt werden. Die Qualitätsanalyse bewertet die

Bildungsmaßnahme hinsichtlich Inhalt, Didaktik sowie Medieneinsatz. Im Gegensatz

dazu beschäftigt sich die Wirkungsanalyse mit der Akzeptanz der Qualifizierung durch

die Teilnehmer, mit der Lernprozessanalyse, mit der Lernerfolgsanalyse und mit der

Transferanalyse während der Bildungsmaßnahme.81 Somit wird in diesem Modell die

Transferanalyse bereits im Rahmen der formativen Bewertung berücksichtigt, also

schon während des Verlaufs der Maßnahme. Ein solches Verfahren ist dann sinnvoll

und notwendig, wenn eine komplexe Bildungsaktivität – zeitlich betrachtet – sukzessive

in Teilabschnitten durchgeführt wird, also z. B. Trainees nach einer gewissen

Lernphase off the job wieder an den Arbeitsplatz zurückkehren und sich danach wieder

für eine bestimmte Zeit off the job weiterqualifizieren.

78 Vgl. Götz, K., a.a.O., S. 118. 79 Vgl. Sonntag, K.: Lernen im Unternehmen, München 1996, S. 187. 80 Vgl. Götz, K., a.a.O., S. 114 f. und Pech, U.: Bildungscontrolling. Deskription, Klassifikation, Identitäten und Disparitäten, Aachen 2001, S. 173. 81 Vgl. Sonntag, K., a.a.O., S. 187 ff.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 24

Zu beachten bleibt, dass die formative Evaluation im Normalfall nur dann sinnvoll ist,

wenn es sich um eine länger andauernde Bildungsmaßnahme handelt82.

Die summative Evaluation hat die Aufgabe, das Ergebnis nach Abschluss einer

Bildungsmaßnahme zu beurteilen. Untersuchungsgegenstand kann entweder die

Veranstaltung – mit allen ihren Aspekten (Inhalt, Trainer, Methodik, Didaktik,

Räumlichkeiten etc.) – oder das Lernergebnis der Teilnehmer nach der Maßnahme

sein. Die summative Evaluierung trägt dazu bei, dass künftige Qualifizierungen

verbessert werden können.83 Diese Ergebnisevaluation konzentriert sich eher auf harte

Fakten und quantifizierbare Größen, als dies bei einer formativen Evaluation der Fall

ist84.

3.3 Evaluationsdesign

Da bei länger andauernden Maßnahmen zahlreiche Faktoren auf die Organisation

einwirken und möglicherweise Veränderungen hervorrufen, kann eine Leistungs-

verbesserung der Teilnehmer nicht zwangsläufig als Resultat einer Qualifizierung

betrachtet werden. Um den Erfolg einer betrieblichen Weiterbildungsmaßnahme

nachweisen zu können, ist methodisch ein größerer Aufwand notwendig, als lediglich

eine Vorher-/Nachhermessung bei den Teilnehmern vorzunehmen.85 Allerdings sind die

dafür notwendigen empirisch-wissenschaftlichen Vorgehensweisen im Betrieb aus

einer Vielzahl von Gründen gar nicht umsetzbar.

In der empirischen Evaluationsforschung finden sich u. a. folgende Design-Varianten:

• einfaches Kontrollgruppen-Design, Messung vor und nach dem Training;

• Design mit einer Trainingsgruppe sowie zwei Kontrollgruppen und

Placeboeffekt, Messung vor und nach dem Training;

82 Vgl. Münch, J., a.a.O., S. 140. 83 Vgl. Götz, K., a.a.O., S. 115 f. 84 Vgl. Münch, J., a.a.O., S. 139 f. 85 Vgl. Kolb, M; Bergmann, G.: Qualitätsmanagement im Personalbereich, Landsberg/Lech 1997, S. 166.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 25

• Design mit einer Trainingsgruppe sowie zwei Kontrollgruppen, Messung vor und

nach dem Training;

• Zeitreihen-Design;

• institutionelle Zyklus-Analyse;

• Mehrphasen-Design.86

Das Kontrollgruppen-Design soll exemplarisch kurz aufgezeigt werden, da es die

praktikabelste Lösung ist, um nachzuweisen, dass sich die Leistungsverbesserung als

Folgewirkung der Qualifizierung ergibt. Allerdings muss hier der Hinweis erfolgen, dass

selbst ein einfaches Kontrollgruppen-Design in der Praxis selten zur Anwendung

gelangt87. Die Ursachen dafür liegen hauptsächlich in finanziellen, zeitlichen und

personellen Restriktionen88.

Nachstehende Abbildung veranschaulicht ein einfaches Modell des Kontrollgruppen-

Designs:

Abb. 3: Kontrollgruppen-Design in der Evaluation Quelle: Kolb, M.; Bergmann, G., a.a.O., S. 167.

86 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 271 ff. 87 Vgl. Bergmann, G.: Bildungscontrolling – Transfer – Evaluation, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, 3. Aufl., Göttingen, Bern, Toronto, Seattle 2003, S. 268 f. 88 Vgl. Häring, K., a.a.O., S. 245.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 26

Die Schwierigkeit besteht in der Bestimmung der Parallelgruppe, welche in ihrer

Zusammensetzung die gleichen Merkmale (z. B. Hierarchieebene, Abteilung, Funktion)

wie die Versuchsgruppe besitzen sollte89.

Aus den gewonnenen Daten der Messungen vor und nach der Qualifizierungs-

maßnahme lässt sich der Erfolg, der aus der Maßnahme resultiert, nachweisen: Die

Qualifizierung war dann erfolgreich, wenn sich beispielsweise die Arbeitseffektivität bei

der Versuchsgruppe signifikant positiv im Vergleich zur Kontrollgruppe, die nicht

geschult wurde, verändert hat.90

Für die betriebliche Praxis ist das sog. „After-Only-Kontrollgruppen-Design“ aus

wirtschaftlichen Erwägungen interessant, bei dem die Versuchs- und die Kontrollgruppe

jeweils nur nach der Weiterbildungsaktivität geprüft werden91.

3.4 Adressaten der Evaluationsergebnisse

Als Adressaten der Resultate aus der Evaluation gelten Teilnehmer, Lehrkräfte, interne

Bildungsexperten, externe Bildungsfachleute, Vorgesetzte und die Unternehmens-

führung. Nur die Einbeziehung aller an der Evaluierung Beteiligten92 gewährleistet ein

wirksames und wirtschaftliches Weiterbildungsmanagement.

89 Vgl. Kolb, M.; Bergmann, G., a.a.O., S. 167. 90 Vgl. Götz, K., a.a.O., S. 132. 91 Vgl. Kolb, M.; Bergmann, G., a.a.O., S. 167. 92 Siehe dazu auch: Arzberger, H.; Mayer, T.: Evaluation als integraler Bestandteil der HR-Arbeit, in: Personalführung 3/04, S. 32-40.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 27

Abb. 4: Adressaten der Evaluationsergebnisse Quelle: Der Verfasser

3.4.1 Teilnehmer

Wenn die Teilnehmer selbst eine Evaluierung durchführen, hat dies den Vorteil, dass

die direkt am Bildungsprozess beteiligten Personen eine Auswertung vornehmen, die

nicht wegen zeitlicher Verschiebungen oder subjektiver Verzerrungen durch

Außenstehende beeinflusst ist. Der Trainer erhält wichtige Informationen über den Kurs

und darüber hinaus auch die Möglichkeit, Rückfragen an die Teilnehmer zu richten. Die

Teilnehmer können ihrerseits eine Rückmeldung über ihre eigene Rolle durch andere

Teilnehmer bekommen. Durch ein solches Feedback erhalten sie die Chance, ihre

Ansichten, Meinungen, Einstellungen und Verhaltensweisen zu überdenken.93

Allerdings muss in diesem Zusammenhang die Gefahr gesehen werden, dass

begeisterungsfähige Trainer „alles“ überstrahlen und dieser Effekt zu insgesamt viel zu

guten Resultaten bei der Evaluierung führt.

93 Vgl. Götz, K., a.a.O., S. 141 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 28

3.4.2 Lehrkräfte

Die Dozenten haben großen Einfluss auf den Erfolg einer Schulungsmaßnahme. Sie

sollten vor der Schulung die Bedürfnisse der Teilnehmer kennen und deren

Vorerfahrung mit einbeziehen. Anhand geeigneter Methoden – beispielsweise durch

Tests, Befragungen und systematische Beobachtungen – können sie Problemfelder der

Maßnahme aufdecken und diese durch gezieltes Gegensteuern beheben.94

3.4.3 Interne Bildungsexperten

Die betrieblichen Bildungsexperten tragen Verantwortung dafür, dass die

Evaluierungsergebnisse Beachtung finden und daraus ein verbessertes

Qualifizierungsangebot hervorgeht. Auf diese Weise lassen sich die Bildungs-

bedürfnisse der Teilnehmer adäquat berücksichtigen. Ferner haben die Teilnehmer

vorab Informationen über das Schulungsprogramm zu erhalten, um die Gefahr von

Enttäuschungen zu bannen. Die aus den Evaluationen gewonnenen Daten dienen den

internen Bildungsverantwortlichen dazu, ihre Arbeit sowie das Bildungsbudget vor dem

Management zu rechtfertigen. Die Evaluation fördert das Verständnis für den Bildungs-

prozess sowie die Identifizierung von Schwachstellen.95

3.4.4 Externe Bildungsexperten

Unternehmen können auch externe Anbieter mit der Evaluation ihrer

Bildungsmaßnahmen beauftragen. Externe Fachleute sind oftmals mit der formalen

Durchführung besser vertraut als unternehmenseigene Evaluatoren; interne Experten

beherrschen dafür im Regelfall jedoch das inhaltliche Spektrum und kennen die

unternehmensspezifischen Gegebenheiten. Es bedarf einer gründlichen Prüfung, ob

Externe „mit ins Boot“ geholt werden sollen, da durch ihre Beteiligung am betrieblichen

Bildungsprozess noch weitere Nachteile entstehen können. So existiert die Gefahr,

94 Vgl. Götz, K., a.a.O., S. 142. 95 Vgl. Götz, K., a.a.O., S. 142 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 29

dass es zu Kommunikationsproblemen zwischen den externen Bildungsexperten und

den internen Verantwortlichen kommt. Außerdem kann der Weiterbildungsvorgang

gestört werden, wenn die Operationalisierung der Lernziele für den Fremdanbieter zu

komplex oder zu abstrakt ist bzw. zu viel Zeit beansprucht. In der betrieblichen Praxis

wird diese Problematik oftmals umgangen, indem der Anbieter den Bildungs-

verantwortlichen im Unternehmen ein Bündel operationalisierter Lernziele zur Auswahl

stellt, woraus diese ggf. auswählen.96

Unter bestimmten Bedingungen muss man sogar völlig auf die Miteinbeziehung

externer Anbieter verzichten. Gründe dafür lassen sich in der gezielten Geheimhaltung

und im Datenschutz finden.

3.4.5 Vorgesetzte

Der Vorgesetzte übernimmt eine entscheidende Rolle im Bildungsprozess.

Insbesondere Gespräche mit dem Mitarbeiter vor und nach der Schulung haben

zentrale Bedeutung. Einerseits erhält der Vorgesetzte dadurch Informationen über

Zielsetzung, Motivation und Kenntnisniveau seines Mitarbeiters, andererseits versetzen

ihn diese Erkenntnisse in die Lage, notwendige Veränderungen einzuleiten sowie den

Transferprozess zu steuern und zu unterstützen. Den Erfolg der Qualifizierung kann der

Vorgesetze dadurch steigern, dass er seinem Mitarbeiter Zeit zur Vor- und

Nachbereitung der Bildungsmaßnahme gibt und ihn motiviert, indem er ihm Aufgaben

überträgt, die eine Anwendung des Gelernten in der Praxis erfordern. Ferner lassen

sich seitens des Vorgesetzten betriebliche Veränderungen vorantreiben, die zur

Transferverbesserung beitragen können.97

96 Vgl. Götz, K., a.a.O., S. 143 f. 97 Vgl. Götz, K., a.a.O., S. 144 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 30

3.4.6 Unternehmensführung Die Unternehmensführung verwertet die aus der Evaluation gewonnenen Daten zur

Schaffung einer effizienten Weiterbildungspolitik. Das Management erwartet

ökonomisch messbare Erfolge als Resultat einer Weiterbildungsinvestition.98 Die

gewonnenen Ergebnisse aus früheren Evaluationen stecken den Rahmen für die

Planung zukünftiger Qualifizierungsaktivitäten ab. Durch das Heranziehen der

Evaluationsergebnisse können qualifizierte Anbieter von Weiterbildungsmaßnahmen

ausgewählt und beauftragt werden. Damit eng verbunden steht die Bereitschaft, sich

für kostenintensive Angebote zu entscheiden, um von einem hohen Qualitätsniveau zu

profitieren.99

3.5 Probleme der Evaluation

Die nachstehende Abbildung zeigt im Überblick mögliche Widerstände und Probleme,

die im Zusammenhang mit der Evaluation stehen:

Abb. 5: Evaluation – Widerstände und Probleme Quelle: Häring, K., a.a.O., S. 253. 98 Vgl. Götz, K., a.a.O., S. 146. 99 Vgl. Spiel, C.: Aus Evaluation lernen?!, in: Personalführung 3/04, S. 1.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 31

Folgende Ausführungen befassen sich vertieft mit der methodenbezogenen und der

personengruppenorientierten Evaluationsproblematik.

3.5.1 Methodenprobleme

Da sich der Teilnehmer einer Weiterbildungsaktivität in Alltagssituationen bewegt und

nicht – wie im Labor – von Störeinflüssen abgeschirmt ist, entsteht die Schwierigkeit,

eine objektive, valide (gültige) und reliable (zuverlässige) Aussage über den

tatsächlichen Erfolg zu treffen100. Die Evaluation in der betrieblichen Personal-

entwicklungsarbeit genügt nicht den wissenschaftlichen Erfordernissen101.

Ob sich die festgestellten Verhaltensänderungen unmittelbar auf die Maßnahme

zurückführen lassen, und ob sie ohne die Qualifizierung ausgeblieben wären,

bezeichnet man als Kausalitätsproblem102. Es ist unmöglich, sämtliche Einflüsse, die im

Laufe der Bildungsmaßnahme auf alle im Prozess beteiligten Faktoren wirken, zu

benennen sowie die Messinstrumente entsprechend darauf abzustimmen. Der

Nachweis eines Ursache-Wirkung-Zusammenhangs zwischen dem Erfolg der

Maßnahme und dem Unternehmenserfolg kann nicht zweifelsfrei erbracht werden.103

Bei einer experimentellen Vorgehensweise wäre es zwingend erforderlich, die

Teilnehmer zufallsbedingt auszuwählen. Untersuchungen belegen, dass diese Auswahl

de facto ohnehin nicht zufallsbedingt geschieht, weil Beurteilungen, Mitarbeiter-

gespräche und das Verhältnis zwischen Vorgesetztem und Mitarbeiter eine gravierende

Rolle spielen. Die reine Zufallsauswahl implizierte Probleme der Gleichbehandlung:

Diejenigen Mitarbeiter, die die Qualifizierung absolvieren dürften, hätten damit die

Chance, möglicherweise einen beruflichen Aufstieg zu erreichen, was den anderen

verwehrt bliebe.104 Die Betriebspraxis würde darüber hinaus eine reine Zufallsauswahl

kaum erlauben, da einige Mitarbeiter zum Zeitpunkt der Maßnahme aus verschiedenen

Gründen verhindert wären.

100 Vgl. Häring, K., a.a.O., S. 97. 101 Vgl. Graf, A.: Evaluation von Personalentwicklung, in: Wirtschaftswissenschaftliches Studium 2/2001, S. 71. 102 Vgl. Häring, K., a.a.O., S. 99. 103 Vgl. Häring, K., a.a.O., S. 244. 104 Vgl. Häring, K., a.a.O., S. 100 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 32

Die Bestimmung des Indikators zur Erfolgsmessung ist eine weitere Schwierigkeit.

Zuerst hat man die Zielsetzung einer Maßnahme zu bestimmen, um Erfolgsfaktoren zu

erkennen, die den Grad der Zielerreichung quantifizierbar machen. Der Erfolg einer

Weiterbildungsaktivität kann allerdings nicht anhand eines einzigen generalisierbaren

Indikators ermittelt werden. Oftmals treten Verhaltensänderungen auf, die nicht

beabsichtigt waren und die deswegen keine Aussage über die Zielrealisierung

zulassen.105

Problematisch ist ferner die Bestimmung des Messzeitpunkts. Bei dessen Festlegung

gilt es zu berücksichtigen, dass ein angemessener Zeitraum für die Teilnehmer zur

Verfügung stehen muss, damit sie ihr verändertes Verhalten am Arbeitsplatz zeigen

können. Als schwierig erweist sich hier die Einschätzung, wie groß die Zeitspanne im

Einzelfall sein sollte.106

3.5.2 Probleme durch verschiedene Personengruppen

Die von der Evaluierung betroffenen Personenkreise begegnen ihr oft mit Widerstand,

weil sie negative Konsequenzen vermuten.

So haben die Teilnehmer an einer Qualifizierungsmaßnahme nicht selten die

Befürchtung, dass aus den Ergebnissen der Evaluation Rückschlüsse auf ihre

Fähigkeiten und ihr Potenzial gezogen werden. Diese Vermutung kann Auswirkungen

auf den Lernprozess haben – im schlimmsten Fall wird dieser kontraproduktiv

beeinflusst.107

Das selbe Problem lässt sich auf die Dozenten übertragen. Auch sie befürchten Folgen

eines negativen Feedbacks von den Teilnehmern. Außerdem besteht für die Trainer die

Gefahr des Akzeptanzverlusts bei den Lernenden, wenn sie sich in der Doppelrolle

Evaluierender/Evaluierter befinden.108

105 Vgl. Häring, K., a.a.O., S. 102 f. 106 Vgl. Häring, K., a.a.O., S. 103. 107 Vgl. Häring, K., a.a.O., S. 104 f. 108 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 264.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 33

Ein weitere Schwierigkeit liegt möglicherweise in der Person des Evaluators. Ist er

methodisch nur unzulänglich ausgebildet oder genügt die Datenerhebung nicht den

geforderten Maßstäben, schlägt sich das direkt auf die Qualität der Ergebnisse

nieder.109 Ebenso können Schwierigkeiten bei der Interpretation der Ergebnisse und bei

der Zuordnung des Erfolgs ein Hindernis darstellen110.

Der Vorgesetzte hat evtl. zu erwarten, dass sein Mitarbeiter in der Qualifizierung

schlechte Ergebnisse erzielt, was Rückschlüsse auf seine Führungsqualität erlauben

könnte. Damit wäre ein potenzieller Autoritätsverlust des Vorgesetzten verbunden.111

Unter Umständen nimmt die Unternehmensleitung eine ablehnende Haltung gegenüber

einem Evaluationsvorhaben ein. Mögliche Gründe sind generell fehlendes Interesse,

aber auch unzureichende Ressourcen.112

Der Betriebsrat kann ebenfalls zum Evaluationshemmnis werden. Sieht die

Personalvertretung durch die Evaluation den Datenschutz verletzt, dann wird sie diese

unterbinden. Weiterhin besteht die Möglichkeit, dass der Betriebsrat die

Evaluationsmaßnahme als ein Instrument der Unternehmensführung ansieht, um

schwache Mitarbeiter zu identifizieren und ggf. solche Mitarbeiter für Entlassungen

vorzusehen.113

109 Vgl. Häring, K., a.a.O., S. 105 f. 110 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 264. 111 Vgl. Häring, K., a.a.O., S. 105. 112 Vgl. Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H., a.a.O., S. 263. 113 Vgl. Häring, K., a.a.O., S. 106.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 34

4 LEITFADEN ZUR EVALUIERUNG VON

OFF-THE-JOB-MASSNAHMEN

Die in diesem Kapitel aufgezeigte Vorgehensweise bei der Evaluation von off-the-job-

Maßnahmen der betrieblichen Weiterbildung stellt eine Orientierung für Unternehmen

dar, die vor der anspruchsvollen Aufgabe der Evaluierung stehen. Der Leitfaden ist in

folgende Phasen des Weiterbildungsprozesses gegliedert:

• Phase im Vorfeld der Maßnahmenrealisierung,

• Phase der Durchführung und

• Phase nach Beendigung der Maßnahme.

Als Primärziel der Evaluierung kann die Ermittlung des Erfolgs der Qualifizierungs-

aktivität angesehen werden. Allerdings existiert nicht nur eine einzige Erfolgsgröße, die

als Indikator für effektive und effiziente betriebliche Bildungsarbeit Gültigkeit besitzt.

Vielmehr „summiert“ sich der „Gesamterfolg“ aus den vier Erfolgsgrößen

• Zufriedenheitserfolg

Die Teilnehmerzufriedenheit mit der Qualifizierungsmaßnahme wird durch diese

Erfolgsgröße zum Ausdruck gebracht.

• Lernerfolg

Der Lernerfolg erfasst den Wissenszuwachs bzw. positive Einstellungs- und

Verhaltensänderungen.

• Transfererfolg

Diese Erfolgsgröße beschreibt das Ausmaß der Umsetzung des „Gelernten“.

• Organisationserfolg

Der Nutzen der Weiterbildungsaktivität für das Unternehmen zeigt sich im

Organisationserfolg.

Die Erfolgsbestandteile Zufriedenheitserfolg und Lernerfolg lassen sich in der

Durchführungsphase ermitteln, während der Transfererfolg und der Organisationserfolg

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 35

erst in der Phase nach der eigentlichen Weiterbildungsmaßnahme festgestellt werden

können.

Die Frage, in welcher Relation die Erfolgsgrößen zueinander stehen, ist nicht eindeutig

zu beantworten. Vielfältige Konstellationen sind denkbar; einige wenige sollen hier

erwähnt werden:

• Zufriedenheitserfolg tritt beim Teilnehmer ein, nicht jedoch Lernerfolg,

Transfererfolg und Erfolg für die Organisation. Damit wird verdeutlicht, dass der

Zufriedenheitserfolg losgelöst von den übrigen Erfolgsgrößen vorliegen kann.

Sein Vorhandensein ist somit keine zwingende Voraussetzung für das

Wirksamwerden der übrigen Erfolgsgrößen.

• Lernerfolg und Transfererfolg sind eng miteinander verknüpfte Faktoren.

Transfererfolg existiert nur, wenn vorher Lernerfolg eingetreten war. Ohne

Lernerfolg gibt es keinen Transfererfolg.

• Organisationserfolg resultiert im optimalen Fall als Produkt aus Zufriedenheits-,

Lern- und Transfererfolg. Der Organisationserfolg kann sich auch lediglich

aufgrund des mit dem Lernerfolg verbundenen Transfererfolgs einstellen. Im

Extremfall ist sogar vorstellbar, dass das Unternehmen insgesamt profitiert –

also Organisationserfolg hat –, wenn ein Teilnehmer mit der Maßnahme

ausschließlich zufrieden war. Dann hat der Teilnehmer nicht erfolgreich gelernt

und wird deshalb nichts an seinen Arbeitsplatz mit Erfolg transferieren. Dennoch

kann sich die Teilnahme an der Bildungsmaßnahme positiv auf das

Unternehmen auswirken, wenn der Mitarbeiter durch die Weiterbildung in

irgendeiner Form motiviert wurde. Dies wird in der Folgezeit z. B. auf sein

Engagement, seine Zielstrebigkeit und seine Einsatzfreude günstige

Konsequenzen haben, die sich positiv auf den Unternehmenserfolg

niederschlagen.

Die nachfolgende Tabelle zeigt die drei Phasen der Qualifizierung. Ihnen sind jeweils

Evaluationsobjekte und geeignete Evaluationsmethoden zugeordnet, die in den

folgenden Ausführungen des Kapitels 4 detailliert dargestellt werden.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 36

Tab. 2: Evaluationsobjekte und Evaluationsmethoden Quelle: Der Verfasser

Anzumerken gilt es, dass sich bestimmte Methoden nicht strikt und ausschließlich

bestimmten Phasen des Evaluationsprozesses zuordnen lassen. Einige Methoden sind

vielseitig einsetzbar: phasenübergreifend, für unterschiedliche Bewertungszwecke und

in Kombination mit anderen Evaluationsmethoden.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 37

4.1 Evaluation im Vorfeld der Maßnahmenrealisierung

Bereits im Vorfeld von Weiterbildungsmaßnahmen werden Evaluierungen unum-

gänglich. Ihre Funktion besteht in dieser Phase in der Bestimmung und Bewertung der

Maßnahmenziele sowie in der Beurteilung der Rahmenbedingungen und der

notwendigen Ressourcen114.

Zunächst ist es notwendig, den Bildungsbedarf zu ermitteln. Einerseits wirken externe

Faktoren, wie Änderungen der rechtlichen Bestimmungen oder veränderte

Marktbedingungen, auf das Unternehmen und seine Mitarbeiter. Andererseits führen

Neuerungen bzw. Optimierungen in der Organisation zu modifizierten Anforderungs-

profilen. Damit verbunden ist die Notwendigkeit zur kontinuierlichen Veränderung im

Sinne der stetigen Anpassung der Qualifikationsstruktur von Mitarbeitern; denn nur auf

die Weise können Mitarbeiter permanent ihre Aufgaben optimal wahrnehmen. Die

Diskrepanz zwischen qualifikatorischem Soll- und Istprofil der Mitarbeiter hat die

Personalentwicklung aufzudecken und als Bildungsbedarf festzuhalten. Nach der

Bildungsbedarfsanalyse ist der Maßnahmenkatalog aufzustellen, um die beste

Problemlösungsstrategie zu eruieren. Die Absolvierung einer Weiterbildungs-

maßnahme stellt keineswegs stets den idealen Weg dar, die Kenntnis- und/oder

Fähigkeitslücke zu schließen. Situativ günstigere Alternativen können z. B. die

Einstellung neuer Mitarbeiter oder der Einsatz von Job Rotation sein.115

Hat man sich zugunsten einer Weiterbildungsaktivität entschlossen, müssen die

Bildungsziele festgelegt werden. Sie sind möglichst operational hinsichtlich Inhalt,

Ausmaß und Zeitbezug zu beschreiben, um die Kontrolle der Zielerreichung wiederum

möglichst präzise realisieren zu können.116

Im Anschluss daran erfolgt die Planung der Weiterbildungsmaßnahme. Grundsätzlich

haben jetzt die Bildungsverantwortlichen darüber zu entscheiden, ob die Maßnahme

114 Vgl. Tergan, S.-O.: Grundlagen der Evaluation. Ein Überblick, in: Schenkel, P.; Tergan, S.-O.; Lottmann, A. (Hrsg.): Qualitäts- beurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand, Nürnberg 2000, S. 39; siehe dazu auch: Becker, M.: Kosten der Personalentwicklung: Wer soll das zahlen?, in: Personal 1/04, S. 9-13. 115 Vgl. Häring, K., a.a.O., S. 25 ff. 116 Vgl. Lang, K., a.a.O., S. 47 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 38

on the job, off the job etc. umgesetzt werden soll.117 Da sich die vorliegende Arbeit

ausschließlich mit off-the-job-Maßnahmen beschäftigt, wird hier unterstellt, dass die

Entscheidung zugunsten off the job ausgefallen ist. Nun folgt die Auswahl der

geeignetsten Veranstaltungsform aus dem breiten Spektrum potenzieller Formen.

Ferner ist festzulegen, ob die Maßnahme innerbetrieblich oder außerbetrieblich

stattfinden soll.

4.1.1 Entscheidung zwischen interner und externer Qualifizierung

Die Planung der Qualifizierungsmaßnahme muss sowohl pädagogische als auch

ökonomische Aspekte berücksichtigen. Das pädagogische Ziel einer Qualifizierung

besteht darin, dass der Teilnehmer die angestrebte Entwicklung bestimmter

Qualifikationen erreicht. Die ökonomische Zielsetzung gilt dann als erreicht, wenn sich

ein bestimmter pädagogischer Erfolg mit minimalem Mitteleinsatz einstellt.118 In diesem

Zusammenhang stellt sich die Frage, ob die Weiterbildungsaktivität intern oder extern

erfolgen soll.

Nachstehende Abbildung verschafft einen Überblick über die Entscheidungsproble-

matik zwischen interner und externer Realisierung:

117 Vgl. Lang, K., a.a.O., S. 52. 118 Vgl. Weingärtner, M., a.a.O., S. 60.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 39

Abb. 6: Entscheidung zwischen interner und externer Qualifizierung Quelle: Weingärtner, M., a.a.O., S. 62.

Wesentliche unternehmensbezogene Vorteile des Bildungsoutsourcings, auch

Managed Training Services (MTS) genannt, sind:

• Erhöhung der Leistungsfähigkeit im Bereich Weiterbildung,

• Planungssicherheit durch feste Grundkosten und veranstaltungsabhängige

Kosten,

• Kostenreduzierung durch Netzwerknutzung mit Trainern und Logistikpartnern,

• Vermeidung von Investitionen für Hardware, Software und Lizenzen,

• Konzentration auf Kernprozesse des Personalwesens.119

119 Vgl. Lau, V.: Personalentwicklung von außen, in: managerSeminare 11-12/03, S. 21.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 40

Ausschließlich aus ökonomischem Blickwinkel betrachtet, ist es dann sinnvoll, sich für

eine externe Bildungsmaßnahme zu entscheiden, wenn diese vergleichsweise

kostengünstiger ist, als eine interne. Allerdings darf man sich nicht nur von der

Kostenseite leiten lassen.120 Wichtiger sind die pädagogischen Lernziele und

Lerninhalte121 sowie deren Vermittlung, die letztendlich die Qualität einer Maßnahme

bestimmen und sich auf den Qualifizierungserfolg auswirken.

Die Entscheidung, ob die Weiterbildung komplett oder nur teilweise intern bzw. extern

durchgeführt wird, oder ob man sich mit anderen Unternehmen zu einem

Weiterbildungsverbund122 zusammenschließt, kann nur vor dem spezifischen

betrieblichen Hintergrund getroffen werden.

Die in der Anlage 1 dargelegten Gründe für interne oder externe Durchführung von

Weiterbildungsmaßnahmen bieten eine Entscheidungshilfe.

4.1.2 Auswahl des Anbieters

Hat man sich dazu entschlossen, die Maßnahme unternehmensextern durchzuführen,

steht man vor einer weiteren Entscheidung – der Auswahl des geeignetsten Anbieters.

Da sich der Weiterbildungsmarkt weitgehend intransparent präsentiert, macht es Sinn,

eine systematische Evaluation der verschiedenen Anbieter vorzunehmen.123

Anlage 2 listet die Qualitätskriterien für die Auswahl des Anbieters bei Fremdvergabe

der Bildungsaktivität auf.

Eine Methode zur Entscheidung zwischen mehreren Alternativen ist die Nutz-

wertanalyse. Sie eignet sich insbesondere, wenn – wie in diesem Anwendungsfall –

kaum quantifizierbare Größen vorhanden sind.124

120 Vgl. Pawlowsky, P.; Bäumer, J., a.a.O., S. 128 f. 121 Vgl. Weingärtner, M., a.a.O., S. 73. 122 Vgl. Pawlowsky, P.; Bäumer, J., a.a.O., S. 129. 123 Vgl. Weingärtner, M., a.a.O., S. 74 f. 124 Vgl. Niklas, C., 2002 online: Mehr Entscheidungssicherheit mit der Nutzwertanalyse. http://community.easy-mind.de/page- 76.htm, 18.11.05

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 41

Die Evaluation mit der Nutzwertanalyse vollzieht sich in folgenden Schritten:

1. Bestimmung der in Frage kommenden Anbieter,

2. Kriterien, anhand derer beurteilt wird, festlegen und gewichten (z. B. Kosten mit

Gewichtungsfaktor 0,15, Praxisnähe mit Gewichtungsfaktor 0,15),

3. Ausprägungen dieser Bewertungskriterien festlegen und diese mit Punkten bewerten

(z. B. gut = 3 Punkte, mittel = 2 Punkte, schlecht = 1 Punkt),

4. Multiplikation der Punkte mit den Gewichtungsfaktoren der Auswahlkriterien,

5. Addition der ermittelten Werte von Schritt 4 für jeden einzelnen Anbieter ergibt die

Angebotsgesamtpunktzahl.

Das Angebot mit der höchsten Punktzahl hat den größten Nutzwert, d. h. dieses ist aus

Unternehmenssicht das beste.125

Nachfolgende Abbildung zeigt beispielhaft eine Nutzwertanalyse zur Auswahl des

günstigsten Anbieters:

Abb. 7: Nutzwertanalyse – Auswahl des besten Anbieters

Quelle: Weingärtner, M., a.a.O., S. 78.

125 Vgl. Weingärtner, M., a.a.O., S. 77.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 42

Als nächster Vorgang folgt die organisatorische Planung, die sich hauptsächlich mit der

Bereitstellung der erforderlichen Ressourcen befasst. Zu berücksichtigen sind im

Wesentlichen die terminliche Koordination, die Beschaffung der Lernmaterialien, die

Buchung der Seminarplätze bei einem externen Anbieter bzw. die Organisation im

eigenen Unternehmen, die Freistellung der Mitarbeiter, die Aushändigung von

Informationsmaterial an alle Beteiligte und die Regelung der sonstigen Rahmen-

bedingungen (Fahrtkosten, Verpflegung etc.).126

Anschließend werden auf der Grundlage der vorab fixierten Bildungsziele die

entsprechenden Ziele der Weiterbildungsmaßnahme generiert. Aus den Richtzielen

konkretisiert man Grobziele und leitet daraus detaillierte Feinziele ab. Dieses

Zielsystem bildet die Basis für die Weiterbildungskonzeption. Zu berücksichtigende

Aspekte beziehen sich auf die Inhalte, die Problem- und Aufgabenstellungen sowie die

Organisation eines laufenden Feedbacks.127

4.1.3 Auswahl des Trainers Ein Unternehmen, das sich für die externe Weiterbildungsalternative entschließt, hat

üblicherweise lediglich einen begrenzten Einfluss auf die Auswahl der Person des

Trainers, der zum Einsatz kommen soll. Kann das Unternehmen allerdings die Wahl

des Trainers selbst treffen, werden die Bildungsverantwortlichen unter den potenziellen

Dozenten den am besten geeigneten auswählen. Das Kompetenzspektrum eines

Trainers erstreckt sich auf fachliche, pädagogische, soziale, organisatorische und

individual-personale Bereiche. Um aussagefähige Erkenntnisse darüber gewinnen zu

können, inwieweit ein Trainer über die für die geplante Weiterbildung notwendigen

Kompetenzen verfügt, ist ein persönlicher Eindruck erforderlich. Diesen erhält man am

ehesten in einem Auswahlgespräch, das strukturiert anhand eines Fragenkatalogs zu

führen ist. Dieser Fragenkatalog soll alle ausschlaggebenden trainerrelevanten

Kriterien enthalten, die für eine erfolgreiche Qualifizierung notwendig sind. Der Vorteil

126 Vgl. Lang, K., a.a.O., S. 59 f. 127 Vgl. Lang, K., a.a.O., S. 67-73.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 43

der Standardisierung erlaubt die einfache Vergleichbarkeit der Trainereigenschaften.128

Ein exemplarischer Fragenkatalog (Anlage 3) sowie ein Beurteilungsblatt zum Gesamt-

eindruck des Trainers (Anlage 4) enthält der Anhang.

Erfolgt die Qualifizierung unternehmensintern, und sind die Dozenten Mitarbeiter des

eigenen Unternehmens, dann erübrigt sich das oben beschriebene aufwändige

Vorgehen. Große Unternehmen verfügen über einen Trainerpool, aus dem die

Bildungsorganisatoren Lehrkräfte mit den geforderten Qualifikationen finden und zur

Maßnahmedurchführung verpflichten können. Eignungsgesichtspunkte brauchen nicht

mehr geklärt zu werden, da die Dozenten erst dann in den Pool aufgenommen werden,

nachdem sie die entsprechende persönliche, fachliche und pädagogische Eignung

nachgewiesen haben.

4.1.4 Ermittlung der Eingangsvoraussetzungen der Teilnehmer

Die Erfassung der Eingangsvoraussetzungen129 bei den Teilnehmern dient dazu, ein

klares Bild über deren Wissensstand und Bildungsniveau zu erhalten. Gemeint sind in

diesem Zusammenhang alle Kenntnisse, Fähigkeiten und Fertigkeiten, die es dem

Teilnehmer durch das Absolvieren der Qualifizierung ermöglichen, die intendierten

Ziele zu erreichen. Sollten starke Abweichungen innerhalb der geplanten

Teilnehmergruppe festgestellt werden, ist es unerlässlich, vor der eigentlichen

Weiterbildung Beratungsgespräche mit betreffenden Mitarbeitern zu führen.130 Man darf

weder eine Über- noch eine Unterforderung der Teilnehmer verursachen131. Um

defizitäre Kenntnisstände auszugleichen, ist es unter Umständen sogar sinnvoll, der

eigentlichen Maßnahme die Vermittlung bestimmter Qualifizierungsinhalte

vorzuschalten132.

128 Vgl. Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.05 129 Siehe dazu: Ebner, H. G.: Das Problem des Anknüpfens an Vorerfahrungen in Veranstaltungen der Erwachsenenbildung, in: Müller, K. R. (Hrsg.): Kurs- und Seminargestaltung. Ein Handbuch für Mitarbeiter/-innen im Bereich von Training und Kursleitung, 5. Aufl., Weinheim, Basel 1994, S. 218-227; Köhl, K.: Seminar für Trainer. Das situative Lehrtraining, Trainer lernen lehren, Hamburg 1996, S. 34-40. 130 Vgl. Lang, K., a.a.O., S. 81. 131 Vgl. Becker, M.: Aufgaben und Organisation der betrieblichen Weiterbildung, 2. Aufl., München, Wien 1999, S. 278. 132 Vgl. Lang, K., a.a.O., S. 82.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 44

Im Rahmen der Erhebung der Eingangsvoraussetzungen sind folgende wichtige

Informationen zu erfragen:

• Daten zur Person (Alter, Schulbildung, erlernter Beruf und ausgeübte Tätigkeit),

• Berufserfahrung und Vorkenntnisse (erworbenes Wissen durch Schule, Aus-

und Weiterbildung sowie Kenntnisse aus beruflicher und sonstiger Tätigkeit),

• Erfahrungen mit Lernen („klassisches Lernen“, andere Lernformen),

• Lernbedürfnisse (Interessen, Fragen, Probleme).133

Anlage 5 beinhaltet einen Fragebogen zu den Eingangsvoraussetzungen der

Teilnehmer.

4.2 Evaluation in der Durchführungsphase

Auf die vorangegangene Phase, die die Analyse und Planung umfasst, folgt die

Durchführung der Bildungsaktivität. Zunächst sind die Erwartungen der Teilnehmer zu

erheben, um die Maßnahme auf sie abzustimmen.

Die Feststellung der Teilnehmererwartungen bietet schon zu Beginn der Maßnahme

eine einfache Möglichkeit, die Qualifizierung weitestgehend auf die eruierten

Erwartungen zugeschnitten zu gestalten. Der Lehrende kann dadurch spezielle

Problembereiche behandeln und auf Wünsche eingehen und somit die Inhalte an den

Bedürfnissen der Teilnehmer orientiert vermitteln.

Anlage 6 enthält einen Fragebogen zu den Teilnehmererwartungen.

Gerade für den erfolgreichen Transfer ist es unbedingt erforderlich, das soziale

betriebliche Umfeld des Teilnehmers bereits am Anfang der Maßnahme zu kennen, um

133 Vgl. Lang, K., a.a.O., S. 82.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 45

die didaktische Konzeption entsprechend zu harmonisieren134.

Der Dozent hat durch die Eruierung der Teilnehmererwartungen am Maßnahmebeginn

die Möglichkeit,

• darauf einzugehen, ob die Erwartungen im Laufe der Weiterbildungsmaßnahme

erfüllt werden. Sollte dies nicht der Fall sein, muss eine differenzierte Be-

gründung dafür gegeben werden, um keine Enttäuschung hervorzurufen;

• seine eigene Erwartungshaltung an die der Teilnehmer anzupassen. Trainer-

und Teilnehmervorstellungen können deutlich variieren;

• Probleme und Fragestellungen der Teilnehmer aufzugreifen und Lösungs-

ansätze gemeinsam mit ihnen zu entwickeln bzw. Antworten zu geben;

• Methodenwahl und -einsatz auf die speziellen Interessen abzustimmen;

• während sowie am Ende der Maßnahme einen Abgleich anzustellen, welche

Erwartungen erfüllt werden/wurden und welche nicht.135

In der Durchführungsphase des Bildungsprozesses genügt keineswegs – wie es jedoch

in der betrieblichen Praxis häufig vorkommt –, die Bewertung einer Maßnahme lediglich

durch Abfrage der Zufriedenheit der Teilnehmer am Ende der Qualifizierung

vorzunehmen. Davon abgesehen, dass die Teilnehmerzufriedenheit keinerlei Hinweise

über den intendierten Lernerfolg, noch über die Umsetzung der erworbenen Kenntnisse

geben kann, besteht nach einer abschließenden Wertung keine Möglichkeit mehr, auf

Fehlentwicklungen angemessen zu reagieren. Hieraus lässt sich leicht erkennen, dass

nicht nur der Zufriedenheitserfolg abgefragt werden muss, sondern auch der Lernerfolg.

Um ein Maximum an Erfolg aus einer Qualifizierungsmaßnahme zu erzielen, ist es

unerlässlich, schon regelmäßig während der Weiterbildung Bewertungen durchzu-

führen, also formativ zu evaluieren. Die Ermittlung der Teilnehmerbedürfnisse und die

Feststellung der Zufriedenheit können mit Hilfe sog. Feedback-Sessions oder

134 Vgl. Arnold, R.: Betriebliche Weiterbildung. Selbstorganisation – Unternehmenskultur – Schlüsselqualifikationen, 2. Aufl., Baltmannsweiler 1995, S. 159. 135 Vgl. Lang, K., a.a.O., S. 78.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 46

auch in informeller Form, z. B. in Pausengesprächen oder abends „beim Bier“,

geschehen136. Der jeweils aktuelle Kenntnisstand lässt sich bei den Lernenden am

besten durch periodische Abfragen, beispielsweise nach jeder Lerneinheit, in Erfahrung

bringen. Man spricht in diesem Zusammenhang von Lernprozessevaluierung137.

Bei der summativen Evaluation handelt es sich um eine abschließende Bewertung der

Qualifizierungsmaßnahme. Sie leistet einen bedeutenden Beitrag zur permanenten

Verbesserung der Weiterbildungsaktivitäten hinsichtlich Qualität und Zielerreichung.

Auch sie muss zunächst den Zufriedenheitserfolg berücksichtigen. Der Lernerfolg, der

aus der gesamten Qualifizierungsmaßnahme resultiert, bildet ein zusätzliches

Evaluationsobjekt. Durch dessen Feststellung wird überprüft, ob die angestrebten

Lernziele realisiert wurden. Bei bestimmten Qualifizierungsmaßnahmen (z. B. bei

Verhaltenstrainings) stellt sich der Lernerfolg erst geraume Zeit nach der Intervention

ein; er kann somit nicht schon am Ende der Durchführungsphase der

Bildungsmaßnahme festgestellt werden. In einem solchen Fall bleibt nur, den

Lernerfolg anhand des Anwendungserfolgs am Arbeitsplatz zu messen.138 Ergänzend

gibt die Einschätzung der Lehrenden Aufschluss über den Verlauf der Qualifizierung.

Es ist wichtig, die Teilnehmer der Weiterbildungsmaßnahme frühzeitig, d. h. möglichst

schon zu Beginn, über das Evaluierungsvorhaben zu informieren und ihnen den

Stellenwert der Evaluation zu verdeutlichen. Man muss Verständnis erzeugen und

Akzeptanz für den Bewertungsprozess sicherstellen, schließlich sind die Teilnehmer die

entscheidende Komponente der „Prozedur“.

Basismethoden sowohl zur formativen als auch zur summativen Evaluation des

Zufriedenheits- und Lernerfolgs einer Qualifizierung stellen Befragung, Beobachtung

und Test dar.

Befragungen dienen der Sammlung individueller Daten durch Gespräch, Diskussion,

Interview und Fragebogen. Ein planmäßiges Vorgehen wird vorausgesetzt.139 Bei der

136 Vgl. Häring, K., a.a.O., S. 28. 137 Vgl. Götz, K., a.a.O., S. 86-89. 138 Vgl. Häring, K., a.a.O., S. 31 ff. 139 Vgl. Saldern, M. von: Befragung und Beobachtung im Betrieb, Hohengehren 1998, S. 43.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 47

Befragung hat man folgende Grundsätze zur Frageformulierung zu beachten:

• Fragen sollen möglichst knapp formuliert werden,

• Fragen sollen sich einfacher Worte bedienen,

• Fragen sollen möglichst konkret sein,

• Fragen sollen neutral formuliert werden,

• Fragen sollen nicht eine bestimmte Beantwortung provozieren,

• Fragen sollen keine hypothetischen Elemente enthalten,

• Fragen sollen sich nicht auf mehrere Sachverhalte gleichzeitig beziehen,

• Fragen sollen keine doppelten Verneinungen enthalten,

• Fragen sollen beim Befragten keine Überforderung hervorrufen,

• Fragen sollen so formuliert sein, dass alle Antwortmöglichkeiten erkannt werden

können,140

• Fragen sollen ein möglichst überschaubares Antwortspektrum zulassen.141

Eine Befragung kann mündlich und schriftlich durchgeführt werden. Mündliche Be-

fragungsformen lassen sich unterscheiden in:

• wenig strukturierte,

• teilstrukturierte und

• stark strukturierte.

Bei der wenig strukturierten Form bestimmt weitgehend der Interviewte den Gang des

Gesprächs; hier werden die Formulierungen der Fragen den Bedürfnissen und

Vorstellungen des Befragten angepasst. Erfolgt die Befragung teilstrukturiert, hat der

Interviewer einen Fragenkatalog zur Hand, aus dem er zwar sämtliche Fragen

abzuarbeiten hat, jedoch ihre Abfolge bestimmt er selbst.142 Ferner kann bei der wenig

strukturierten und bei der teilstrukturierten Befragung auf neue und unerwartete Ideen

näher eingegangen werden143. Die stark strukturierte Form der Befragung wird anhand

140 Vgl. Schnell, R.; Hill, P. B.; Esser, E.: Methoden der empirischen Sozialforschung, 7. Aufl., München 2005, S. 334 f. 141 Vgl. Saldern, M. von, a.a.O., S. 48. 142 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 322 f. 143 Vgl. Kleber, E. W.: Diagnostik in pädagogischen Handlungsfeldern. Einführung in Bewertung, Beurteilung, Diagnose und Evaluation, Weinheim, München 1992, S. 212.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 48

eines standardisierten Fragebogens vollzogen; bei ihr müssen sowohl die Formulierung

als auch die Reihenfolge der Fragen eingehalten werden.144

Der wesentliche Vorteil der mündlichen Befragung liegt im persönlichen Kontakt,

wodurch der Befragte ggf. Rückfragen stellen kann. Als gravierender Nachteil erweist

sich jedoch der hohe zeitliche Aufwand, wenn es sich um eine Befragung einer Vielzahl

einzelner Personen und nicht um eine Befragung einer gesamten Gruppe handelt.

Zur Durchführung der schriftlichen Befragung werden Fragebogen eingesetzt. Meist

handelt es sich dabei um standardisierte Bogen, die eine rasche Vergleichs- und

Auswertungsmöglichkeit der Ergebnisse zulassen.

Die Befragung mittels Fragebogen hat gegenüber der persönlichen Befragung

wesentliche Vorzüge:

• Durch die größere Anonymität kommen ehrlichere Ergebnisse zustande;

• der Befragte kann sich intensiver mit dem Befragungsgegenstand auseinander-

setzen;145

• Interviewfehler lassen sich leichter vermeiden (z. B. „erster Eindruck“);

• die eigene Motivation zum Ausfüllen des Fragebogens ist höher, da kein Druck

von einem Interviewer ausgeübt wird.146

Unter Beobachtung versteht man die Sammlung von Daten in einem nicht-

kommunikativen Prozess anhand sämtlicher Wahrnehmungsmöglichkeiten147. Die

Beobachtung kann generell differenziert werden in:

• teilnehmende und nichtteilnehmende Beobachtung,

• offene und verdeckte Beobachtung,

• reaktive und nonreaktive Beobachtung, 144 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 322 f. 145 Vgl. Bortz, J.; Döring, N.: Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler, 3. Aufl., Berlin, Heidelberg, New York, Barcelona, Hongkong, London, Mailand, Paris, Tokio 2002, S. 237. 146 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 359. 147 Vgl. Bortz, J.; Döring, N., a.a.O., S. 262.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 49

• Einzel- und Gruppenbeobachtung,

• direkte und indirekte Beobachtung,

• Selbst- und Fremdbeobachtung.148

Bei der Evaluierung von Weiterbildungsmaßnahmen kommt es, abhängig vom

Blickwinkel des Beobachters, zur Unterscheidung zwischen Selbst- und Fremd-

beobachtung. Die Rolle des Beobachters können der Teilnehmer, der Trainer, die

Weiterbildungsverantwortlichen, die Kollegen und der Vorgesetzte einnehmen.149 Die

Beobachtungsergebnisse unterliegen stets den subjektiven Wahrnehmungen des

jeweiligen Beobachters. In diesem Zusammenhang ist auf Beurteilungsfehler hinzu-

weisen. Das Bewusstsein über deren Existenz und Auswirkung kann solche

Wahrnehmungsfehler erheblich reduzieren, so dass relativ unverfälschte Beobach-

tungsergebnisse zustande kommen.

Zu den gravierenden Beurteilungsfehlern zählen:

• der Halo-Effekt,

• die Self-fulfilling prophecy,

• der erste Eindruck,

• der Sympathie-Effekt,

• die selektive Beobachtung,150

• verschobene Wahrnehmung extremer Ereignisse,

• zu großzügige Urteilsfindung,

• Urteilen nach einer implizit zugrunde gelegten Theorie,151

• Identifizierung mit der beobachteten Person,

• zu frühe Urteilsfindung,152

• Vorurteile.

148 Vgl. Häring, K., a.a.O., S. 85. 149 ebenda 150 Vgl. Freund, F.; Knoblauch, R.; Eisele, D., a.a.O., S. 95. 151 Vgl. Schnell, R.; Hill, P. B.; Esser, E., a.a.O., S. 401. 152 Vgl. Saldern, M. von, a.a.O., S. 91.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 50

Als Testverfahren werden standardisierte Methoden zur Messung von Leistungs- und

Verhaltensmerkmalen bezeichnet. Tests müssen die Kriterien Objektivität,

Zuverlässigkeit und Gültigkeit erfüllen. Als objektiv gilt ein Test dann, wenn

verschiedene Evaluatoren, die einen Test durchführen, auswerten und interpretieren,

zu den selben Ergebnissen gelangen. Zuverlässig ist der Test, wenn er bei einer

Wiederholung unter den selben Bedingungen wieder die selben Ergebnisse liefert. Das

Kriterium Gültigkeit erfüllt ein Test, wenn er das misst, was er zu messen

beansprucht.153

Es lässt sich zwischen norm- und kriterienorientierten Testverfahren unterscheiden. Bei

den normorientierten Tests werden die Ergebnisse eines Teilnehmers mit dem

Durchschnittsergebnis der gesamten Teilnehmergruppe verglichen. In der betrieblichen

Weiterbildung spielt das Erreichen bestimmter vorgegebener Lernziele eine zentrale

Rolle, das mit Hilfe der Evaluation bewertet werden soll. Zur Messung dieses

Zielerreichungsgrads sind kriterienorientierte Testverfahren heranzuziehen. Die

Kontrolle der Lernerfolge mittels Tests kann bei den Teilnehmern unterschiedliche

Reaktionen hervorrufen. Zum einen geraten sie möglicherweise unter Druck, wenn sie

glauben, ein schlechtes Abschneiden könnte sich negativ auf ihr berufliches

Fortkommen auswirken. Zum anderen jedoch spornt das Wissen über bevorstehende

Tests die Teilnehmer evtl. dazu an, sich engagierter an der Bildungsaktivität zu

beteiligen sowie intensiver und fleißiger zu lernen.154

4.2.1 Formative Evaluation

4.2.1.1 Methoden zur Ermittlung des Zufriedenheitserfolgs

Zur Feststellung der Teilnehmerzufriedenheit während Qualifizierungsmaßnahmen

stehen eine Vielzahl von Möglichkeiten zur Auswahl. Diese lassen sich in zwei

Kategorien einordnen: schriftliches Feedback und mündliches Feedback.

153 Vgl. Tergan, S.-O., a.a.O., S. 34 f. 154 Vgl. Häring, K., a.a.O., S. 84.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 51

4.2.1.1.1 Schriftliches Feedback

Diese Form der Rückmeldung geschieht meistens mit Fragebogen, die inhaltlich, je

nach Befragungsschwerpunkten, unterschiedlich gestaltet sein können. Allerdings sind

auch andere Formen der schriftlichen Rückmeldung möglich.

Im Folgenden werden zwei Alternativen des schriftlichen Feedbacks beschrieben:

Stimmungsbarometer

Das Stimmungsbarometer ist ein sog. Polaritätenprofil, bei dem die Beurteilung des

Trainers und des Seminars anhand von begrifflichen Gegensatzpaaren vorgenommen

wird. Die Beurteilung durch die Teilnehmer vollzieht sich individuell und anonym

anhand eines Fragebogens.155 Ein Beispiel dafür zeigt Anlage 7. Mit Hilfe dieses

Instruments lässt sich die Stimmungslage der Teilnehmer relativ einfach erfassen. Es

erscheint sinnvoll, dieses Hilfsmittel nach jeder größeren Lerneinheit oder am Ende

eines Qualifizierungstags einzusetzen.

Thermometerrückmeldung

Bei der Thermometerrückmeldung handelt es sich um eine Bewertungsmethode, die

die Ergebnisse für alle Teilnehmer transparent und sichtbar macht. Es werden mehrere

Skalen in Form von Thermometern nebeneinander an das Flipchart gezeichnet. Über

den Thermometern befestigt man Kärtchen, auf denen das jeweils zu beurteilende

Kriterium (Zufriedenheit mit den Inhalten, Zufriedenheit mit den eingesetzten Medien,

Zufriedenheit mit den Arbeitsmitteln, Zufriedenheit mit den Trainern etc.) steht. Jeder

Kursteilnehmer klebt jeweils einen Klebepunkt auf die Thermometer. Je weiter oben der

Klebepunkt auf der Skala angebracht wird, desto besser ist die Bewertung des

Kriteriums. Die Auswertung dieses Verfahrens erfolgt unmittelbar mit den Teilnehmern,

die Stellung zu ihrer Klebepunktplatzierung beziehen.156 Markante Auffälligkeiten hat

der Trainer mit der Gruppe ausführlich zu erörtern. Die Thermometerrückmeldung

bietet sich am Ende einer Lerneinheit oder am Abend eines Trainingstags als

Bewertungsalternative an. 155 Vgl. Martens, J.-U.: Empirische Erprobung „objektivierter Lehrsysteme“, in: Will, H.; Winteler, A.; Krapp, A. (Hrsg.): Evaluation in der beruflichen Aus- und Weiterbildung. Konzepte und Strategien, Heidelberg 1987, S. 96. 156 Vgl. Reischmann, J., a.a.O., S. 47 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 52

4.2.1.1.2 Mündliches Feedback

Beim mündlichen Feedback geht es im Normalfall um die Bestimmung des

Zufriedenheitsgrads, die mit dem Einsatz vielfältiger Methoden durchgeführt werden

kann. Ein Feedback hat stets mit zweierlei Wahrnehmung zu tun: mit der

Wahrnehmung einer anderen Person (Fremdwahrnehmung) und mit der eigenen

Wahrnehmung (Selbstwahrnehmung). Relevant ist dabei, sich bewusst zu machen,

dass alle Wahrnehmungen subjektiv, selektiv und situativ sind.

Mündliche Feedbacks haben bestimmten Anforderungen zu genügen; demnach sollten

sie sein:

• beschreibend,

• konkret,

• angemessen,

• brauchbar,

• erbeten,

• klar und genau formuliert,

• korrekt.157

Nachstehend wird eine Variante zur mündlichen Eruierung der Zufriedenheit kurz vor-

gestellt:

Blitzlicht

Das Blitzlicht dient der Momentaufnahme der Stimmungs- und Gefühlslage der

Teilnehmer. Die Feedback-Methode Blitzlicht läuft folgendermaßen ab: Der Moderator

- in diesem Fall der Dozent - gibt zunächst einen Impuls, z. B.:

• „Wie fühle ich mich gerade?“

• „Wie erlebe ich die Seminarsituation?“

• „Wie empfinde ich die Stimmung?“

157 Vgl. Toelstede, B. G.; Gamber, P.: Video-Training und Feedback, Weinheim, Basel 1993, S. 96 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 53

und schreibt ihn an das Flipchart. Dann begründet er, warum er von jedem Teilnehmer

eine Stellungnahme wünscht. Nach einer ausreichenden Pause zum Nachdenken

fordert er alle Teilnehmer auf, nacheinander ein Feedback zu geben. Die

Teilnehmeräußerungen bleiben „im Raum stehen“, über sie darf nicht diskutiert werden.

Der Lehrende wird aus den abgegebenen Statements einen Tenor ableiten und daraus

ggf. Rückschlüsse für den weiteren Verlauf der Weiterbildungsmaßnahme ziehen.158

Das Blitzlicht ist ein schnell und einfach durchführbares Verfahren. Vorteile bestehen

auch darin, dass Außenseiter unter den Teilnehmern integriert und Vielredner gebremst

werden.159

Alternative Übungen bzw. Varianten zur Ermittlung des Zufriedenheitserfolgs sind in

Anlage 8 beschrieben.

4.2.1.2 Methoden zur Ermittlung des Lernerfolgs

4.2.1.2.1 Beobachtung

Beobachtung der Teilnehmer in Rollenspielen

Hauptsächlich bei Verhaltenstrainings lassen sich mit Rollenspielen realitätsnahe

Situationen herstellen, die das Verhalten der Teilnehmer unter bestimmten

Bedingungen zeigen. Beim Versuch, Einstellungen zu ändern, kann es hilfreich sein,

die Teilnehmer durch entsprechende Rollenzuweisung zu einem bestimmten Verhalten

zu veranlassen. Vorteilhaft ist bei Rollenspielen, dass die Trainingsteilnehmer häufig

ihre Sichtweise in der Realität erst durch das Einnehmen der bestimmten Rolle

erkennen und verstehen lernen. Der Trainer, der die Beobachtung von Rollenspielen

als Evaluierungsmethode vorsieht, muss über umfassende Qualifikationen verfügen,

denn es gestaltet sich schwierig, aus „konstruierten“ Situationen eindeutige Erfolge

abzuleiten. Hier empfiehlt sich in jedem Fall die Aufzeichnung auf Videoband, mit deren

Hilfe das Rollenspiel später genau analysiert und ausgewertet werden kann. 158 Vgl. Fraunhofer-Verbund, e-Industrial Services, o.J. online: Blitzlicht. http://www.e-industrial-services.de/servlet/is/11819/, 28.11.05 159 ebenda

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 54

Beobachtung der Teilnehmer bei der Bearbeitung von Fallstudien

Eine Methode, die sich insbesondere dazu eignet, den Lernerfolg einer Qualifizierungs-

maßnahme in einem Anwendungsfall zu überprüfen, ist die Bearbeitung von Fallstudien

durch die Teilnehmer. Durch den Einsatz von Fallstudien wird erkennbar, ob sich ein

Lernerfolg im Sinne von Beherrschung des Lernstoffs eingestellt hat. Des weiteren gilt

diese „Kontrolle“ gleichzeitig als transferfördernde Maßnahme, weil sich die Fallstudien

auf praxisorientierte Sachverhalte, die den Arbeitsproblemen der Teilnehmer ähneln,

beziehen. Mögliche Anhaltspunkte zur Erfolgsbestimmung können sein:

• Zeit, die die Teilnehmer benötigen, um gestellte Probleme zu lösen,

• Zusammenarbeit und Kooperationsverhalten,

• Vorgehensweise bei der Entscheidung für einen bestimmten Lösungsweg,

• Berücksichtigung aller möglichen Lösungsalternativen und

• Qualität der Lösungsstrategie.

4.2.1.2.2 Testverfahren

Geht es in der Weiterbildungsmaßnahme vorrangig um die Vermittlung kognitiver

Inhalte, dann stellen Testmethoden eine praktikable Möglichkeit dar, um Lernerfolge

nachzuweisen. Je nach Inhalt und Intention der Qualifizierung sind unterschiedliche

Tests einzusetzen. Allgemein können Testverfahren in Form von Multiple Choice-Tests,

Wortergänzungstests und mit Fragebogen – standardisiert oder mit offenen Fragen –

durchgeführt werden. Wenn die Lernziele vor Durchführung der Maßnahme genau

definiert wurden und ein Test zur Eruierung des Wissenstands vor Beginn der

Qualifizierung zu absolvieren war, lässt sich nun im Verlauf der Qualifizierung der

Kenntnisstand der Teilnehmer und somit der Lernerfolg im Hinblick auf die Erreichung

der Lernziele bestimmen.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 55

4.2.2 Summative Evaluation

4.2.2.1 Methoden zur Ermittlung des Zufriedenheitserfolgs

4.2.2.1.1 Schriftliches Feedback

Zum Feedback verwendet man in der Praxis häufig einen Fragebogen, der von jedem

Teilnehmer unmittelbar vor Abschluss der Weiterbildung auszufüllen ist. Mit seiner Hilfe

wird die abschließende Beurteilung der Maßnahme durch die Teilnehmer vor-

genommen.

Grundsätzlich sollte die Schlussbewertung durch die Teilnehmer folgende Punkte

beinhalten:

• Inhalt der Veranstaltung (Schwerpunkte, Praxisbezug etc.),

• Methodik und Didaktik (Abstimmung des Inhalts auf die Methode, Einsatz

aktivierender Methoden, Eingehen auf Fragen und Probleme der Teilnehmer

etc.),

• Kompetenz des Trainers (fachlich, pädagogisch und sozial),

• Zeitrahmen (ausreichend Zeit für Erfahrungsaustausch etc.),

• Arbeitsbedingungen (Ausstattung mit Medien, Nützlichkeit der Arbeitsunterlagen

etc.),

• Zusammensetzung der Teilnehmergruppen und Arbeitsklima (einheitlicher

Vorkenntnisstand bei den Teilnehmern, Atmosphäre etc.),

• Gesamtbeurteilung der Qualifizierung (gewonnene Erkenntnisse, Erweiterung

von Kompetenzbereichen, Empfehlung der Maßnahme etc.).160

Anlage 9 zeigt die Möglichkeit eines schriftlichen Feedbacks auf.

160 Vgl. Liepmann, D.; Felfe, J.; Resetka, H.-J.: Bedarfsanalysen – Voraussetzung für Qualifizierung, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996, S. 61.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 56

4.2.2.1.2 Bewertung des Referenten

Die Bewertung des Referenten durch die Teilnehmer spiegelt dem Dozenten

hauptsächlich die Wahrnehmung seines Verhaltens und seiner Fähigkeiten wider.

Wenn hier Defizite ans Licht kommen, weiß der Referent, woran er an sich selbst

arbeiten muss. Besteht jedoch seitens der Teilnehmer beispielsweise Unzufriedenheit

mit dem mangelnden Praxisbezug der Maßnahme, kann der Referent Konsequenzen

für zukünftige Maßnahmen ableiten und die Hinweise, die Anregungen und die Kritik als

Anhaltspunkte zur Optimierung nutzen. Darüber hinaus dient diese Bewertung bei

Bildungsoutsourcing dazu, dem zur Durchführung der Qualifizierung beauftragten

Unternehmen eine Rückmeldung über die Verhaltensweisen und die Qualifikationen

der eingesetzten Lehrkraft zu liefern.

Die Referentenbewertung durch die Veranstaltungsteilnehmer sollte schriftlich erfolgen.

Somit sind die Ergebnisse dokumentiert und können – sofern diese Form der

Evaluierung regelmäßig stattfindet – mit den Ergebnissen anderer Bildungsaktivitäten

verglichen werden. Durch den Vergleich lassen sich im Zeitverlauf Rückschlüsse

ziehen, ob und in welchen Belangen sich die Dozentenqualität verbessert hat.

Bestehen Unklarheiten bei den Resultaten, kann der Referent Rückfragen stellen, um

zusätzliche, noch weiter ins Detail gehende Informationen zu erhalten.

Der Fragebogen zur Zufriedenheit mit dem Dozenten sollte prinzipiell die Bereiche

• fachliche, soziale und methodisch-didaktische Kompetenz des Referenten,

• Medieneinsatz,

• Schulungsunterlagen,

• Praxisbezug,

• allgemeines Lernklima

abdecken.

Als günstig erweist sich ein Freitextfeld auf dem Fragebogen; dieses bietet die

Möglichkeit, auf einzelne Aspekte ausführlich einzugehen.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 57

In Anlage 10 ist ein Fragebogen zur Bewertung des Referenten abgebildet.

4.2.2.1.3 Bewertung durch den Referenten

Auch der Referent nimmt eine abschließende Bewertung der Maßnahme vor. Die

Ergebnisse seiner Evaluation erfüllen vorwiegend die Aufgabe, die zukünftigen

Bildungsaktivitäten besser zu gestalten. Anhand der gemachten Angaben kann das

Bildungswesen des Unternehmens bzw. das externe Bildungsinstitut, das den

Referenten mit der Qualifizierung beauftragt hat, entscheiden, ob die absolvierte

Bildungsmaßnahme künftig nochmals in der selben Form stattfinden soll, oder ob

Verbesserungen vorzunehmen sind.

Inhaltlich bezieht sich die Bewertung durch den Referenten, die schriftlich mit einem

Fragbogen umgesetzt wird, auf die Aspekte

• Inhalt,

• Seminarunterlagen,

• Teilnehmergruppe sowie

• Rahmenbedingungen.

Außerdem steht auch hier dem Beurteiler ein Freitextfeld zur Verfügung, in dem er

darüber hinausgehende Anmerkungen anbringen kann.

Anlage 11 enthält einen Bogen, der die Bewertung einer Maßnahme durch den

Referenten zulässt.

4.2.2.2 Methoden zur Ermittlung des Lernerfolgs

4.2.2.2.1 Beobachtung

Die am Ende der Qualifizierungsmaßnahme erfolgende Evaluierung des Lernerfolgs

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 58

mittels Beobachtung ist identisch mit der beschriebenen Beobachtung bei der

formativen Evaluation (siehe 4.2.1.2.1 Beobachtung). Für die Entwicklung von

Fallstudien sowie von Rollenspielen zur Abschlussbewertung hat man zu beachten,

dass sämtliche inhaltlichen Aspekte der Qualifizierungsmaßnahme Berücksichtigung

finden.

4.2.2.2.2 Befragung

Die Selbsteinschätzung der Teilnehmer über den erzielten Lernerfolg mit Hilfe der

Befragungsmethode gibt dem Referenten einen Überblick, wie die Teilnehmer das

Resultat der Maßnahme betrachten. Die Befragung kann auch hier sowohl schriftlich

als auch mündlich vorgenommen werden. Es empfiehlt sich jedoch nicht, einen

standardisierten Fragebogen lediglich für diesen Zweck zu konzipieren, da der dazu

notwendige Aufwand in keiner Relation zu den sehr subjektiven, und somit nur bedingt

aussagefähigen, Ergebnissen stehen würde. Vielmehr bietet sich an, den Lernerfolg

„spielerisch“ zu eruieren.

Nachfolgende Aufstellung enthält die Nennung von Übungen, die in der Anlage 12

dargestellt sind:

• „Was habe ich gelernt?“;

• „Ich habe gelernt...“;

• „Masken“.

4.2.2.2.3 Testverfahren

Die Evaluation des Lernerfolgs durch Tests vollzieht sich mit den selben Testarten wie

bei der formativen Evaluation (siehe 4.2.1.2.2 Testverfahren).

Auch müssen bei der Anwendung dieser Bewertungsmethoden – analog zur

summativen Beobachtung der Teilnehmer bei der Bearbeitung von Fallstudien und bei

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 59

Rollenspielen – alle inhaltlichen Bestandteile der Weiterbildungsmaßnahme Gegen-

stand der eingesetzten Tests sein.

4.3 Evaluation nach Beendigung der Maßnahme

Während sich in der Durchführungsphase der Zufriedenheitserfolg und der Lernerfolg

feststellen lassen, geht es in der Phase nach Abschluss der Maßnahme um die

Ermittlung von zwei weiteren Erfolgsgrößen; sie können aus den Kernzielen der

Qualifizierung abgeleitet werden.

Kernziele von Bildungsaktivitäten sind:

• dem Mitarbeiter zusätzliche Qualifikationen zu vermitteln.

Er soll dazu befähigt werden, anfallende Aufgaben anforderungsgerecht zu

erledigen. Entscheidend dafür ist, inwieweit es gelingt, dass der Teilnehmer

einer Weiterbildungsmaßnahme das Gelernte in die Arbeitssituation transferieren

und am Arbeitsplatz anwenden kann. Aus Mitarbeiterperspektive wird in diesem

Zusammenhang der Transfererfolg zur primären Erfolgsgröße.

• durch die Bildungsinvestition für das Unternehmen einen positiven Beitrag zum

Unternehmenserfolg zu leisten.

Aus Sicht der Unternehmensführung rechnet sich das investive Engagement in

Weiterbildung nur dann, wenn der Mitarbeiter durch Lerntransfer zum Erfolg der

Organisation beiträgt. Erfolgsmaßstab wird somit der Organisationserfolg.

4.3.1 Transfererfolg und Methoden zur Ermittlung des Transfererfolgs

4.3.1.1 Transfererfolg

Der Transfererfolg lässt sich daran beurteilen, ob das in der Qualifizierung Gelernte am

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 60

Arbeitsplatz abrufbar ist, und/oder ob es zu den intendierten Veränderungen im

Arbeitsverhalten des Mitarbeiters kommt161.

Man kann zwischen lateralem und vertikalem Transfer unterscheiden. Der laterale

Transfer beinhaltet die Übertragung des Gelernten auf neue Arbeiten mit ähnlicher

Komplexität. Von vertikalem Transfer spricht man dann, wenn das Erlernte zur Lösung

von Aufgaben genutzt wird, die komplexer sind als die in der Lernsituation.162

Der Lerntransfer verkörpert einen psychosozialen Prozess, der zum einen die

Aufnahme und Übertragung von Gelerntem auf eine Anwendungssituation umfasst, die

nicht die Lernsituation selbst sein muss. Zum anderen bezieht der Lerntransfer

sämtliche Maßnahmen vor, während und nach der Lernsituation, die zur Einübung von

Veränderungen und zur innerbetrieblichen Umsetzung benötigt werden, ein. Aus

diesem Grund sind Transferhemmnisse im Unternehmen abzubauen und transfer-

fördernde Bedingungen herzustellen.163

Zu den Transferhemmnissen zählen insbesondere:

• Schwierigkeiten bei der Anpassung von der Theorie an die Praxis,

• gemachte Erfahrungen, bestehende Traditionen und Vorurteile,

• Zeitmangel, Termindruck und Tagesgeschäft,

• wirtschaftliche, technische und organisatorische Rahmenbedingungen,

• gruppendynamische Abläufe,

• blockierendes Verhalten des Vorgesetzten.164

Nach der Qualifizierung hat man in erster Linie den Erfolg der Maßnahme zu sichern;

das geschieht primär durch transferfördernde Maßnahmen. Weil gerade bei off-the-job-

Qualifizierungen der direkte Bezug zum Arbeitsplatz fehlt, fällt der Transfersicherung

besondere Bedeutung zu. Je weiter die Arbeitsituation physisch, zeitlich und inhaltlich

161 Vgl. Beywl, W.; Geiter, C.: Evaluation – Controlling – Qualitätsmanagement in der betrieblichen Weiterbildung. Kommentierte Auswahlbibliographie, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996, S. 29. 162 Vgl. Ruschel, A.: Die Transferproblematik bei der Erfolgskontrolle betrieblicher Weiterbildung, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 301. 163 Vgl. Häring, K., a.a.O., S. 34. 164 Vgl. Häring, K., a.a.O., S. 39.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 61

von der Lernsituation entfernt ist, desto gravierender wird das Problem des Lern-

transfers165.

Übungen zur Transfersicherung sind in Anlage 13 dargestellt.

Geeignete Strategien zur Transfersicherung166 in der Phase nach Beendigung der

Maßnahme sind:

• Taktik der Transferrealisierung

Besonders schwierig gestaltet sich die Umsetzung des Erlernten, wenn mit ihr

persönliche Verhaltensänderungen des Teilnehmers einhergehen müssen.

Hemmnisse sollen durch die Schaffung von Anreizen und durch Umgehungs-

strategien abgebaut werden.167

• Unterstützung durch Transferpartner

Nach beendetem Training sollte der Mitarbeiter Unterstützung bei der

Umsetzung suchen. Als unterstützende Personen kommen u. a. der

Vorgesetzte, die Kollegen, der Trainer und sogar der Lebenspartner in Frage.

Diese Personen fungieren dann quasi als Coach oder Mentor.168

• Möglichkeiten zum Erfahrungsaustausch

Ein gegenseitiger Austausch der Teilnehmer noch nach der Qualifizierung

ermöglicht es, dass bisherige Transferfolge sowie Tipps und Anregungen zum

Abbau von Umsetzungshemmnissen diskutiert werden können.169 Ein solcher

Erfahrungsaustausch kann auch regelmäßig stattfinden; Ziel entsprechender

Follow-up-Maßnahmen ist die langfristige Sicherung des Transfererfolgs.

• Transfervereinbarung

In einem Gespräch zwischen Vorgesetztem und Mitarbeiter wird konkret

festgehalten, welche Kenntnisse bzw. Verhaltensweisen, die in der

Qualifizierung gelernt wurden, umzusetzen sind. Der Mitarbeiter verpflichtet sich

165 Vgl. Staehle, W. H.: Management. Eine verhaltenswissenschaftliche Perspektive, 8. Aufl., München 1999, S. 887; Faulstich, P.: Strategien der betrieblichen Weiterbildung. Kompetenz und Organisation, München 1998, S. 193. 166 Siehe dazu: Wilkening, O. S.: Bildungs-Controlling – Erfolgssteuerungssystem für Personalentwicklungsinvestitionen?, in: Riekhof, H.-C. (Hrsg.): Strategien der Personalentwicklung. Esso, Gore, Hamburg-Mannheimer, Hewlett-Packard, Matsushita, Opel, Philips, Siemens, VW, Weidmüller, Weka, 4. Aufl., Wiesbaden 1997, S. 261. 167 Vgl. Reuther, U.; Frank, G., a.a.O., S. 428. 168 Vgl. Reuther, U.; Frank, G., a.a.O., S. 429. 169 ebenda

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 62

damit definitiv, das Gelernte anzuwenden. Diese Vereinbarung sollte immer an

einen festen Zeitpunkt, mit dem spätesten Umsetzungstermin, geknüpft sein. Die

getroffenen Regelungen werden schriftlich, in Form eines Transfervertrags,

fixiert. Anlage 14 beinhaltet eine Transfervereinbarung.

• Vertrag mit sich selbst

Bei einem solchen Vertrag wird die Selbstverantwortung des Mitarbeiters be-

sonders betont. Der Teilnehmer dokumentiert während des Verlaufs der

Qualifizierungsmaßnahme seine Lernergebnisse in einem sog. Lerntagebuch.

Auf Grundlage der darin festgehaltenen Notizen fertigt er nach Beendigung der

Weiterbildung einen Selbstvertrag an, in dem er konkret verankert, welche Ziele

er erreichen will. Der gewünschte Umsetzungserfolg tritt wahrscheinlicher ein,

wenn klare positive Konsequenzen zu erwarten sind. Deshalb sollten auch

Selbstbelohnungen mit in den Vertrag aufgenommen werden.170 Die in Anlage

15 aufgezeigte Checkliste beinhaltet wichtige Elemente eines Selbstvertrags.

Ein neuer methodischer Ansatz geht so weit, den Transfererfolg schon vor Beginn der

Maßnahme zu antizipieren. Durch den sog. M.E.N.T.A.L.-Test lassen sich bereits vor

der Weiterbildung Kennzahlen generieren, die Aufschluss über die Wirksamkeit der

bevorstehenden Qualifizierung geben. Darüber hinaus können Problempunkte

identifiziert werden, die das Unternehmen durch geeignete Maßnahmen im Vorfeld

angehen kann.171 Diese Vorgehensweise bildet die Grundlage für ein ökonomisches

Qualitätsmanagement in der betrieblichen Weiterbildungsarbeit172. Die Evaluation des Transfererfolgs bewertet die Auswirkungen einer Qualifizierungs-

maßnahme auf die Arbeitssituation. Relativ leicht zu beurteilen sind Mitarbeiter, die

psychomotorische und kognitive Lerninhalte vermittelt bekommen haben. In diesem

Fall lassen sich Verhaltensänderungen am Arbeitsplatz im Normalfall durch Be-

obachtung erkennen. Die Messung des Transfererfolgs bei der Vermittlung affektiver

Lerninhalte – wie bei Führungs- und Verhaltenstrainings – gestaltet sich schwierig.173

170 Vgl. Kurtz, H.-J.: Anwendungsverträge und Transfercontrolling, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 185 ff. 171 Vgl. Gloger, S.: Den Trainingserfolg voraussagen, in: managerSeminare 11/05, S. 18-21. 172 Vgl. Brehm, K.-H.; Oesterle, H.: Qualitätsmanagement in der Weiterbildung der Siemens AG, in: Süddeutsche Zeitung (Hrsg.): Bildungscontrolling in der betrieblichen Personalentwicklung, München 1996, S. 25. 173 Vgl. Hummel, T. R.: Erfolgreiches Bildungscontrolling. Praxis und Perspektiven, Heidelberg 1999, S. 74.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 63

Unter bestimmten Umständen ist es jedoch möglich, dass sich trotz gutem Lernerfolg

keine Änderung am Arbeitsplatz einstellt. Überlastung, mangelnde Zeit oder generell

keine Bereitschaft, das Gelernte anzuwenden, sind Gründe dafür.174 Der Vorgesetzte

spielt in diesem Zusammenhang eine wichtige Rolle. Er hat die Möglichkeit,

maßgeblich und nachhaltig dafür zu sorgen, dass die Voraussetzungen für den

erfolgreichen Transfer geschaffen werden und kann dem Mitarbeiter bei Bedarf

Orientierung und Hilfestellung geben.

Der Nachweis des Maßnahmenerfolgs auf der Stufe des Transfers lässt sich

schwieriger erbringen, als der auf der Lernebene. Dies liegt einerseits an der

mangelnden Quantifizierbarkeit und andererseits am Problem des Nachweises eines

kausalen Zusammenhangs zwischen Qualifizierung und Anwendungserfolg.175 Je nach

Art und Zwecksetzung der Weiterbildung können jedoch verschiedene Kriterien zur

Beurteilung des Transfererfolgs herangezogen werden. Solche Kriterien sind176:

• die Zeit, die die Teilnehmer dazu benötigen, die angeeigneten Fähigkeiten am

Arbeitsplatz anzuwenden,

• die Effizienz, mit der die Teilnehmer nach Abschluss der Maßnahme Probleme

lösen,

• die Motivation, mit der die Teilnehmer an die Arbeitsaufgaben herangehen,

• der Grad der Kooperation, den die Teilnehmer in ihrer Zusammenarbeit mit

Kollegen zeigen,

• die Qualität der Kommunikation, mit der die Teilnehmer mit Kollegen in Kontakt

treten,

• die Qualität der Problemlösungen, welche die Teilnehmer erarbeiten,177

• die Akzeptanz der Tätigkeit und der Arbeitsergebnisse der Teilnehmer bei

Vorgesetzten und Kollegen sowie

• die Handlungs- und Entscheidungsfähigkeit der Teilnehmer an ihrem

Arbeitsplatz.178

174 Vgl. Martens, J.-U., a.a.O., S. 92. 175 Vgl. Weingärtner, M., a.a.O., S. 88. 176 Vgl. Häring, K., a.a.O., S. 40. 177 Vgl. Münch, J., a.a.O., S. 142. 178 Vgl. Häring, K., a.a.O., S. 41.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 64

4.3.1.2 Methoden zur Ermittlung des Transfererfolgs

Als Methoden zur Evaluation des Transfererfolgs bieten sich an:

• Fremd- und Selbstbeobachtung

• Transfergespräch mit dem Vorgesetzten

• Fragebogen zum Lerntransfer.

4.3.1.2.1 Fremd- und Selbstbeobachtung

Die Beobachtung, in den Formen Fremdbeobachtung und Selbstbeobachtung, stellt zur

Bewertung des Transfererfolgs ein wirksames Instrument dar.

Die Fremdbeobachtung – insbesondere durch den Vorgesetzten – steht im Vorder-

grund. Der Vorgesetzte kennt seine Mitarbeiter sowie deren Arbeitsweise im Regelfall

schon längere Zeit, so dass er den „Vorher-Zustand“ in Bezug auf das Merkmal, das

durch die Qualifizierung verändert werden sollte, gut einzuschätzen vermag. Kehrt der

Mitarbeiter an seinen Arbeitsplatz zurück, kann der Vorgesetzte durch gezielte

Beobachtung feststellen, inwieweit sich die Handlungskompetenz, die Leistung bzw.

das Verhalten seines Mitarbeiters geändert haben. Die Differenz zwischen dem

„Vorher- und Nachher-Zustand“ ist der Erfolg, der aus der Qualifizierungsmaßnahme

resultiert.

Bei der Selbstbeobachtung betrachtet, analysiert und würdigt der Mitarbeiter selbst sein

Arbeitsverhalten und sein Leistungsvermögen kritisch nach Beendigung der Maß-

nahme. Seine Beobachtungen sollte er schriftlich festhalten. Die Erkenntnisse dienen

als Grundlage für ein nach der Selbstbeobachtungsphase möglicherweise statt-

findendes Transfergespräch mit dem Vorgesetzten.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 65

4.3.1.2.2 Transfergespräch mit dem Vorgesetzten

Eine weitere Methode, den Transfererfolg eines Mitarbeiters zu evaluieren, stellt das

Transfergespräch dar. Im Rahmen eines teilstrukturierten Interviews erfragt der

Vorgesetzte, ob und inwieweit sein Mitarbeiter das in der Weiterbildung Gelernte in die

betriebliche Praxis umsetzen kann. Als Vergleichsmaßstab zwischen Soll- und Ist-

Zustand dient insbesondere der Transfervertrag, durch den sich der Mitarbeiter nach

Rückkehr von der Qualifizierung dazu verpflichtet hat, bis zu einem festgelegten

Zeitpunkt bestimmte Qualifizierungserfolge nachzuweisen. Der Termin des Transfer-

gesprächs muss sich deshalb am vereinbarten Umsetzungszeitpunkt orientieren.

4.3.1.2.3 Fragebogen zum Lerntransfer

Der Teilnehmer wird etwa drei Monate nach Beendigung der Qualifizierung zu einer

Selbsteinschätzung hinsichtlich erzielter Umsetzungserfolge der Bildungsinhalte

aufgefordert. Zwar ist diese Selbstbeurteilung stärker als andere Methoden zur

Ermittlung des Lerntransfers von subjektiven Einflüssen geprägt, dennoch liefert sie

wichtige Daten in Bezug auf den Abbau von Transferhemmnissen. Der Zeitraum von

drei Monaten dürfte genügen, dem Teilnehmer die Chance zu bieten, ausreichend

Erfahrungen zu sammeln. Gerade bei Weiterbildungsmaßnahmen, die auf eine

Einstellungsänderung des Mitarbeiters abzielten, muss eine gewisse Zeit vergangen

sein, bis dieser tatsächlich bereit ist, seine alte Einstellung für eine neue aufzu-

geben179.

Inhalte des Fragebogens zum Lerntransfer sind:

• Maßnahmen zur Transferunterstützung, die vom Vorgesetzten erwartet werden,

• Verbesserungs- und weitere Unterstützungsmöglichkeiten in der

Umsetzungsphase,

• Beurteilung des Vorgesetztenverhaltens, das maßgeblich den

Anwendungserfolg bestimmt, 179 Vgl. Häring, K., a.a.O., S. 32.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 66

• Selbsteinschätzung des Transferausmaßes.

Anlage 16 beinhaltet einen Fragebogen zur Ermittlung des Transfererfolgs durch

Teilnehmer.

4.3.2 Organisationserfolg und Methoden zur Ermittlung des Organisationserfolgs

4.3.2.1 Organisationserfolg Für die Existenz des Unternehmens ist überlebenswichtig, wettbewerbsfähig zu blei-

ben; dies gelingt auf Dauer nur mit hoch qualifiziertem Personal. Die Evaluation auf der

Organisationserfolgsebene beschäftigt sich nicht damit, wie viel gelernt wurde und wie

viel davon am Arbeitsplatz angewendet wird, sondern in welchem Umfang das

Unternehmen von der Weiterbildung profitiert. Äußerst diffizil gestaltet sich allerdings

die Herstellung eines eindeutigen Zusammenhangs zwischen Lern- und Transfererfolg

sowie Organisationserfolg. Weil innerbetriebliche Faktoren, wie Führungskultur und

organisatorische Bedingungen, ebenso auf den Organisationserfolg Einfluss nehmen

wie außerbetriebliche, also beispielsweise die Wettbewerbssituation und allgemeine

Marktbedingungen, lässt sich keine eindeutige qualifikationsspezifische Komponente

zurechnen. Auch kann es möglich sein, dass sich aus erkennbarem Transfer keine

Auswirkung auf den Organisationserfolg ergibt.180 Zwei Ursachen kommen u. a. in

Frage: Einerseits ist es normalerweise so, dass der Organisationserfolg nicht allein vom

Verhalten des Mitarbeiters abhängt. Es können konjunkturelle Einflüsse oder verstärkte

Marketingmaßnahmen der Konkurrenz trotz geschultem Verkaufspersonal, das sein

Wissen über verbesserte Verkaufsstrategien nutzt, dafür verantwortlich sein, dass die

Absatzzahlen nicht steigen. Andererseits machen sich hier evtl. Unzulänglichkeiten in

der Lernzielanalyse bemerkbar: Wirkt die geschulte, verbesserte Verkaufsstrategie

nicht bei bestimmten Produkten, bleibt sie erfolglos.181 Daraus wird erkennbar, dass die

Ermittlung des monetären Erfolgs oft nur anhand von Schätzungen durchgeführt

180 Vgl. Häring, K., a.a.O., S. 41 f. 181 Vgl. Martens, J.-U., a.a.O., S. 93.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 67

werden kann. Häufig erfolgt die Bestimmung des qualifizierungsabhängigen Beitrags

zum Unternehmenserfolg ausschließlich auf der Grundlage qualitativer Faktoren.182

4.3.2.2 Methoden zur Ermittlung des Organisationserfolgs

Die Bewertung des Erfolgs auf der Organisationsebene lässt sich durch den Vergleich

verschiedener betrieblicher Kennzahlen und Statistiken, die vor und nach der

Maßnahme errechnet bzw. erhoben werden, vollziehen. Nachfolgend aufgeführte

Kennzahlen dienen als mögliche Indikatoren zur Erfolgsbestimmung der Maßnahme

auf Unternehmensebene:183

• Fluktuationsrate,

• Zahl der Verbesserungsvorschläge,

• Zahl der Beschwerden,

• Versetzungsquote,

• Abwesenheitsquote,

• Produktivität,

• Rentabilität.184

• Absentismusentwicklung,

• Zahl der Betriebsunfälle,

• Zahl der Arbeitsgerichtsprozesse,

• Kostenentwicklung und -struktur

• Umsatzentwicklung,

• Produktionszahlen,

• Fehlerzahl und

• produzierter Ausschuss.185

Um die Aussage über den Erfolg abzusichern, sollte der Kennzahlenvergleich immer in

182 Vgl. Häring, K., a.a.O., S. 42. 183 Vgl. Häring, K., a.a.O., S. 92. 184 Vgl. Götz, K., a.a.O., S. 102 f. 185 Vgl. Häring, K., a.a.O., S. 92 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 68

Kombination mit anderen Evaluationsmethoden geschehen186. In der betrieblichen

Praxis werden Teilnehmer und Vorgesetzte oft ergänzend befragt, wie sie die

Einsparpotenziale und Produktivitätssteigerungen einschätzen, die durch eine

Weiterbildung entstanden sind. Der quantitative Erfolg wird hier also über Schätzungen

und Prognosen durch vom Bildungsprozess direkt oder indirekt tangierten Personen

bestimmt.187

Weiche Kriterien, anhand derer ein Weiterbildungserfolg für das Unternehmen erkannt

werden kann, sind:

• Problembewusstsein,

• Kommunikationsverhalten,

• Mitarbeitermotivation,

• Mitarbeiterführung,

• Verantwortungsbewusstsein,

• Konfliktlösungsfähigkeit,

• Arbeitszufriedenheit,188

• Arbeits- und Betriebsklima,

• Notwendigkeit disziplinarischer Maßnahmen,189

• Prozess der Entscheidungsfindung,

• Zufriedenheit mit den Vorgesetzten,

• Identifikation mit dem Unternehmen,

• Umweltbewusstsein.190

186 Vgl. Berthel, J.; Becker, F. G.: Personal-Management. Grundzüge für Konzeptionen betrieblicher Personalarbeit, 7. Aufl., Stuttgart 2003, S. 378; Häring, K., a.a.O., S. 93. 187 Vgl. Häring, K., a.a.O., S. 93. 188 Vgl. Ruschel, A., a.a.O., S. 317. 189 Vgl. Häring, K., a.a.O., S. 93. 190 Vgl. Freimuth, J.; Hoets, A.: Evaluationsmethoden, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 218.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 69

4.4 Sonderfall E-Learning und Evaluation

4.4.1 E-Learning

E-Learning bedeutet, allgemein betrachtet, Lernen mit elektronischen Medien191.

Innerhalb dieser Lernalternative existieren zahlreiche Varianten. Die nachstehenden

Ausführungen beziehen sich auf computergestütztes E-Learning.

Als Computer Based Training (CBT) bezeichnet man eine Methode, bei der das Lernen

anhand von Computerprogrammen stattfindet, wobei es keine direkte Verbindung über

das Internet zu anderen Lernenden oder einem Teletutor gibt. Das Web Based Training

(WBT) ist eine Weiterentwicklung des CBT, bei der die Lernenden entweder über

Internet oder über Intranet mit Informationssystemen verbunden sind, die interaktive

Übungen und Lernmaterial online bereitstellen. Eine Verbindung zu anderen Lernenden

und zum Teletutor kann grundsätzlich hergestellt werden.192 Ein weiteres E-Learning-

Verfahren, bei dem ein Teil des Lernprozesses virtuell erfolgt, der andere in Form von

Präsenzveranstaltungen abgehalten wird, nennt sich Blended Learning193. Darüber

hinaus besteht die Möglichkeit, ein Seminar vollständig über das Internet oder Intranet

durchzuführen; diese Form bezeichnet man als Live-E-Learning194.

Der Trend der betrieblichen Weiterbildung geht hin zum Lernen mit multimedialer

Unterstützung. Traditionelle Weiterbildung, beispielsweise in Form von Seminaren, wird

künftig tendenziell eher rückläufig sein, da flexiblere Reaktionsmöglichkeiten in der

Weiterbildung gefragt sein werden.195 Die Wissensvermittlung geschieht durch den

Einsatz von multimedialen Lernsystemen in Zukunft nicht mehr schwerpunktmäßig

rezeptiv – wie bisher in vielen Schulungsveranstaltungen –, sondern zunehmend durch

aktives Handeln der Lernenden. Durch die neuen Lernformen sollen die Vorkennt-

191 Vgl. Mandl, H.; Winkler, K.: E-Learning in der Weiterbildung, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, Göttingen, Bern, Toronto, Seattle 2003, S. 229. 192 Vgl. Abicht, L.; Dubiel, G.: E-Learning in der beruflichen Weiterbildung, in: Peters, S. (Hrsg.): Weiterbildung – Personalentwicklung – organisationales Lernen, München, Mering 2003, S. 161. 193 Vgl. Michel, L. P.: Wunsch und Wirklichkeit – E-Learning in KMU, in: Zinke, G.; Härtel, M. (Hrsg.): E-Learning. Qualität und Nutzerakzeptanz sichern. Beiträge zur Planung, Umsetzung und Evaluation multimedialer und netzgestützter Anwendungen, Bielefeld 2004, S. 113; siehe dazu auch: Bommer, S.: Tutoring – ein kritischer Erfolgsfaktor beim E-Learning, in: Personal 1/03, S. 43 f. und Reiß, M.: Kritische Erfolgsdeterminanten des Blended Learning, in: Personal 9/03, S. 26-29. 194 Vgl. Schweizer, K.-U.: Live E-Learning – Dozentengeführte Seminare in Intranet und Internet, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 222. 195 Vgl. Michel, L. P., a.a.O., S. 105 f.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 70

nisse, die Motivation, die Lerngeschwindigkeit sowie die Einstellungen der Lernenden

besser berücksichtigt werden.196

Als wesentliche Vorteile von E-Learning gelten:

• geringere Bildungskosten als bei Präsenzveranstaltungen,

• höhere Qualifizierungsgeschwindigkeit,

• Imageförderung für das Unternehmen,197

• große Flexibilität des netzgestützten Lernens,

• Lehrstoff kann stets198 auf dem aktuellen Stand gehalten werden,

• Verbesserung des Lernerfolgs durch Anpassung des Programms an den Bedarf

sowie durch individuell bestimmbares Tempo,199

• schnelle Verfügbarkeit relevanter Informationen,

• Stärkung der Eigeninitiative der Mitarbeiter,

• Lernen in der Freizeit,

• Integration in ein Gesamtkonzept betrieblicher Weiterbildung,

• an Bedürfnissen des Arbeitsplatzes orientiertes Lernen,

• Verknüpfung mit Wissensmanagement,

• Entlastung des Bildungspersonals.200

4.4.2 Evaluation

Genau wie bei herkömmlichen Lehrmethoden sind auch im Bereich E-Learning

Evaluierungen notwendig.

Der Zufriedenheitserfolg der Teilnehmer einer E-Learning-Maßnahme kann durch

Rückmeldung an die Bildungsverantwortlichen im Unternehmen erhoben werden. Bei

196 Vgl. Mandl, H.; Winkler, K., a.a.O., S. 230. 197 Vgl. Koch, S.; Walter, P.: S-win – Wissen im Netz. Ein Erfahrungsbericht über E-Learning in der Sparkassen-Finanzgruppe, in: Backhaus, J. (Hrsg.): Aktuelle Handlungsfelder der Personalentwicklung, Stuttgart 2003, S. 143. 198 Im Gegensatz dazu: Kröll, M.: Grenzen und Möglichkeiten von E-Learning, in: Personal 2/05, S. 10. 199 Vgl. Michel, L. P., a.a.O., S. 109. 200 Vgl. Klein, H. E.: Vorsichtige Annäherung, in: Personal 2/05, S. 7.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 71

bestimmten Formen des computergestützten Lernens lässt sich das Feedback auch

direkt an die Tutoren übermitteln; dies ist beispielsweise bei Live-E-Learning der Fall.

Die Ermittlung des Lernerfolgs gestaltet sich beim E-Learning üblicherweise relativ

einfach. Zu Beginn der E-Learning-Maßnahme wird der Lernende mit einem Pre-Test

konfrontiert, womit man den Wissensstand vor der Maßnahme erhebt. Der Lernende

muss ferner nach jeder Lerneinheit einen Test sowie am Schluss der gesamten

Maßnahme einen Post-Test ablegen. Die Umsetzung sowie die Auswertung der Tests

kann komplett von der Software übernommen werden. Hierzu sind mehrere Varianten

vorstellbar: Schließt der Lernende etwa die Lerneinheit schlecht ab, so reagiert das

Lernprogramm, anstatt mit einem Aufstieg zur nächsten Stufe, mit der Wiederholung

des gesamten Moduls. Oder, sofern das Programm das Wissensdefizit des Anwenders

detailliert bestimmt hat, wiederholt es gezielt Lernbereiche, bei denen sich der

Mitarbeiter noch nicht auf dem gewünschten Wissensniveau befindet.

Beim E-Learning gilt es, möglichst verschiedene Aufnahmekanäle des Lernenden

anzusprechen. Die Präsentation des Stoffs erfolgt idealerweise durch visuelle und

auditive Unterstützung. Für das Eruieren des Lernerfolgs heißt das, es müssen

Methoden zur Verfügung stehen, die überprüfen, ob der vermittelte Stoff nicht nur

auswendig gelernt, sondern vielmehr verstanden und problemorientiert angewendet

werden kann.201 Zum Abprüfen des Lernerfolgs bieten sich Multiple-Choice-Tests und

virtuelle Rollenspiele an.

Eine abschließende Evaluation der Maßnahme durch die Teilnehmer in Bezug auf den

Zufriedenheits- und Lernerfolg lässt sich anhand eines Fragebogens durchführen, der

entweder in Papierform oder direkt am Bildschirm auszufüllen ist202. Anlage 17 zeigt

einen Fragebogen zur Bewertung eines WBT durch die Teilnehmer.

Die oben im Zusammenhang mit herkömmlichen off-the-job-Weiterbildungsmaßahmen

dargestellten Methoden zur Feststellung des Transfererfolgs und des Organisations-

erfolgs (siehe dazu 4.3.1.2.1 Fremd- und Selbstbeobachtung; 4.3.1.2.2 Transfer- 201 Vgl. Fackiner, C., a.a.O., S. 133 f. 202 Vgl. Severing, E.; Keller, C.; Reglin, T.; Spies, J.: Betriebliche Bildung via Internet. Konzeption, Umsetzung und Bewertung. Eine Einführung für Praktiker, Bern, Göttingen, Toronto, Seattle 2001, S. 146.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 72

gespräch mit dem Vorgesetzten; 4.3.1.2.3 Fragebogen zum Lerntransfer und 4.3.2.2

Methoden zur Ermittlung des Organisationserfolgs) eignen sich grundsätzlich auch zur

Evaluierung von E-Learning-Qualifizierungen.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 73

5 FAZIT UND AUSBLICK

Ein Charakteristikum des heutigen Wirtschaftslebens stellt der permanente Wandel dar.

Die damit verbundenen Change-Prozesse im Unternehmen sind primär geprägt vom

wirksamen Globalisierungstrend sowie vom hohem Veränderungstempo. Überspitzt

kann man sagen: Das einzig Beständige ist der Wandel. Schon der griechische

Philosoph Heraklit203 brachte über seine Zeit zum Ausdruck: „panta rhei“; dies bedeutet

„alles fließt“. Würde Heraklit die heutige Zeit betrachten, käme er sicherlich zur

Aussage: Alles fließt immer schneller.

Aus den Veränderungen resultieren für die Unternehmen enorme Herausforderungen,

die es zu meistern gilt. Bewältigen lassen sie sich nur, wenn die Mitarbeiter stets den

gewaltigen Anforderungen, die an sie gestellt werden, gewachsen sind. Die Mitarbeiter

verkörpern in diesem Zusammenhang den zentralen Erfolgsfaktor. Unabdingbare

Voraussetzung für das erfolgreiche Agieren des Unternehmens am Markt ist, dass die

Mitarbeiterqualifikation an die laufend wechselnden Anforderungen angepasst wird.

Dieses qualifikatorische „Aktuell-Halten“ vollzieht sich über die betriebliche Weiter-

bildung in vielfältigen Formen.

Erhöhter Wettbewerbsdruck führt im Unternehmen zu finanziellen Restriktionen;

deshalb müssen Investitionen, die getätigt werden sollen, sorgfältig geplant sein. Dies

hat auch für Bildungsinvestitionen Gültigkeit; bezogen auf den Inhalt der vorliegenden

Arbeit trifft diese Aussage damit ebenfalls auf Weiterbildungsinvestitionen off the job zu.

Die Notwendigkeit, möglichst verlässliche Aussagen über die Kosten, den Nutzen, die

Effektivität, die Effizienz und die Qualität von Qualifizierungsmaßnahmen zu gewinnen,

macht die Evaluation solcher Personalentwicklungsaktivitäten unumgänglich.

In der betrieblichen Praxis reduzieren sich Evaluierungen – falls überhaupt welche

durchgeführt werden – häufig auf die Bewertung der Teilnehmerzufriedenheit mit einer

Weiterbildungsmaßnahme. Solche Bewertungen sind jedoch völlig unzureichend.

Ausschließlich die umfassende Evaluation wird der elementaren Bedeutung der

203 Heraklit: geboren um 550 v. Chr. und gestorben um 480 v. Chr.

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 74

Bewertungsfunktion gerecht. Eine ganzheitliche Evaluation muss alle Bereiche des

Bildungsprozesses durchdringen. Für das Gelingen einer effektiven und effizienten

Weiterbildung ist äußerst wichtig, bereits vor der Maßnahmenrealisierung vielfältige

Qualifizierungsaspekte zu bewerten. Während der Durchführung tragen Evaluierungen

des Zufriedenheits- und des Lernerfolgs dafür Sorge, dass die Qualifizierung ihre

Zielsetzung erreicht. Nach der Durchführungsphase gilt es, die eigentliche

Zwecksetzung der Maßnahme zu evaluieren: den Transfererfolg und schließlich den

Unternehmenserfolg.

Anlage 18 zeigt ein Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung,

während Anlage 19 darüber hinaus die potenziellen Wirkungszusammenhänge

zwischen den Erfolgsgrößen Zufriedenheitserfolg, Lernerfolg, Transfererfolg sowie

Organisationserfolg darstellt.

Mit der Bewertungsfunktion ist unmittelbar die Funktion der Qualitätsoptimierung

verknüpft. Als Voraussetzung dafür, dass der Beitrag der Evaluation adäquat genutzt

werden kann, bleibt die Qualitätssicherung der Evaluation zu nennen. Diese Evaluation

der Evaluation hat sich mit der zentralen Frage zu beschäftigen: Sind die eingesetzten

Evaluationsmethoden zur Bewertung der Evaluationsobjekte der Bildungsmaßnahme

geeignet?

Blickt man in die Zukunft, so wird klar erkennbar, dass das Qualifikationspotenzial der

Mitarbeiter seinen hohen Stellenwert für den Erfolg und den Bestand des

Unternehmens nicht verlieren wird – im Gegenteil. Die daraus abzuleitende

Konsequenz lautet: Personalentwicklung und damit Weiterbildung haben nicht nur

heute, sondern werden auch morgen „Hochkonjunktur“ haben. Lediglich durch lebens-

langes Lernen lässt sich das Erfolgspotenzial des Mitarbeiters voll entfalten und für die

Unternehmensbelange nutzen.

Wegen der zunehmenden Knappheit der finanziellen Ressourcen werden die

betrieblichen Bildungsbudgets künftig eher kleiner ausfallen als bisher. Umso wichtiger

erweist sich dann die Konzentration auf das richtige, existenziell notwendige Weiter-

bildungsangebot des Unternehmens. Der ökonomisch sinnvolle Mitteleinsatz macht

Personalentwicklung – Evaluation von off-the-job-Maßnahmen der betrieblichen Weiterbildung 75

damit die Evaluierung wichtiger denn je. Der Verfasser kann wegen der enormen

Komplexität und der Relevanz des Evaluationsvorgangs ausschließlich für die

systematische, integrative und ganzheitliche Evaluation plädieren. Eine solche Bewer-

tung

• betrachtet die Phase im Vorfeld der Maßnahmenrealisierung, die eigentliche

Durchführungsphase und die Phase nach der Durchführung,

• ermittelt die Erfolgsgrößen Zufriedenheitserfolg, Lernerfolg, Transfererfolg und

Organisationserfolg und

• setzt die diversen Evaluationsmethoden planvoll – zum Teil auch kombiniert als

Evaluationsmethoden-Mix – ein.

In Anlage 20 ist die Mehrdimensionalität der Evaluation beispielhaft abgebildet.

Die in der Gegenwart noch überwiegend sporadischen und auf Teilaspekte

ausgerichteten Evaluierungsbemühungen müssen in Zukunft der Vergangenheit

angehören, da die Unternehmensführung zukünftig auf umfassende, aussagekräftige

Informationen für zu treffende Weiterbildungsentscheidungen angewiesen sein wird.

Nur professionell angegangene Evaluationsvorhaben im betrieblichen Bildungswesen

werden langfristig den gewünschten Erfolg bringen.

Anhang 76

Anlagenverzeichnis Anlage 1: Gründe für interne oder externe Durchführung von Weiterbildungsmaßnahmen 77 Anlage 2: Checkliste mit Qualitätskriterien für die Auswahl des Anbieters

bei Fremdvergabe der Bildungsaktivität 78 Anlage 3: Fragenkatalog zum Auswahlgespräch mit dem Trainer 81 Anlage 4: Beurteilungsblatt zum Gesamteindruck des Trainers 85 Anlage 5: Fragebogen zu den Eingangsvoraussetzungen der Teilnehmer 86 Anlage 6: Fragebogen zu den Teilnehmererwartungen 88 Anlage 7: Stimmungsbarometer 89 Anlage 8: Übungen zur Ermittlung des Zufriedenheitserfolgs 91 Anlage 9: Schriftliches Feedback 92 Anlage 10: Fragebogen zur Bewertung des Referenten 95 Anlage 11: Fragebogen zur Bewertung durch den Referenten 97 Anlage 12: Übungen zur Lernerfolgsevaluation 99 Anlage 13: Übungen zur Transfersicherung 100 Anlage 14: Transfervereinbarung 101 Anlage 15: Der Vertrag mit sich selbst – eine Checkliste 102 Anlage 16: Fragebogen für Teilnehmer zum Transfererfolg 103 Anlage 17: Fragebogen zur Bewertung eines WBT durch die Teilnehmer 107 Anlage 18: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung 117 Anlage 19: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung mit potenziellen Wirkungszusammenhängen zwischen den Erfolgsgrößen des Evaluierungsprozesses 118 Anlage 20: Mehrdimensionalität der Evaluation 119

Anhang 77

Anlage 1: Gründe für interne oder externe Durchführung von

Weiterbildungsmaßnahmen Gründe für interne Durchführung:

• Bei den Weiterbildungsinhalten handelt es sich um betriebsspezifische Probleme.

• Probleme können praxisnah behandelt werden. • Die Zahl der Teilnehmer ermöglicht eine kostengünstige Durchführung einer

internen Weiterbildungsveranstaltung. • Ein Mitarbeiter verfügt über die notwendigen Kenntnisse zur Schulung der

Teilnehmer. • Ein geeigneter externer Trainer kann für die Durchführung einer internen

Weiterbildungsmaßnahme rekrutiert werden. • Das Unternehmen verfügt über geeignete Räumlichkeiten und Sachmittel zur

Durchführung einer Weiterbildungsaktivität. • Die Lernziele einer Weiterbildungsmaßnahme müssen/sollten

teilnehmerbezogen formuliert werden. Gründe für externe Durchführung:

• Es gibt geeignete externe Weiterbildungsangebote. • Die Durchführung einer externen Weiterbildungsmaßnahme ist kostengünstiger. • Ein externer Bildungsträger verfügt über bessere Schulungsräume und eine

bessere Lehrmittelausstattung. • Es ist wichtig, dass die Weiterbildungsteilnehmer Abstand von der Tagesarbeit

gewinnen. • Durch externe Weiterbildung werden neue Ideen gewonnen und es findet ein

Erfahrungsaustausch mit Mitarbeitern anderer Unternehmen statt. Quelle: in Anlehnung an Weingärtner, M., a.a.O., S. 74.

Anhang 78

Anlage 2: Checkliste mit Qualitätskriterien für die Auswahl des Anbieters bei Fremdvergabe der Bildungsaktivität Qualitätskriterien 1. Transparenz des Angebots Stellt der Bildungsträger sicher, dass den Interessenten Informationen und Beratung zu folgenden Kriterien zur Verfügung gestellt werden? Ja Nein

• Zum Ziel der Weiterbildungsmaßnahme ڤ ڤ • Zu den Zugangsvoraussetzungen und notwendigen

Vorkenntnissen ڤ ڤ • Zu den Lerninhalten (z. B. Fächer, Themen, zeitliche Abfolge,

Praxis bzw. Praktikumsanteil) ڤ ڤ • Zur Lehrmethode ڤ ڤ • Zum Veranstaltungstermin ڤ ڤ • Zur Zeit und Dauer der Veranstaltung ڤ ڤ • Zu den Unterrichtsstunden ڤ ڤ • Zum Veranstaltungsort ڤ ڤ • Zur Prüfung bzw. zum Abschluss oder zur Teilnahme-

bescheinigung ڤ ڤ • Zu den Gesamtkosten (differenziert z. B. nach Lehrgangs-

kosten, Prüfungsgebühr, Kosten für Lehrmittel) ڤ ڤ • Zu den Förderungsmöglichkeiten ڤ ڤ • Zur Anzahl und zu den Qualifikationen der Lehrkräfte ڤ ڤ • Zu den Erfolgskriterien und Erfolgsquoten ڤ ڤ • Zur individuellen Verwertbarkeit der Qualifikation ڤ ڤ • Zu den allgemeinen Geschäftsbedingungen und zur

Vertragsgestaltung ڤ ڤ 2. Qualifikation der Lehrkräfte Ja Nein

• Werden in den Schulungen durch Ausbildung und/oder Praxiserfahrung und/oder Weiterbildung fachlich qualifizierte Lehrkräfte eingesetzt? ڤ ڤ

• Werden in den Schulungen durch Ausbildung und/oder Praxiserfahrung und/oder Weiterbildung pädagogisch qualifizierte Lehrkräfte eingesetzt? ڤ ڤ

• Kann der Kunde Informationen zu den eingesetzten Lehrkräften einholen (z. B. Name, Alter, Schulabschluss/Studium, fachliche und pädagogische Berufserfahrung, ggf. Zusatzqualifikationen, Referenzen etc.)? ڤ ڤ

Anhang 79

Ja Nein

• Stellt der Bildungsträger eine angemessene Einarbeitung sowie fachliche und pädagogische Betreuung der Lehrkräfte sicher? ڤ ڤ

3. Ausstattung Ja Nein

• Ist die Ausstattung der Schulungs- und Praxisräume dem jeweiligen Schulungsziel und –inhalt angemessen und nach zeitgemäßen fachlichen sowie pädagogischen Erfordernissen ausgerichtet? ڤ ڤ

• Wird beim Einsatz von IT-Systemen gewährleistet, dass marktübliche Hard- und Software eingesetzt werden, die eine Realisierung der Schulungsziele und Schulungsinhalte ermöglichen? ڤ ڤ

• Arbeiten die Teilnehmer(innen) mit aktuellem, dem jeweiligen Schulungsziel angemessenen Lernmaterial? ڤ ڤ

4. Teilnehmerbefragung Wird vom Bildungsträger ein schriftliches Feedback der Teilnehmer sichergestellt, das die folgenden Kriterien berücksichtigt? Ja Nein

• Beratung ڤ ڤ • Information ڤ ڤ • Ausstattung ڤ ڤ • Räumlichkeiten ڤ ڤ • Schulungsdurchführung ڤ ڤ • Lerninhalte ڤ ڤ • Lehrkräfte ڤ ڤ • Lern- und Arbeitsmittel ڤ ڤ

5. Teilnahmebescheinigung Sind in der Teilnahmebescheinigung die folgenden Informationen enthalten? Ja Nein

• Name ڤ ڤ • Vorname ڤ ڤ • Geburtsdatum (ggf.) ڤ ڤ • Titel der Schulung ڤ ڤ • Schulungsbeginn ڤ ڤ • Schulungsende ڤ ڤ • Lerninhalte ڤ ڤ

Anhang 80

Ja Nein • Ausstellungsdatum ڤ ڤ • Unterschrift ڤ ڤ • Logo bzw. Stempel ڤ ڤ

6. Vertragsgestaltung Sind die folgenden Punkte in der Vertragsgestaltung berücksichtigt? Ja Nein

• Ort ڤ ڤ • Zeit ڤ ڤ • Dauer ڤ ڤ • Gesamtzahl der Unterrichtsstunden (ggf.) ڤ ڤ • Ziel/Titel der Schulung ڤ ڤ • Schulungskosten ڤ ڤ • Zahlungsmodalitäten ڤ ڤ • Kündigungsbedingungen/Rücktrittsmöglichkeiten ڤ ڤ

7. Beschwerdemanagement Ja Nein Weist der Bildungsträger in seinen Geschäftsunterlagen schriftlich auf das hauseigene Beschwerdeverfahren hin? ڤ ڤ Quelle: Qualitätsgemeinschaft Berufliche Weiterbildung Köln, o.J. online:

http://www.weiterbildung-koeln.de/ueber_uns/qualitaetskriterien_checkliste_2005.pdf, 27.12.05

Anhang 81

Anlage 3: Fragenkatalog zum Auswahlgespräch mit dem Trainer Trainer: ___________________________ Thema: ___________________________ Gesprächsdatum: ___________________ Uhrzeit: ________ Ort: _______________ Gesprächsteilnehmer: __________________________________________________ Gesprächsunterlagen: __________________________________________________ 1. Allgemeine Fragen zum Gesprächseinstieg

• Hatten Sie eine gute Anreise? • Darf ich Ihnen etwas zum Trinken anbieten? • Haben Sie unsere Firma gleich gefunden? • Hatten Sie Zeit, sich bereits ein wenig unsere Firma anzusehen?

2. Kenntnisse über die Organisation

• Ist Ihnen unsere Organisation bekannt? • Woher kennen Sie unsere Organisation? • Haben Sie bereits früher einmal für unsere Organisation gearbeitet? • Haben Sie Vorstellungen über die Mitarbeiteranzahl, die erzeugten Produkte,

den Umsatz und dergleichen? 3. Aus- und Weiterbildung

• Welche Ausbildung haben Sie absolviert? • Wie haben Sie sich die notwendigen Trainerqualifikationen angeeignet? • Auf welchen Gebieten haben Sie sich weitergebildet? • Welche Schritte werden Sie im Hinblick auf Ihre eigene Weiterbildung zukünftig

setzen? 4. Berufszugang

• Was hat Sie dazu veranlasst, in den Trainingsbereich zu gehen? • Auf welche Umstände ist es zurückzuführen, dass Sie im Trainingsbereich

gelandet sind? • Gab es ein Schlüsselerlebnis, welches Sie maßgeblich beeinflusst hat, Trainer

zu werden? • Aus welchen Gründen haben Sie die Trainerlaufbahn eingeschlagen?

Anhang 82

5. Trainingsbereiche

• In welchen Themengebieten trainieren Sie? • Welches sind für Sie Ihre wichtigsten Trainingsbereiche? • Wollen Sie Ihr Themenspektrum in nächster Zeit ausweiten bzw. verändern? • Welche trainerischen Ziele streben Sie an?

6. Trainingserfahrungen/Referenzen

• Seit wann trainieren Sie in diesen Bereichen? • Bei welchen Firmen haben Sie bisher schon trainiert? • Sind Sie auf eine bestimmte Branche, Firmengröße, Zielgruppe usw.

spezialisiert? • Welche Referenzfirmen können Sie nennen?

7. Trainingsgrundsätze

• Wie lauten Ihre wichtigsten Prinzipien, Werte, ethischen Grundsätze ... bei der Durchführung von Trainings?

• Was darf Ihrer Meinung nach einem Trainer in einem guten Training nicht passieren?

• Wie gehen Sie mit „schwierigen“ Teilnehmern, Teilnehmerwiderständen, Gruppenkrisen, Störfaktoren usw. um?

• Mit welchem didaktischen Ansatz bzw. pädagogischen Modell arbeiten Sie in Ihren Trainings?

8. Rollen-/Selbstverständnis

• Wie definieren Sie Ihre Trainerrolle? • Was würde mir ein Trainerkollege von Ihnen über Sie erzählen? • Welches Menschenbild liegt Ihren Trainings zu Grunde? • Welche Faktoren sind für Ihr Rollen- und Selbstverständnis bestimmend?

9. Teilnehmerorientierung

• Wie wollen Sie die individuellen Wünsche, Erwartungen, Lernbedürfnisse, Problemstellungen, Ängste usw. der Seminarteilnehmer erfassen?

• Wie integrieren Sie die Erfahrungen und das Vorwissen der Teilnehmer in das Thema?

• Wollen bzw. wie wollen Sie eine Bedingungs-/Adressaten-/Erwartungsanalyse vor Seminarbeginn durchführen?

• Wie führen Sie Gruppenentscheidungen herbei?

Anhang 83

10. Trainingsziele

• Auf welche Trainingsziele achten Sie besonders in Ihren Trainings? • Welche Trainingsziele (inklusive Prioritätensetzung) versuchen Sie bei dieser

Thematik zu realisieren? • Wie realistisch und motivierend sind diese Zielsetzungen? • Welche Schwierigkeiten und Widerstände sehen Sie für die Realisierung dieser

Zielsetzungen? 11. Trainingsinhalte

• Mittels welcher Inhalte versuchen Sie die angestrebten Ziele zu realisieren? • Wie lassen sich die Seminarinhalte mit den unternehmerischen Ansprüchen

verzahnen? • Welche Inhalte liegen Ihnen besonders am Herzen? • Aus welchen Quellen resultieren Ihre Inhalte?

12. Trainingsmethoden

• Welche pädagogischen Methoden setzen Sie bevorzugt ein? • Wie wollen Sie den Seminareinstieg methodisch-didaktisch gestalten? • Welche Methode erscheint Ihnen bei den zu realisierenden Zielen am

effizientesten? • Zu welchen Haupt- und Nebeneffekten könnte Ihr geplanter Methodeneinsatz

führen? 13. Medien/Seminarunterlagen

• Wie wollen Sie den Lernprozess medial unterstützen? • Welche Medien präferieren Sie in Ihren Trainings? • Welche Skripten gedenken Sie einzusetzen? • Erhalten die Teilnehmer ein Seminarprotokoll?

14. Lernerfolgskontrolle

• Wie werden Sie die angestrebte Zielerreichung kontrollieren? • Wie überprüfen Sie den Lern- und Anwendungserfolg? • Welche Maßnahmen zur Förderung und Erhöhung der Transferleistungen wollen

Sie einsetzen? • Wie werden Sie den Teilnehmern bei der Erarbeitung von positiven

Lerntransferstrategien für den Alltag behilflich sein?

Anhang 84

15. Honorar

• Welche Honorarvorstellungen haben Sie? • Wie hoch ist Ihr Tagessatz? • Welche sonstigen Kosten (Reise-, Hotel-, Protokollierungskosten usw.) stellen

Sie in Rechnung? • Verrechnen Sie Ausfallhonorare?

16. Zusammenarbeit

• Wie kann ich in meiner Funktion als Weiterbildungsverantwortlicher bzw. Personalentwickler die Qualität unserer Zusammenarbeit fördern?

• Wie kann ich Sie unterstützen, um gute Trainingsarbeit leisten zu können? • Welche Begleitmaßnahmen, Hilfen usw. wünschen Sie meinerseits? • Was sind Ihre Vorstellungen im Hinblick auf unsere Kooperation?

Quelle: Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.2005

Anhang 85

Anlage 4: Beurteilungsblatt zum Gesamteindruck des Trainers Trainer/Adresse: ______________________________________________________ Geplante Trainingsmaßnahme: __________________________________________ Gesprächstermin: _____________________________________________________

1 2 3 4 5 Anmerkungen Auftreten/Ausstrahlung Fachliche Kompetenz Soziale Kompetenz

Pädagogische Kompetenz Trainingserfahrung Selbstsicherheit

Vertrauenswürdigkeit Zielorientiertheit Begeisterungsfähigkeit

Verantwortungsbewusstsein Sensibilität/Einfühlungsvermögen Konzept/Setting/Trainingsdesign Skripten/Unterlagen

Honorarvorstellungen Gesamteindruck Sonstige Bemerkungen: Beurteilung: 1 = sehr gut; 2 = gut; 3 = befriedigend; 4 = genügend; 5 = ungenügend

Quelle: Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler-Universität Linz, o.J. online: Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.2005

Anhang 86

Anlage 5: Fragebogen zu den Eingangsvoraussetzungen der Teilnehmer Angaben zur Person

a) Alter

b) Schulabschluss

c) derzeitige Tätigkeit

Erfahrungen mit Lernen

Welche Lernformen bevorzugen Sie?

klassisches“ Lernen„ ڤ E-Learning ڤ :sonstige Lernformen ڤ

Lernbedürfnisse

a) Welche besonderen Interessen/Ziele verfolgen Sie mit der Teilnahme an der Weiterbildungsmaßnahme?

b) Wie schätzen Sie sich selbst ein in Bezug auf die Erreichung dieser Ziele?

c) Fragen/Probleme/Sonstiges

Anhang 87

Aus- und Weiterbildung Welche Fähigkeiten wurden dabei

erworben? a) absolvierte berufliche Ausbildung (betriebliche Ausbildung, Fachschule, Hochschule usw.)

b) absolvierte berufliche Weiterbildung (im Unternehmen oder außerhalb)

c) privat besuchte Kurse (z. B. Sprachkurse, EDV, Kulturelles)

d) frühere Arbeitsstellen, Aufgaben- bereiche (im Unternehmen oder außerhalb)

Persönliche Erfahrungen Welche Fähigkeiten wurden dabei

erworben? a) Erziehungs- oder Betreuungsaufgaben

b) Haushalt, Hauswirtschaft

c) öffentliche Aufgaben, Freiwilligenarbeit, Vereine

d) Hobbies/Freizeit

e) Sonstiges:

Quelle: in Anlehnung an Schöni, W., a.a.O., S. 193.

Anhang 88

Anlage 6: Fragebogen zu den Teilnehmererwartungen Ihre Erwartungshaltung zum Seminar: _______________________________ Datum: _______________________________ Ort: _______________________________ Name: _______________________________ Firma: _______________________________ Anschrift: _______________________________ Sehr geehrte/r Seminarteilnehmer/in, für Sie persönlich möchten wir das Seminar möglichst effektiv gestalten. Sie können uns deshalb mit diesem Fragebogen Ihre Erwartungen mitteilen. Bitte schicken oder faxen Sie uns den Fragebogen ausgefüllt innerhalb der nächsten Woche zurück. Ihre Wünsche und die der anderen Teilnehmer können wir damit so weit wie möglich berücksichtigen. 1) Aus welchen Beweggründen/auf wessen Initiative hin nehmen Sie an dieser Veranstaltung teil? _____________________________________________________________________ _____________________________________________________________________ 2) Wenn Sie sich die Eingangsvoraussetzungen durchlesen, über welche sollte der Trainer noch einmal einen Überblick geben? _____________________________________________________________________ _____________________________________________________________________ 3) Welches sind für Sie die wichtigsten Einzelthemen, die Sie nach der Bildungsmaß- nahme beherrschen wollen? _____________________________________________________________________ _____________________________________________________________________ 4) Haben Sie die Möglichkeit, das Gelernte am Arbeitsplatz auch anzuwenden? Wie können wir Ihnen hierbei behilflich sein? _____________________________________________________________________ _____________________________________________________________________ 5) Sonstige Erwartungen/Anregungen: _____________________________________________________________________ _____________________________________________________________________ Vielen Dank für Ihre Mitarbeit! Quelle: in Anlehnung an Nentzel, B., a.a.O., S. 222.

Anhang 89

Anlage 7: Stimmungsbarometer Seminar/Training: ______________________________ Liebe/r Seminarteilnehmer/in! Bei jedem Seminar bzw. Training möchten wir Erfahrungen für die weitere Gestaltung der Veranstaltung sammeln. Helfen Sie uns bitte durch Ihre Stellungnahme, das derzeitige Seminar- und Arbeitsklima zu beurteilen. Ihre Rückmeldung ist für uns und den weiteren Verlauf der Veranstaltung besonders wichtig! Vielen Dank! Kreuzen Sie bitte auf der folgenden Skala an, ob Sie mehr der linken oder der rechten Merkmalsausprägung zustimmen! Seminarinhalte sind zu schwierig ڤڤٱڤٱڤ Seminarinhalte sind zu leicht zu viel Stoff ڤڤٱڤٱڤ zu wenig Stoff zu viele praktische Übungen ڤڤٱڤٱڤ zu wenige praktische Übungen zu viel Diskussion ڤڤڤٱڤٱ zu wenig Diskussion zu viele Zusammenfassungen ڤڤٱڤٱڤ zu wenige Zusammenfassungen Seminar zu straff gelenkt ڤڤٱڤٱڤ Seminar zu locker gelenkt zu kurze Pausen ڤڤٱڤٱڤ zu lange Pausen gute Darbietung ڤڤٱڤٱڤ schlechte Darbietung gut organisiert ڤڤٱڤٱڤ schlecht organisiert entspannte Atmosphäre ڤڤٱڤٱڤ schlechte Atmosphäre offene Informationsweitergabe ڤڤٱڤٱڤ verschlossenes Agieren konstruktive Gruppenarbeiten ڤڤٱڤٱڤ ergebnisschwache Gruppenarbeiten freundliche Teilnehmer ڤڤٱڤٱڤ unfreundliche Teilnehmer

Anhang 90

Seminar insgesamt nutzbringend ڤڤٱڤٱڤ Seminar nicht nutzbringend Seminar regt an ڤڤٱڤٱڤ Seminar ist langweilig guter Eindruck vom Trainer ڤڤٱڤٱڤ schlechter Eindruck vom Trainer guter Eindruck vom Veranstalter ڤڤٱڤٱڤ schlechter Eindruck vom Veranstalter für die Praxis brauchbar ڤڤٱڤٱڤ für die Praxis unbrauchbar Quelle: Lang, K., a.a.O., S. 85 f.

Anhang 91

Anlage 8: Übungen zur Ermittlung des Zufriedenheitserfolgs Name der Übung: „Blitzlicht – Nichts anbrennen lassen“ Art der Übung: Verbale Gruppenaktivität Dauer: 5 bis 10 Minuten (ohne Auswertung) Ziel: Ein kurzes Feedback geben zu Stimmungen, Gefühlen oder

Meinungen zum Thema Inhalt: Jeder Teilnehmer erhält ein Streichholz und zündet es der Reihe

nach an. Solange das Streichholz brennt, kann diejenige Person verbal z. B. ein derzeitiges Stimmungsbild abgeben oder ihre Meinung zu einem bestimmten Thema in Kürze darlegen (als Einstieg in eine längere Diskussion). Unterbrechungen seitens des Trainers oder anderer Teilnehmer sind nicht erlaubt. Wer vor dem Abbrennen des Streichholzes fertig ist, bläst es aus. Jeweils der Nächste hält sicherheitshalber ein Gefäß (Tasse, Becher...) mit Wasser für seinen Vorredner in der Hand, in das die redende Person das Streichholz werfen kann.

Variation: Verschieden lange Streichhölzer ermöglichen unterschiedlich lange Sprechzeiten.

Quelle: in Anlehnung an Kisters, W.: Blitzlicht – Nichts anbrennen lassen, in: Rachow, A. (Hrsg.):

Spielbar II, Bonn 2002, S. 197. Name der Übung: „Auswertungszielscheibe“ Art der Übung: Einzelwertung mit Klebepunkten Dauer: 10 Minuten (ohne Auswertung) Ziel: Bewertung durch die Teilnehmer Inhalt: Der Spielleiter malt eine große Zielscheibe auf einen Papierbogen.

Der äußere Ring enthält z. B. 10 Punkte, der innerste 100. Die Scheibe wird jetzt noch in Sektoren aufgeteilt, so dass mehrere Teilstücke entstehen. In diese können Begriffe wie Trainer-verhalten, Zusammenarbeit in der Gruppe, Stimmung, Lernerfolg etc. hineingeschrieben werden. Jeder Spieler kann mit seinen Klebepunkten nun seine Bewertung zu den jeweiligen Bereichen auf die Scheibe kleben und diese so zum Ausdruck bringen.

Anmerkung: Die Punktbewertung kann auch anonym vollzogen werden. Quelle: in Anlehnung an Baer, U.: 666 Spiele. Für jede Gruppe, für alle Situationen, 9. Aufl.,

Seelze 1999, S. 50.

Anhang 92

Anlage 9: Schriftliches Feedback Titel der Maßnahme: Ihre Rückmeldung ist uns ein besonderes Anliegen. Je detaillierter Sie uns Ihre Rückmeldung geben, desto besser sind wir in der Lage, das Seminar bzw. Training weiterzuentwickeln und zu verbessern. Vielen Dank! Kreuzen Sie bitte auf der folgenden Skala an, inwieweit Sie diesen Aussagen zustimmen (von 1 = hohe Zustimmung bis 5 = niedrige Zustimmung)! 1 2 3 4 5 A. Gesamtbeurteilung ڤ ٱ ڤ ٱ ڤ 1. Die Dauer des Seminars war bezogen auf die vermittelten Inhalte zu kurz ڤ genau richtig ٱ zu lang ڤ 2. Die Seminarziele und –inhalte haben meine Erwartungen erfüllt. ڤ ٱ ڤ ٱ ڤ 3. Mein Gesamteindruck vom Seminar ist positiv und zufriedenstellend. ڤ ٱ ڤ ٱ ڤ 4. Ich würde das Seminar meinen Kollegen weiterempfehlen. ڤ ٱ ڤ ٱ ڤ B. Methoden und Medien (Methoden = z. B. Gruppenarbeiten, Rollenspiele, Präsentationen, Videotraining; Medien = z. B. Unterlagen, Folien, Skripten) 5. Der Methodeneinsatz war zielführend und auf die Inhalte abgestimmt. ڤ ٱ ڤ ٱ ڤ 6. Die Unterlagen sind gut aufbereitet und am Arbeitsplatz verwendbar. ڤ ٱ ڤ ٱ ڤ 7. Ich bin insgesamt zufrieden mit den eingesetzten Medien. ڤ ٱ ڤ ٱ ڤ 8. Ich bin insgesamt zufrieden mit den eingesetzten Methoden. ڤ ٱ ڤ ٱ ڤ C. Seminarinhalte 9. Ich wurde im Vorfeld ausreichend über Ziele und Inhalte informiert. ڤ ٱ ڤ ٱ ڤ 10. Die angekündigten Inhalte wurden behandelt. ڤ ٱ ڤ ٱ ڤ

Anhang 93

1 2 3 4 5 11. Die Inhalte waren für mich leicht verständlich. ڤ ٱ ڤ ٱ ڤ 12. Die Inhalte waren auf meine Bedürfnisse ausgerichtet. ڤ ٱ ڤ ٱ ڤ 13. Die Seminarinhalte wurden umfassend vermittelt. ڤ ٱ ڤ ٱ ڤ 14. Die Inhalte und erworbenen Kenntnisse sind in der Praxis ڤ ٱ ڤ ٱ ڤ umzusetzen. 15. Es wurde stets eine Verbindung zur Praxis hergestellt. ڤ ٱ ڤ ٱ ڤ 16. Mir wurden Tipps und Hilfestellungen gegeben, um den ڤ ٱ ڤ ٱ ڤ späteren Praxistransfer zu erleichtern. 17. Ich bin insgesamt zufrieden mit den behandelten Inhalten. ڤ ٱ ڤ ٱ ڤ D. Seminaratmosphäre 18. Die Atmosphäre in der Arbeitsgruppe war angenehm und ڤ ٱ ڤ ٱ ڤ motivierend. 19. Die Teilnehmer hatten in etwa die selben Vorkenntnisse. ڤ ٱ ڤ ٱ ڤ 20. Die Zusammensetzung der Teilnehmer hat den Lernerfolg ڤ ٱ ڤ ٱ ڤ gefördert. E. Referent 21. Der Referent war fachlich kompetent. ڤ ٱ ڤ ٱ ڤ 22. Der Referent ging ausreichend auf Fragen der ڤ ٱ ڤ ٱ ڤ Teilnehmer ein. 23. Der Referent strukturierte die Themen übersichtlich. ڤ ٱ ڤ ٱ ڤ 24. Der Referent illustrierte die Inhalte durch anschauliche ڤ ٱ ڤ ٱ ڤ Beispiele. 25. Der Referent gestaltete den Ablauf abwechslungsreich ڤ ٱ ڤ ٱ ڤ und förderte die aktive Mitarbeit. 26. Der Referent zeigte einen sicheren Umgang mit den ڤ ٱ ڤ ٱ ڤ eingesetzten Medien.

Anhang 94

1 2 3 4 5 27. Ich bin insgesamt zufrieden mit dem Referenten. ڤ ٱ ڤ ٱ ڤ F. Rahmenbedingungen 28. Ich bin zufrieden mit der Organisation (Einladung, Information etc.). ڤ ٱ ڤ ٱ ڤ 29. Ich bin zufrieden mit dem Service des Hotels. ڤ ٱ ڤ ٱ ڤ 30. Ich bin zufrieden mit der Verpflegung. ڤ ٱ ڤ ٱ ڤ 31. Ich bin zufrieden mit der Unterkunft. ڤ ٱ ڤ ٱ ڤ 32. Ich bin zufrieden mit der Ausstattung des Seminarraums. ڤ ٱ ڤ ٱ ڤ G. Besonders gut gefallen hat mir: ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ H. Folgendes hätte besser sein können: ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ Vielen Dank! Quelle: in Anlehnung an Lang, K., a.a.O., S. 89 f.

Anhang 95

Anlage 10: Fragebogen zur Bewertung des Referenten Um ständig unsere Qualität zu verbessern, brauchen wir auch Beurteilungen für unsere Referenten. Daher ist uns eine ehrliche Meinung wichtig. Name des/der Fach/Thema:__________________________ Referenten/Referentin: ______________________________ Datum: _______________ 1. Was hat Ihnen besonders gefallen? ____________________________________________________________________ ____________________________________________________________________ 2. Haben Sie Verbesserungsvorschläge? ____________________________________________________________________ ____________________________________________________________________ 3. Der/die Referent/Referentin informierte über Ziele und Inhalte der Veranstaltung. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 4. Der Inhalt wurde verständlich vermittelt. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 5. Der/die Referent/Referentin stellte den Inhalt interessant dar. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 6. Der Lernstoff war gut zu bewältigen. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 7. Der/die Referent/Referentin setzte Medien angemessen und wirkungsvoll ein. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 8. Der/die Referent/Referentin war fachlich kompetent. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 9. Es war eine gute Verknüpfung zwischen den behandelten Themen und der Praxis vorhanden. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 10. Der/die Referent/Referentin sorgte für ein gutes Klima. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 11. Auf Fragen, Einwände und Diskussionsbeiträge wurde angemessen eingegangen. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 12. Die Absprachen und Regeln wurden eingehalten. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu

Anhang 96

13. Der/die Referent/Referentin war fachlich gut vorbereitet. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu 14. Die ausgehändigten Unterlagen waren gut. Trifft voll zu o1 o2 o3 o4 Trifft gar nicht zu Quelle: BBQ Berufliche Bildung gGmbH: Fragebogen zur Bewertung des Referenten, Stuttgart 2005.

Anhang 97

Anlage 11: Fragebogen zur Bewertung durch den Referenten Ihre Meinung ist uns wichtig, ...denn wir wollen uns ständig verbessern! Ihre Antworten sollen helfen, Seminare und Veranstaltungen zu Ihrer Zufriedenheit zu gestalten. Schließlich wissen Sie am besten, was für Sie erforderlich und wichtig ist, was Ihnen gefällt, was wir ändern sollten oder was Sie vielleicht vermissen. Für Ihre Hinweise sind wir dankbar. Dadurch gelingt es uns, Probleme frühzeitig zu erkennen, Referenten/Dozenten qualifizierter zu unterstützen. Schon viele gute Ideen konnten so in die Tat umgesetzt werden. Bitte bewerten Sie Seminar, Seminargruppe und Rahmenbedingungen. Selbstverständlich werden Ihre Angaben anonym ausgewertet. Ein Rückschluss von Ihren Antworten auf Ihre Person ist nicht möglich. Zur Gesamtzufriedenheit ____________________________________________________________________ Insgesamt zufrieden war ich mit... voll- überhaupt kommen nicht den Seminarinhalten 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ den Seminarunterlagen 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ der Seminargruppe 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ den Rahmenbedingungen 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ ____________________________________________________________________

zu den Einzelaspekten bitte umblättern

Anhang 98

Zu den Seminarinhalten Die Seminarinhalte... trifft voll- trifft überhaupt

kommen zu nicht zu waren hinsichtlich des Schwierig- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ keitsgrads zu meistern lassen sich sinnvoll in die Arbeits- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ praxis der Teilnehmer einbinden Zu den Unterlagen Die begleitenden Unterlagen... trifft voll- trifft überhaupt

kommen zu nicht zu sind verständlich aufbereitet 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ sind geeignet, die Inhalte nach- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ zuarbeiten zu kurz genau richtig zu lang sind vom Umfang ڤ ڤ ڤ Zu den Teilnehmern Die Teilnehmergruppe... trifft voll- trifft überhaupt

kommen zu nicht zu war inhaltlich auf das Seminar 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ vorbereitet beteiligte sich aktiv am Seminar/ 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ an der Veranstaltung hat den Lernerfolg gefördert 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ Zu den Rahmenbedingungen Meine Referententätigkeit wird trifft voll- trifft überhaupt unterstützt... kommen zu nicht zu durch die Betreuung am Seminar-/ 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ Veranstaltungsort durch die Ausstattung der Seminar- 6ڤ 5ڤ 4ڤ 3ڤ 2ڤ 1ڤ räume Meine weiteren Eindrücke: ____________________________________________________________________ ____________________________________________________________________ Vielen Dank für Ihre Unterstützung! Quelle: Bundesagentur für Arbeit: Entwurf eines Bogens zur Bewertung durch den Referenten,

Nürnberg 2005

Anhang 99

Anlage 12: Übungen zur Lernerfolgsevaluation Name der Übung: „Was habe ich gelernt?“ Art der Übung: Verbale Einzel- und Gruppenaktivität Dauer: 1 Stunde Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Alle Teilnehmer beantworten schriftlich die Frage: „Wie schätze ich

meinen Lernerfolg ein – privat und beruflich?“ Die Papiere werden eingesammelt und anonym vorgelesen, wobei

die Teilnehmer vermuten können, von wem die Aussage stammt. Quelle: Weber, H.; Röschmann, D.: Arbeitskatalog der Übungen und Spiele, hrsg. von: Jung, P., 5. Aufl.,

Hamburg 1996, S. 794. Name der Übung: „Ich habe gelernt...“ Art der Übung: Verbale Gruppenaktivität Dauer: 30 bis 60 Minuten Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Jeweils ein Teilnehmer setzt sich in die Mitte des Kreises und stellt

dort 1 Min. lang dar, was er in dieser Sitzung gelernt hat. Daran anschließend sagen die anderen Teilnehmer, welche

Lernerfolge sie an ihm festgestellt haben. Quelle: Weber, H.; Röschmann, D., a.a.O., S. 795. Name der Übung: „Masken“ Art der Übung: Verbale Paaraktivität Dauer: 15 Minuten Ziel: Schlussphase: Beurteilung des Lernerfolgs Inhalt: Die Teilnehmer geben einander in Paaren Feedback darüber,

welche Verhaltensänderungen sie im Laufe der Sitzungen aneinander festgestellt haben.

Quelle: Weber, H.; Röschmann, D., a.a.O., S. 796.

Anhang 100

Anlage 13: Übungen zur Transfersicherung Name der Übung: „Mini-Coach“ Art der Übung: Partnerübung Dauer: 15 bis 20 Minuten Ziele: Erhöhung der Verbindlichkeit für die Umsetzung; gegenseitige Unterstützung Inhalt: Gegen Ende des Seminars werden 2er-Gruppen gebildet. Aufgabe

ist, dem Partner zu beschreiben, welches Teilziel man sich als erstes zum Umsetzen vorgenommen hat. Der Partner soll präzise nachfragen, damit das Ziel möglichst konkret und umsetzbar wird. Dann werden die Rollen getauscht. Anschließend vereinbaren die Partner einen wöchentlichen Telefontermin, an dem sie sich über die Umsetzung des Teilziels und später über neue Teilziele in gleicher Weise unterhalten wollen.

Quelle: in Anlehnung an Biel, M.: Mini-Coach, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 201. Name der Übung: „Hoher Gerichtshof“ Art der Übung: Verbale Gruppenaktivität Dauer: 1 Stunde Ziel: Schlussphase: Transferübung Inhalt: Ein Teilnehmer wählt sich aus der Gruppe drei Richter. Diesen

trägt er seine Verhaltensänderungswünsche vor und sie machen wiederum in einer öffentlichen Beratung Vorschläge, auf welche Weise der Teilnehmer sein Verhalten außerhalb der Gruppe ändern könnte.

Quelle: in Anlehnung an Weber, H.; Röschmann, D., a.a.O., S. 799. Name der Übung: „Brief an mich selbst“ Art der Übung: Schriftliche Individualübung Dauer: 15 Minuten Ziel: Überprüfung des bis zum Zeitpunkt der Zustellung des Briefes

Erreichten Inhalt: Zum Ende des Seminars erhalten alle Teilnehmer Briefpapier und

einen frankierten Briefumschlag (evtl. schönes Papier zur Auswahl anbieten), mit der Bitte, einen Brief an sich selbst zu schreiben in Bezug auf das Gehörte, Erlebte, Gelernte, die Zielerreichung, noch vorhandene Defizite, den Handlungsbedarf oder die Erfolge im Seminar. Der Bogen wird in den Umschlag gesteckt, der Umschlag verschlossen. Je nach Thema bzw. Strategie wird der Umschlag am Seminarende oder ein paar Wochen nach dem Seminar dem Teilnehmer zugeschickt.

Quelle: in Anlehnung an Pelzer, A.: Brief an mich selbst, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000,

S. 185.

Anhang 101

Anlage 14: Transfervereinbarung Seminar/Training: __________________________ Name: ____________________ Welche Seminar- bzw. Trainingsinhalte waren für mich am wichtigsten? _____________________________________________________________________ _____________________________________________________________________ Was werde ich aus dem Gelernten an meinem Arbeitsplatz anwenden und bis wann? _____________________________________________________________________ _____________________________________________________________________ Von wem kann ich bei der Umsetzung unterstützt werden und in welcher Form? Welche zusätzlichen Hilfsmittel benötige ich? _____________________________________________________________________ _____________________________________________________________________ Welche Seminarinhalte kann ich an meine Kollegen bzw. an meinen Vorgesetzten weitergeben und in welcher Form (z. B. Kurzreferat, on the job)? _____________________________________________________________________ _____________________________________________________________________ Was ist der erste Schritt, den ich zur Realisierung und Umsetzung des Gelernten setzen muss? _____________________________________________________________________ _____________________________________________________________________ Bis wann habe ich diesen ersten Schritt gesetzt? (Datum) _______________________ Bis wann habe ich mit meinem Vorgesetzten und/oder Bildungsbeauftragten darüber gesprochen? (Datum) _______________________ Alles Gute und viel Erfolg bei der Umsetzung! Quelle: Lang, K., a.a.O., S. 92 f.

Anhang 102

Anlage 15: Der Vertrag mit sich selbst – eine Checkliste 1. Ziele, die ich erreichen will? 2. Das will ich anfassen: 3. Ab wann? 4. Das Anwendungsprojekt soll bis ________ abgeschlossen sein. 5. Wer kann mir dabei helfen? Wen muss ich ansprechen? 6. Wer oder was kann mich hindern, das zu tun, was ich will? 7. Wie will ich die hindernden Kräfte reduzieren? 8. Wer soll mir sagen, welche Fortschritte ich mache? Wer soll mich erinnern, wenn ich es nicht mache? 9. Womit will ich mich bei Gelingen belohnen? 10. Ziele erreicht? 11. Belohnen! 12. Wenn Ziele nicht erreicht, warum nicht? 13. Weitere, neue Maßnahmen: 14. Wer kann mir dabei helfen? Wen muss ich ansprechen? 15. Sonstiges: Quelle: Kurtz, H.-J.: a.a.O., S. 187.

Anhang 103

Anlage 16: Fragebogen für Teilnehmer zum Transfererfolg 1. Wenn Sie den Zeitraum ab Seminarende bis heute betrachten, hatten Sie Gelegenheit, den Lerninhalt umzusetzen (anzuwenden)?

nein hatte ständig Gelegenheit dazu

└─────┴─────┴─────┴─────┘ 2. Wie hat Ihr Vorgesetzter reagiert, als Sie vom Lehrgang zurückkehrten? ablehnend fördernd

└─────┴─────┴─────┴─────┘ 3. Wie hat Ihr Vorgesetzter reagiert, als Sie zum ersten Mal versucht haben, den Lerninhalt umzusetzen (anzuwenden)?

ablehnend ermutigend └─────┴─────┴─────┴─────┘

4. Hat Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützt?

ja, sehr nein, gar nicht └─────┴─────┴─────┴─────┘

5. Hatten Sie Gelegenheit, die Erfahrungen, die Sie bei der Anwendung (Umsetzung) der Lerninhalte am Arbeitsplatz gemacht haben, in Gesprächsrunden mit anderen Teilnehmern des Seminars auszutauschen und Anregungen von weiteren Teilnehmern aufzunehmen?

nein, keine Möglichkeit ja, sehr häufig └─────┴─────┴─────┴─────┘

Wenn ja, wie viel Zeit stand Ihnen hierfür zur Verfügung? ca. ________ Std.

6. Wie hat Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützt?

trifft vollständig zu trifft überhaupt nicht zu

Durch Zuraten, auch bei Fehlschlägen └───┴───┴───┴───┘

Anhang 104

trifft vollständig zu trifft überhaupt nicht zu

Hat durch Loben gezeigt, dass ich └───┴───┴───┴───┘ erfolgreich bin Regelmäßige Gesprächsrunden mit └───┴───┴───┴───┘ dem Vorgesetzten Hat mir zur Anwendung spezielle └───┴───┴───┴───┘ Aufgaben aufgetragen Wir entwickelten einen Maßnahmenplan └───┴───┴───┴───┘ und legten in Stufen Ziele fest Der Vorgesetzte gab mir regelmäßig └───┴───┴───┴───┘ Feedback über meine Anwendungen 7. Wie sollte Ihr Vorgesetzter Sie bei der Umsetzung des Lerninhalts unterstützen?

trifft vollständig zu trifft überhaupt nicht zu

Durch Zuraten, auch bei Fehlschlägen └───┴───┴───┴───┘ Durch Loben, wenn ich erfolgreich bin └───┴───┴───┴───┘ Regelmäßige Gesprächsrunden mit └───┴───┴───┴───┘ dem Vorgesetzten Spezielle Aufgaben zur Anwendung └───┴───┴───┴───┘ auftragen Maßnahmenplan entwickeln └───┴───┴───┴───┘ und in Stufen Ziele festlegen Durch regelmäßiges Feedback └───┴───┴───┴───┘ über meine Anwendungen 8. Wie viel Zeit hat Ihr Vorgesetzter für die Gespräche aufgewendet?

ca. __________ Std./Quartal

Anhang 105

9. Wenn Sie an die Umsetzung Ihres neuen Wissens denken, würden Sie die Möglichkeiten auf

nicht 1x 3x 5x regel- mäßig

Erfahrungsaustausch mit anderen └───┴───┴───┴───┘ Teilnehmern Vertiefung des Stoffes └───┴───┴───┴───┘ Aufarbeitung von Fragen der Praxis └───┴───┴───┴───┘ unter der Leitung des Trainers Sonstiges __________________________ └───┴───┴───┴───┘ begrüßen? 10. In welchem Zeitraum? Monate 2 4 6 8 10 └───┴───┴───┴───┘ 11. Woran stellen Sie fest, dass Sie Ihr neues Wissen anwenden? ____________________________________________________________________ ____________________________________________________________________ ____________________________________________________________________ 12. Inwieweit setzen Sie Ihr neues Wissen ein? sporadisch systematisch

└─────┴─────┴─────┴─────┘ nach Anfertigung eines Umsetzungsplans

strenge Planeinhaltung keine Planeinhaltung └─────┴─────┴─────┴─────┘

nach Umsetzungsort innerbetrieblich außerbetrieblich

└─────┴─────┴─────┴─────┘

Anhang 106

13. Erwarten Sie, dass der Vorgesetzte Sie bei der Umsetzung unterstützt? ja gelegentlich nein

└─────┴─────┴─────┴─────┘ 14. Wie ist Ihr Gesamteindruck über die Nachbereitung des Trainings? sehr gut zufriedenstellend miserabel

└─────┴─────┴─────┴─────┘ 15. Wie viel können Sie umsetzen? nichts alles

└───┴───┴───┴───┴───┴───┴───┴───┘ Vielen Dank für Ihre Mithilfe! Quelle: in Anlehnung an Frankenreiter, J., a.a.O., S. 289 f.

Anhang 107

Anlage 17: Fragebogen zur Bewertung eines WBT durch die Teilnehmer 1. Fragen zum Inhalt des Lernprogramms 1.1 Die Inhalte des WBT-Kurses fand ich

zu ausführlich ڤ gerade richtig ڤ zu knapp ڤ 1.2 An den Inhalten hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 1.3 Waren die Inhalte verständlich aufbereitet?

nein ڤ ja ڤ 1.4 Mir fehlte oft der Bezug zur Praxis

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

1.5 Die Behandlung des Lernstoffs war eher zu oberflächlich ڤ

gerade richtig ڤ zu detailliert ڤ

1.6 Glauben Sie, dass Sie die angebotenen Lerninhalte für Ihre tägliche Arbeit gebrauchen können?

nein ڤ ja ڤ 1.7 Wenn Sie die angebotenen Lerninhalte nicht gebrauchen können: Warum nicht? ___________________________________________________________ ___________________________________________________________

Anhang 108

2. Aufbau des Lernprogramms 2.1 Die Einführung in das Lernprogramm gab mir entscheidende Hinweise zum Aufbau des Programms

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

2.2 Die Programmbedienung des Lernprogramms finde ich technisch eher

schwierig ڤ einfach ڤ 2.3 Womit hatten Sie bei der Bedienung Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.4 Mit der E-Mail-Funktion bin ich gut zurechtgekommen

nein ڤ ja ڤ 2.5 Wo gab es Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.6 Gab es Probleme mit interaktiven Übungsaufgaben? nein ڤ ja ڤ 2.7 Wenn ja, wo liegen die Schwierigkeiten? ___________________________________________________________ ___________________________________________________________ 2.8 Ich konnte mich im Lernprogramm gut orientieren

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

Anhang 109

2.9 An der Struktur (Gliederung) hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 2.10 Die Grafiken veranschaulichten sehr gut das im Text Gesagte

nein ڤ ja ڤ 2.11 Der Text auf den Seiten war zu lang und schwer lesbar

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

3. Die Kommunikation im Lernprogramm 3.1 Der Kontakt mit den Teledozenten war sehr gut

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

3.2 Am Kontakt mit dem Teledozenten hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 3.3 Der Kontakt mit anderen Teilnehmern im Chatroom des Lernprogramms war sehr intensiv

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

3.4 Falls kein oder nur wenig Kontakt vorhanden war: Warum? ___________________________________________________________ ___________________________________________________________

Anhang 110

3.5 Welche Vorteile/Nachteile hat der Kontakt über E-Mail? ___________________________________________________________ ___________________________________________________________ 3.6 Welche Vorteile/Nachteile hat der Kontakt über Newsgroups? ___________________________________________________________ ___________________________________________________________ 3.7 Welche Vorteile/Nachteile hat der Chat-Kontakt? ___________________________________________________________ ___________________________________________________________ 3.8 Welche Vorteile/Nachteile hat das Application-Sharing? ___________________________________________________________ ___________________________________________________________ 3.9 Welche Vorteile/Nachteile haben Video-Konferenzen? ___________________________________________________________ ___________________________________________________________ 4. Ihre Vorgehensweise beim Lernen 4.1 Ich habe folgenden Lernweg eingeschlagen:

individuelle Vorgehensweise ڤ nach der Reihenfolge der Kapitel ڤ nach Anweisung des Dozenten ڤ :sonstiges ڤ _______________________________________________________________

4.2 Ich habe von der Freiheit Gebrauch gemacht, mir meinen eigenen Lernweg zu suchen

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

Anhang 111

4.3 Ich war oft überfordert und wusste nicht, wo es weiter geht

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

4.4 Das individuelle Lernen war für mich eine positive Erfahrung

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

4.5 Ich habe die einzelnen Module eher

unsystematisch bearbeitet ڤ systematisch ڤ 5. Lernkontrolle 5.1 Die Übungsaufgaben haben mir geholfen, meine Lernfortschritte zu beurteilen

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

5.2 Die Übungsaufgaben waren eher

trivial ڤ zu leicht ڤ zu schwer ڤ unlösbar ڤ

5.3 Gab es Schwierigkeiten bei der Lösung der Übungsaufgaben?

nein ڤ ja ڤ

Anhang 112

5.4 Falls ja, welche: ____________________________________________________________________ ____________________________________________________________________ 5.5 Die Lernempfehlungen des Dozenten brachten mich nicht weiter

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ überhaupt nicht zutreffend ڤ

5.6 Die Praxisbeispiele waren sehr anschaulich

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ

überhaupt nicht zutreffend ڤ 5.7 Beinhaltete das Lernprogramm eine Lern-Statistik?

nein ڤ ja ڤ 5.8 In meine individuelle Lern-Statistik habe ich

noch nie hineingesehen ڤ selten hineingesehen ڤ

oft hineingesehen ڤ 5.9 Falls Sie Ihre Lern-Statistik nicht genutzt haben: Bitten nennen Sie die Gründe: ___________________________________________________________ ___________________________________________________________ 5.10 Welche Informationen in der Lern-Statistik fanden Sie überflüssig? ___________________________________________________________ ___________________________________________________________

Anhang 113

5.11 Ordnen Sie die folgenden Lernhilfe-Werkzeuge nach ihrer Wichtigkeit! (Verwenden Sie die Ziffern 1 bis 6. 1 = sehr wichtig, 6 = am wenigsten wichtig)

______ Lern-Statistik ______ Dozentenrat ______ Praxisbeispiel ______ Informationen aus dem WWW ______ Austausch mit anderen Teilnehmern

5.12 Welche Schwierigkeiten und Probleme sind aufgetreten? ___________________________________________________________ ___________________________________________________________ 6. Lernort und Lernzeit 6.1 Mein Lernort ist

mein Arbeitsplatz in der Firma ڤ ein Rechner, den ich eigens zum Lernen aufsuchen muss ڤ zu Hause ڤ in der Firma und daheim ڤ

6.2 Falls Sie zu Hause und im Betrieb lernen: Wo finden Sie Ihrer Meinung nach die besseren Lernbedingungen vor?

im Betrieb ڤ zu Hause ڤ 6.3 Warum? ___________________________________________________________ ___________________________________________________________ 6.4 Mit dem Lernort bin ich

nicht zufrieden ڤ zufrieden ڤ 6.5 Falls nicht zufrieden: Was könnte verbessert werden? ___________________________________________________________ ___________________________________________________________

Anhang 114

6.6 Welche Störungen hindern Sie am Lernen? ___________________________________________________________ ___________________________________________________________ 6.7 Wie müsste der Arbeitsplatz gestaltet werden, um optimale Lernbedingungen zu erreichen? ___________________________________________________________ ___________________________________________________________ 6.8 Ich lerne mit dem Programm vornehmlich

während der Arbeitszeit (zu festen Zeiten) ڤ während der Arbeitszeit (bei geringem Arbeitsanfall) ڤ nach der Arbeitszeit ڤ in der Pause ڤ

6.9 Ich lerne

unregelmäßig ڤ regelmäßig ڤ 6.10 Falls Sie regelmäßig lernen, lernen Sie immer

zu bestimmten Zeiten ڤ zu unterschiedlichen Zeiten ڤ

6.11 Wenn Sie regelmäßig gelernt haben, wie lange am Tag? ungefähr ___________ 6.12 Wie lange sollte der Kurs Ihrer Ansicht nach dauern? ___________________

Anhang 115

7. Organisation durch den Bildungsanbieter 7.1 Wie funktionierte die Organisation durch den Bildungsanbieter?

sehr gut ڤ gut ڤ befriedigend ڤ ausreichend ڤ schlecht ڤ

7.2 An der Organisation hat mich folgendes gestört: ___________________________________________________________ ___________________________________________________________ 7.3 Verbesserungsvorschläge: ___________________________________________________________ ___________________________________________________________ 8. Lernergebnis 8.1 Der Kurs war für mich ein Erfolg

voll zutreffend ڤ eher zutreffend ڤ weiß nicht ڤ eher nicht zutreffend ڤ

überhaupt nicht zutreffend ڤ 8.2 Falls nicht zutreffend, welche Erwartungen an den Kurs blieben unerfüllt? ___________________________________________________________ ___________________________________________________________ 8.3 Bei der neuen Lernform des Telelernens ist mir am wichtigsten: (Verwenden Sie die Ziffern 1 bis 6. 1 = sehr wichtig, 6 = am wenigsten wichtig)

______ ein ruhiger Lernort ______ individuelles Lerntempo ______ direkter Kontakt zum Dozenten ______ Austausch mit anderen Teilnehmern ______ selbstgesteuertes Vorgehen beim Lernen

Anhang 116

8.4 Welchen Rat würden Sie jemandem geben, der mit dem Lernprogramm beginnt? ___________________________________________________________ ___________________________________________________________ 8.5 Ich war zufrieden mit der Lernform und würde sie noch einmal wählen

ja, weil ڤ___________________________________________________________ ___________________________________________________________ nein, weil ڤ ___________________________________________________________ ___________________________________________________________ 8.6 Mir hat gefehlt: ___________________________________________________________ ___________________________________________________________ 8.7 Besonders gefallen hat mir: ___________________________________________________________ ___________________________________________________________ Quelle: Severing, E.; Keller, C.; Reglin, T.; Spies, J., a.a.O., S. 147-155.

Anhang 117

Lernerfolg

Anlage 18: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung

Entscheidung interne/externe Qualifizierung Evaluation interne externe im Vorfeld der Maß- nahmen- realisierung Evaluation in der Durch- führungs- phase Evaluation nach Beendigung der Maßnahme

Quelle: Der Verfasser

Evaluationsprozess

Auswahl des Trainers

Auswahl des Anbieters

Auswahl des Trainers

Ermittlung der Eingangsvoraus-

setzungen der Teilnehmer

Formative Evaluation

Summative Evaluation

Zufriedenheits-erfolg Lernerfolg

Zufriedenheits-erfolg

Transfererfolg Organisations-erfolg

Anhang 118

Lernerfolg

Anlage 19: Ablaufdiagramm zur Evaluation der betrieblichen Weiterbildung mit potenziellen Wirkungszusammenhängen zwischen den Erfolgsgrößen des Evaluierungsprozesses

Entscheidung interne/externe Qualifizierung Evaluation interne externe im Vorfeld der Maß- nahmen- realisierung Evaluation in der Durch- führungs- phase Evaluation nach Beendigung Legende: Darstellung der potenziellen Wirkungs- der Maßnahme zusammenhänge zwischen den Erfolgsgrößen

Quelle: Der Verfasser

Evaluationsprozess

Auswahl des Trainers

Auswahl des Anbieters

Auswahl des Trainers

Ermittlung der Eingangsvoraus-

setzungen der Teilnehmer

Formative Evaluation

Summative Evaluation

Zufriedenheits-erfolg Lernerfolg

Zufriedenheits-erfolg

Transfererfolg Organisations-erfolg

Anhang 119

Anlage 20: Mehrdimensionalität der Evaluation

Quelle: Der Verfasser

Literatur- und Quellenverzeichnis 120

Literatur- und Quellenverzeichnis Einzelwerke: Arnold, R.:

Betriebliche Weiterbildung. Selbstorganisation – Unternehmenskultur – Schlüsselqualifikationen, 2. Aufl., Baltmannsweiler 1995

Baer, U.:

666 Spiele. Für jede Gruppe, für alle Situationen, 9. Aufl., Seelze 1999 Becker, M.:

Aufgaben und Organisation der betrieblichen Weiterbildung, 2. Aufl., München, Wien 1999

Berthel, J.; Becker, F. G.:

Personal-Management. Grundzüge für Konzeptionen betrieblicher Personalarbeit, 7. Aufl., Stuttgart 2003

Beywl, W.; Geiter, C.:

Evaluation – Controlling – Qualitätsmanagement in der betrieblichen Weiterbildung. Kommentierte Auswahlbibliographie, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996

Bortz, J.; Döring, N.:

Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler, 3. Aufl., Berlin, Heidelberg, New York, Barcelona, Hongkong, London, Mailand, Paris, Tokio 2002

Fackiner, C.:

Konzepte für die Integration von Computer Based Training (CBT) in die betriebliche Weiterbildung am Beispiel Banken. Zielsetzung und Kriterien für den Einsatz computerunterstützter Lernprogramme in der Mitarbeiterschulung, Stuttgart, Marburg, Erfurt 1995

Faulstich, P.:

Strategien der betrieblichen Weiterbildung. Kompetenz und Organisation, München 1998

Freund, F.; Knoblauch, R.; Eisele, D.:

Praxisorientierte Personalwirtschaftslehre, 6. Aufl., Stuttgart 2003

Literatur- und Quellenverzeichnis 121

Gerlich, P.:

Controlling von Bildung, Evaluation oder Bildungs-Controlling? Überblick, Anwendung und Implikationen einer Aufwand-Nutzen-Betrachtung von Bildung unter besonderer Berücksichtigung wirtschafts- und sozialpsychologischer Aspekte am Beispiel akademischer Nachwuchskräfte in Banken, München, Mering 1999

Götz, K.:

Zur Evaluierung beruflicher Weiterbildung. Eine theoretische und empirische Studie zur Wirksamkeit beruflicher Weiterbildung, Weinheim 1993

Gutmann, J., Klose, I.:

Personalentwicklung. Wie Sie Ihre Mitarbeiter fit machen, Planegg 2005 Häring, K.:

Evaluation der Weiterbildung von Führungskräften. Anspruch und Realität des Effektivitätscontrolling in deutschen Unternehmen, Wiesbaden 2003

Hummel, T. R.:

Erfolgreiches Bildungscontrolling. Praxis und Perspektiven, Heidelberg 1999 Kleber, E. W.:

Diagnostik in pädagogischen Handlungsfeldern. Einführung in Bewertung, Beurteilung, Diagnose und Evaluation, Weinheim, München 1992

Köhl, K.:

Seminar für Trainer. Das situative Lehrtraining, Trainer lernen lehren, Hamburg 1996

Körner, P.:

Betriebliche Weiterbildung als Teil der Personalentwicklung. Konzeption und exemplarische Entwicklung eines rechnergestützten Systems zum Weiterbildungsmanagement, Landau 1997

Kolb, M; Bergmann, G.:

Qualitätsmanagement im Personalbereich, Landsberg/Lech 1997 Lang, K.:

Bildungs-Controlling. Personalentwicklung effizient planen, steuern und kontrollieren, Wien 2000

Liepmann, D.; Felfe, J.; Resetka, H.-J.:

Bedarfsanalysen – Voraussetzung für Qualifizierung, hrsg. von: Bundesinstitut für Berufsbildung, Der Generalsekretär, Bielefeld 1996

Lung, M.:

Betriebliche Weiterbildung. Grundlagen und Gestaltung, Leonberg 1996

Literatur- und Quellenverzeichnis 122

Mentzel, W.:

Personalentwicklung. Erfolgreich motivieren, fördern und weiterbilden, 2. Aufl., München 2005

Mudra, P.:

Personalentwicklung. Integrative Gestaltung betrieblicher Lern- und Veränderungsprozesse, München 2004

Münch, J.:

Personalentwicklung als Mittel und Aufgabe moderner Unternehmensführung, Bielefeld 1995

Nentzel, B.:

Personalentwicklung. Ergebnisse des Projekts „Neue Instrumente für Innovationsprozesse zur Gestaltung von Arbeit und Technik in öffentlichen Büro- und Verwaltungsbereichen“, hrsg. von: Grimmer, K., Düsseldorf 1997

Oechsler, W. A.:

Personal und Arbeit. Grundlagen des Human Resource Management und der Arbeitgeber-Arbeitnehmer-Beziehungen, 7. Aufl., München, Wien 2000

Pawlowsky, P.; Bäumer, J.:

Betriebliche Weiterbildung. Management von Qualifikation und Wissen, München 1996

Pech, U.:

Bildungscontrolling. Deskription, Klassifikation, Identitäten und Disparitäten, Aachen 2001

Petersen, T.:

Handbuch zur beruflichen Weiterbildung. Leitfaden für das Weiterbildungs-management im Betrieb, Frankfurt, Berlin, Bern, Brüssel, New York, Wien 2000

Pieler, D.:

Weiterbildungscontrolling. Eine systemorientierte Perspektive, Wiesbaden 2000 Reischmann, J.:

Weiterbildungs-Evaluation. Lernerfolge messbar machen, Neuwied, Kriftel 2003 Saldern, M. von:

Befragung und Beobachtung im Betrieb, Hohengehren 1998 Scherer, D.:

Evaluation beruflicher Weiterbildung. Eine theoretisch-empirische Analyse auf der Datenbasis des sozio-ökonomischen Panels, Frankfurt, Berlin, Bern, New York, Paris, Wien 1996

Schnell, R.; Hill, P. B.; Esser, E.:

Methoden der empirischen Sozialforschung, 7. Aufl., München 2005

Literatur- und Quellenverzeichnis 123

Schöni, W.:

Praxishandbuch Personalentwicklung. Strategien, Konzepte und Instrumente, Chur, Zürich 2001

Scholz, C.: Personalmanagement. Informationsorientierte und verhaltenstheoretische

Grundlagen, 5. Aufl., München 2000 Severing, E.; Keller, C.; Reglin, T.; Spies, J.:

Betriebliche Bildung via Internet. Konzeption, Umsetzung und Bewertung. Eine Einführung für Praktiker, Bern, Göttingen, Toronto, Seattle 2001 Sonntag, K.:

Lernen im Unternehmen, München 1996 Staehle, W. H.:

Management. Eine verhaltenswissenschaftliche Perspektive, 8. Aufl., München 1999

Toelstede, B. G.; Gamber, P.:

Video-Training und Feedback, Weinheim, Basel 1993 Weber, H.; Röschmann, D.:

Arbeitskatalog der Übungen und Spiele, hrsg. von: Jung, P., 5. Aufl., Hamburg 1996

Weingärtner, M.:

Betriebliche Weiterbildung und Weiterbildungsberatung in mittelständischen Unternehmen, Bergisch Gladbach, Köln 1995

Beiträge aus Sammelwerken: Abicht, L.; Dubiel, G.:

E-Learning in der beruflichen Weiterbildung, in: Peters, S. (Hrsg.): Weiterbildung – Personalentwicklung – organisationales Lernen, München, Mering 2003, S. 155 bis 166

Bergmann, G.:

Bildungscontrolling – Transfer – Evaluation, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, 3. Aufl., Göttingen, Bern, Toronto, Seattle 2003, S. 267 bis 279

Biel, M.:

Mini-Coach, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 201

Literatur- und Quellenverzeichnis 124

Brehm, K.-H.; Oesterle, H.:

Qualitätsmanagement in der Weiterbildung der Siemens AG, in: Süddeutsche Zeitung (Hrsg.): Bildungscontrolling in der betrieblichen Personalentwicklung, München 1996, S. 25 bis 26

Bronner, R.; Hische, V.:

Zur Entwicklung eines Evaluations-Instrumentariums, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 47 bis 55

Dittler, U.:

Einführung – E-Learning in der betrieblichen Aus- und Weiterbildung, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 9 bis 22

Ebner, H. G.:

Das Problem des Anknüpfens an Vorerfahrungen in Veranstaltungen der Erwachsenenbildung, in: Müller, K. R. (Hrsg.): Kurs- und Seminargestaltung. Ein Handbuch für Mitarbeiter/-innen im Bereich von Training und Kursleitung, 5. Aufl., Weinheim, Basel 1994, S. 218 bis 227

Freimuth, J.; Hoets, A.:

Evaluationsmethoden, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 211 bis 222

Kailer, N.:

Controlling in der Weiterbildung, in: Münch, J. (Hrsg.): Ökonomie betrieblicher Bildungsarbeit. Qualität – Kosten – Evaluierung – Finanzierung, Berlin 1996, S. 233 bis 250

Kisters, W.:

Blitzlicht – Nichts anbrennen lassen, in: Rachow, A. (Hrsg.): Spielbar II, Bonn 2002, S. 197

Koch, S.; Walter, P.:

S-win – Wissen im Netz. Ein Erfahrungsbericht über E-Learning in der Sparkassen-Finanzgruppe, in: Backhaus, J. (Hrsg.): Aktuelle Handlungsfelder der Personalentwicklung, Stuttgart 2003, S. 142 bis 164

Kurtz, H.-J.:

Anwendungsverträge und Transfercontrolling, in: Greif, S.; Kurtz, H.-J. (Hrsg.): Handbuch selbstorganisiertes Lernen, Göttingen 1996, S. 185 bis 188

Mandl, H.; Winkler, K.:

E-Learning in der Weiterbildung, in: Hofmann, L. M.; Regnet, E. (Hrsg.): Innovative Weiterbildungskonzepte, Göttingen, Bern, Toronto, Seattle 2003, S. 229 bis 236

Literatur- und Quellenverzeichnis 125

Martens, J.-U.:

Empirische Erprobung „objektivierter Lehrsysteme“, in: Will, H.; Winteler, A.; Krapp, A. (Hrsg.): Evaluation in der beruflichen Aus- und Weiterbildung. Konzepte und Strategien, Heidelberg 1987, S. 89 bis 107

Michel, L. P.:

Wunsch und Wirklichkeit – E-Learning in KMU, in: Zinke, G.; Härtel, M. (Hrsg.): E-Learning. Qualität und Nutzerakzeptanz sichern. Beiträge zur Planung, Umsetzung und Evaluation multimedialer und netzgestützter Anwendungen, Bielefeld 2004, S. 105 bis 114

Pelzer, A.:

Brief an mich selbst, in: Rachow, A. (Hrsg.): Spielbar, Bonn 2000, S. 185 Reuther, U.; Frank, G.:

Lernerfolg und Transfer, in: Heeg, F. J.; Münch, J. (Hrsg.): Handbuch Personal- und Organisationsentwicklung, Stuttgart, Dresden 1993, S. 424 bis 436

Ruschel, A.:

Die Transferproblematik bei der Erfolgskontrolle betrieblicher Weiterbildung, in: Landsberg, G. von; Weiß, R. (Hrsg.): Bildungs-Controlling, 2. Aufl., Stuttgart 1995, S. 297 bis 322

Schweizer, K.-U.:

Live E-Learning – Dozentengeführte Seminare in Intranet und Internet, in: Dittler, U. (Hrsg.): E-Learning. Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien, 2. Aufl., München 2003, S. 221 bis 246

Tergan, S.-O.:

Grundlagen der Evaluation. Ein Überblick, in: Schenkel, P.; Tergan, S.-O.; Lottmann, A. (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand, Nürnberg 2000, S. 22 bis 51

Thierau-Brunner, H.; Stangel-Meseke, M.; Wottawa, H.:

Evaluation von Personalentwicklungsmaßnahmen, in: Sonntag, K. (Hrsg.): Personalentwicklung in Organisationen. Psychologische Grundlagen, Methoden und Strategien, 2. Aufl., Göttingen, Bern, Toronto, Seattle 1999, S. 261 bis 286

Wilkening, O. S.:

Bildungs-Controlling – Erfolgssteuerungssystem für Personalentwicklungs-investitionen?, in: Riekhof, H.-C. (Hrsg.): Strategien der Personalentwicklung. Esso, Gore, Hamburg-Mannheimer, Hewlett-Packard, Matsushita, Opel, Philips, Siemens, VW, Weidmüller, Weka, 4. Aufl., Wiesbaden 1997, S. 253 bis 278.

Literatur- und Quellenverzeichnis 126

Beiträge aus Zeitschriften: Arzberger, H.; Mayer, T.:

Evaluation als integraler Bestandteil der HR-Arbeit, in: Personalführung 3/04, S. 32 bis 40

Becker, M.:

Kosten der Personalentwicklung: Wer soll das zahlen?, in: Personal 1/04, S. 9 bis 13

Bommer, S.:

Tutoring – ein kritischer Erfolgsfaktor beim E-Learning, in: Personal 1/03, S. 43 bis 44

Engel, A.:

Personalentwickler auf Abruf, in: managerSeminare 1/03, S. 80 bis 88 Gloger, S.:

Den Trainingserfolg voraussagen, in: managerSeminare 11/05, S. 18 bis 21 Graf, A.:

Evaluation von Personalentwicklung, in: Wirtschaftswissenschaftliches Studium 2/01, S. 69 bis 74

Klein, H. E.:

Vorsichtige Annäherung, in: Personal 2/05, S. 6 bis 9 Kröll, M.:

Grenzen und Möglichkeiten von E-Learning, in: Personal 2/05, S. 10 bis 12 Lau, V.:

Personalentwicklung von außen, in: managerSeminare 11-12/03, S. 18 bis 23 Reiß, M.:

Kritische Erfolgsdeterminanten des Blended Learning, in: Personal 9/03, S. 26 bis 29

Spiel, C.:

Aus Evaluation lernen?!, in: Personalführung 3/04, S. 1

Literatur- und Quellenverzeichnis 127

Beiträge aus dem Internet: Fraunhofer-Verbund, e-Industrial Services, o.J. online:

Blitzlicht. http://www.e-industrial-services.de/servlet/is/11819/, 28.11.05 Niklas, C., 2002 online:

Mehr Entscheidungssicherheit mit der Nutzwertanalyse. http://community.easy-mind.de/page-76.htm, 18.11.05

Qualitätsgemeinschaft Berufliche Weiterbildung Köln, o.J. online:

Qualitätskriterien. http://www.weiterbildung-koeln.de/ueber_uns/ qualitaetskriterien_checkliste_2005.pdf, 27.12.05

Universitätslehrgang Training und Bildungsmanagement, Johannes-Kepler- Universität Linz, o.J. online:

Praxis aktuell. Das Auswahlgespräch mit dem externen Trainer. http://www.utb.at/tsymp/tsymp_2004/auswahlgespraech.pdf, 20.11.05

Sonstige Quellen: BBQ Berufliche Bildung gGmbH:

Fragebogen zur Bewertung des Referenten, Stuttgart 2005 Bundesagentur für Arbeit:

Entwurf eines Bogens zur Bewertung durch den Referenten, Nürnberg 2005