formative evaluation of ejump courses

Forma&ve evalua&on  of eJump courses 

Mart Laanpere Tallinn University 

Forma&ve evalua&on 

•  Why: to collect feedback that could help us to update and enhance the courses and make them more suitable to the target group 

•  How: online ques&onnaire with LimeSurvey (limesurvey.org); survey consisted of 6 blocks: background, online learning environment, learning resources, assignments, assessment and feedback, pedagogical design 

•  Who: was sent to 129 par&cipants, 56 responded (43% response rate) 

•  When: in March 

Instrument: ques&onnaire 

•  Background informa&on: affilia&on, occupa&on, age, gender, academic field, e‐learning experience and aUtude, Web 2.0 experience, mo&vators 

•  5 sec&ons: online learning environment, learning resources, course assignments, assessment and feedback, pedagogical design and implementa&on 

•  8‐10 statements in each sec&on, 5‐point Likert scale responses (Strongly agree, agree…) 

Sample 

63% 9% 7% 

5%  14% 

2% Affilia.ons 

University or other higher educa&on ins&tu&on 

Secondary school 

Voca&onal school 

Academic network organisa&on 

Other 

Business enterprise 

teacher 55% 

administrator 7% 

researcher 11% 

educa&onal technologist 

13% 

IT‐specialist 5%  other 

9% 

Occupa&ons 

Age and gender 

0 

5 

10 

15 

20 

25 

30 

15‐25  26‐40  41‐60 

Female 64% 

Male 36% 

Academic field 

pedagogy, educa&onal science 32% 

mathema&cs and natural sciences 12% 

social sciences 4% 

IT, computer science 31% 

medicine, health sciences 

4% 

business administra&on, economics 

5% 

humani&es 7% 

other 5% 

Online teaching experience less than 1 year 

6% 

1‐4 years 43% 5‐10 years 

43% 

more than10 8% 

Frequency of using VLE 

Daily 49% 

Weekly 33% 

Couple of &mes during semester 

11%  Monthly 7% 

20 respondents are teaching online courses on regular basis, 17 occasionally 

Experience with Web 2.0 tools 

Yes, quite oben 16% 

Yes, occasionally 40% 

No, although I new these tools can be used for 

teaching 27% 

No, I did not know about these tools before taking the eJump course 15% 

Other 2% 

Why did they par&cipate? 

54% 

18% 

15% 

7% 

4%  2% I am interested in using eLearning 2.0 in my job 

I wanted to experience myself eLearning 2.0 in the role of learner 

I wanted to experience the studying in interna&onal group 

Other 

I was just curious 

My boss suggested I should take this course 

Which eJump course they took? 28 

19 

1 

25 

0 

5 

10 

15 

20 

25 

30 

New Technologies in eLearning 

New Assessment Methods of eLearning 

eLearning design & administra&on 

Ac&on Research Planning 

AUtude towards e‐learning before taking eJump course(s) 

•  Extremely posi&ve (8) •  I was curious, interested (5) •  Posi&ve, pragma&c (15) 

•  Trying to keep my mind open (2) 

•  It is part of my everyday work (3) 

•  I did not know anything about it  (3) •  Neutral (1) 

Which course they evaluated? 

29 

9 

13 

1 0 

5 

10 

15 

20 

25 

30 

35 

New Technologies in eLearning 

Ac&on Research Planning 

New assessment Methods of eLearning 

elearning administra&on 

0%  10%  20%  30%  40%  50%  60%  70%  80%  90%  100% 

It was aesthe&cally pleasant 

It was easy to navigate 

I never got lost in it 

It was logically structured 

It was user‐friendly 

The different parts of it were well integrated 

It was suitable for the learning tasks we had to carry out 

In general, I was sa&sfied with the environment 

It suited well to the course contents and goals 

I would recommend to keep the environment unchanged in case you are going to teach this 

course again 

Online learning environment 

Strongly agree  Agree  Neither disagree nor agree  Disagree  Strongly disagree 

0%  10%  20%  30%  40%  50%  60%  70%  80%  90%  100% 

We were provided a sufficient amount of learning resources 

The texts were too lengthy 

I expected more original resources from the authors of this course 

The learning resources were wrijen in clear style, were easy to read 

All of the resources were relevant to course goals and assignments 

I did not discover any mistakes or disputable issues in our learning resources 

The learning resources were valuable and relevant to me 

There was sufficient amount of addi&onal reading for those who wanted learn deeper 

Learning resources 

Strongly agree  Agree  Neither disagree nor agree  Disagree  Strongly disagree 

0%  10%  20%  30%  40%  50%  60%  70%  80%  90%  100% 

 Our workload was too high, there were too many assignments 

 Assignments were presented in clear and comprehensive manner 

 I would not skip any of the assignments, all were useful 

 All assignments were well matching the goals and content of this course 

 Assignments were highly relevant to my job context 

 Assignments were authen&c, based on real‐life situa&ons 

 I would have expected more individual assignments 

 I would have expected more collabora&ve assignments 

 I would have expected more flexibility and self‐direc&on opportuni&es in defining the 

scope of the assignments 

Course assignments 

0%  10%  20%  30%  40%  50%  60%  70%  80%  90%  100% 

 I received sufficient feedback from the facilitator 

 All my contribu&ons were assessed by the facilitator 

 Facilitator's feedback was always &mely 

 I would have expected more self‐assessment ac&vi&es 

 I would have expected more peer‐assessment ac&vi&es 

 Assessment was matching well the course goals 

 Assessment and feedback was helpful, I learned a lot from it 

 Assessment‐related tasks added too much workload to me 

 I felt the facilitator's presence on this course, as (s)he was responding quickly when needed 

Assessment and feedback 

Strongly agree  Agree  Neither disagree nor agree  Disagree  Strongly disagree 

0%  10%  20%  30%  40%  50%  60%  70%  80%  90%  100% 

 Course syllabus and guidelines were clear and comprehensive 

 The mix of tradi&onal and new teaching methods was well balanced 

 The course introduced innova&ve pedagogical approach 

 The pace of the course was well balanced 

 There was sufficient flexibility in course design for ensuring the autonomy of learners 

 Most of the course par&cipants were truly engaged in learning 

 This course need to be pedagogically re‐designed if you really want to "teach the way you preach" 

 I learned what is Learning 2.0 from the pedagogical perspec&ve 

 The course was smoothly administered, I was always aware what I should do next 

Pedagogical design and implementa.on 

Strongly agree  Agree  Neither disagree nor agree  Disagree  Strongly disagree 

General remarks 

•  Normal distribu&on of responses: people seemed to take eJump courses with different expecta&ons 

•  Several responses praised Moodle as the best part of online learning environment 

•  Learning resources received the best feedback •  Inter‐course differences: NeTeL course received slightly more posi&ve responses 

•  Helpful (cri&cal) free‐form responses  

Conclusions 

•  Strengths:  –  first‐hand experience on eLearning 2.0 (incl. chaos) –  useful learning resources –  innova&ve pedagogical design 

•  Weaknesses:  –  environment was confusing: easy to get lost, overlaps (Moodle & Elgg), scaffolding is needed 

–  insufficient social presence, social infrastructure 

–  integra&on between courses 

G.Salmon: 5 stages of e‐modera&ng 

Implica&ons to course re‐design 

•  Restructure learning environment: geUng rid of Moodle? Immersive learning 

•  Scaffolding efforts are needed •  (Personal) learning environment as result of the course, not as an input? 

•  Efforts to build and maintain social presence 

•  Social infrastructure •  Rela&ons between courses (overlaps)