Vladan Devedžić, University of Belgrade, Serbia Snežana Šćepanović, University Mediterranean, Montenegro Ivan Kraljevski, FON University, FYRM

2011

Benčmarking u elektronskom učenju: Pregled metodologija i alata (Izveštaj 1.3)

Sadržaj

1. Benčmarking kontekst ......................................................................................................................... 1 

2. Termini i definicije ................................................................................................................................ 3 

3. Modeli i metodologije ........................................................................................................................... 5 ACODE ............................................................................................................................................ 5 

ACODE benčmark ..................................................................................................................................... 5 MIT90s ............................................................................................................................................. 6 

Kreiranje kriterijuma ................................................................................................................................... 7 OBHE ............................................................................................................................................... 7 Otvoreni ECBCheck ........................................................................................................................ 9 

Izvrsnost u izgradnji sposobnosti u elektronskom učenju .......................................................................... 9 E-Learning Maturity Model (eMM) benčmarking ........................................................................... 11 

Ključni koncepti eMM .............................................................................................................................. 11 E-xcellence .................................................................................................................................... 14 

E-xcellence+ ............................................................................................................................................ 14 E-xcellence alati ....................................................................................................................................... 15 

BENVIC.......................................................................................................................................... 22 Metodologija ocenjivanja .......................................................................................................................... 23 BENVIC benčmarking indikatori ............................................................................................................... 24 

MASSIVE ....................................................................................................................................... 24 CHIRON ......................................................................................................................................... 26 ELTI ............................................................................................................................................... 26 

Proces revizije ......................................................................................................................................... 27 Izvođenje revizije ..................................................................................................................................... 28 

Pick&Mix ........................................................................................................................................ 28 SEVAQ+ ........................................................................................................................................ 29 

4. EU Benčmarking inicijative u visokom obrazovanju .......................................................................... 31 ESMU............................................................................................................................................. 31 Benčmarking u Evropskom visokom obrazovanju ......................................................................... 31 

Ključne aktivnosti ..................................................................................................................................... 31 ECIU .............................................................................................................................................. 32 Aarhus Benčmarking mreža .......................................................................................................... 32 

Zaključci ................................................................................................................................................. 36 

Reference .............................................................................................................................................. 37 

Strana 1

Benčmarking u elektronskom učenju Pregled metodologija i alata

Benčmarking je "proces upoređivanja poslovnih procesa i pokazatelja učinka sa najboljom praksom u istoj i/ili drugoj delatnosti. Dimenzije koje se obično mere su kvalitet, vreme i troškovi. Poboljšanja na bazi učenja znače da se stvari rade bolje, brže i jeftinije. Benčmarking uključuje upravljanje koje identifikuje najbolje firme u određenoj delatnosti ili drugoj delatnosti gde postoje slični procesi, i poređenje rezultata i procesa proučavanih firmi ("ciljnih firmi") sa sopstvenim rezultatima i procesima, kako bi se naučili koliko dobro se ciljevi dostižu i što je još važnije, kako oni to postižu.

Kao menadžment alat, benčmarking se primenjivao u mnogim područjima poslovanja. 2005-06. godine došlo je do velikog porasta u njegovoj primeni, posebno u korišćenju obrazovne tehnologije od strane univerziteta, inicijalno na Novom Zelandu, zatim u Evropi, uključujući UK pod pokroviteljstvom Akademije za visoko obrazovanje, a u najskorije vreme se proširio na SAD.

U današnje vreme, podrazumeva se da svaki univerzitet koji nudi programe učenja na daljinu (DL) treba da usvoji benčmarking sistem kao deo svojih procedura za obezbeđenje kvaliteta (QA) učenja na daljinu. Taj benčmarking sistem može imati poseban benčmarking model/pristup i skup pridruženih instrumenata koji podržavaju benčmarking procese. Benčmarking model/pristup mora pokriti tri osnovna elementa (i obezbediti pridruženi skup indikatora) [UNIQUe, 2007]: strukturalni element – zasnovan na podršci; praktični element – zasnovan na radu; element performansi – zasnovan na rezultatima i uticajima.

Ovaj dokument razmatra međunarodne i EU benčmarking pristupe, modele i alate koji su se do sada razvili, a takođe i kako oni mogu biti primenjeni u lokalnim kontekstima institucija visokog obrazovanja (HE) Zapadnog Balkana. Posebna pažnja je data benchmarking alatima koji pokrivaju pedagoške, organizacione i tehničke okvire i njihovu potencijalnu upotrebu u zemljama Zapadnog Balkana.

1. Benčmarking kontekst

Mada je priznato da benčmarking ima svoje korene u sektoru poslovanja, specifičnost visokog obrazovanja je naglašena u mnogim publikacijama o benčmarkingu u visokom obrazovanju.

Neki autori se pozivaju na klasifikacije iz opšte literature o benčmarkingu; drugi pokušavaju da razviju prikaze specifične za visoko obrazovanje. Jednu od veoma citiranih generalnih klasifikacija dao je [Camp, 1989] koje identifikuje četiri vrste benčmarkinga:

1. Unutrašnji benčmarking 2. Konkurentski benčmarking 3. Funkcionalni/proizvodni benchmarking 4. Generički proces/"najbolji u klasi" benčmarking

Standardni izveštaj o benčmarkingu na UK univerzitetima [Jackson, 2002] ukazuju na mnogo toga. Ovaj izveštaj opisuje različite tipove benčmarkinga:

● implicitni (nusproizvod prikupljanja informacija) ili eksplicitni (promišljen i sistematičan); ● vođen kao nezavisna (bez partnera) ili kolaborativna (partnerska) vežba; ● poveren pojedinačnoj organizaciji (unutrašnja vežba), ili uključuje druge slične ili različite

organizacije (eksterna vežba); ● fokusiran na celinu procesa (vertikalni benčmarking) ili deo procesa koji se manifestuje kroz

različite funkcionalne jedinice (horizontalni benčmarking);

Strana 2

● fokusiran na inputima, procesima ili outputima (ili kombinaciji od njih); ● baziran na kvantitativnim (merni podaci) i ili na kvalitativnim podacima (birokratske

informacije). [UNESCO – CEPES, 2007] koristi slične opise za sledeće vrste benčmarkinga u sektoru visokog obrazovanja, i razlikuje: interni benčmarking (koji upoređuje slične programe u različitim komponentama jedne institucije visokog obrazovanja), eksterni kompetitivni benčmarking (poređenje performansi u ključnim oblastima zasnovano na institucijama posmatranim kao konkurente), funkcionalni benčmarking (koji upoređuje procese), trans-institucionalni benčmarking (više institucija), implicitni benčmarking (kvazi - benčmarking koji razmatra proizvodnju i publikaciju podataka/ indikatora performansi koji mogu biti korisni za značajne unakrsne institucionalne komparative analize.

[ALSTETE, 1995] definiše četiri vrste benčmarkinga vezanih za dobrovoljno učešće institucija, na primer, interni benčmarking (sa poređenjem izvršenja različitih odeljenja), eksterni kompetitivni benčmarking (poređenje performansi u ključnim oblastima zasnovano na institucijama posmatranim kao konkurentima), eksterno kolaborativno benčmarking upoređivanje sa većom grupom institucija koje nisu trenutno konkurenti, eksterni trans-granski (najbolji u klasi – “best-in-class”) benčmarking (koji posmatra delatnost u potrazi za novim i inovativnim praksama). Alstete dodaje još i petu kategoriju, takozvani implicitni benčmarking, koji je rezultat pritiska tržišta da obezbedi podatke za vladine agencije i slično.

U izveštaju ENQA “Benčmarking u unapređenju visokog obrazovanja” [ENQUA,2002] Evropska mreža za obezbeđenje kvaliteta pokušava da pruži shvatanje principa pravog benčmarkinga, obezbeđujući konkretne primere i zaključke o perspektivama evropskog benčmarkinga u oblasti visokog obrazovanja. ENQA daje listu 32 atributa dodeljena benčhmarkingu, od kojih su najvažniji kolaborativni/kompetitivni, kvalitativni/kvantitativni, interni /eksterni, implicitni/eksplicitni, horizontalni/vertikalni; orijentisani na rezultat ili na zahteve za iskustvom, sa različitim namenama (standardi, merila, najbolja praksa) i interese (poređenje, poboljšanje, saradnja), u zavisnosti od kreatora benčmarking vežbi. Ova lista je prilično proizvoljna i ne izražava sistematično razmišljanje o različitim pristupima benčmarkingu. Neke stavke ostaju nejasne i ostavljeno je čitaocu da zamišlja šta se podrazumeva pod nečim nalik “turističkom” benčmarkingu. ENQA zaključuje “dobri instrumenti su neophodni za korisne benčmarking vežbe ” i da “postojeće benčmarking metodologije u Evropi moraju biti poboljšane”.

U Evropi su se benčmarking pristupi u sektoru visokog obrazovanja razvijali od sredine devedesetih godina XX veka na nacionalnom nivou, bilo kao inicijativa koju je pokrenulo neko nacionalno telo, ili jedna ili grupa institucija. Ove inicijative obično uključuju mali broj institucija i na dobrovoljnoj su bazi. Izvođenja na međunarodnom nivou su do sada prilično ograničena. Ona su usvojila mešavinu kvantitativnih, kvalitativnih i procesno-orjentisanih pristupa. Stepen do koga su oni strukturirani zavisi od iskustva i namene.

Mada su ključne koristi benčmarkinga dobro poznate, još uvek postoji značajna praznina u upotrebi prakse benčmarkinga u evropskim institucijama visokog obrazovanja. Indikatori i merila su potrebni rukovodiocima univerziteta da naprave promišljen izbor za strategijski razvoj i podršku konkurentnosti na međunarodnoj sceni.

Strana 3

2. Termini i definicije Mnogi od termina i definicija u ovom odeljku su usvojeni iz [CEPES GLOSSARY, 2007]. Pored toga, korišćeni su drugi autoritativni izvori informacija (kao što je The UK Quality Assurance Agency for Higher Education [QAA, 1997] i Quality Research International [QRI Glossary, 2011]) da bi se obezbedio uravnotežen pregled prikazanih termina i definicija. Obezbeđenje kvaliteta u visokom obrazovanju nije nipošto samo evropski interes. Svuda u svetu raste interesovanje za kvalitet i standarde, što se odražava na brzi rast visokog obrazovanja i troškova istog za državne fondove i privatna lica.

Benčmark. Standardna, referentna tačka ili kriterijum na bazi koga se može meriti, proceniti i vrednovati kvalitet nečega i prema čemu se rezultati određenih aktivnosti mogu meriti. Termin benčmark, znači meru performansi najbolje prakse. U DL, benčmark merila se obično koriste da se dobije razumljiv profil postojeće DL sposobnosti i pripremljenosti u obrazovnoj instituciji. Postojanje DL benčmark merila je neophodan korak u ukupnom procesu benčmarkinga učenja na daljinu.

Postoje benčmarking merila za predmetna područja, institucije koje nude DL programe, performanse DL predavanja, materijale za učenje, kvalitet usluge, ICT infrastrukturu, i slično.

Benčmarking. Standardizovani metod za prikupljanje i izveštavanje kritičnih operativnih podataka na način koji omogućava relevantna poređenja između performansi različitih organizacija ili programa, obično sa izgledom da uspostavi dobru praksu, otkrivajući probleme u izvođenju i područja u kojima je organizacija dobra. Benčmarking daje organizaciji (ili programu) eksterne reference i najbolje prakse na kojima treba da baziraju svoju ocenu i kreiraju svoje procese rada.

Postoji nekoliko tipova/nivoa benčmarkinga:

● Interni benčmarking. Benčmarking (poređenja) performansi sličnih programa u različitim segmentima jedne institucije visokog obrazovanja. Interni benčmarking se obično vrši unutar velikih decentralizovanih institucija sa nekoliko odeljenja ili jedinica koje izvode slične programe.

● (Eksterni) Konkurentni benčmarking. Benčmarking (poređenje) performansi u ključnim područjima, o specifično merljivim odnosima, zasnovan na informacijama od institucija koje su posmatrane kao konkurenti.

● Funkcionalni (Eksterni kolaborativni) benčmarking. Benčmarking koji uključuje poređenje procesa, prakse i performansi sa sličnim institucijama iz veće grupe institucija u istoj oblasti rada, a koje u tom trenutku nisu konkurenti.

● Transinstitucionalni benčhmarking. Benčmarking koji razmatra više institucija u potrazi za novim i inovativnim praksama.

● Implicitni benčmarking. Kvazi benčmarking koji posmatra proizvodnju i publikaciju podataka i pokazatelja performansi koji bi mogli biti korisni za značajne među-institucionalne komparativne analize. On nije zasnovan na dobrovoljnom i proaktivnom učešću institucija (kao što je slučaj sa drugim tipovima), već je rezultat pritiska tržišta, centralnog finansiranja, i/ili koordinirajućih agencija. Mnoge od postojećih benčmarking aktivnosti koje se odvijaju u Evropi su takve prirode.

● Generički benchmarking. Poređenje institucija u smislu osnovnih radnih procesa ili usluga (na primer, komunikacionih linija, stope učešća,i stopa odustajanja). On upoređuje osnovni nivo aktivnosti sa procesima u drugim institucijama koje imaju sličnu aktivnost.

● Benčmarking zasnovan na procesima. Prevazilazi upoređivanja tabele dobijenih rezultata i konvencionalnih indikatora (statistički benčmarking) i posmatra procese kojima se postižu rezultati. On ispituje aktivnosti sačinjene od zadataka, koraka koji prelaze granice između konvencionalnih funkcija u svim institucijama. On prevazilazi poređenja podataka i posmatra procese kojima se postižu rezultati.

Strana 4

Benčmarking indikatori. Mere koje ističu prave performanse (“Koliko dobro...?”) subjekta benčmarkinga (usvojene iz [Leonard, 2001]). Benčmarking indikatori pokazuju troškove proizvodnje rezultata (e.g., u DL, troškove stvaranja DL kurseva visokog kvaliteta), stope greške u okviru procesa i gde se najveće greške pojavljuju (na primer, koje vrste ICT problema se najviše pojavljuju u izveštajima u DL), gde postoje mogućnosti za poboljšanja (e.g., feedback od studenata), gde su potrebna poboljšanja (e.g., određene DL usluge), i tako dalje.

Benčmarking alati. Alati za ocenu ili pregled DL programa i sistema koji ih podržavaju. Takođe, korisni razvojni i/ili alati za poboljšanje za inkorporisanje u institucionalni sistem monitoringa, evaluacije i pojačavanja. Najčešće, benčmarking alati uključuju različite upitnike, ankete i druge alate za prikupljanje i analizu koji odgovaraju određenom usvojenom benčmarking okviru ili standardu, ali takođe dozvoljavaju institucijama da razvijaju i vode sopstveni benčmarking učenja na daljinu.

Benčmark informacije. Eksplicitni nacionalni izveštaj o akademskim standardima ili rezultatima za individualne subjekte. Neke zemlje (na primer, UK) razvijaju merila ovog tipa u odnosu na određenu grupu subjekata kao deo njihovog QA procesa. Videti "izveštaj o predmetnom benčmarku" takođe.

U slučaju učenja na daljunu ( DL), institucije su odgovorne da obezbede da programi koji se nude na daljinu budu tako dizajnirani da će akademski standardi dodeljivanja nagrada biti dokazano uporedivi sa nagradama koje daju institucije na druge načine i konzistentne sa bilo kojom relevantnom benčhmark informacijom priznatom u zemlji.

Predmetni benchmark / Izveštaj o predmetnom benčmarku. Izveštaj o predmetnom benčmarku [QAA Academic Standards, 2009] omogućava akademskoj zajednici da opiše prirodu i karakteristike programa za specifičan predmet i opšta očekivanja koja se odnose na standarde za kvalifikacije na datom nivou u pojedinačnoj predmetnoj oblasti. Drugim rečima, oni postavljaju očekivanja o standardima zvanja u predmetnoj oblasti. Oni opisuju šta jednoj disciplini obezbeđuje koherentnost i identitet i definiše šta se može očekivati od diplomaca u smislu sposobnosti i veština potrebnih da se razvije razumevanje ili kompetencija u datoj oblasti.Oni su referentne tačke u QA okviru više nego propisani izveštaj o kurikulumu.

Treba napomenuti, međutim, da izveštaj o predmetnom benčmarku ne predstavlja nacionalni kurikulum u predmetnoj oblasti, pre je namera da pomogne onima koji su uključeni u stvaranje programa, izvođenje nastave i ocenjivanje nastave. Oni dopuštaju fleksibilnost i inovacije u stvaranju programa, u okviru sveobuhvatnog konceptualnog okvira ustanovljenog od strane akademske predmetne zajednice. Oni takođe mogu biti od interesa za buduće studente i zaposlene koji traže informacije o prirodi i standardima zvanja u predmetnoj oblasti.

Dobra ilustracija izveštaja o predmetnom benčmarku može se naći kod UK Quality Assurance Agency for Higher Education [4]. Oni opisuju više predmetnih oblasti i obično pokrivaju pitanja kao što su priroda i delokrug predmetne oblasti, sposobnosti i veštine koje studenti treba da razviju, principe dizajniranja kursa u predmetnoj oblasti, nastava, učenje i ocene, a takođe i prag i tipičan nivo postignuća koji će studenti koji dobijaju zvanje u datoj oblasti postići.

Benčmark razvoja kursa. Smernice koje se odnose na minimum standarda koji se koriste za dizajn kursa, razvoj i izvođenje.

Strana 5

3. Modeli i metodologije Poslednjih godina ostvaren je značajan rast u primeni benčmarking metodologija posebno za univerzitetsku upotrebu obrazovnih tehnologija, inicijalno na Novom Zelandu, zatim u Evropi i UK pod pokroviteljstvom Akademije za visoko obrazovanje (The Higher Education Academy) a u najskorije vreme se proširila u SAD. Mnogo je benčmarking projekata i inicijativa koji su se razvili u okviru EU projekata i širom sveta, kao što su: BENVIC, CHIRON, ELTI, ACODE, MASSIVE, MIT90s, PICK&MIX, OBHE, OpenECB, eMM, E-xcellence+, SEVAQ+ i drugi.

ACODE ACODE je benchmarking šema koju je razvio Australijski savet za otvoreno učenje, učenje na daljinu i elektronsko učenje. Njihov razvoj počeo je 2004 kao pilot projekat. To je kriterijumski zasnovan sistem gde su kriterijumi (podeljeni u osam glavnih benčmark područja) dati na skali od 1-5 uz pomoć iskaza za ocenjivanje (74 indikatora ukupno). On ima relativno širok pogled na elektronsko učenje i tako pruža povezanost sa učenjem i predavanjem generalno, sa IT i sa procesima razvoja osoblja.

ACODE benčmark ACODE je finansirala razvoj benčmarka za upotrebu tehnologija u učenju i nastavi. Cilj ovog benčmarka je da podrži kontinuirano poboljšanje kvaliteta u elektronskom učenju. Ovaj pristup reflektuje perspektivu jedne ustanove, integrišući ključna pedagoška pitanja sa institucionalnim dimenzijama kao što je planiranje, razvoj osoblja i infrastrukturne mere. Benčmarking je razvijen za upotrebu na nivou ustanove ili na nivou dela ustanove odgovornog za obezbeđenje liderstva i usluga u ovoj oblasti. Oni su sprovođeni na univerzitetima i nezavisno ocenjeni.

Svako benčmark područje je posebno i može biti upotrebljeno samostalno ili u kombinaciji sa drugim. Benčmark merila mogu biti korišćena za svrhe samovrednovanja (u jednoj ili nekoliko oblasti) ili kao deo kolaborativnih benčmarking vežbi.

Benčmark pokriva sledećih osam odvojenih tematskih oblasti koje su bile međunarodno ocenjene. (http://www.acode.edu.au/resources/ACODE_benchmarks.pdf)

● Politika institucije i upravljanje za tehnološki podržano učenje i nastavu (8 indikatora); ● Planiranje za, i poboljšanje kvaliteta integracije tehnologija za učenje i nastavu (8 indikatora); ● IT infrastruktura koja treba da podrži učenje i nastavu (9 indikatora); ● Pedagoška primena informacione i komunikacione tehnologije. Pedagoška primena treba da

bude: 1. usklađena sa institucionalnom strategijom; 2. informisana o dobroj praksi i istraživanjima; 3. podržana adekvatno; 4. razvijena i promovisana efektivno; i 5. ocenjivana iz više perspektiva.

(13 indikatora: 2 usklađena, 3 informisana, 3 podržana, 2 razvijena, 3 ocenjena); ● Profesionalni razvoj osoblja za efektivnu upotrebu tehnologija za učenje i nastavu (8

indikatora); ● Podrška osoblju za korišćenje tehnologija za učenje i nastavu (9 indikatora); ● Trening studenata za efektivnu upotrebu tehnologija za učenje (9 indikatora) i ● Podrška studentima za upotrebu tehnologija za učenje (10 indikatora).

Strana 6

Svaki benčhmark ima sledeći format na skali od 5 bodova: ● Iskaz o delokrugu rada ● Iskaz o dobroj praksi ● Indikatori performansi ● Mere performansi

ACODE ie finansirao probnu verziju radi daljeg razvoja ovog okvira (ACODE Benčhmark Projekat - Faza 2), gde su okvir i alati bili razvijeni (http://www.acode.edu.au/resources/ acodebmguideline0607.pdf). Dve teme su ispitivane tako što su ih koristili u dve faze projekta: "Razvoj stručnosti/osoblja za efektivnu upotrebu tehnologija za predavanje i učenje" i "LMS podrška osoblju". Sedam institucija je učestvovalo (identifikovanih preko ACODE): Monash University, RMIT University, University of Melbourne, University of Queensland, University of Southern Queensland, University of Tasmania, Victoria University of Technology.

MIT90s MIT90s okvir je koristio University of Strathclyde (jedna od 12 institucija u The Higher Education Academy Benchmarking Pilot) da bi pomogao u struktuiranju njihovog pristupa benčmarkingu u učenju na daljinu. Poslednja verzija (2.0) Pick & Mix metodologije koristi MIT90s okvir za označavanje njihovih kriterijuma u Pick&Mix 2.0 .

Model za strukturiranje analize učenja na daljinu uključujući benchmarking, ali tako da on ne sadrži ili automatski generiše specifične benčmarking kriterijume. MIT90s okvir je razvijao Michael S Scott Morton kao deo rada "MIT90s" inicijative koji je razvijan pri MIT u ranim 1990-tim. Ovaj rad je citiran pod različitim imenima: zvanično se zove "The Corporation of the 1990s: Information Technology and Organizational Transformation".

MIT90s okvir je bio glavni za brojne JISC i srodne studije o usvajanju i završetku, i ova inicijativa je razvijala nekoliko pridruženih delova rada od kojih su dva sa Venkatramana: transformacija nivoa i strategijsko svrstavanje. Venkatraman tvrdnja je da poslovna upotreba IT prolazi kroz pet nivoa, razlikujuči se i u stepenu poslovne transformacije i u stepenu (i broju) potencijalnih koristi (Venkatraman, N. and Henderson, J. C. "Strategijsko svrstavanje: Pokretanje informacione tehnologije za transformisanje organizacije", IBM Systems Journal Vol. 32, No. 1, 1993).

Ovi nivoi su:

● Lokalizovano korišćenje ● Unutrašnja integracija ● Redizajniranje poslovnih procesa ● Redizajniranje poslovne mreže ● Redefinisanje poslovnog obima.

Nivoi 1 and 2 se zovu evolutivni nivoi – nivoi 3, 4, and 5 se nazivaju revolutivni nivoi.

Ovakvo shvatanje nivoa je već primenjeno na obrazovne sisteme, i treba napomenuti da je ovo jedna od prvih situacija gde je skala od 5 poena korišćena u situaciji sličnoj benčmarkingu. Takva skala od 5 nivoa se sada koristi u mnogim (ali ne svim) benčmarking metodologijama - ELTI i Pick&Mix su neke od onih baziranih na skali. MIT90s okvir bi mogao imati širi značaj za e-benčmarking okvire. Naročito poslednja verzija (2.0) Pick & Mix metodologije koristi MIT90s okvir za praćenje njihovih kriterijuma u Pick&Mix 2.0 pokretanju.

Strana 7

Kreiranje kriterijuma MIT90s strategijski okvir ne generiše benčmarking kriterijume automatski. Postoje različiti načini stvaranja kriterijuma, uključujući korišćenje drugog okvira da bi se obezbedila neka vrsta ukrštene korelacije. Jedan proizvodan izvor drugih okvira su okviri koje koriste druge benčmarking šeme. Rad o Pick&Mix koji daje mapu u MIT90s, daje neke ideje o tome kako ovo funkcioniše.

Preporuka je da se koriste banke kriterijuma iz sistema kao što su Pick&Mix i E-xcellence koji su relativno stabilni – i za druge zainteresovane u IT, ACODE sistem se takođe preporučuje. Kategorije iz ELTI su takođe interesantne za razmatranje, i konačno, OBHE ima kriterijume koji mogu biti ocenjivani. Konačno, oni koji su zainteresovani za pomeranje sa institucionalnog na nivo odeljenja ili čak pre pedagoški nivo, mogu naći neku vrednost u CHIRON pristupu – mada nedavni Concordance Report o ovome poziva na oprez.

Aspekti MIT90 se nastavljaju jer je on prihvaćen grupni pristup za Pick&Mix kriterijume i verovatno se pojavljuju, bar implicitno, u promeni aspekata manadžementa.

OBHE OBHE je benčhmarking metodologija koju vodi The Observatory on Borderless Higher Education. OBHE metodologija je kolaborativna benčhmarking metodologija gde se grupa institucija udružila i zajednički se dogovara o relevantnim područjima interesovanja (u ovom slučaju, u okviru e-Learning prostora) i u kasnijoj fazi, traži dobru praksu. Observatorija je zajednička inicijativa ACU, the Association of Commonwealth Universities and Universities UK, asocijacije svih UK univerziteta. Nudi širok spektar usluga od kojih je benčhmarking samo jedna. U okviru benčhmarking ponude je spektar manjih usluga, od kojih je jedna razvijena za klijente Akademije za visoko obrazovanje u UK. OBHE je koristilo pet institucija u Pilot fazi i 21 institucija u Fazi 1. Nju sada koristi 11 institucija u Fazi 2.

Postoji osam OBHE kategorija, kao što sledi :

● Razvoj strategije elektronskog učenja ● Saradnja i partnerstvo ● Manadžment i liderstvo elektronskog učenja ● Izvori učenja i vrednost za novac ● Isporuka elektronskog učenja ● Elektronsko učenje i studenti ● Elektronsko učenje i osoblje ● Komunikacija, ocenjivanje i pregled

ACU/OBHE metodologija je zasnovana na skupu "osnovnih vrednosti". To su:

● Višestrukost misije: Ciljevi i misije institucija su široke i menjaju se. Svako može postaviti različite naglaske na aspekte kao što su podučavanje, istraživanje i javne usluge. Različitost studentske populacije, kao i širog opseg različitih akademskih specijalizacija, čine poređenja među različitim institucijama komplikovanim. Međutim, kada se odgovarajući procesi odaberu za benčmarking, ove različitosti ne moraju biti krucijalne.

● Neobaveznost: Benčmarking vežbe ne teže da propišu kako će institucija usvojiti e-učenje. Slično, ne postoji idealna organizaciona struktura ili metoda rada prema kojoj se ocenjuju odgovori ispitanika. Namera je da se fokus stavi na podesnost metoda koje se koriste u raznim situacijama i osnovu za njih izbor (na primer, pogodnost namene). Šta više, inovativnost i kreativnost se ohrabruju i fokus je na postignutim rezultatima (na primer, na efikasnosti).

● Liderstvo: Svaka institucija zavisi od svojih ljudi koji treba da postave svoje pravce i kreiraju

Strana 8

okruženje u kojem se može postiči cilj. Na univerzitetima, moć i uticaj može biti široko podeljena, i postoji značajna grupa unutrašnjih učesnika. Njihovo lično angažovanje u ključnim aktivnostima i komunikaciji, a posvećenost zadacima ustanove je veoma značajna.

● Kontinuirano poboljšanje: Da bi se postigao visok nivo performansi važno je da institucija bude posvećena konstantnom unapređivanju. Ovo se odnosi i na potpune i na postepene promene koje mogu biti ključni svakodnevni posao svih zaposlenih i značajna unapređenja korak-po-korak modu radikalno promeniti način na koji se posao obavlja. Institucija mora obezbediti mehanizme da postigne oboje.

● Upravljanje zasnovano na činjenicama: Institucionalne odluke, planovi i strategije treba da budu zasnovane, u najvećoj meri, na činjenicama i objektivnim podacima. Imajući to u vidu, važno je da se rezultati ključnih aktivnosti e-učenja mere i koriste kao osnova za pregled performansi i unapređenje. Ovakve mere i indikatori pružaju informacije za upravljanje, u određenim vremenskim periodima i u prihvatljivom formatu.

Postoji šest faza u ovom pristupu:

● Detaljno institucionalno izveštavanje kako bi predstavnicima svih visokoškolskih ustanova bilo jasno šta se namerava i zašto. Iako osnovna metodologija treba da bude prihvaćena od strane svih učesnika, neki elementi se usvajaju, pod pretpostavkom da se sve ustanove slažu sa tim.

● Osnova pristupa je institucionalno samovrednovanje, koristeći pitanja koja je pripremio ACU/OBHE tim. Svaka visokoškolska ustanova koja učestvuje dobija Dokument prikaza institucije (Institutional Review Document-IRD), koji sadrži napomene za odgovaranje na pitanja. Ovo bi trebalo da bude stroga analiza i svaka visokoškolska ustanova ima dostupnog konsultanta bar 3 dana (kao i dvodnevnu radionicu) koji pomaže proces samovrednovanja i može se koristito po potrebi (prema dogovoru sa konsultantskim timom). Evaluacije iz prethodnih benčmarking programa pokazuju da je ova faza veoma bitan alat za promenu upravljanja, jer dovodi do toga da visokoškolska ustanova preispita pogodnost sopstvene strategije, politike i pravila i da odgovori pretraživanjem pitanja.

● Svaka visokoškolska je pripremila odgovore na samovrednovanje, koje pregleda konsultantski tim. Od svake ustanove se takođe traži da pripremi kratko "skeniranje okruženja" svih bitnih faktora sa kojima se trenutno sreću u upotrebi e-učenja. Skeniranje okruženja i izveštaj o samovrednovanju se koriste za kreiranje radnih dokumenata za predstojeću radionicu. Pre radionice, inicajalni draft izveštaja zajedno sa skupom opštih izjava dobre prakse treba da bude kreiran od strane konsultantskog tima, na osnovu odgovora instutcije, i to tada predstavlja osnovu za diskusiju.

● Radionica se održava sa konsultantskim timom i tri predstavnika sa svake od 5 institucija koje učestvuju. Učesnici radionice se biraju iz značajnih visoko strateških i rukovodećih pozicija. Na radionicu, diskutuje se o analizi konsultantskog tima o izveštaju o ustanovama, pregledaju se opšte dobre prakse i razmatraju se ključna pitanja visokog nivoa upravljanja.

● Nakon radionice, konsultantski tim priprema finalni izveštaj, koji sadrži dogovrene elemente dobre prakse.

● Na kraju, posle radionice, učesnici se pozivaju da obave vežbu samovrednovanja, da uporede svoju praksu sa izjavama dobre prakse. Ovo omogućava svakoj visokoškolskoj ustanovi da identifikuje gde i kako se mogu napraviti poboljšanja. Samovrednovanja se zatim razmenjuju između učesnika. U prošlosti ovo je obično iniciralo međusobne posete institucija i učenje iz iskustava drugih.

Strana 9

Otvoreni ECBCheck

Otvoreni ECBCheck je šema za akreditaciju i unapređenje kvaliteta za programe elektronskog učenja i institucije u međunarodnoj izgradnji kapaciteta. Ona pomaže ustanovama koje razvijaju sposobnosti u tome kako da izvrše merenja koliko su uspešni njihovi programi elektronskog učenja i pruža kontinuirano poboljšanje kroz recenzentsku saradnju i učenje ocenjivanja. Za vreme procesa (ponovne) sertifikacije, organizacija koje se prijavila, dobija Instrumentarij (online digitalni benčmark alat baziran na Excel-u) koji je osnova za instituciju da izvede jedno opširno samovrednovanje zasnovano na katalogu kriterijuma kvaliteta.

Otvoreni ECBCheck predstavlja okruženje koje omogućava dobrobit članovima na razne načine, sa jedne strane, dajući im pristup alatima i uputstvima za njihovu praksu, i sa druge strane mogućnost dobijanja ocene zajednice.

Preporučuju se tri faze za kvalitet:

● Članovi pridruživanjem otvorenoj ECBCheck profesionalnoj zajednici dokumentuju svoju posvećenost kvalitetu

● Otvorena ECBCheck profesionalna zajednica obezbeđuju pistup i dozvoljava deljenje uputstava, alata kao i iskustava za razvoj kvaliteta za svoje članove

● Na osnovu detaljnog procesa samovrednovanja, članovi mogu uneti ostvariti međusobno partnerstvo u cilju unapređenja kvaliteta svojih usluga e-učenja.

Otvoreni ECBCheck je razvila zajednica organizacija kroz jedan inovativni i participativni proces koji je bio iniciran od InWent (Capacity Building International, Germany) i EFQUEL (the European Foundation for Quality in E-Learning). Preko 20 organizacija je u međuvremenu pokazalo svoj interes za pridruživanje Open ECBCheck zajednici.

Koncipirana ECBCheck oznaka omogućava upotrebu pet centralnih metoda procene kvaliteta i validacije koje imaju različite karakteristike i potencijalne prednosti i nedostatke. Ove metode, benčmarking, benčlearning, recenzija, samovrednovanje kao ponderisanje kvaliteta i objedinjavanje, treba da se kratko prodiskutuju kao osnova za dalji razvoj otvorenog ECBCheck-a.

Izvrsnost u izgradnji sposobnosti u elektronskom učenju

Potpuna verzija kriterijuma kvaliteta, uključujući detaljna objašnjenja i pomoćna pitanja, a takođe i sve relevantne metodološke informacije mogu biti preuzete sa www.ecb-check.org. Takođe i Open ECBCheck Toolset, za samovrednovanje institucija koje izvode programe i kurseve, u formi excel tabele.

Lista kriterijuma kvaliteta i njihova moguća tabela evaluacije:

● Minimum kriterijuma: "Da" ako je kriterijum zadovoljen. Ako nije ostaviti prazno polje ● Kriterijumi uspeha: 0 = ne zadovoljava, 1 = delimično zadovoljava, 2 = zadovoljava

adekvatno, 3 = odlično zadovoljava

Strana 10

Kriterijum: Deo A: Informacije o programu i organizacija

A.1 Opšti opis, ciljevi i organizacija programa (5 kriterijuma) A.2 Tehnički i organizacioni zahtevi (2 kriterijuma)

Deo B: Orijentacija ciljne grupe

B.1 Program/kurs uzima u obzir potrebe za obrazovanjem ciljne grupe slušalaca. B.2 Učesnici (studenti, nastavnici mentori, itd..) su uključeni u stvaranje programa kroz otvoren proces komunikacije. B.3 Studenti imaju pristup službi za savetovanje kako pre početka programa tako i za vreme njegove implementacije. B.4 Program stvara procese koji mogu da premoste nedostatak znanja kod studenata sa malim postignućem. B.5 Rezultati prethodnih evaluacija se koriste za stalna unapređenja. B.6 Institucija nudi eksplicitno rešavanje prigovora i molbi studenata.

Deo C: Kvalitet sadržaja

C.1 Sadržaj je usklađen sa ciljevima nastave i prezentovan je jasno i logično. C.2 Audio, video, hipertext,slike, grafika su neki od korišćenih media za prezentovanje sadržaja. C.3 Sadržaj se pruža na fleksibilan način, dozvoljavajući različite redoslede učenja. C.4 Sadržaji su prezentovani sa perspektivom koja uzima u obzir polne i kulturološke razlike.

Deo D: Program/ Plan kursa

D.1 Nastavni plan i metodologija (6 kriterijuma) D.2 Motivacija/ Učešće (1 kriterijum) D.3 Materijali za učenje (5 kriterijuma) D.4 Elektronsko mentorstvo (4 kriterijuma) D.5 Kolaborativno učenje (3kriterijuma) D.6 Zadaci i napredovanje u učenju (5 kriterijuma) D.7 Ocenjivanje i testovi (1 kriterijum)

Deo E: Dizajn medija

E.1 Primenjeni su standardi dostupnosti. E.2 Standardi upotrebljivosti su zadovoljeni. E.3 Dizajn navigacije (kroz obavezne materjiale) dozvoljava studentima da prate svoj napredak i položaj u odnosu na ukupan sadržaj. E.4 Ekranske prikaze, sadržaj i materijale za učenje, uključujući dodatne izvore je moguće odštampati.

Deo F: Tehnologije

F.1 Materijali koji se mogu preuzeti (download) imaju standardne formate i prihvatljivu veličinu i ne ugrožavaju brzinu učitavanja stranica. F.2 Virtuelno okruženje za učenje izvršava se na adekvatnom serveru koji garantuje stabilnost. F.3 Virtualno okruženje za učenje je dostupno iz različitih browsera i operativnih sistema. F.4 Izabrana tehnologija je adekvatna da podrži primenjene strategije učenja, posebno u odnosu na dostupnu lokalnu tehnološku infrastrukturu.

Strana 11

Deo G: Evaluacija i pregled

G.1 Dostizanje ciljeva učenja je sistematično i regularno se proverava u programu. G.2 Sistematska evaluacija vrši se na kraju programa da bi se ocenio njegov kvalitet i opšta usklađenost. G.3 Materijali se periodično pregledaju na osnovu rezultata evaluacije da bi se obezbedio program koji zadovoljava njihove ciljeve.

E-Learning Maturity Model (eMM) benčmarking E-learning Maturity Model (eMM)1 je okvir poboljšanja kvaliteta zasnovan na idejama Capability Maturity Model (CMM)2 i ISO/IEC 15504 - SPICE (Software Process Improvement and Capability dEtermination) metodologijama 3. Osnovna ideja koja vodi razvoj eMM je da sposobnost institucije da bude efektivna na bilo kom pojedinačnom području rada zavisi od njene mogućnosti da se angažuje u procesima visokog kvaliteta koji su izvodljivi i u stanju da se prošire i održe i kada zahtevi porastu.

Ključni aspekt eMM je da ne rangira institucije, već prepoznaje realnost da će sve institucije imati dobre aspekte kao i slabosti iz kojih se može učiti i napredovati. Bilo koji benčmarking pristup koji podrazumeva samo određene tehnologije ili pedagogije e-učenja verovatno neće u potpunosti oceniti različite institucije u okviru jedne zemlje, a još manje dovesti do korisne međunarodne saradnje i poređenja, posebno tokom dužeg perioda vremena.

eMM sadrži skup od 35 procesa, podeljenih u pet procesnih područja, koji definišu ključni aspekt ukupne sposobnosti institucije da dobro izovde nastavu elektronskim učenjem. Svaki proces se bira na osnovu svoje neophodnosti u razvoju i održavanju mogućnosti u elektronskom učenju. Svi procesi su stvoreni posle rigoroznog i obimnog programa istraživanja, testiranja i dobijanja povratnih informacija, vršenih na međunarodnom nivou. Sposobnost u svakom procesu je opisana pomoću skupa pravila praksi organizovanih u raznim dimenzijama.

Ključni koncepti eMM Kapacitet opisuje mogućnost jedne institucije da obezbedi da projektovanje elektronskog učenja, razvoj i primena odgovara potrebama studenata, osoblja i institucije. Kritički, kapacitet uključuje mogućnost jedne institucije da podrži izvođenje e-učenja i podrži učenje i podučavanje. Kako zahtevi rastu, menja se I osoblje.

Dimenzije kapaciteta Ključni napredak koji je nastao iz primene i analize prve verzije eMM je da je koncept nivoa koji je iskorišćen iz CMM i SPICE nije bio od pomoći u opisu sposobnosti individualnog procesa. Nepravilna upotreba nivoa dovodi do hijerarhijskog modela unapređenja procesa gde se kapacitvnost ocenjuje i razvija na slojeviti i progresivan način. Koncept na kome se zasniva eMM upotreba dimenzija je celoviti kapacitet. Kapacitet na višim dimenzijama koj nije podržan kapacitetom na nižim dimenzijama neće proizvesti željene izlaze; kapacitet na nižim dimenzijama koji nije podržan na višim dimenzijama bi bio ad-hoc, neodrživi i neodgovarajući za promenljive organizacione i pojedinačne potrebe. Umesto da model meri progresivne nivoe, on opisuje sposobnost procesa iz sinergičke perspektive objedinjavanjem isporuke, planiranja, upravljanja i optimizacije.

● Isporuka se bavi kreiranjem i obezbeđivanjem rezultata procesa. Ocenjivanje ove dimenzije se

1 URL: http://www.utdc.vuw.ac.nz/research/emm/index.shtml 2 URL: http://www.sei.cmu.edu/cmmi/start/ 3 URL: http://csqa.info/iso_iec_15504_also_known_as_spice

Strana 12

vrši određivanjem stepena na kome se proces izvodi u instituciji. ● Planiranje ocenjuje upotrebu predefinisanih zadataka i planova u izvođenju procesa. Upotreba

predefinisanih planova potencijalno omogućava da se procesima uspešno upravlja i izvde ponovo ukoliko su uspešni.

● Definisanje pokriva upotrebu institucionalno definisanih i dokumentovanih standarda, upustava, šablona i procedura tokom implementacija procesa. Institucija koja uspešno radi u ovoj dimenziji imma jasno definisano kako određeni proces treba da se izvodi. To ne znači da osoblje institucije prati ova uputstva.

● Optimizacija posmatra u kom stepenu institucija koristi formalne pristupe za unapređenje aktivnosti procesa.

Kapacitet ove dimenzije reflektuju kontinuirano unapređenje. Organizacija koja je razvila sposobnosti na svim dimenzijama i svim procesima biće sposobnija od one koja to nije razvila. Moguće je izvesti višestruke eMM ocene unutar iste institucije, tako dobijajući uvid u disciplinarne, strukturalne i druge organizaciono važne delove institucije.

Procesi eMM razvrstava sposobnost institucije da podrži i isporuči e-learning u pet glavnih kategorija ili procesnih područja koji ukazuju na grupe veoma povezanih procesa. Treba zapamtiti, međutim, da su svi procesi međusobno povezani do nekog stepena, posebno kroz zajedničku praksu i perspektive tih pet dimenzija. Primena preporuka iz evaluaciju prve verzije eMM rezultirala je smanjenim skupom od 34 procesa koji su onda bili podložni daljoj oceni kroz seriju seminara koji su se vodili u Australiji i UK. Identifikovan je potencijalni skup od 354 moguće stavke. Od tri izvora informacije: eMM verzija 1, zaključci radionica i pregledi literature bili su onda usklađeni i to je rezultiralo listom procesa koji čine eMM verzija 2.2.

● Učenje: Procesi koji direktno utiče na pedagoške aspekte elektronskog učenja (10 procesa); ● L1. Ciljevi učenja vode dizajn i implementaciju kursa ● L2. Studentima je obezbeđen mehanizam za interakciju sa nastavnicima i drugim studentima ● L3. Studentima je obezbeđen razvoj veština pomoću e-učenja ● L4. Studentima je obezbeđeno vreme za komunikaciju sa osobljem. ● L5. Studenti primaju odgovor o svom postignuću u okviru kurseva ● L6. Studentima se obezbeđuje podrška u razvoju istraživanja i veština informatičke pismenosti ● L7. Dizajn učenja i aktivnosti podstiču aktivno angažovanje studenata ● L8. Ocenjivanje je dizajnirano tako da da progresivno razvija kompetenciju studenata ● L9. Studenti rade po određenom rasporedu i rokovima ● L10. Kursevi su dizajnirani da podrže različite stilove učenja i sposobnosti studenata

● Razvoj: Procesi koji okružuju stvaranje i održavanje resursa elektronskog učenja (7 procesa); ● D1. Nastavnici imaju obezbeđenu podršku u procesu projektovanja i razvoja tokom e-učenja ● D2. Razvoj, projektovanje i izvođenjenje kursa vrše se u skladu sa procedurama i

standardima e-učenja ● D3. Jasan plan koji povezuje tehnologiju, pedagogiju i nastavne resurse u kursevima ● D4. Kursevi su projektovani da podrže studente sa posebnim potrebama ● D5. Svi elementi fizičke infrastrukture elektronskog učenja su pouzdani, snažni i dovoljni ● D6. Svi elementi fizičke infrastrukture elektronskog učenja su integrisani koristeći definisane

standarde ● D7. Resursi učenja su projektovani i tako održavani da se maksimizira njihovo ponovno

korišćenje

Strana 13

● Podrška: Procesi koji obuhvataju podršku i operativni menadžment e-učenja (6 procesa); ● S1. Studentima se obezbeđuje tehnička pomoć tokom e-učenja ● S2. Studentima se obezbeđuje korišćenje biblioteke tokom e-učenja ● S3. Studentski upiti, pitanja i prigovori (žalbe) se prikupljaju i zvanično rešavaju ● S4. Studentima su obezbeđeni servisi lične i nastavne podrške tokom e-učenja ● S5. Nastavnicima se obezbeđuje pedagoška podrška i profesionalni razvoj ● S6. Nastavnicima se obezbeđuje tehnička podrška u korišćenju digitalnih informacija koje su

stvorili studenti

● Evaluacija: Procesi koji obuhvataju evaluaciju i kontrolu kvaliteta e-učenja tokom čitavog živtnog ciklusa (3 procesa);

● E1. Studenti mogu da daju redovne povratne informacije o kvalitetu i efikasnosti njihovog doživljaja e-učenja

● E2. Nastavnici mogu da daju redovne povratne informacije o kvalitetu i efikasnosti njihovog doživljaja e-učenja

● E3. Vrše se redovni pregledi aspekata elektronskog učenja pojedinih kurseva

● Organizacija: Procesi povezani sa institucionalnim planiranjem i upravljanjem (9 procesa); ● O1. Formalni kriterijumi vode raspoedelu resursa za dizajniranje, razvoj i izvođenje e-učenja ● O2. Institucionalna Politika i strategija učenja i podučavanja eksplicitno navodi e-učenje ● O3. Odluke o tehnologiji elektronskog učenja su vođene određenim planom ● O4. Upotreba digitalnih informacija se vrši prema institutionalnom planu integriteta informacija ● O5. Inicijative e-učenja su vođene eksplicitnim planovima razvoja ● O6. Studentima se pružaju informacije o tehnologijama e-učenja pre početka kursa ● O7. Studentima se pružaju informacije o pedagoškim aspektima e-učenja pre početka kursa ● O8. Studentima su dostupne administrativne informacije pre početka kursa. ● O9. Inicijative e-učenja se vode prema institucionalnim strategijama i operativnim planovima

Vežbe Svaki proces u eMM je, u okviru svake dimenzije, podeljen u prakse koje definišu kako rezultati procesa mogu biti postignuti u institucijama (skoro hiljadu). Ove prakse su ili suštinske za procese koji treba da budu uspešno postignuti ili samo korisni u podršci ishodima pojedinačnog procesa. Namera je da prakse postignu ono što je ključno i suštinsko u različitim dimenzijama procesa, kao serija stavki koje treba da budu lako ocenjene u datom institucionalnom kontekstu.

Kriterijumi ocene sposobnosti  Svaka praksa se ocenjuje po postignuću za vreme ocenjivanja, ocenom od neadekvatnog do potpuno adekvatnog, bilo od strane eksternog ocenjivača ili samoocenjivača pozivajući se na iskaz o praksi. Procena svake dimenzije je urađena na bazi dokaza prikupljenih od institucija i predstavlja kombinaciju da li je ili ne praksa izvedena , koliko dobro se čini da će funkcionisati, i koliko izgleda da je prihvaćena. To pruža korisni mehanizam buduće provere, obzirom da performanse koje su sada potpuno adekvatne ne moraju biti takve u budućnosti, imajući u vidu da tehnologije evoluiraju kao i iskustva u razvoju elektronskog učenja. Kada je svaka praksa ocenjena, rezultati su izračunati kao procena date dimenzije procesa.

Strana 14

Modifikovanje eMM da  reflektuje lokalni interes Potpuno je moguće proširiti ili modifikovati eMM da reflektuje razlike pojedinačnog interesa na nivo nekog sektora ili konteksta, kao što su zahtevi zakonodavstva, prakse koju zahtevaju akreditaticiona tela, ili kontekstualni faktori koji dolaze od lokanlog iskustva ili kulture. Normalno to treba da bude urađeno na nivou same prakse budući da bi onda to još uvek dozvolilo poređenje nivoa zbirnog procesa.

E-xcellence E-xcellence je web zasnovan instrument koji se fokusira na elektronsko učenje u visokom obrazovanju; to je alat za ocenjivanje kvaliteta koje pokriva pedagoški, organizacioni i tehnički okvir sa posebnom pažnjom na pristup, fleksibilnost i interaktivnost.

E-xcellence je proizvod dvogodišnjeg rada na projektu, pokrenutom pod pokroviteljstvom EADTU uključujući skup eksperata iz 12 Evropskih institucija sa osloncem na razvoju elektronskog učenja. Cilj E-xcellence projekta bio je da obezbedi dodatni instrument koji može biti upotrebljen sa ovim procesima QA da bi obezbedio razmatranje razvoja elektronskog učenja kao posebne karakteristike. U prvoj fazi (2005-2007), E-xcellence instrument je bio u razvoju. U drugoj fazi (2008-2009), E-xcellence je inoviran sa uključivanjem oko 50 univerziteta i 10 agencija za ocenu i akreditaciju na intenzivnim lokalnim seminarima (nacionalni nivo).

E-xcellence nije predviđen da bude benčmarking metodologija, već kao alat za praćenje kontrole kvaliteta, ali posle oko godinu dana rada na projektu došlo je do promene u naglasku i benchmarking je sada jedan od ciljeva za koje je E-xcellence predviđen. U stvari postoje tri orijentacije metodologije:

● Alat za ocenjivanje (kako na institucionalnom tako i na programskom nivou) (na primer, benčmarking)

● Alat za poboljšanje kvaliteta (interni sistem zaštite kvaliteta) ● Akreditacioni alat

Značajan aspekt E-xcellence je da on nudi skup ocena-merila prihvaćenih u celoj Evropi, nezavisnih od pojedinačnih instucionalnih ili nacionalnih sistema i sa ciljem unapređenja obrazovanja. Osnova E -xcellence benčmarking procesa je da koristi instrument koji je zasnovan na dijalogu i koji stimulisanjem dijaloga u kolaborativnom procesu treba da stvori okruženje za učenje zasnovano na brojnim najboljim praksama, koje se razlikuju od zemlje do zemlje i daju značajnu ulaznu informaciju za dijalog. Ovaj instrument se zasniva na E-xcellence priručniku koji sadrži referenetne vrednosti, zajedno sa kriterijumima i indikatorima za:

● Strateški menadžment ● Dizajn kurikuluma ● Dizajn kursa ● Isporuku kursa ● Podršku osoblju ● Podršku studentima

Instrument ima propratni kompletan on-line priručnik. Sve to je dostupno pod "creative commons" licencom na www.eadtu.nl/e-xcellenceqs.

E-xcellence+ E-xcellence projekat pod E-learning Programme 2004, donosi preporuke o mogućnostima unapređenja postignuća u e-učenju i tako pomaže poboljšanju kvaliteta, privlačnosti i pristupačnosti mogućnosti za permanentno (longlife) učenje dostupno u okviru država članica.

Strana 15

Cilj E-xcellence+ projekta je bio da vrednuje ovaj instrument na lokalnom, nacionalnom i evropskom nivou za sektore visokog obrazovanja i sektor obrazovanja odraslih, kao i da proširi njegovu primenu i dobije povratne informacije za poboljšanje instrumenta.

Sa E-xcellence+, EADTU je počeo 2008. godine da radi na valorizovanju alata obezbeđenja kvaliteta. E-xcellence+ promoviše upotrebu E-xcellence širom Evrope i razmatra poboljšanje performansi i inovacija u elektronskom učenju, promovišući benchmarking u e-učenju. Projekat podržava procese poboljšavanja performansi elektronskog učenja samovrednovanjem, on-site ocenjivanjem i akreditacije integracijom instrumenata u institutionalnim i nacionalnim okvirima. Održivost ovog instrumenta treba ubuduće da bude garantovana pomoću:

● Redovnog unapređenja instrumenta i priručnika i godišnjim publikacijama novih verzija

● Dodavanja priručniku dobrih praktičnih primera partnerskih organizacija i povezanih Evropskih organizacija u oblasti elektronskog učenja

● Širenja Evropske mreže eksperta

● Povezivanja sa ostalim Evropskim organizacijama u oblasti elektronskog učenja. E-XCELLENCE+ konzorcijum sastoji se od eksperata predstavnika sa otvorenih univerziteta, tradicionalnih univerziteta i akreditacionih tela u visokom obrazovanju i obrazovanju odraslih i već pokriva 13 zemalja:

● EADTU (Holandija)

● Open Universiteit Nederland (Holandija)

● Open University (UK)

● OULU-University (Finska)

● International Telematic University UNINETTUNO (Italija)

● NVAO (Belgija/Holandija)

● Estonian Information Technology Foundation (Estonija)

● Högskoleverket / NSHU (Švedska)

● UNED, (Španija)

● KU Leuven (Belgija)

● Czech Association of Distance Teaching Universities (Češka Republika)

● University of Hradec Králové (Češka Republika)

● Slovak University of Technology in Bratislava (Slovačka)

● MESI, (Rusija)

● Fernstudien Schweiz (Švajcarska)

● Hungarian e-University Network (Mađarska)

E-xcellence alati E-xcellence instrument se sastoji od priručnika i beleški ocenjivača za ocene performansi e-učenja u institucijama. Priručnik je zasnovan na 32 merila direktno povezana za kriterijume kvaliteta specifičnih za elektronsko učenje. Oni čine osnovu za vežbe samoocenjivanja. Brzo skeniranje - Quickscan je web-zasnovan alat koji omogućava lakše vođenje i donošenje odluka koja poglavlja (ocena) su od interesa za instituciju, a koje može biti primenjeno na tri načina:

● Brzo skeniranje kao brza orijentacija (osnovna opcija) ● Brzo skeniranje sa ocenom na daljinu (proširena opcija) ● Brzo skeniranje sa on-site ocenjivanjem – puno ocenjivanje (najsveobuhvatnija opcija)

Strana 16

Brzo skeniranje kao brza orijentacija (osnovna opcija) Brzo skeniranje je razvijeno da pruži prvu orijentaciju o prednostima izvođenja elektronskog učenja i područjima poboljšanja u jednoj instituciji. Ova područja poboljšanja zahtevaju dalju pažnju i biće osnova za rad sa priručnikom i beleškama ocenjivača.

On-line upitnik treba da bude popunjen od strane različitih učesnika u organizaciji kao što su predstavnici uprave, kreatora kursa, mentora i studenata. Preporučuje se da se formira mali tim ljudi iz različitih segmenata ustanove. Tim takođe ima zadatak da otkrije koja merila su relevantna ili manje značajne za njihovu instituciju. Rezultat postupka Quick Scan mora biti usklađeni pregled ocena koje odgovaraju instituciji kao i određen broj merila koja zahtevaju akcije na putu unapređenja. Svaka referentna vrednost treba da bude razmatrana i da se prosudi kako se taj aspekt elektronskog učenja realizuje kroz kurs ili program pojedinačne institucije ili fakulteta. Instrument nudi mogućnost kreiranja komentara o posebnim pitanjima navođenjem jedne od vrednosti: Neodgovarajuće, Delimično odgovarujuće, Veoma odgovarajuće ili Potpuno odgovarajuće.

Brzo skeniranje sa ocenom na daljinu (proširena verzija) Startna tačka je korišćenje osnovnog brzog skeniranja. Da bi se dokazalo da su odgovori koji su bili dati - popunjeni u skeniranju zasnovani na solidnim činjenicama, traže se referentni materijal i mapa poboljšanja. Svi dokumenti mogu dodati. Ocenjivači pregledaju dokaze udaljeno i dostavljaju izveštaj o ukupnim performansama i preporukama za poboljšanje.

Ovo ocenjivanje će omogućiti da se odrede performanse ocenjivanog programa elektronskog učenja i da se odrede zahtevi za dalje poboljšanje. Ovim instrumentom institucija može prepoznati težnje e-učenja u različitim segmentima.

Za dobijanje E-xcellence Associations Label od institucije se traži da integriše relevantna merila u svoj unutrašnji sistem obezbeđenja kvaliteta. Ovo garantuje kontinuiranu i ponovnu upotrebu E-xcellence benčmarkinga.

Brzo skeniranje sa on-site ocenjivanjem (najsveobuhvatnija opcija – puno ocenjivanje)

Ova opcija je slična prethodnoj osim u tome što će eksperti za elektronsko učenje (ocenjivači) posetiti univerzitet i izvršiti on-site ocenjivanje. Službenici iz institucije će se sastati sa ocenjivačima i u komunikaciji licem u lice oni će primiti preporuke i savete za poboljšanja.

Ovo on-site ocenjivanje će omogućiti da se odrede performanse programa elektronskog učenja i da se tačno odrede zahtevi za dalje poboljšanje u živim kontaktima sa predstavnicima ustanove.

Vrhunska ekspertiza

E-xcellence instrument radi sa ekspertima za elektronsko učenje u timu za ocenu. Ocenjivači su iz grupe iskusnih članova E-xcellence tima, koji svi poseduju vrhunsku ekspertizu na polju elektronskog učenja i kontrole kvaliteta, kao i i mnogo godina rada na univerzitetima u razvoju elektronskog učenja.

Instrument brzog skeniranja

Ovaj instrument je zasnovan na E-xcellence priručniku koji sadrži benčmark iskaze, zajedno sa

Strana 17

kriterijumima i indikatorima:

• Strategijski menadžment • Dizajniranje kurikuluma • Dizajniranje kursa • Izvođenje kursa • Podrška osoblju • Podrška studentima

Ovaj instrument je dopunjen pomoću kompletnog on-line priručnika. Sve to je dostupno pod "creative commons" licencom na www.eadtu.nl/e-xcellenceqs. Postoje dve forme instrumenta brzog skeniranja, on-line i off-line upitnik. Svako pitanje može biti ocenjeno na skali od 4 ocene (neadekvatno, delimično adekvatno, vrlo adekvatno, potpuno adekvatno).

Strategijski menadžment Institucionalni strategijski plan treba da identifikuje uloge koje će elektronsko učenje imati u ukupnom razvoju institucije i da postavi kontekst kreiranja planova akademskih sektora, administrativnih i operativnih odeljenja.

Institucionalni plan treba da istakne mogućnosti upotrebe elektronskog učenja u nastavi koji može definisati spektar "kombinacija" elektronskog učenja i više ustanovljenih pedagoških mehanizama.

Planovi fakulteta i departmana treba da imaju za cilj da najbolje odgovaraju studentskim zahtevima njihovog posebnog sektora tržišta (nacionalni/internacionalni fokus) u prezentovanju opcija e-učenja/ kombinovanog učenja.

Strategija

1. Strategija elektronskog učenja treba da bude ugrađena u strategiju nastave i učenja institucije.

2. Institucija treba da ima politiku i strategiju za razvoj elektronskog učenja koje je široko shvaćeno i integrisano u ukupnim strategijama institucionalnog razvoja i poboljšanja kvaliteta.

3. Istraživanje i monitoring posebnih tehnologija i razvoja na polju elektronskog učenja i predviđanje za integrisanje u okruženje učenja.

Upravljanje

4. Obezbeđenje izvora aktivnosti e-učenja treba da uzme u obzir posebne zahteve preko i iznad običnih zahteva kurikuluma. Oni će uključiti stavke kao što je nabavka opreme, implementacija softvera, zapošljavanje osoblja, potrebe treninga i istraživanja i razvoj tehnologije.

5. Institucija treba da ima jedan sistem elektronskog učenja integrisan sa menadžment informacionim sistemom (registracija, administrativni sistem i VLE) koji je pouzdan, siguran i efektivan za rad usvojenog sistema elektronskog učenja.

6. Kada elektronsko učenje uključuje kolaborativnu pripremu, uloge i odgovornosti svakog partnera (interni i eksterni) treba da budu jasno definisane kroz operacioni sporazum i njihove odgovornosti treba da budu saopštene svim učesnicima.

Dizajn kurikuluma

Kurikulum elektronskog učenja nudi značajne mogućnosti ali je praćen rizikom. Pretpostavlja se da je

Strana 18

dizajn kurikuluma znatno ograničen Evropskim i nacionalnim očekivanjima o znanju, veštinama i elementima kurikuluma zasnovanim na profesionalnim ishodima.

Ovaj odeljak se posebno bavi izazovima dizajna kurikuluma u elektronskom učenju.

Ključni faktori se odnose na: fleksibilnost u vremenu i brzini studija, modularnost programa, izgrađivanje akademske zajednice, i integracija razvoja znanja i veština.

Izazov sa kojim se institucija sreće je dizajn kurikuluma koji kombinuje fleksibilnost u vremenu i mestu učenja koju nudi e-učenje bez zadovoljenja standarda razvoja znanja i veština ili osećaj akademske zajednice povezane sa odredbama na kampusu koje će se uzimati kao merilo prema kojima se druge odredbe mere.

Dizajn kurikuluma treba da se prilagodi potrebama ciljne grupe za programima e-učenja koje se, u konktekstu rastućeg naglaska na celoživotnom učenju, mogu znatno razlikovati u odnosu na prethodna iskustva, interese i motivaciju kod tradicionlano mladih upisanih studenata na konvencionalnim univerzitetima.

1. Komponente elektronskog učenja treba da odgovaraju okvirima kvalifikacija, zakonima prakse, predmetnom benčmarku i drugim institucionalnim ili nacionalnim zahtevima u pogledu kvaliteta.

2. Kurikulumi treba da bude dizajnirani tako da dozvoljavaju personalizaciju i fleksibilnu putanju za učenika, u skladu sa sa zadovoljavajućim postignućem ishoda učenja i integracijom sa drugim (ne) elektronskim aktivnostima učenja. Korišćenje formativnog i sumativnog ocenjivanja treba da odgovara dizajnu kurikuluma.

3. Dizajn kurikuluma treba da obezbedi odgovarajuće mere za postizanje opštih ciljeva obrazovanja i integraciju znanja i veština specifično povezanih sa elektronskim učenjem kroz program studija. Doprinos komponenti elektronskog učenja razvoju obrazovnih ciljeva treba da bude jasno istaknut.

4. Kurikulum treba da bude dizajniran tako da traži široko učešće u akademskoj zajednici.

Dizajn kursa

Proces dizajniranja kursa treba da pokaže racionalni napredak od ustanovljenja potrebe za kursom u okviru opšteg kurikuluma, kroz dizajn konceptualnog okvira do detaljnog razvoja i kreiranja materijala za kurs.

Svaki kurs treba da uključi jasan prikaz rezultata učenja koji treba da budu dostignuti po uspešnom završetku. Ovi rezultati će biti specificirani u smislu znanja, veština, vokacijskih/profesionalnih kompetencija, ličnog razvoja, itd. i biće obično kombinacija navedenih.

Razvoj svakog kursa treba da obezbedi precizno dokumentovanu specifikaciju kursa koji postavlja relaciju između ishoda učenja i njihove ocene.

Iako se aspekti detaljnog razvoja i implementacije kursa e-učenja mogu realizovati sa nekom spoljnom agencijom (na primer, partner iz konzorcijuma, komercijalni programer e-učenja) raspodela takvih poslova treba da bude izvedena pod punim nadzorom partnerske institucije.

Kada se dizajn kursa e-učenja izvodi ugovorom sa drugom agencijom, odgovornost za njegove performanse ostaje na osnovnoj instituciji. Po tim okolnostima, dogovori za evaluaciju, modifikacije i poboljšanja su važni aspekti plan programa.

1. Svaki kurs treba da uključi jasan prikaz ishoda učenja uključujući i znanja i veština. U kontekstu kombinovanog učenja treba da se navede eksplicitan razlog za upotrebu svake

Strana 19

komponente u kombinaciji.

2. Ishodi učenja, a ne raspoloživost tehnologije, treba da opredele sredstva koja se koriste za isporuku sadržaja kursa i treba razmisliti o usklađenosti između ishoda učenja, strategije za upotrebu elektronskog učenja, delokruga materijala za učenje i korišćenih metoda ocenjivanja.

3. Dizajn kursa, razvoj i evaluacija treba da uključe pojedince ili timove sa ekspertizom kako u akademskim tako i u tehničkim aspektima.

4. U okviru komponenti elektronskog učenja, materijali treba da budu dizajnirani sa adekvatnim nivoom interaktivnosti koji će da omogući aktivno angažovanje studenata kao i da mogu da testiraju svoje znanje, razumevanje i veštine u redovnim intervalima. Tamo gde se planira da se materijali za samostalno učenje slobodno nalaze, oni treba da budu projektovani na takav način da dozvole učenicima stalnu povrtanu informaciju o njihovom napretku kroz samoevaluativne testove.

5. Materijali kursa treba sa budu usklađeni sa eksplicitnim smernicama koje se odnose na raspored i prezentaciju i konzistentni koliko je moguće u celom programu.

6. Kursevi, uključujući njihove ciljne ishode učenja, treba da budu redovno preispitivani, inovirani I unapređeni koristeći povratne informacije od učesnika prema potrebi.

7. Kursevi treba da obezbede komponentu kako za formativno tako i sumitivno ocenjivanje. Sumativna ocena treba da bude eksplicitna, poštena, validna i pouzdana. Odgovarajuće mere treba da budu podesne da spreče lažno predstavljanje i/ili plagijarizam, posebno tamo gde se ocenjivanje vrši on-line.

Isporuka kursa

Ovaj odeljak pokriva tehničke aspekte izvođenja kursa, okruženje kroz koje studenti primaju materijale i komuniciraju sa ostalim studentima i zaposlenima. Pedagoški aspekti izvođenja kursa su prikazani u odeljcima Projekat kursa I Podrška studentima priručnika.

Sistem predstavlja značajnu investiciju finansijskih i ljudskih resursa u nabavku i implementaciju, a izbor određenog sistema može uticati na razvoj učenja godinama.

Efektivna isporuka kursa zahteva saradnju između akademskog i operativnog odeljenja institucije. Tehnička infrastruktura treba da prikaže zahteve akademskoj zajednici, kako studentima tako i zaposlenima.

Politika implementacije okruženja za virtuelno učenje. koje treba da upravlja procesima isporuke, trebalo bi da bude vođena obrazovnim zahtevima i monitoring performansi treba da obuhvati uticaj na učenje a takođe i operativne statistike.

1. Održavanje tehničke infrastrukture sistema elektronskog učenja treba da bude podesno za namenu i podržava kako akademske tako i administrativne funkcije. Njegove tehničke specifikacije treba da budu zasnovane na analizi zahteva učesnika i da uključi realne procene upotrebe sistema i razvoja.

2. Pouzdanost i sigurnost sistema isporuke treba da budu rigorozno testirani unapred i da postoje odgovarajuće mere za oporavak sistema u slučaju pada ili kvara sistema.

3. Odgovarajuće mere treba da se obezbede za sistem održavanja, monitoring i pregled performansi prema skupu standarda i prema poboljšanjima kada oni postanu raspoloživi.

4. VLE treba da bude odgovarajući za usvojene pedagoške modele i za zahteve svih korisnika.

Strana 20

On treba da bude integrisan sa administrativnim sistemom institucije, koliko je moguće.

5. Informisanje i usluge treba da budu obezbeđeni svim učesnicima na logičan, konzistentan i pouzdan način.

6. Svi korisnici treba budu uvereni da su sistemi za komunikaciju i pružanje informacija sigurni, pouzdani i, gde je to odgovarajuće, obezbede privatnost.

7. Materijali i informacije dostupni preko VLE treba da budu redovno kontrolisani, pregledani i ažurirani. Odgovornost za to treba da bude jasno definisana i odgovornima treba da bude obezbeđen odgovarajući i bezbedan pristup sistemu da izvrše ispravke i ažuriranja.

Podrška osoblju

Institucije treba da obezbede svom osoblju potrebna sredstva i podršku za izvođenje akademskog podučavanja visokog kvaliteta. Činjenica da se ono izvodi korišćenjem digitalnih medija postavlja dodatne odgovornosti za institucije. U ovoj kategoriji najvažniji kriterijumi su objedinjeni i upućuju na potrebe kako za stalno zaposlenim tako i za saradničkim osobljem koje može biti zaposleno u brojnim ulogama podučavanja i administrativnim ulogama. Cilj svih servisa podrške je da omogući svim članovima akademskog i administrativnog osoblja da potpuno doprinese razvoju elektronskog učenja i izvođenju usluga bez zahteva da oni postanu svojevrsni specijalisti za ICT.

1. Svo osoblje za koja se smatra da ima akademsku ulogu, ulogu razvoja medija i administrativnu ulogu treba da bude u stanju da adekvatno podrži razvoj i isporuku komponenti elektronskog učenja. Institucije treba da obezbede da se odgovarajući trening i podrška pruži ovom osoblju i da ovaj trening bude unapređen u svetlu novog sistema i pedagoških razvoja.

2. Pedagoška istraživanja i inovacije trebaju se smatrati kao aktivnosti visokog statusa u okviru institucija posvećenih visokom kvalitetu elektronskog učenja. U okviru ovih institucija treba da postoji mehanizam za širenje dobre prakse zasnovane na pedagoškim iskustvima i istraživanjima u podršci elektronskom učenju (uključujući institucionalne pilot projekte ili dobru praksu razvijenu drugde i/ili kroz konzorcijume), i za trening ili mentoring novog osoblja u takvoj praksi. Podsticaji razvoja karijere treba da promovišu upotrebu elektronskog učenja.

3. Institucije treba da obezbede da pitanja preopterećenosti osoblja i bilo koje druge implikacije učešća osoblja u aktivnostima elektronskog učenja budu odgovarajuće uzete u obzir u upravljanju kursevima ili programima.

4. Institucije treba da obezbede da adekvatna podrška i resursi budu dostupni akademskom osoblju uključujući tutore/mentore sa nepunim radnim vremenom. Oni treba da uključe:

• podršku razvoju veština podučavanja (uključujući veštine elektronskog učenja, kolaborativni on-line rad i doprinos on-line zajednicama što su ključne veštine u kontekstu elektronskog učenja)

• pristup help desk-u, administrativnu podršku i savetodavne usluge

• mogućnosti da daju i prime povratne informacije o njihovom iskustvu na kursu

• procedure kojima će rešavati teškoće ili sporove koje se mogu javiti

• pravni savet (kao što je autorsko pravo i prava intelektualne svojine)

Strana 21

Podrška studentima Usluge podrške studentima su bitna komponenta pripreme elektronskog učenja. Njihov dizajn treba da obuhvati pedagoške, tehničke i aspekte resursa koji utiču na on-line učenika. Pretpostavka je da će on-line aktivitnost formirati suštinu iskustva e-učenika, zato usluge podrške treba da budu projektovane da budu dostupne u prvom redu preko studentske početne strane ili druge ulazne rute za on-line sistem institucije.

Pošto je verovatno da će studenti raditi prema fleksibilnom rasporedu, službe podrške bi trebalo da rade, kad god je moguće, na način koji to uvažava.

Od područja tehničke podrške može se tražiti da nudi usluge na 24x7 bazi. Na drugim domenima 24x7 može biti dostignut za automatizovane usluge, sa kontaktom sa čovekom prema utvrđenim ciljevima izvođenja.

Studenti treba da imaju spisak usluga i jasnu specifikaciju usluga dostupnih na svim nivoima.

1. Studentima treba da se obezbedi jasna slika o tome šta će biti uključeno u korišćenje elektronskog učenja i očekivanjimaa koja se postavljaju pred njima. Ovo treba da uključi informacije o tehničkim (sistem i VLE) zahtevima, zahtevima koji se odnose na prethodna znanja i veštine, prirodi programa, raznovrsnosti metoda učenja koji treba da se koriste, prirodi i stepenu obezbeđene podrške, zahtevima ocenjivanja itd.

2. Studentima treba da budu data uputstva koja navode njihova prava, uloge i odgovonosti, pun opis njihovog kursa ili programa i informisanje o načinima na koje će biti ocenjivanji pomoću e-učenja.

3. Studenti treba da imaju pristup resursima učenja i sistemu podrške studentima. Sistem elektronskog učenja treba da obezbedi:

• pristup resursima biblioteke • podrška razvoju ključnih veština (uključujući podršku za veštine elektronskog učenja,

kolaborativni rad on-line i doprinos on-line zajednici što su ključne veštine u kontekstu elektronskog učenja)

• savetovanje i konsultacije o izboru kursa i napredovanju kroz program • identifikovani akademski kontakt, tutor i/ili mentor koji će obezbediti konstruktivnu

povratnu informaciju o akademskom postignuću i napredovanju • pristup help desk-u, administrativnu podršku i usluge savetovanja • mogućnosti da daju i prime povratne informacije o njihovom iskustvu na kursu • procedure kojima će rešavati teškoće ili sporove koje se mogu javiti • pristup informacijama o bivšim studentima

4. Studentima treba da bude obezbeđena jasna i ažurna informacija o rasponu raspoloživih usluga podrške i kako se one mogu dobiti.

5. Očekivanja studenata o njihovom učešću u on-line zajednici treba da budu jasno istaknuta kako u pogledu opštih uslova tako u odnosu na specifične delove njihovog kursa ili programa.

Strana 22

BENVIC

BENVIC je razvijen pod EU projektom, takođe nazvanim BENVIC (Benchmarking of Virtual Campuses) u periodu 1999-2001. Konzorcijum je predvođen Otvorenim Univerzitetom Katalonije (UOC) i sačinjava ga značajan skup partnera (uključujući UCL u UK).

Benvic projekat ima cilj da: ● razvije, testira i uspostavi obrazovni pristup evaluaciji iskustava “virtualnih kampusa” kroz

Evropu, posebno onih uključenih u Socrates ODL Program; ● unapredi kolaborativnu mrežu sposobnu da implementira evaluaciju kroz poređenje i

benčmarking; ● razvije kompetentnu mapu povezanu sa dizajniranjem i implementacijom “virtualnih

kampusa”; ● promoviše novo znanje i pristup učinjen dostupnim projektom Evropske Akademske

zajednice. Aktivnost na BENVIC projektu ima za cilj da nudi sisteme za evaluaciju VLE za donosioce odluka, koji im dozvoljavaju da poboljšaju svoj razvoj, a takođe i da se bolje upoznaju sa drugim platformama. Šta više, finalni cilj ovog pristupa evaluacije bio je uspostavljanje kriterijuma kvaliteta.

Slika 1. BENVIC benčmarking sistem

Postavljajući opšti okvir za benčmarking (studije slučaja, osnovni principi benčhmarkinga, pregled stanja u razvoju otvorenih i fleksibilnih programa, metodologije i pristupa itd.) u prvoj fazi projekta,

Strana 23

konzorcijum je radio tokom poslednjih 12 meseci projekta na definisanju liste indikatora i oceni njegove upotrebljivosti pozivanjem različitih institucija da učestvuju.

Različita područja aktivnosti institucije visokog obrazovanja mogu biti ocenjena kroz skup indikatora. Od identifikovanih indikatora i procesa konstruisana je mapa kompetencija u cilju prikupljanja osnovnih kriterijuma koje treba uzeti u obzir u bilo kojoj evaluaciji okruženja virtuelnog učenja.

Metodologija ocenjivanja

Da bi dokumenti i prvi test sistema bili validni – ne samo lista indikatora, već takođe ceo proces i radna metodologija koju je Konzorcijum usvojio – nove institucije su pozvane u Benvic klub. One treba da testiraju sistem i rezultati treba da budu analizirani, kao osnova za donošenje odluka.

Metodologija evaluacije je zasnovana na novim članovima koji testiraju sistem. Evaluacija je urađena na tri nivoa :

1) Nivo studija slučaja

Zainteresovani članovi posećuju BENVIC web sajt gde se od njih traži da ispune upitnik kratkog profila. Da bi dao detaljan profil institucije, univerzitet ispunjava obrazac studije slučaja. U isto vreme, ovaj dokument kreira prečišćen profil institucije. Ova studija slučaja, koja postaje raspoloživa za druge institucije pridružene benčmarking klubu, pomoći će univerzitetima i drugim institucijama da se upoređuju međusobno. Tako će biti lakše pozicionirati ustanovu i olakšati dalje poređenje.

2) Nivo indikatora

Pri ulasku u ovu fazu, organizacija procenuje sopstvene performanse u odnosu na različite elemente virtualnog kampa, kao što su servisi za učenje i resursi, osoblje i tehnički resursi. Indikatori se ocenjuju sa: uopšte neimplementirani – delimično implementirani – potpuno implementirani na skali 0-2. Ovi indikatori omogućavaju institucijama da vide gde se treba postaviti u razvoju njihovog virtualnog kampa.

Ista lista indikatora dozvoljava institucijama da se upoređuju. Uloga BENVIC manadžmenta nije da poredi različite univerzitete. Poređenje radi sama institucija koristeći listu indikatora od nečega što predstavlja – u najboljem slučaju - idealni virtualni kampus. Da bi podsticao aspekte međusobnog učenja BENVIC vežbi, manadžment projekta nudi instituciji/univerzitetu podatke onih sa najboljim performansama. Ako institucija želi da poboljša svoje performanse u određenom polju, poželjno je da stupi u kontakt sa projekt manadžmentom koji će obezbediti instituciji podatke o najboljima u tom polju.

3) Nivo mape kompetencija

Nakon poređenja sa listom indikatora i ako je moguće, sa drugim institucijama, institucije mogu napisati plan poboljšanja i učenja. Do tog trenutka institucije trebaju znati tačno za koja područja virtualnog kampusa je potrebno poboljšanje. Mapa kompetencija trebalo bi da pomogne da se iscrta koherentan plan poboljšanja. Kad se poboljšan sistem postavi, institucije mogu re-startovati benčmarking vežbe vrativši se u prethodnu fazu:

● profilisanje institucije opisivanjem sopstvene studije slučaja je adekvatno kada institucija smatra da su implementirane promene imale značajne uticaje na profil institucije. Organizacija popunjava ovaj obrazac da bi iznašla kako poboljšanja imaju efekta na njihov generalni profil;

● ponovno odgovaranje na listu indikatora (drugi put) treba da vodi različitim dostignutim

Strana 24

procenama, što jasno demonstrira poboljšanja institucija koja su dostignuta i pokazuju područja gde je još ostalo područja za poboljšanje.

BENVIC benčmarking indikatori BENVIC benčmarking pristup kombinuje tri tipa indikatora: strukturalni, praktični i indikatori performansi.

Strukturalni indikatori ocenjuju ono što se ponekad naziva ‘’snabdevači” - enablers. Snabdevači su oni resursi koji su raspoloživi virtualnom kampusu i koji treba da mu omoguće da se izvede njegova misija i ciljevi. Oni uključuju: institucionalne i ljudske kompetencije; tehnološke platforme i alate; upravljačka struktura.

Praktični indikatori ocenjuju načine na koje virtualni kampus koristi sve resurse. Oni ocenjuju radnu praksu i procese virtualnog kampusa. Fokusiraju se na: poslovnu strategiju organizacije; njene ciljne i pristupne procedure; njen pedagoški pristup.

Indikatori performansi ocenjuju rezultate interakcije između radne prakse i “snabdevača”. Oni su usmereni na rezultate i uticaje, kao što su: rezultati učenja; procena troškova i koristi (cost-benefits); tehnička efikasnost.

Postoje ukupno 72 strukturalna i praktična indikatora.

BENVIC indikatori se koriste da:

● obezbede šablon koji omogućava individualnim kampusima da identifikuju ono što oni treba da izmere i kako da to mere, da bi ocenili svoje prednosti i nedostatke i plan za poboljšanje;

● obezbede osnovu za prikupljanje podataka o organizacionoj strukturi i praksi virtualnih kampusa;

● uspostave proceduralne i operacionalne norme – benčmarkove – kao rezultat analize tih podataka;

● kontroliše i prati kako virtualni kampusi napreduju i kakve su implikacije ovih promena. Website projekta: http://www.benvic.odl.org/ (nije inoviran od od 4. februara 2002) Dijagnostički šablon/pitanja: http://www.benvic.odl.org/indexpr.html

MASSIVE MASSIVE je projekat koji je osnovala EU i kojim koordinira Univerzitet Granada u periodu 2005-2007. MASSIVE projekat je bio usmeren na projektovanje modela usluga zajedničke podrške za Evropske tradicionalne univerzitete da uspešno implementiraju virtualne komponente učenja. U okviru MASSIVE projekta recenzirani model/servis je projektovan i testiran.

Polazna tačka za MASSIVE projekat su bili rezultati iz prethodnih projekata: ne samo da bi ih analizirali već da bi se održale razvijene dobre prakse kao i da ih uključe u finalni model usluga podrške koje treba da se razviju u 6 oblasti predloženih od strane konzorcijuma projekta. Tako, MASSIVE projekat teži da promoviše, kroz evaluaciju putem recenzija, model zajedničke podrške za pružanje usluga između specijalizovanih timova univerzitetskog osoblja. Projekat se bavi sledećim specifičnim zadacima:

● Definisanje konceptualnog modela virtuelizacije ● Identifikovanje i klasifikovanje dobrih praksi u organizaciju usluga podrške univerzitetskoj

zajednici prema virtuelnim komponentama univerziteta ● Istraživanje i poređenje elemenata za prenosivost ● Validacija pristupa razvoju usluga podrške ● Garantovanje široke diseminacije prkasi i upotrebe modela

Strana 25

Pregled se fokusira primarno na ocenjivanju rezultata prethodnih projekata koji se izvode u okviru ovog domena i primenjuje se na razvoj MASSIVE modela. U ovom slučaju tri ključna projekta bila su pokrivena:

● IVETTE: Implementacija virtualnog okruženja u trening i edukaciju (TSER program) ● BENVIC: Benčmarking Virtualnog kampusa (Socrates Programme) ● Restrukturisanje Univerziteta i Nove tehnologije za nastavu i učenje (CRE)

U okviru MASSIVE projekta, bilo je identifikovano i opisano šest relevantnih područja usluga kao osnova za izgradnju interaktivnog modela univerzitetske službe podrške (posebno kritično i neophodno u EU visokoškolskim institucijama). Ova područja (aspekti) su:

1. Univerzitetske strategije u integraciji ICT u nastavi i učenju

2. Evolucija univerzitetske biblioteke u njihovoj podršci elektronskom učenju

3. Upravljanje IPR (pravima intelektualne svojine) digitalnog materijala za učenje

4. Podrška za predavačko osoblje u njihovom korišćenju elektronskog učenja

5. Podrška za studente za elektronsko učenje

6. Dizajn online kurseva.

Namera recenzenata je da istraže, sa kolegama u univerzititema koji učestvuju, razvoj u šest navedenih aspekata upotrebe elektronskog učenja u okviru univerziteta. Recenzija se odvija u tri faze:

● Faza pripreme (mesec dana pre posete) – povlači za sobom prikupljanje osnovnih informacija o instituciji, i njenim trenutnim i budućim planovima upotrebe elektronskog učenja. Jedan važan deo ovog prikupljanja informacija je the ‘Positioning Questionnaire’- upitnik o pozicioniranju, koji treba da popuni neko sa univerziteta ko je dobro informisan o ovim pitanjima, i vraćen MASSIVE timu pre posete lokaciji. Traže se relevantni dokumenti koji pomažu da se izgradi slika o tome kako Univerzitet pristupa elektronskom učenju. Oni se takođe šalju MASSIVE timu pre posete ustanovi.

● Poseta lokaciji (2 radna dana) – koji uključuje kolaborativni dijalog između MASSIVE recenzenata i grupe predstavnika Univerziteta. Poseta obezbeđuje mogućnost za ocenjivače da prikupe više informacija, kroz intervjue i zapažanja, i za ocenjivače i "instituciju domaćina" da istraže ključna pitanja relevantna za strategije e-učenja.

● Faza analize i istraživanja (jedan mesec posle posete) – na osnovu podataka prikupljenih u prethodnim fazama, ovaj finalni deo procesa pregleda će se fokusirati na kreiranje preporuka koje su nastale kroz kolaborativne refleksije između MASSIVE tima i institucije.

Srž MASSIVE metodologije su pitanja koje se postavljaju za vreme prikupljanja podataka i faze istraživanja. Vrednost i korisnost prikupljenih informacija se direktno određuje prirodom postavljenih pitanja. Lista pitanja za bilo koje područje usluge je razvijeno i svaka lista može biti modifikovana zavisno od individualnog istraživača i pojedinačne situacije isto se može reći o indikatorima uslužnih delatnosti [MASSIVE Metodologija, 2005].

Ključni rezultat MASSIVE-a je da promoviše recenzentski evaluativni pristup, baziran na modelima široko testiranim na partnerskim univerzitetima. Preko posete recenzenata, oni koji su odgovorni za usluge podrške pomoći će bilo kom univerzitetu da prerade i poboljšaju njihove usluge za elektronsko učenje. Na ovoj tački projekat postaje veoma sličan benčmarking projektu.

Website projekta: http://cevug.ugr.es/massive/index.html Rezultati: http://cevug.ugr.es/massive/outputs.html

Strana 26

CHIRON CHIRON - Referring Innovative Technologies and Solutions for Ubiquitous Learning je projekat finansiran od strane EU (Leonardo da Vinci Programme: 2004-2006) čiji je cilj da razvije referentni materijal koji predstavlja i analizira rezultate istraživanja, eksperimente i rešenja najbolje prakse za nove oblike elektronskog učenja, bazirane na integraciji širokopojasnog interneta, digitalne TV i mobilnih tehnologija za svuda prisutne aplikacije, u sektoru neformalnog i neformalnog celoživotnog učenja. Oni imaju tendenciju da koriste frazu "u-learning", a ne "e-learning", gde "u" znači "ubiquity" (svuda prisutno).

Na osnovu opsežne ankete o pedagoškim konceptima, modelima, standardima i organizacionoj formi adekvatnoj za upotrebu naprednih tehnologija u sveprisutnom učenju, razvijeno je 11 kriterijuma, podeljenih u ukupno 216 indikatora. Kriterijumi su sledeći:

● Ciljevi i zadaci kursa (12 indikatora) ● Institucionalna podrška (14 indikatora) ● Razvoj kursa (50 indikatora) ● Struktura kursa (12 indikatora) ● Sadržaj kursa (25 indikatora) ● Podučavanje/Učenje (19 indikatora) ● Podrška studentima (18 indikatora) ● Podrška osoblju (4 indikatora) ● Evaluacija i ocenjivanje (24 indikatora) ● Dostupnost (26 indikatora) ● Jezik (12 indikatora)

Većina indikatora se najbolje opisuju kao specifični i prilično detaljni standardi i smernice (na primer o stilu ustanove, upotrebljivosti, itd.). Oni više orijentisani na benčmarking su uzeti iz raznih izvora, uključujući većinom kriterijume "Quality on the Line" razvijene u kasnim 90-tih od strane instituta za Politiku visokog obrazovanja u SAD. Website projekta: http://semioweb.msh-paris.fr/chiron/.

ELTI ELTI (Embedding Learning Technologies Institutionally - Institucionalno uvođenje tehnologija za učenje) revizija je originalno razvijena kao deo JISC projekta (2001 - 2003) i bila je kreirana tako da informiše proces uvođenja tehnologija za učenje, pomogne u razvoju odgovarajuće institucionalne strukture, kulture i ekspertize i da ohrabri međunarodnu saradnju i ujedinjavanje. Originalna studija je istraživala uloge, veštine i aktivnosti osoblja za tehnologije učenja u Velikoj Britaniji i uticaj institucija koje se bave tehnologijama učenja. ELTI je zasnovan kao naredni projekat da bi ovu metodologiju učinio šire dostupnom. Ovi revizorski materijali i metodologija mogu pomoći institucijama u ispitivanju strategije e-učenja i organizacionih struktura za podršku upotrebi ICT u podučavanju, učenju i istraživanju. Originalni instrumenti revizije i prateće beleške i smernice su revidirani i poboljšani kako bi bili korisni za celu zajednicu visokog obrazovanja.

Iz studija i modela razvijenih kao deo ove studije, 12 ključnih institucionalnih faktora su identifikovani u 3 područja kao što su: Kultura:

1. Profil učenja i podučavanja 2. Profil tehnologije učenja 3. Nagrade i priznanja 4. Istraživanje i razvoj

Strana 27

Infrastruktura: 1. ICT infrastruktura 2. Podrška tehnologije učenja 3. Finansiranje tehnologije učenje 4. Administrativna infrastruktura

Znanje: 1. ICT/pedagoške veštine osoblja 2. ICT/veštine učenja studenata 3. Digitalni resursi 4. Mreže i kolaboracija

Do deset indikatora je dogovoreno, da prikažu institucionalni kontekst; za svaki faktor indikatori su izraženi kao pozitivne izjave, koje se mogu oceniti, na skali 1-5, ali može takođe uključiti kvalitativne izjave. [ELTI, 2006].

Proces revizije

Revizija tehnologije učenja je dizajniran da prikuplja informacije koje su korisne za instituciju o 12 ključnih faktora u razvoju tehnologija učenja. Proces revizije je najmanje onoliko koristan koliko je informacija prikupio. Postoje četiri sekcije za reviziju :

1. Institucionalni faktori 2. Uloge 3. Veštine 4. Politika i planiranje

Za svaku sekciju instrumenti revizije dozvoljavaju opis institucije, uloge osoblja, veštine i aktivnosti na više načine.

Cilj Instrumenata institucionalnih faktora je da pomogne instituciji da identifkuje jake i slabe tačke u razvoju, uvođenju, podršci i upotrebi tehnologije učenja. Rezultati se mogu koristiti da pomognu formulisanju akcionog plana za uravnoteženi razvoj. Faktori koji su predmet revizije su ponovo podeljeni u tri sekcije: Kultura, Infrastruktura i Ekspertiza. Svaki faktor je ocenjen preko brojnih značajnih indikatora u formi pozitivnih izjava (koje mogu biti viđene kao indikatori ‘institucionalne dobre prakse’).

Instrument revizije uloga je dizajniran da pomogne mapiranje i opisivanje ljudi u instituciji uključenih u razvoj, upotrebu i podršku tehnologije učenja. To može takođe pomoći da se identifikuju ključne uloge i aktivnosti koje možda nedostaju u institucionalnom profilu.

Instrument revizije veštine je dizajniran da pomogne mapiranju veština tehnologije učenja koje se zahtevaju od ljudi u različitim ulogama. On se može koristiti za kreiranje opisa posla za nova ili postojeća mesta, ili kao analiza potreba za treningom za pojedince i uloge. To može takođe delovati kao generalna analiza veština tehnologija učenja, bilo kroz celu instituciju ili u manjem kontekstu, kao što je sektor, fakultet ili projekat.

Instrument revizije politike i planiranja je projektovan da pomogne mapiranju strukture planiranja i upravljačke strukture koje utiče na upotrebu tehnologije učenja u instituciji. On može biti korišćen da identifikuje praznine u procesu donošenja odluka, uska grla i konflikte interesa, ili da cilja ključne pojedince i odbore.

Strana 28

Izvođenje revizije

Za izvođenje nadzora postoji ELTI seminar paket koji sadrži alate za revizije (Audit Tools), beleške revizije (Audit Notes) i vodič za izvršioce (Facilitator’s Guide). Ovaj paket obezbeđuje obiman set dokumentacije za podršku. Dokument ELTI Audit Tools je najdirektnije značajan za ono što se jednostavno prihvata kao benčmarking, posebno sekcija 1 na takozvanim "Institutionalnim faktorima".

ELTI Faciliator’s Guide http://www.jisc.ac.uk/media/documents/programmes/jos/workshop_pack_facilitator_v5.pdf

ELTI Audit Tools http://www.jisc.ac.uk/media/documents/programmes/jos/workshop_pack_audit_tools_v5.pdf

Elti Audit Notes http://www.jisc.ac.uk/media/documents/programmes/jos/workshop_pack_notes_v5.pdf

Pick&Mix

Pick&Mix se zasniva na sistematičnom pregledu iz 2005.god. [BACSICH Benchmarking, 2008] pristupa benčmarkingu elektronskog učenja, tragajući za sličnostima pristupa. On se koristi u sve tri faze Akademije za visoko obrazovanje - the Higher Education Academy/JISC Benchmarking Exercise 2005-2008, od strane sva četiri Velška univerziteta u Gwella benčmarking programu u 2008-2009. Pet različitih metodologija je bilo predloženo za Benčmarking vežbe: ELTI, eMM, MIT90s, OBHE and Pick&Mix. Samo OBHE i Pick&Mix su bili korišćeni u sve tri glavne faze Benčmarkinga – a samo Pick&Mix se koristi u Gwella fazi. Od pet metodologija, Pick&Mix je najbliža u konceptu E-xcellence. On se koristi (proleće 2009) od strane univerziteta u UK i Australiji za benčmarking i re-benčmarking. Jedna od karakteristika Pick&Mix je da ona radi kao “otvoren edukativni metodološki resurs” u kome se ključni dokumenti i njihova inoviranja učestalo postavljaju na javnom domenu pod Creative Commons copyright/IPR licencom.

Jedna od vrlina Pick&Mix (koja joj je i dala ime) je da ona ne navodi metodološka ograničenja i inkorporira (i nastaviće da inkroporira, prema potrebi) kriterijume iz drugih metogologija kvaliteta, najboljih praksi, usvajanja i benčmarkinga [Pick&Mix, 2005]. Metodologije Bacsich su izvršile analizu i već koriste deo u svom američkom radu (24 “Quality on the Line” benčmark merila i APQC indikatora), Asutralijske studije su uključile skorašnje rezultate od ACODE (Australijska analogija HELF), u Velikoj Britaniji NLN i Becta (ILT alat za samovrednovanje i Matrix) i sa Novog Zelanda eMM.

Pick&Mix je metodologija za benčmarking e-učenja sa sledećim karakteristikama [HEI Benchmarking Report, 2006]:

● skup kriterijuma podeljen u 20 osnovnih (koje svaka institucija treba da uzme u obzir) i dodatni kriterijumi (od kojih svaka institucija treba da izabere 5 za razmatranje); dodatno, institucija može koristiti lokalno razvijene kriterijume na isti način

● uputstva, zasnovana na iskustvu visokoškolskih ustanova, do ukupnog broja kriterijuma (osnovnih plus dodatnih plus lokalnih) koje visokoškolska ustanova treba da razmatra

● kriterijumi koji se mešavina procesnih kriterijuma i metričkih izlaznih kriterijuma; oni obuhvataju probleme studenata i zaposlenih, kao i strategiju, strukturu i IT teme

● svaki kriterijum se ocenjuje na skali od 1-5 sa dodatnim nivoom 6 koji označava izvrsnost; nivo 1 je uvek minimum a nivo 5 i dostugnuta najbolja praksa za sektor koji se ocenjuje u određenom periodu (nivo 6 treba da bude van planiranog dometa većine VŠ institucija)

Strana 29

● svaka ocena je povezana sa izjavom koja se ocenjuje i detaljnije opisuje prakse povezane sa tim nivoom u određenoj ustanovi

● novi kriterijum koji se može kreirati da odslika premene (kao što su pagijarizam, proširenje učešća, planiranje prostora) ili uzet iz druge kriterijumske metodologije (ELTI,eMM, BENVIC, CHIRON, E-xcellence, itd.): svaki takav kriterijum može biti specifičan za visokoškolsku ustanovu (lokalni kriterijum) ili predložen za uključivanje u nove dodatne kriterijume

● ugrađeno znanje i uporedivost zasnovana na upotrebi transparentnih javnih normi – referenciranih u sektoru poslovanja koji neće umanjiti ulogu ustanove i konsultanata u zajedničkom istraživanju i ocenivanju svakog kriterijuma

● pažljivo razmatranje posvetiti u cilju smanjivanja broja minimalnih kriterijuma tako da je svaki jasno povezan sa uspehom u e-učenju

● ne postoji ugrađen menadžment projektima ili metodologija angažovanja tako da Pick&Mix može biti korišćen u sklopu metodologije upravljanja projektima koja je pogodna ustanove i odgovarajuće težine

● upotreba kriterijuma, formulisanih poznatim pojmovima i jasno povezanih sa e-učenjem, zajedno sa poznatim i jednostavnim upravljanjem projektima, tako da to vodi stilu sa nepreteranim zahtevima benčmarkinga, pogodnom za mnoge institucije i departmane u institucijama kao i međuinstitucionalne pristupe proširive sa detaljnijim studijama

● način distribucije "otvorenih sadržaja" gde je svako finalno izdanje i pripadajuća dokumentacija dostupna pod Creative Commons licencom.

Pick&Mix metodologija je dokumentovana u javnom domenu. Sva glavna ažuriranja dokumentacije su izvedena iz wiki unosa Akademije za visoko obrazovanje i obaveštavaju se ispitivači preko benčmarking bloga Akademije za visoko obrazovanje. Detaljnije informacije o Pick&Mix, uključujući dosta prezentacija i radova, i materijal o pripadajućim metodologijama, u okviru "kritičkih faktora uspeha" tradicije benčmarkinga, mogu se naći na Matic Media website na http://www.matic-media.co.uk/ benchmarking.htm. Postojeća verzija Pick&Mix je Pick&Mix verzija 2.6 beta 3 ima 53 kriterijuma. Pick&Mix verzija 2.6 beta3:http://www.matic‐media.co.uk/benchmarking/PnM‐2pt6‐beta3‐full.xlsx 

 

SEVAQ+ SEVAQ+ je Evropska inicijativa za samoocenjivanje kvaliteta u tehnološki podržanom učenju, zasnovana na inovativnoj kombinaciji Kirkpatrick modela evaluacije za učenje i EFQM excellence modela. SEVAQ+ teži da dostigne veoma rasprostranjenu diseminaciju i eksploataciju rezultata Leonardo da Vinči pilot projekta (2005-2007): SEVAQ alat i koncept za samoocenjivanje kvaliteta u elektronskom učenju - the Self-Evaluation of Quality in eLearning [SEVAQ+, 2009]. SEVAQ+ je projektovan za korišćenje od strane različitih organizacija za učenje – profesionalni trening centri, unutarkompanijski trening sektori ili univerziteti – da ocene kvalitet bilo kog podučavanja i učenja podržanog tehnologijom, bilo da se to odnosi na potpune online kurseve na daljinu ili kombinovano učenje. SEVAQ+ omogućava upotrebu u analizi povratnih informacija od glavnih učesnika uključenih u tehnološki-podržane sisteme učenja i:

● isticanje područja za poboljšanja, ● praćenje napretka iz jednog semestra ili godine u sledeću, ● ocenjivanje podučavanja i treninga prema drugim institucijama.

SEVAQ+ alat može biti korišćen od strane: nastavnika i trenera da projektuju upitnike radi sakupljanja povratnih informacija o tome šta učenici zaista misle o njihovom iskustvu učenja; trening menadžera da stvore punu sliku dizajnirajući upitnike za različite uključene učesnike. Takođe organizacije mogu koristiti rezultate SEVAQ+ benčmarka za poređenje sa drugima koristeći SEVAQ+ i učenici dobijaju šansu da daju svoje mišljenje i doprinesu poboljšanju kvaliteta učenja.

Strana 30

SEVAQ+ sledi logičnu strukturu inspirisanu od EFQM okvira kvaliteta, kombinovanog sa Kirkpatrick modelom ocenjivanja. Da bi se kreirao upitnik, potrebno je izabrati na koje kriterijume i subkriterijume se želi fokusirati (dostizanje ciljeva učenja, efikasnost tehničke podrške, efektivnost pedagoškog pristupa, kvalitet resursa učenja,...). Ovi kriterijumi su organizovani u opšti okvir resursa, procesa i rezultata. SEVAQ+ alat zatim nudi seriju izjava: mogu se odabrati oni koji najbolje reflektuju realnost konteksta koji će biti ocenjen.

Website projekta: http://www.sevaq.eu/ Online instrument: http://www.sevaq-plus.preau.ccip.fr/

Strana 31

4. EU Benčmarking inicijative u visokom obrazovanju

ESMU Kreiran 2000.god., ESMU benčhmarking program (www.esmu.be) usmeren je na merenje i unapređenje dobre prakse u univerzitetskom menadžmentu. Program radi na godišnjoj osnovi i fokusira se na procese menadžmenta kao što je obezbeđenje internog kvaliteta, studentske službe, strategije elektronskog učenja i menadžment istraživanja. Kvantitativni indikatori se prikupljaju, ali se upitnici više fokusiraju na kvalitativno prikupljanje podataka o procesu menadžmenta.

Za vreme benčmarking programa, institucije koje imaju učešća u visokom obrazovanju kreiraju izveštaje o samoevaluaciji i ESMU eksperti ocenjuju izveštaje institucija visokog obrazovanja prema setu dobre prakse. Institucije koje učestvuju u visokom obrazovanju sreću se na seminarima da diskutuju i razmenjuju dobru praksu.

Pristup je baziran na Malcolm Baldridge National Quality Award pristupu (SAD), koji takođe naglašava EFQM Excellence model.

Benčmarking u Evropskom visokom obrazovanju Benčmarking u Evropskom visokom obrazovanju je projekat, finansiran od Evropske zajednice, da poboljša benčmarking u visokom obrazovanju. On je dizajniran da pomogne modernizaciju upravljanja u visokom obrazovanju i da promoviše atraktivnost Evropskog visokog obrazovanja. On podržava institucije visokog obrazovanja i kreatore politike da bolje realizuju Lisabonske ciljeve i Bolonjski process.

Sadašnji partneri projekta su:

● Evropski centar za strategijski menadžment univerziteta (ESMU) ● Centar za razvoj visokog obrazovanja (CHE) ● Internacionalni centar za menadžment visokog obrazovanja (ICHEM), Univerzitet Bath ● Institut za edukaciju (IoE), Univerzitet u Londonu

Ključne aktivnosti U trenutnoj, drugoj fazi projekta (2008-2010), rezultati iz prve faze su unapređeni sa:

● Četiri benčmarking grupe visokoškolskih ustanova za široku razmenu, savetovanje i najbolje prakse u radionicama (workshops). Ove grupe se fokusiraju na upravljanje, saradnju univerziteta/preduzeća, reforme kurikuluma i celoživotno učenje;

● Online zajednice kolaborativnog učenja (u zaštićenom delu website-a); ● Benčmarking instrumenti (upitnici, izveštaji, priručnici dobre prakse); ● Više događaja za diseminaciju.

Prva faza projekta (2006-2008) imala je za cilj bolje razumevanje koncepata i pravila benčmarkinga sa namerom da poboljša i proširi njihovu upotrebu u visokom obrazovanju.

Analiza kolaborativnog benčmarkinga u visokom obrazovanju, bilo da je inicirana od jedne visokoškolske institucije, od Evropske asocijacije ili univerzitetske mreže, je izvršena sa opsežnim istraživanjem, baziranim na 14 kriterijuma, pomoću kojih ona treba da budu karakterisana.

Projekt je organizovao simpozijum u Novembru 2007 da prezentuje i testira preliminarna saznanja projekta sa predstavnicima iz visokoškolskih ustanova. Tri specijalizovana praktična seminara

Strana 32

(workshops) su bila organizovana u proleće 2008.god. o benčmarking istraživanju, internacionalizaciji i internom kvalitetu.

Na website-u Benchmarking in European Higher Education (Benčmarking u Evropskom visokom obrazovanju) je dostupno sledeće:

● Online alat sa primerima, savetima i online bibliografijom ● Praktični priručnik sa pregledom literature i korak po korak pristupom benčmarkingu ● Izveštaj opsežnog istraživanja izvedenog na benčmarkingu u visokom obrazovanju ● Smernice za dobru praksu za efektivni benčmarking ● Platforma koja se razvija za promovisanje razmene i dobre prakse za benčmarking u visokom

obrazovanju

ECIU Benčmarking inicijativa Evropskog konzorcijuma inovativnih univerziteta, ECIU (http://eciu.web.ua.pt) bio je ustanovljena u različitim fazama: Prva faza počinje 2004.god. sa projektom Administracija inovativnih univerziteta; druga u 2005.god. sa projektom Internacionalna mobilnost studenata; i treća faza počela je 2006.god. sa Difuse projektom: Driving Innovation from Universities to Scientific Enterprises (Prenos inovacija sa univerziteta na naučna preduzeća) (www.difuse-project.org).

Profesionalni konsultant je odgovoran za koordinaciju Internacionalne mobilnosti studenata, budući da koordinaciju drugih delova izvodi sam konzorcijum. Benčmarking program sada obuhvata četiri univerziteta u fazi I, četiri univerziteta u fazi II, i sedam univerziteta u fazi III. Univerziteti imaju sličnu misiju i karakteristike, i geografski se nalaze širom Evrope.

Benčmarking vežbe su koristile kombinaciju kvantitativnih i kvalitativnih metoda i vršnjačkih pregleda. Upitnici su bili korišćeni za projekte Administracija inovativnih univerziteta i Internacionalna mobilnost studenata. U pogledu administracije benčmarking projekta, bila su analizirana serija kvalitativnih indikatora i kvantitativnih pitanja. U projektu Internacionalna mobilnost studenata nikakvi kvalitativni indikatori nisu bili korišćeni. Zadatak recenzenata se sastojao u odgovaranju na pitanja, od kojih je Upravni odbor (Steering Committee) izabrao najbolje prakse.

Posebno kroz benčmarking vežbe na administraciji, ECIU je koristio knjigu Burton Clark-a o preduzetničkim univerzitetima (1998) kao polaznu tačka i merila prema kojima treba identifikovati kako su neki ECIU univerziteti radili na razvoju administrativnih procesa da podrže potpuno njihovu misiju da budu inovativni univerziteti.

Aarhus Benčmarking mreža 2006.god. Aarhus Univerzitet inicirao je benčmarking vežbe (www.au.dk/benchmarking), pozivajući četiri univerzitita Kiel, Bergen, Gothenburg i Turku da se pridruže. Svi su više-fakultetske institucije visokog obrazovanja, sa širokim rasponom naučnog rada i podučavanja, i svi su locirani u drugom najvećem gradu u njihovoj zemlji.

Benčmarking vežbe su bile pokrenute za inicijalni trogodišnji period koji se fokusirao na menadžment istraživanja, manadžment Internacionalnog Master’s programa i doktorskih studija. Aarhus upravlja inicijativom.

Godišnje, sastaju se rektori univerziteta. Uz, to partneri organizuju dva do tri sastanka uživo, svake godine i učestvuju se u posrednoj komunikaciji emailom i telefonom.

Strana 33  

No.  1 2 3 4 5 6 Naziv (Skraćenica)  MIT90s OBHE BENVIC ELTI CHIRON ACODE Inicijativa (Projekat) 

University of Strathclyde,  Observatory on Borderless Higher Education 

Open University of Catalonia Razvijen u okviru JISC1 projekta. Leonardo da Vinci Program kojim rukovodi ESCOM2 

Australijski savet za otvoreno učenje, učenje na daljinu i e-

učenje Vremenski period  1990-te 1996-sada 1999-2001 2001-2003 2004-2006 2004-sada Glavne karakteristike 

Strateški okvir za upravljanje nivoima transformacije IT poslova

Metodologija u kojoj se grupa institucija ujedinila i dogovorila relevantne oblasti interesovanja, a u kasnijim fazama kreira primere dobre prakse

Obrazovni pristup evaluaciji iskustava virtuelnih kampova u Evropi. Opšti okvir za benčmarking i fleksibilne programe učenja.

Revizija tehnologija učenja kreirana da prikuplja informacije o 12 klučnih faktora u razvoju tehnoloija učenja koje su korisne instituciji. 

  Diskretna merila koja se mogu koristiti samostalno ili u kobinaciji sa drugim 

Broj kriterijuma benčmarkinga 

Unakrsna korelacija sa drugim okviirma

8 8 4 11 8 

Ukupan broj indikatora 

promenljiv promenljiv broj izjava 102 Do 10 indikatora za svaki od 12 klučnih institucionalnih faktora (oko120) 

216 74 

Implicitni/eksplicitni  Eksplicitni Eksplicitni Eksplicitni Implicitni Eksplicitni Eksplicitni Način sprovođenja (nezavisan /kolaborativan) 

samovrednovanje/ kolaborativan  samovrednovanje/ kolaborativan samovrednovanje/ kolaborativan nezavisan samovrednovanje samovrednovanje/ kolaborativan 

Interne ili eksterne vežbe    Interne Interne i eksterne Interne Interne Interne ili eksterne 

Fokus na procese (vertikalno/ horizontalno)

  Vertikalno i horizontalno Vertikalno i horizontalno Vertikalno i horizontalno   Vertikalno i horizontalno 

Fokus na ulaze, procese, rezultate ili njihovu kombinaciju  

    Kombinacija Proces Izlaz  

Merenje (kvantitativno ili kvalitativno) 

Kvantitativno  Kvantitativno Kvantitativno i kvalitativno Kvantitativno i kvalitativno Kvalitativno Kvantitativno 

Sistem ocenjivanja 1-5 (Nivoi 1 i 2 evolutivni nivoi; 3, 4, i 5 revolutivni nivoi) 

Izjave dobre prakse 0-2 skala(0 Uopšte nije implementirano; 1 Delimično implementirano; 2 Potpuno implemented)

1-5(1 Nije tačno; 2 Retko tačno, 3

Delimično tačno, 4 Vrlo tačno; 5 Tačno)

Izjave dobre prakse 1-5 (nivo 5 ukazuje na najbolju praksu) 

Alati  nema nema Upitnik za pozicioniranje virtuelnog kampusa Lista indikatora

ELTI paket za radionice koji sadrži Audit Tools, Audit Notes i vodič za ocenjivače

nema Instrument (Toolkit faza 2) 

Link  nema http://www.obhe.ac.uk http://www.benvic.odl.org/ http://www.jisc.ac.uk/whatwedo/programmes/programme_jos/project_elti.aspx

http://semioweb.msh-paris.fr/chiron/

http://www.acode.edu.au/ 

Za nivoe usvojenosti (1-6) //objašnjenje na kraju tabele //          

                                                            1 Videti http://www.jisc.ac.uk/ 2 Videti http://www.semionet.fr/FR/default.htm 

Strana 34  

No.  7 8 9 10 11 12 Naziv (Skraćenica)  MASSIVE  PICK&MIX eMM OpenECB E-xcellence+ SEVAQ+ Inicijativa (Projekat)  University of Granada  Metodologija koju je razvio prof. Paul

Bacsich Pokrenut na Higher Education Academy Benchmarking Pilot,

University of Manchester

InWent – Capacity Building International, Germany and

(EFQUEL) 

European Association of Distance Teaching Universities EADTU

SEVAQ+ je Evropska inicijativa za samovrednovanje kvaliteta u tehnološki podržanom učenju pod okriljem EACEA3 

Vremenski period  2005-2007  2005 - sada 2005-2008 faza 1 2008-2010 2008-sada 2009 - sada Glavne karakteristike 

MASSIVE projekat ima za cilj razvoj modela zajedničke podrške uslugama za tradicionalne evropske univerzitete u cilju uspešne primene virtuelne komponente učenja. U okviru projekta razvijen je i testiran model/usluga recenzije.  

Pick & Mix ne navodi metodološka ograničenja i uključuje (uključivaće i u buduće prema potrebi) kriterijume iz drugih metodologija, dobre prakse, usvajanja i benčmarkinga.  

E-Learning Maturity Model (eMM) obezbeđuje institucijama mogućnost ocenjivanja i poređenja sopstvenih sposobnosti održivog razvoja, primene i podrške e-učenju.  

Šema akreidtacije i unapređenja kvaliteta programa i instucija u međunarodnom razvoju kapaciteta. 

Web alat za merenje kvaliteta koji obuhvata pedagoške, organizacione i tehničke okvire sa posebnom pažnjom na dostupnost, fleksibilnosti i interaktivnost. 

SEVAQ+ je namenjen za razne obrazovne institucije za ocenu kvaliteta podučavanja i učenja koje koristi tehnologije, bez obzira da li se izvodi potpuno online ili kombinovano. 

Broj kriterijuma benčmarkinga 

6 značajnih oblasti usluga   Definisan ukupnim brojem kriterijuma (osnovni plus dodatni plus lokalni) koje ustanova treba da razmatra

5 procesnih podrucja, 34 procesa 

7 6 3 (resursi, procesi i rezultati) 

Ukupan broj indikatora 

Identifikovani su kriterijumi za svaku oblast usluga kako bi se otkrile dobre vežbe za recenziju  

5320 – osnovnih 5 dodatnih (opciono)

Svaki proces ima 5 dimenzija i promeljiv broj

vežbi (oko 1000)

52 50 merila izvrsnosti (33 se korste za prag) 

Automatski generisani (zavisi od upitnika) 

Implicitni/eksplicitni  Eksplicitni  Eksplicitni Eksplicitni Eksplicitni Eksplicitni Eksplicitni Način sprovođenja (nezavisan /kolaborativan) 

kolaborativan /recenzija  samovrednovanje/ kolaborativan samovrednovanje/ kolaborativan 

samovrednovanje/ kolaborativan 

samovrednovanje samovrednovanje 

Interne ili eksterne vežbe 

Eksterne  Interne i eksterne Interne ili eksterne Interne i eksterne Interne ili eksterne Interne 

Fokus na procese (vertikalno/ horizontalno)

Vertikalno  Vertikalno i horizontalno Vertikalno i horizontalno   Vertikalno i horizontalno Vertikalno i horizontalno 

Fokus na ulaze, procese, rezultate ili njihovu kombinaciju  

Procesi  Izlazi i procesi Kombinacija   Kombinacija Kombinacija 

Merenje (kvantitativno ili kvalitativno) 

Kvalitativno  Kvalitativno Kvalitativno Kvalitativno Kvalitativno Kvalitativno 

Sistem ocenjivanja    1-5 skala (nivo 1 je uvek sektorni minimum, a nivo 5 je najbolja

dostizna praksa sektora) 

Potpuno adekvatan; Veoma adekvatan; 

Delimično adekvatan; Neadekvatan; nije ocenjen.

0-3 (nije ispunjen, delimično ispunjen, adekvatno ispunjen,

izvrsno ispunjen) 

Neadekvatan; Delimično adekvatan; Veoma adekvatan ili Potpuno

adekvatan. 

Zavisi od upitnika (izjave ili skala) 

Alati  Izveštaj o metodologiji  Pick&Mix verzija 2.6 beta 3 workbook (Excell)

eMM 2.3 workbook za ocenjivanje (Excell)

Toolset (Excell) Alat za brzo skeniranje Sevaq Online alat (online generator ili upitnik) 

Link  http://cevug.ugr.es/massive/index.html 

http://elearning.heacademy.ac.uk/wiki/index.php/Pick%26Mix

http://www.utdc.vuw.ac.nz/research/emm/index.shtml

www.ecb-check.org http://www.eadtu.nl/e-xcellencelabel/default.asp?mMid=1

http://www.sevaq.eu/ 

Za nivoe usvojenosti (1-6) //objašnjenje na kraju tabele //           

                                                            3 Videti http://eacea.ec.europa.eu/index_en.php 

Strana 35  

Nivoi usvojenosti (iz Paul Baisch: “Evaluating impact of e-learning: benchmarking”) U svojoj knjizi “Diffusion of Innovations” (Rogers 1995), Everett Rogers opisuje kako se inovacije šire u institucijama ili društvu. On opisuje 5 kategorija: inovatori, rani usvajači, rana većina, kasna većina i lenjivci. On takođe opisuje krivu normalne raspodele koja prikazuje broj osoba u svakoj kategoriji. Postoji i dobra kritika Rogersove teorije, prikazana (Orr 2003). Rogersov rad se može pretvorili u benčmarking kriterijume merenjem u kojoj fazi se institucija nalazi u stepenu usvajanja e-učenjea. To daje sledeću skalu: 1. samo inovatori 2. rani usvajači su započeli 3. rani usvajači su prihvatili, rana većina započinje 4. rana večina je usvojila, kasna većina započinje 5. svi su započeli osim lenjivaca, koji neče uopšte početi (odustaju) 6. prvi talas učvršćen, drugi talas inovacija u toku (na primer mobilno učenje posle e-učenja).

Strana 36

Zaključci Postoje brojni benčmarking pristupi, modeli, i alati razvijeni u EU i na drugim mestima, koji mogu biti primenjeni u lokalnom kontekstu institucija visokog obrazovanja (HE) Zapadnog Balkana. Ovi pristupi/modeli/alati dolaze od različitih kreatora i obično koriste neznatno različite terminologije i pravila. Ipak, generalizujući na osnovu njih, može se lako dobiti ukupna slika i naći mnogo zajedničkih pitanja, istaknutih od većine njih.

Gradivni elementi učenja na daljinu koji su obično pokriveni benchmarkingom uključuju:

● politika institucije i uprava

● infrastruktura informacionih tehnologija za podršku učenju i podučavanju

● podrška za korišćenje tehnologija za učenje i podučavanje

● planiranje i poboljšanje kvaliteta tehnologija za učenje i podučavanje

● pedagoška pitanja

● professionalni razvoj, razvoj osoblja

● orijentacija ciljnoj grupi ● menadžment i liderstvo u učenju na daljinu ● resursi za učenje i vrednost za uloženi novac ● kvalitet sadržaja ● dizajn medija ● informisanje o programu i organizaciji programa ● program/dizajn kursa ● usluge učenja

Moguće je kombinovati pitanja sa nekoliko pristupa i prekrojiti ih tako da odgovaraju potrebama specifične visokoškolske ustanove. Uz to, moguće je takođe koristiti prilagođenu verziju alata razvijenih za upotrebu u okviru specifičnog pristupa/metodologije, kao što je QuickScan i SEVAQ+.

Strana 37

REFERENCE [Camp, 1989] Camp, R. : Benchmarking: The search for industry best practices that lead to superior performance. Milwaukee, Wisc.: AS QC Quality Press.

[Jackson, 2002] Jackson, N. : Benchmarking in UK HE: An Overview. Higher Education Academy, York. Linked from http://www.heacademy.ac.uk/914.htm.

[QAA, 1997] UK Quality Assurance Agency for Higher Education, [Online]. Available: http://www.qaa.ac.uk/ (Last visited: April 2011)

[QAA Academic Standards, 2009] UK Quality Assurance Agency for Higher Education Academic standards and quality,[Online]. Available: http://www.qaa.ac.uk/academicinfrastructure/ (Last visited: April 2011).

[QRI Glossary, 2011] Quality Research International Analytic Quality Glossary [Online]. Available: http://www.qualityresearchinternational.com/glossary/ (Last visited: April 2011)

[UNESCO – CEPES, 2007] Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions, compiled byL. Vläsceanu, L. Grünberg and D. Pärlea, Bucharest, 119p.

[ALSTETE, 1995] Alstete, Jeffrey W. :Benchmarking in Higher Education: Adapting Best Practices to Improve Quality. ASHE -ERIC, Higher Education Report No. 5. [Online]. Available: http://www.eric.ed.gov/ERICD ocs/data/ericdocs2/content_storage_01/0000000b/80/24/3d/97.pdf, (Last visited: March 2011)

[ENQUA, 2002] Hämäläinen, Kauko et al. : Benchmarking in the Improvement of Higher Education. Helsinki: ENQA Workshop Reports No. 2. [Online]. Available: http://www.enqa.eu/files/benchmarking.pdf, (Last visited: March 2011)

[Re.ViCa 2007] Reviewing (traces of) European Virtual Campuses. [Online]. Available: http://www.virtualcampuses.eu/index.php/Virtual_campus, (Last visited: March 2011)

[ELEARNING EUROPA GLOSSARY, 2007] [Online]. Available: http://www.elearningeuropa.info/main/index.php?page=glossary&abc=V, (Last visited: March 2011)

[EACEA, 2004], Report on the Consultation workshop: The ‘e’ for our universities – virtual campus [Online]. Available: http://ec.europa.eu/education/archive/elearning/doc/workshops/virtual%20campuses/report_en.pdf (Last visited: March 2011)

[BENVIC, 1998], BENVIC Project , [Online]. Available: http://www.benvic.odl.org/indexpr.html (Last visited: March 2011)

[SEVAQ+, 2009], SEVAQ+ (Self-Evaluation of Quality in eLearning) project, [Online]. Available: http://www.sevaq.eu/ (Last visited: March 2011)

[CHIRON Report, 2006], P.Basich: CHIRON – implications for UK HE, [Online]. Available: http://elearning.heacademy.ac.uk/weblogs/benchmarking/wp-content/uploads/2006/12/CHIRON-rel-2.doc (Last visited: March 2011)

[ELTI, 2006], Embedding Learning Technology Institutionally (ELTI): Using the ELTI Audit Tools [Online].Available: http://www.jisc.ac.uk/media/documents/programmes/jos/briefing7_audit_tools_finalcopy_jw.pdf (Last visited: March 2011)

[UK Benchmarking programmes, 2010], P.Basich :UK approaches to quality of e-learning, [Online]. Available: http://www.slideshare.net/pbacsich/bacsich-trusep2010, (Last visited: March 2011)

[Pick&Mix, 2005], The HE Academy benchmark methodology index, [Online]. Available:

Strana 38

http://elearning.heacademy.ac.uk/wiki/index.php/Pick%26Mix (Last visited: March 2011)

[Benchmarking in EU HE, 2006], ESMU – Benchmarking in European Higher Education, [Online]. Available: http://www.education-benchmarking.org/ (Last visited: March 2011)

[MASSIVE, 2005], Modeling Advice and Support Services to Integrate the Virtual omponent in higher Education, , [Online]. Available: http://cevug.ugr.es/massive/index.html Last visited: March 2011)

[MASSIVE Methodology, 2005], MASSIVE Mehodology: „Tools and criteria to identify good practises carry out the seminars and the peer review sessions“ , [Online]. Available: http://cevug.ugr.es/massive/pdf/Annex_2.pdf (Last visited: March 2011)

[BACSICH Benchmarking, 2008], P.Bacsich: Benchmarking Phase 2 Overview Report, [Online]. Available: http://elearning.heacademy.ac.uk/weblogs/benchmarking/wpcontent/uploads/2008/04/BenchmarkingPhase2_BELAreport.pdf (Last visited: March 2011)

[HEI Benchmarking Report, 2006], HEI e-learning benchmarking project report, [Online]. Available: http://elearning.heacademy.ac.uk/weblogs/benchmarking/wp-content/uploads/2006/09/bacsich-report-public20060901.doc (Last visited: March 2011)

[CEPES GLOSSARY, 2007] Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions, Bucharest 2007 [Online]. Available: http://www.cepes.ro/publications/pdf/Glossary_2nd.pdf (Last visited: Dec 2010)

[HSV, 2008] Swedish National Agency of Higher Education (HSV), "E-learning quality: Aspects and criteria for evaluation of e-learning in higher education", Report 2008:11 R, 2008. [Online]. Available: http://www.hsv.se/download/18.8f0e4c9119e2b4a60c800028057/0811R.pdf (Last visited: March 2011)

[UNIQUe, 2007] European University Quality in eLearning - Elearning Quality In European Universities: Different Approaches For Different Purposes, 2007 [Online]. Available: http://unique.europace.org/pdf/WP1-report-v5_FINAL.pdf (Last visited: March 2011)

[Leonard, 2001] P. Leonard, “Benchmarking Indicators - What they are, and What they are not?”. [Online]. Available: http://www.bestransport.org/conference03%5CLeonard3a.PDF (Last visited: April 2011)