owd2012- 6- learning analytics: emerging data into action - wim smit
DESCRIPTION
TRANSCRIPT
Learning Analytics: E-merging data into action
Wim SmitMaartje van den BogaardArno Knobbe
Er is veel bekend over studiesucces, maar dit is lastig te vertalen naar implicaties voor beleid.
We weten veel van studenten in relatie tot studiesucces.
Over de docent en over management-info en -sturing in relatie tot studiesucces weten we vrij weinig.
Kader
Onderwerpen
• Studeerbaarheid / Studiesucces
• Zoektocht naar key-factoren
• Interventie
• Zinvolheid van interventie (discussie)
Studie succes
Een taaie materie (zie volgende sheet)
Studiesucces in Delft
Oorzaken van (gebrek aan) studiesucces
• Het is een wet die niet aan verandering onderhevig is!
• Alles is al onderzocht! We weten alles al, het ligt nl. aan:
de student / de leerstijl / studentmotivatie / zittenblijven / opleiding ouders / VWO cijfers / geslacht / verwachtingen t.a.v. opleiding / academische integratie / woonsituatie / gebrekkige aansluiting met vooropleiding / intenties / gebrek aan financiële prikkels / de crisis / et cetera
Theoretisch model voor eerstejaars studiesucces in engineering
Student-dispositie variabelen Motivatie, Intenties, Academisch zelfvertrouwen
Kwaliteit van onderwijsklimaat
zoals ervaren door studenten. Docenten,
Assessment, Faciliteiten,
Onderwijsorganisatie
VoortgangBehaalde studiepunten
Onderwijs-kenmerken
Studiegedrag“Time on task”Studiestrategie
Student-kenmerken
Sociale omgeving
Input OutputThroughput
Maartje van den Bogaard 2011
Zoektocht naar key-factoren
Een aanpak, gebaseerd op aanpak in andere situaties
Zoektocht naar key-factoren
Een aanpak, gebaseerd op aanpak in andere situaties
De computer ideeën uit ruwe data laten halen, die je zelf niet (niet zo makkelijk) had kunnen verzinnen
Een paar begrippen:
• Big Data
• Datawarehouse
• Datamining
Big Data• Omvangrijk, heel veel data • Afkomstig van meerdere, verschillende bronnen• Ook van “nieuw soort bronnen” als social media• Ook real time data• In bedrijfsleven gebruikt om business voordeel te
behalen
Big Data dimensies (bron IBM)
Veracity
Volume Variety Velocity
Datawarehouse (klassiek model…)
Datamining
‘Extractie van interessante - niet-triviale, impliciete, vooraf ongekende en mogelijk bruikbare – patronen
of kennis uit grote hoeveelheden data’
Gekozen Datamining techniek• Clustering
• Classificatie
• Exploratief Subgroup Discovery
• Regressie
• Associatie
Subgroup Discovery‘In a database, find descriptions of subgroups that show
an unusual distribution compared to the entire population, with respect to a property of interest’
Oftewel: vindt groepen met afwijkende kenmerken t.o.v. de grote massa.
Subgroup Discovery
Hiermee kan je in een heterogene populatie homogene subgroepen ontdekken. Er zijn geen voor-gedefinieerde clusters aanwezig.
Doel: Vindt afwijkende (mogelijk onverwachte) subgroepen met overeenkomstige kenmerken als basis voor sturing
Voorbeeld (gehele populatie)
Verband:prijs huis oppervlak perceel
Arn
o K
nob
be,
2009
Voorbeeld database: details van verkochte huizen in Canada
Subgroep beschrijving: • oprit• geen kelder• max 1 badkamer
helling trend:prijs/m2 = 3.3 $
Rest van populatie
helling trend:prijs/m2 = 8.45 $
GevondenSubgroep Restant
Terug naar studiesucces
Van den Bogaard’s model: correlations cohort 2009
student
docent
management
ministerie
arbeidsmarkt
Vrij veel
Niet zoveel
Hoeveel weten we al over studiesucces en mogelijke meerwaarde van LA?
Wim Smit, Maartje vd Boogaart, Arno Knobbe Emerging data into action
student docent slb-er opl man CvB
- stakeholders -
individu
groep
cursus
opleiding
instituut
landelijk-
Ag
gre
ga
tie
niv
ea
u v
an
da
ta -
★
★
★ ★
★
★
★
★
★
★
★
★
Insteek bij LA
In dit project
Opzet van het project• Stap 1: data scraping, verzamelen en samenbrengen van
relevante en beschikbare data.• Stap 2: datamining, het bepalen van subgroepen met
bepalende kenmerken.• Stap 3: het analyseren van de – op basis van de datamining –
geïdentificeerde subgroepen van studenten; en het selecteren van die subgroepen die betekenisvol zijn in relatie tot het doel.
• Stap 4: het omschrijven van mogelijke acties en maatregelen op het niveau van de (onderwijs-) organisatie, van groepen studenten en van individuele studenten
Ambitie• in samenhang analyseren van een grote
verscheidenheid aan datasets• identificeren van patronen in studentengedrag die
een voorspellende waarde hebben voor hun studieresultaat
• met als doel het vroegtijdig doen van interventies die het studieresultaat verhogen
Beoogde resultaten• inzicht in de bruikbaarheid van de techniek van
datamining• inzicht in patronen in studentengedrag die van
invloed zijn op hun studieresultaten• inzicht in mogelijke interventies richting organisatie,
groepen en/of individuele studenten
Instellings-web
Studieloopbaan begeleider
BlackBoard
Studievoortgang registratie bijv. Osiris
Voetstappen
Werkwijze in beeld
databank
Eesysoft
studievoortgang
Blackboard, etc. Osiris, e.a.
acties op instellings-web
sub-groep
sub-groep
sub-groep
1. Data scraping
4. Acties / maatregelen
Onderwijskundig inzicht
Data-
Gezond verstand
individuen groepen organisatie
Studenten, kenmerken
Praktijkervaring van datamining
0. Voetsporen
2. Data mining
3. Interpretatie
Data Scraping
Datamining
Analyse
Sturing
Hobbels? Waar… En welke ???
varkentje
Dat varkentje wassen we wel even
Maar (1)…• “Echte” Big Data is er niet
(met features als welk tijdstip, hoelang gebruikt, in welke volgorde, door wie, met welke toepassing, in welke context, …..)
• In datasets die er zijn, is toegankelijkheid voor LA vaak niet meegenomen in de architectuur(toegangscontrole op verschillende niveau’s)
Maar (2)…
• Afspraken rond privacy vaak onduidelijk• Er wordt veel gelogd, maar weinig opgeslagen• Stap van losse datasets naar grote bak met data is in
de praktijk moeilijker te realiseren• Heeft i.h.a. geen prioriteit voor DBA’s
Osiris, e.a.Osiris, e.a.
Discussie