Εφαρμογές της Στατιστικής σε εμπειρικές έρευνες

Αθανάσιος ΚατσήςΠανεπιστήμιο Πελοποννήσου

Τμήμα Κοινωνικής και Εκπαιδευτικής Πολιτικήςhttp://dsep.uop.gr

Θέματα που θα μας απασχολήσουν

• Η έννοια της προστιθέμενης αξίας• Θέματα δειγματοληψίας• Στάθμιση ερωτηματολογίου

Value-added modeling (VAM)in education

Value added refers to "extra" feature(s) ofan item of interest (product, service,

person etc.) that go beyond the standardexpectations and provide something

"more" while adding little or nothing to itscost. Value-added features give

competitive edges.

Educational context

Teacher’s evaluation is adifficult, sensitive, subjective

and multifaceted issue.

Evaluate teachers based on students’“progress-improvement” during a certain

time period (usually a school-year)

Why VAM?

Measuring the annual student progressinstead of a fixed grade enables the

researcher to isolate other variables suchas school environment, socioeconomic

status and focus on teacher’s work.

VAM features• No Child Left Behind Act (NCLB)• Funding based on each school district’s “AdequateYearly Progress” (AYP)• Many states have used empirical data to allocatefunding and have also developed quantitative tools• VAM combines statistically adjusted test score gainsachieved by a teacher’s students. Teachers are thencompared to other teachers in the district based on theseadjusted aggregate gains.• Statistically demanding procedures, need to developunderstandable guides for policymakers.

Educational Value-AddedAssessment System (EVAAS)

Running in Tennessee since 1993 and in many other states. The basic model is an equation that expresses the score of a student at the end of a

particular grade in a particular year as the sum of three components:

Student score = District average +Teacher effect+

Error term

SoTeacher effect ≈ Student score - District average

EVAAS in the following year

Student scorethe next year = District average +

Teacher effect+Teacher effect fromprevious year +Error term

EVAAS – final stepIf we subtract the first-year score from the second-yearscore, we obtain the gain made by the student.According to the model, this must be the sum of:

• Average gain for that grade in the district• Teacher effect of the second-year teacher• The two error terms

That is, ignoring the error terms, the teacher effect in thesecond year is the difference between the gainexperienced by the student in that year and the averagegain in the district for that same year.

Points of concern (1)• At the conclusion of a value-added analysis, anumber is associated with each teacher. This isa measure of teacher effectiveness (or teachereffect?)

• Problem with causal interpretation of the specificmeasure

• To achieve causality, the researcher needs toapply randomization (experimental procedure)-difficult in practice

Points of concern (2)• Inappropriate allocation: Teachers with seniorityare given more choice in the schools and classes they teach, parental influence

• Context effects: Student learning during the year is not just a function of a student’s ability and effort, and the teacher’s pedagogical skills. It is also affected by such factors as peer-to-peer interactions, overall classroom climate, resources.

• Missing data

• Not much data for every teacher especially insmall districts, thus imprecise estimates

Θέματα δειγματοληψίας

• Μικρά ή μεγάλα δείγματα• Πιλοτική ή κύρια έρευνα• Ποσοτική ή ποιοτική προσέγγιση• Διεθέσιμοι πόροι (resources)• Μικρά δείγματα: Convenience, snowball

sampling• Μεγάλα δείγματα: Stratified, Cluster

Καλή πρακτικήΣε μεγάλες έρευνες ιδανικότερη θεωρείται η δειγματοληψία κατά συστάδες (cluster sampling) σε συνδυασμό με στρωματοποιημένη (stratified sampling)

Παραδειγμα: Δειγματοληψία εκπαιδευτικών από όλη την Ελλάδα

Ερώτημα: Πως ορίζεται το στρώμα και η συστάδα ;

Μέγεθος δείγματος

• Ανάλυση ισχύος (Power analysis)• Θεωρία κατά Bayes με βάση το

συντελεστή αξιοπιστίας (Katsis and Limakopoulou)

• Εμπειρικοί πίνακες (Cohen and Manion)

Ανάλυση ισχύος

Πόσο μεγάλο πρέπει να είναι το δείγμα ώστε να ανιχνευθούν ως στατιστικά

σημαντικές επιδράσεις που είναι πραγματικά σημαντικές στον πληθυσμό (δηλ. να μην κάνω σφάλμα Τύπου ΙΙ);

• Μεγάλο δείγμα όμως μπορεί να οδηγήσει σε στατιστικά σημαντική διαφορά χωρίς όμως αυτό να ισχύει στον πληθυσμό (σφάλμα Τύπου Ι)

• Τι πρέπει να γίνει; • Γενικά το μεγάλο δείγμα έχει αρκετα θετικά

σημεία στην εκτίμηση των παραμέτρων• Πρέπει όμως να συνδυασθεί με τη χρήση

άλλων δεικτών όπως effect sizes (ES)

Η χρήση των ES

• Είναι δείκτες που καταγραφουν διαφορές μεταξύ διαφόρων παραμέτρων, πχ μέσων όρων

• Ο πιο συνηθισμένος δείκτης είναι ο Cohen’s d

• Ενδεικτικά επίπεδα τιμών 0.20, 0.50, 0.80

Ένας γενικός τύπος

2

22

n

Using the reliability coefficient

• Focus on estimating the probability that the Cronbach’s alpha exceeds a pre-specified desirable level of accuracy in cluster sampling.

• The researcher obtains a very precise idea about the value of the coefficient alpha while incorporating her/his own prior beliefs about the study.

Optimal Sample Size

It is a function of how strict the researcher is in estimating the probability of the alpha coefficient exceeding a threshold value and our previous knowledge about this probability.

Στάθμιση ερωτηματολογίου

• Μεταφορά ενός δοκιμασμένου ερευνητικού εργαλείου σε άλλη γλώσσα

• Εκτός από το θέμα της μετάφρασης υπάρχουν και άλλα ζητήματα όπως η πολιτιστική προσαρμογή, η κατανόηση των όρων καθώς και ζητήματα εγκυρότητα και αξιοπιστίας του νέου εργαλείου

Γενική προσέγγιση1. Αρχική μετάφραση του ερωτηματολογίου2. Αξιολόγηση του (1)3. Πιλοτική εφαρμογή της μεταφρασμένης

έκδοσης4. Back-translation της μεταφρασμένης

έκδοσης στην αρχική γλώσσα5. Αξιολόγηση του (4)6. Εκτίμηση εγκυρότητας και αξιοπιστίας της

τελικής μεταφρασμένης έκδοσης

Εκγυρότητα-αξιοπιστία

• Για την εγκυρότητα χρησιμοποιούμε κυρίως Cronbach’s alpha and ICC (Intraclass Correlation Coef.)

• Για construct validity χρησιμοποιούμε συντελεστές συσχέτισης

• Για discriminant validity μπορούμε να εξετάσουμε διαφορές μέσων τιμών.