metodologia procesu...

METODOLOGIA PROCESU METODOLOGIA PROCESU METODOLOGIA PROCESU METODOLOGIA PROCESU EWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGO

Ewaluacja programów operacyjnych - wyzwania, inspiracje, przyszłość

Urząd Marszałkowski Województwa Kujawsko-PomorskiegoToruń , 25 – 26 czerwca 2013 roku

EWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGOEWALUACYJNEGO

SYLWIA JASKUŁASYLWIA JASKUŁASYLWIA JASKUŁASYLWIA JASKUŁA

PEDAGOGIUM Wyższa Szkoła Nauk Społecznychw Warszawie

DWIE GŁÓWNE DROGI OBECNEJ EWALUACJI W POLSCE

ADMINISTRACJAADMINISTRACJAADMINISTRACJAADMINISTRACJA OŚWIATAOŚWIATAOŚWIATAOŚWIATARozporządzenie Rady Europy z dnia 21 czerwca 1999 r. ustanawiające przepisy ogólne w sprawie funduszy strukturalnych (Nr 1083 z dnia 11

Rozporządzenie Ministra Edukacji Narodowej z dnia 7 października 2009 r. o nadzorze pedagogicznym

strukturalnych (Nr 1083 z dnia 11 lipca 2006 r.)

narzędzie oceny efektywności i skuteczności

narzędzie nadzoru

•funkcja konkluzywna•funkcja administracyjna

•funkcja kontrolna•funkcja oceniająca / porównawcza

REDUKCJA FUNKCJI EWALUACJI (DEWALUACJA EWALUACJI)

DEFINICJE EWALUACJI W DOKUMENTACJI ADMINISTRACYJNEJ

„Ewaluacja to ocena/oszacowanie jakości (stopnia)

realizacji programu (tzn. jego faktycznych rezultatów)

w stosunku do wcześniejszych założeń (tzn.

oczekiwanych efektów).”

„Ewaluacja jest definiowana jako osąd (ocena) wartości „Ewaluacja jest definiowana jako osąd (ocena) wartości

interwencji publicznej dokonany przy uwzględnieniu

odpowiednich kryteriów (skuteczności, efektywności,

użyteczności, trafności i trwałości) i standardów.”

"Ewaluacja to okresowa ocena efektywności,

skuteczności, oddziaływania, trwałości i zgodności

projektu w kontekście założonych celów.”

DEFINICJE EWALUACJI W TRADYCJI AKADEMICKIEJ

systematyczne badanie wartości konkretnego obiektusystematyczne badanie wartości konkretnego obiektu

Joint Committee on Standards for Educational Evaluation (1981r.)

K. ASPINWALL, T. SIMKINS, J.F. WILKINSON, J. MCAULEY

Ewaluacja jest procesem. Obejmuje wydawanie

opinii o wartości działania poprzez

systematyczne, jawne zbieranie i analizowanie

o nim informacji w odniesieniu do znanych o nim informacji w odniesieniu do znanych

celów, kryteriów i wartości.

Managing evaluation in education. A developmental approach, Rouledge, London and New York 1992, ss. 2-7

L. STOLL, D. FINK

Ewaluacja jest procesem doskonalenia

obejmującym rozwój osobowy, grupowy jaki i

instytucjonalny. Przy czym sam proces jest

równie istotny jak rezultaty.równie istotny jak rezultaty.

Changing our Schools. Linking school effectivenes and school improvemment, Open University Press, 1996, ss. 166-171

EWALUACJA JAKO „ZAPROSZENIE DO ROZWOJU” (H. SIMONS)

Ewaluacja to uspołeczniony proces

zmierzający do określenia wartości danego

obiektu lub działania według przyjętych

kryteriów w celu jego udoskonalenia, kryteriów w celu jego udoskonalenia,

lepszego rozumienia i/lub rozwoju.

L. Korporowicz

S. Jaskuła

WSPÓŁCZESNE DYLEMATY W WYBORZE FUNKCJI EWALUACJI

REALIZOWANEREALIZOWANEREALIZOWANEREALIZOWANE ZMARGINALIZOWANEZMARGINALIZOWANEZMARGINALIZOWANEZMARGINALIZOWANE

funkcja administracyjna funkcja uspołeczniająca

funkcja technokratyczna funkcja animująca

funkcja konkluzywna funkcja motywującafunkcja konkluzywna funkcja motywująca

funkcja kontrolna funkcja formatywna

EWALUACJA A OCENIANIE

EWALUACJA EWALUACJA EWALUACJA EWALUACJA OCENAOCENAOCENAOCENAproces osąd

uczenie się kontrola

≠

doskonalenie klasyfikacja

dialog legitymizacja

interakcje procedura

uczestnictwo społeczne sterowanie

EWALUACJA (KLUCZOWE ELEMENTY ROZUMIENIA EWALUACJI)

refleksja aksjologiczna

procesualność interakcja, dyskurs „aktorów”

systematyczne badanie wartości konkretnego obiektusystematyczne badanie wartości konkretnego obiektu

etyka ewaluatora

dynamika społecznego konstruowania(społecznie zróżnicowani aktorzy)

założenie istnienia

O K

ON

IEC

ZN

OŚ

CI W

IDZ

EN

IA P

RO

CE

SU

EW

ALU

AC

JI

1.

1.

1.

1.

2.

2.

2.

2.

3.

3.

3.

3.

4.

4.

4.

4.

5.

5.

5.

5.

6.

6.

6.

6.

7. 7.7.7.8

.8

.8

.8

.

DIALOG, DEBATA, DYSKURS

PLAN

PROJEKT

GENEROWANIE DANYCH

ANALIZA DANYCH

RAPORT

UPOWSZECHNIANIE WYNIKÓW

WYKORZYSTANIE WYNIKÓW

DEBATA,

GENEROWANIE

ANALIZA DANYCH

UPOWSZECHNIANIE

WYKORZYSTANIE

PR

OC

ES

I P

RO

JEK

T E

WA

LUA

CJI

1 1112 222

3 3334 444

5 5556 666

7 7778 888

DIALOG, DEBATA , DYSKUR

PLAN

PROJEKT

GENEROWANIE DANYCH

ANALIZA DANYCH

RAPORT

UPOWSZECHNIANIE WYNIKÓW EWALUACJI

WYKORZYSTANIE WYNIKÓW EWALUACJI

PROCES

DEBATA ,

ANALIZA DANYCH

UPOWSZECHNIANIE

WYKORZYSTANIE

11112 222

3 3334 444

5 5556 666

7 7778 888

9 999

OBIEKT

OBSZAR

PYTANIA KLUCZOWE

KRYTERIA

METODOLOGIA

PRÓBA BADAWCZA

HARMONOGRAM

ZESPÓŁ

ZASOBY

PROJEKT

O KONIECZNOŚCI WIDZENIA USPOŁECZNIONEGO (ZINTEGROWANEGO) PROCESU EWALUACJI

1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA

LOG

,DE

BATA

, D

YSK

UR

S

PLA

N

PR

OJE

KT

GE

NE

RO

WA

NIE

D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZE

CH

NIA

NIE

W

YNIK

ÓW

WYK

OR

ZYSTA

NIE

W

YNIK

ÓWD

EB

ATA ,

GE

NE

RO

WA

NIE

AN

ALIZA

DA

NYC

H

UP

OW

SZE

CH

NIA

NIE

WYK

OR

ZYSTA

NIE

inicjowanie debaty; interakcja pomiędzy wszystkimi podmiotami procesu ewaluacyjnego; rozpoznawanie potrzeb; integracja

całego środowiska; ujawnianie potencjałów społecznych konkretnych grup i osób


1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA

LOG

,DE

BATA

, D

YSK

UR

S

PLA

N

PR

OJE

KT

GE

NE

RO

WA

NIE

D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZE

CH

NIA

NIE

W

YNIK

ÓW

WYK

OR

ZYSTA

NIE

W

YNIK

ÓWD

EB

ATA ,

GE

NE

RO

WA

NIE

AN

ALIZA

DA

NYC

H

UP

OW

SZE

CH

NIA

NIE

WYK

OR

ZYSTA

NIE

kształtowanie ogólnej kultury ewaluacyjnej, tworzenie demokratycznych wartości oraz doświadczeń; wzajemna

edukacja aktorów sceny ewaluacyjnej


1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA

LOG

,DE

BATA

, D

YSK

UR

S

PLA

N

PR

OJE

KT

GE

NE

RO

WA

NIE

D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZE

CH

NIA

NIE

W

YNIK

ÓW

WYK

OR

ZYSTA

NIE

W

YNIK

ÓWD

EB

ATA ,

GE

NE

RO

WA

NIE

AN

ALIZA

DA

NYC

H

UP

OW

SZE

CH

NIA

NIE

WYK

OR

ZYSTA

NIE

gromadzenie wiedzy ogólnohumanistycznej przydatnej w poznawaniu osobowości jednostek i struktury poszczególnych

grup; unikanie marginalizacji konkretnych grup i punktów widzenia w procesie pozyskiwania i zarządzania danymi


1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA

LOG

,DE

BATA

, D

YSK

UR

S

PLA

N

PR

OJE

KT

GE

NE

RO

WA

NIE

D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZE

CH

NIA

NIE

W

YNIK

ÓW

WYK

OR

ZYSTA

NIE

W

YNIK

ÓWD

EB

ATA ,

GE

NE

RO

WA

NIE

AN

ALIZA

DA

NYC

H

UP

OW

SZE

CH

NIA

NIE

WYK

OR

ZYSTA

NIE

tworzenie jakościowo nowych treści sprzyjających postępowi; podmiotowe uwzględnianie potrzeb poznawczych wszystkich

uczestniczących w procesie ewaluacji; doświadczenie międzykulturowe


1.1.1.1. 2.2.2.2. 3.3.3.3. 4.4.4.4. 5.5.5.5. 6.6.6.6. 7.7.7.7. 8.8.8.8.DIA

LOG

,DE

BATA

, D

YSK

UR

S

PLA

N

PR

OJE

KT

GE

NE

RO

WA

NIE

D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZE

CH

NIA

NIE

W

YNIK

ÓW

WYK

OR

ZYSTA

NIE

W

YNIK

ÓWD

EB

ATA ,

GE

NE

RO

WA

NIE

AN

ALIZA

DA

NYC

H

UP

OW

SZE

CH

NIA

NIE

WYK

OR

ZYSTA

NIE

zwiększanie możliwości użycia rezultatów ewaluacji poprzez różne podmioty procesu ewaluacyjnego; redukcja obaw i ryzyka

związanego z procedurami ewaluacyjnymi i udostępnieniem danych; innowacja i zmiana społeczna; refleksja

O POTRZEBIE ROZWOJU EWALUACJI CZWARTEJ GENERACJI

GENERACJE EWALUACJIGENERACJE EWALUACJIGENERACJE EWALUACJIGENERACJE EWALUACJI ROZUMIENIEROZUMIENIEROZUMIENIEROZUMIENIE EWALUACJIEWALUACJIEWALUACJIEWALUACJIPIERWSZA GENERACJA EWALUACJI

EWALUACJA POMIAROWA (PARAMETRYCZNA)

mierzalność efektów i środków

DRUGA GENERACJA

EWALUACJA OPISOWA

opis mocnych i słabych stron programów w odniesieniu do

E. G. Guba, Y. S. Lincoln, Fourth Generation Evaluation. Sage Publ., Newbury Park 1989

GENERACJA EWALUACJI

OPISOWA programów w odniesieniu do założonych celów

TRZECIA GENERACJA EWALUACJI

EWALUACJA OCENIAJĄCA (MENEDŻERSKA)

ocena osiągniętych celów programu

CZWARTA GENERACJA EWALUACJI

EWALUACJA DEMOKRATYCZNA (USPOŁECZNIONA /DIALOGICZNA)

głęboka partycypacja wszystkich stron zaangażowanych w program

PROCES TRANSFORMACJI REALIZACJI BADAŃ EWALUACYJNYCH

GENERACJEGENERACJEGENERACJEGENERACJE REALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCHREALIZACJA BADAŃ EWALUACYJNYCH IMPLIKACJEIMPLIKACJEIMPLIKACJEIMPLIKACJE

PIERWSZA GENERACJA EWALUACJI

Techniki pomiaru socjometrycznego,

psychometrycznego i dydaktycznego

nastawionego na uchwycenie wyników w

konkretnym momencie czasowym

Redukcjonizm w ewaluacji

(brak postrzegania

procesu)

DRUGA GENERACJA EWALUACJI

Pomiar związany z gromadzeniem materiałów i

techniki opisowe uświadamiające znaczenie

zmian w czasie

Próby opracowań teorii

ewaluacyjnych (początki

myślenia procesualnego)

E. G. Guba, Y. S. Lincoln, Fourth Generation Evaluation. Sage Publ., Newbury Park 1989

EWALUACJI zmian w czasie myślenia procesualnego)

TRZECIA GENERACJA EWALUACJI

Wielowymiarowość w analizach, co spowodowało,

że na ostateczne decyzje miała wpływ znacznie

większa liczba „aktorów ewaluacji”, jak również

czynniki instytucjonalne, organizacyjne i społeczne

wymagające analizy sekwencyjnej

Systematyczność

prowadzonych badań

(rodzi się potrzeba

metodologii procesu)

CZWARTA GENERACJA EWALUACJI

Badania ilościowe i jakościowe, obejmujące swoim

zasięgiem i oddziaływaniem wiele aspektów

rzeczywistości, biorąc pod uwagę wymagania i

metodologię konstruowania procesu

ewaluacyjnego

Dążenie do stworzenia

interaktywnego modelu

ewaluacji (świadomy

rozwój metodologii

procesu)

POMIAR SKUTECZNOŚCI DZIAŁAŃ

REFLEKSYJNE ROZPOZNANIE

OBIEKTYWNA WSPIERANIE WARTOŚCI

EWOLUCJA EWALUACJI

OBIEKTYWNA OCENA

WSPIERANIE WARTOŚCI KONKRETNEGO DZIAŁANIA

STWIERDZENIE OSIĄGNIĘCIA ZAMIERZONYCH CELÓW

WYKORZYSTANIEWALORÓW INTERAKCYJNYCH POMIĘDZY UCZESTNIKAMI PROCESU EWALUACJI

WARTOŚCI EWALUACJI CZWARTEJ GENERACJI W KONTEKŚCIE NARASTANIA NARASTANIA

TECHNOKRATYCZNYCH TENDENCJI ZARZĄDZANIA

� Uspołeczniony projekt

� Dialogiczność

� Kontekstualność

� Procesualność

� Otwartość

� Animacyjność

� Integralność

metodologia procesu...

Documents