SYSTEMATIC EVALUATIONรศ. ดร. วโรจน สารรตนะ

หลกสตรศกษาศาสตรดษฎบณฑตสาขาวชาการบรหารการศกษา

มหาวทยาลยมหามกฏราชวทยาลย 2556

Context Input Process Product Impact

ประเมนทาไม (why)

ประเมนเพ�อการตดสนใจ” เปนกระบวนการตรวจสอบความสอดคลองระหวาง “ส�งท�เกดข� นกบส�งท�ควรจะเปน” เพ�อใหไดสารสนเทศสาหรบผบรหารหรอผมอานาจในการตดสนใจในการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมนน�นๆ มนกทฤษฎท�มความเช�อในแนวคดน� เชน Tyler, Provus, Stufflebeam เปนตน

“ประเมนเพ�อการตดสนคณคา” เปนกระบวนการท�นกประเมน “ตดสนคณคา” ของส�งของหรอเหตการณท�มงประเมนน�น โดยนกประเมนจะมบทบาทท�สาคญคอเปนผตดสนคณคาจากผลการประเมนน�นดวย หากนกประเมนใด ไมไดทาหนาท�น� กถอวายงทาหนาท�ในการประเมนท�ไมสมบรณ มนกทฤษฎท�มความเช�อในแนวคดน� เชน Scriven, Worthenand Sanders, Apple, Cooley and Lohns, Guba and Lincoln เปนตน และการตดสนคณคาน�น ตามทศนะของ Scriven เหนวา จะตองตดสนคณคาท�แทจรงท�งหมด ท�งคณคาของผลท�คาดหวงไวและท�ไมไดคาดหวงไว ท�งทางบวกและทางลบ สาหรบผบรหารหรอผมอานาจในการตดสนใจ

ประเมนอยางไร (how)

“ประเมนอยางไร” มแนวคดในการตอบคาถามน� สองแนวคดคอ

ประเมนโดยยดวธเชงระบบ (system approach) และประเมนโดยยดวธเชงธรรมชาต (naturalistic approach)

สองแนวคดน� กมวธการ การมองคณคา เคร�องมอ การรวบรวมขอมล และการวเคราะหขอมลท�แตกตางกนดวย

system approach VS naturalistic approach

ประเมนโดยยด “วธเชงระบบ” (system approach) เปนการประเมนตามความเช�อในปรชญาปรนยนยม (objectivism) เปนการประเมนท�มการวางแผนการประเมนและวธดาเนนการอยางชดเจน รดกม และเปนระบบ สนบสนนการใชเคร�องมอท�ไดมาตรฐานในการรวบรวมขอมล มการควบคมสถานการณและตวแปรแทรกซอนท�อาจสงผลกระทบตอการประเมน ทาการวเคราะหขอมลและมการสรปผลตามเกณฑมาตรฐานท�กาหนดไวลวงหนา

การประเมนโดยยด “วธเชงธรรมชาต” (naturalistic approach) เปนการประเมนตามความเช�อในปรชญาอตนยนยม (subjectivism) มลกษณะการดาเนนงานท�ยดหยน สนบสนนการเกบรวบรวมขอมลในสภาพธรรมชาต โดยเนนการสงเกตแบบไมมโครงสราง วเคราะหขอมลโดยอาศยหลกการเช�อมโยงเหตผล การสงเกตและการวเคราะหเบ� องตนจะนาไปสการสงเกตและวเคราะหในข�นลกๆ ตอไป จนไดขอสรปเก�ยวกบคณคาของส�งของหรอเหตการณท�ไดรบการประเมน โดยตองอาศยความร ความเช�ยวชาญ และประสบการณของนกประเมนเปนเกณฑ

เชงปรมาณ !!

เชงคณภาพ !!

why + how รวมกนเปน 4 กลม

กลมการประเมนเพ�อการตดสนใจโดยวธเชงระบบ (system decision-oriented evaluation) เนนการใชวธเชงระบบเพ�อการนาเสนอสารสนเทศท�เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ

กลมการประเมนเพ�อตดสนใจโดยวธเชงธรรมชาต (naturalistic decision-oriented evaluation ) เนนการใชวธเชงธรรมชาตเพ�อการนาเสนอขอมลสารสนเทศท�เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ

กลมการประเมนเพ�อตดสนคณคาโดยวธเชงระบบ (system value-oriented evaluation) เนนใชวธเชงระบบเพ�อใหนกประเมนทาการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมน

กลมการประเมนเพ�อตดสนคณคาโดยวธเชงธรรมชาต ((naturalistic value-oriented evaluation) เนนใชวธเชงธรรมชาตเพ�อใหนกประเมนทาการตดสนคณคาของส�งของหรอเหตการณท�ไดรบการประเมน

เลอกกลมน�

ศกษารายละเอยดอ� นๆ จากตารา ใหเขาใจ ไมจา

ในกลมน� ...เลอกใช…. Stufflebeam’s CIPP Model

Context-Input-Process-Product: CIPP

CIPP Model เปน 1 ใน..... กลมการประเมนเพ�อการตดสนใจโดยวธเชงระบบ (system decision-oriented evaluation) เนนการใชวธเชงระบบเพ�อการนาเสนอสารสนเทศท�

เปนประโยชนตอการตดสนคณคาของผบรหารหรอผมอานาจการตดสนใจ

ประเมนบรบท ปจจยปอนเขา กระบวนการ และผลผลต (context-input-process-product)

• การตดสนใจเพ�อการวางแผน (planning decisions) เปนการเลอกเปาหมายหรอจดมงหมายโครงการ

• การตดสนใจเพ�อกาหนดโครงสราง (structuring decisions) เปนการกาหนดยทธวธหรอแผนงานหรอแนวการดาเนนงาน

• การตดสนใจเพ�อการนาไปปฏบต (implementing decisions) เปนการปรบเปล�ยนยทธวธหรอการดาเนนงานใหเหมาะสม

• การตดสนใจเพ�อการทบทวน (recycling decisions) เปนการเปล�ยนแปลงหรอคงหรอขยายหรอยบหรอเลกโครงการ

การตดสนใจ

4 ประเภท

Stufflebeam’s CIPP Model

ประเมนบรบท ปจจยปอนเขา กระบวนการ และผลผลต (context-input-process-product)

• การประเมนบรบท (context evaluation)

• การประเมนปจจยปอนเขา (input evaluation)

• การประเมนกระบวนการ (process evaluation)

• การประเมนผลผลต (product evaluation)

การประเมน

4 ประเภท

Stufflebeam’s CIPP Model

CIPP + I = CIPPI Model

• การประเมนบรบท (context evaluation)

• การประเมนปจจยปอนเขา (input evaluation)

• การประเมนกระบวนการ (process evaluation)

• การประเมนผลผลต (product evaluation)

• การประเมนผลกระทบ (impact evaluation) อาจมหรอไมมตามความเหมาะสม

การประเมน

5 ประเภท

Stufflebeam’s CIPP Model เพ�ม Impact

แนวคดด�งเดมของ CIPP/CIPPI Model ประเมนคนละชวงเวลา

การประเมนบรบท

(context evaluation)

การประเมนปจจยปอนเขา

(input evaluation)

การประเมนกระบวนการ (process

evaluation)

การประเมนผลผลต

(product evaluation)

แนวคดด�งเดม แยกการประเมนออกเปนตางกรรมตางวาระหรอตางชวงเวลา 4 ชวง

1

24

3

เพ�อกาหนดปญหาและความจาเปนในการพฒนา และกาหนดทศทางหรอจดมงหมายของการแกปญหาหรอการพฒนา

เพ�อศกษาความเปนไปไดของทรพยากรท�จะใช

เพ�อศกษาอปสรรค ปญหา และความกาวหนาในการดาเนนงาน

เม�อส� นสดโครงการวาประสบผลสาเรจหรอไม

เพยงใด

การประยกตใช CIPP/CIPPI Model เพ�อการประเมนในชวงเวลาเดยวกน

การประเมนบรบท (context evaluation)

การประเมนปจจยปอนเขา (input evaluation)

การประเมนกระบวนการ (process evaluation)

การประเมนผลผลต (product

evaluation)

การประเมนผลกระทบ (impact evaluation)

ประเมนชวงเวลาเดยวกน หลงจากดาเนนโครงการมาแลว ชวงเวลา

หน�ง เชน 3 ป 5 ป

การนา CIPP / CIPPI Model มาใชในการประเมนทางการบรหารการศกษา น�น สวนใหญมกเปนการ

ประเมนผลการ “ดาเนนงานตามโครงการใดโครงการหน�ง” ซ�งมการ

ดาเนนงานมาแลวในชวงเวลาหน�ง แตมความประสงคจะประเมนใน

องคประกอบท�ง 4 หรอ 5 องคประกอบน�นในคร�งเดยวกนหรอในชวงเวลา

เดยวกน คอ 1) การประเมนบรบท 2) การประเมนปจจยปอนเขา 3) การ

ประเมนกระบวนการ 4) การประเมนผลผลต และ 5) การ

ประเมนผลกระทบ

1

1

1

1

1

กรณ

การประยกตใช CIPP/CIPPI Model เพ�อการประเมนในชวงเวลา

เดยวกน

การประเมนชวงเวลาเดยวกน

จดมงหมายการประเมนบรบท....เดมเพ�อกาหนดวตถประสงคท�เหมาะสม เปล�ยนเปนเพ�อตรวจสอบความเหมาะสมของวตถประสงคท�กาหนดไวกอนหนา

การประเมนบรบท (context evaluation) แนวคดเดมของ Stufflebeam เปนการประเมนปจจยภายในและปจจยภายนอก ม

จดมงหมายเพ�อนาผลการประเมนมาประกอบการตดสนใจระบสภาพความเปนปญหาหรอความตองการจาเปนในการพฒนา ท�จะนาไปสการกาหนด

วตถประสงค (objectives) ของโครงการวาจะทาเพ�ออะไร แตการประยกตแนวคดของ Stufflebeam มาใชเพ�อการประเมนโครงการใดโครงการหน�งท�มการดาเนนงานมาแลวระยะเวลาหน�งน�น มจดมงหมายเพ�อตรวจสอบความเหมาะสมของวตถประสงค (objectives) ของ

โครงการท�มการกาหนดมากอนหนาน�น วาเม�อมการดาเนนงานไปชวงระยะเวลาหน�งแลว วตถประสงคน�น ยงมความเหมาะสมอยหรอไม ม

ขอเสนอแนะเพ�อการปรบปรงแกไขหรอเพ�มเตมอะไรบาง

จดมงหมายการประเมนปจจยปอนเขา.... เดมเพ�อกาหนดทรพยากรท�เหมาะสมเปล�ยนเปนเพ�อตรวจสอบความเหมาะสมของทรพยากรท�กาหนดไวกอนหนา

การประเมนปจจยปอนเขา (input evaluation) แนวคดเดมของ Stufflebeam เปนการประเมนความเปนไปได (feasibility) ของปจจยปอนเขา

ท�จะนามาใชในโครงการ วาควรจะใชทรพยากรอะไรบาง ในจานวนเทาไร มคณภาพอยางไร และใชอยางไร จงจะทาใหการนาโครงการไปปฏบตมโอกาสประสบผลสาเรจตามวตถประสงค (objectives) ท�กาหนดไวได ซ�งปจจยปอนเขาหากพจารณา

ทรพยากรทางการบรหาร 4 ประเภท หรอ 4M’s แลว กหมายถง ปจจยเก�ยวกบคน (man) เงน (money) วสดอปกรณ (material) และการจดการ

(management) แตในการประยกตแนวคดของ Stufflebeam มาใชเพ�อการประเมนโครงการใดโครงการหน�งท�มการดาเนนงานมาแลวระยะเวลาหน�งน�น ม

จดมงหมายเพ�อตรวจสอบความเหมาะสมของทรพยากรทางการบรหาร ของโครงการท�มการกาหนดมากอนหนาน�น วาเม�อมการดาเนนงานไปชวงระยะเวลาหน�งแลว ทรพยากรทางการบรหารเหลาน�น ยงมความเหมาะสมอยหรอไม มขอเสนอแนะเพ�อการปรบปรง

แกไขหรอเพ�มเตมอะไรบาง

จดมงหมายการประเมนกระบวนการ....เพ�อตรวจสอบความกาวหนาในการปฏบตงาน

การประเมนกระบวนการ (process evaluation) เปนการประเมนผลการนาโครงการสการปฏบตวา เม�อมการดาเนนงานไประยะหน�งแลว มความกาวหนาในการทางานเพยงใด เปนไปตามท�คาดหวงหรอไม มอปสรรคปญหาอะไรเกดข� นบาง มขอเสนอแนะเพ�อการปรบปรงแกไขหรอเพ�มเตมอะไรอกบาง เปนการประเมนท�ม

จดมงหมายเดยวกบแนวคดเดมของ Stufflebeam

จดมงหมายการประเมนผลผลต.....เพ�อตรวจสอบความสาเรจตามวตถประสงคท�กาหนด

การประเมนผลผลต (product evaluation) เปนการประเมนผลผลต

หรอผลลพธท�เกดข� นเม�อส� นสดโครงการ วา เปนไปตามวตถประสงค (objectives) ท�กาหนดไวหรอไม เพยงใด ซ�งเปนการ

ประเมนท�มจดมงหมายเดยวกบแนวคดเดมของ Stufflebeam

จดมงหมายการประเมนผลกระทบ....เพ�อตรวจสอบผลท�เกดข� นสบเน�อง (มหรอไมม...ตามความเหมาะสม)

การประเมนผลกระทบ (impact evaluation) โดยหลกการแลว เปนการประเมนผลท�เกดข� นสบเน�อง หลงส� นสดโครงการไปแลวระยะเวลาหน�ง แตในการประเมนคร�งเดยวกนหรอในชวงเวลาเดยวกนทกองคประกอบน�น

อาจพจารณาผลกระทบท�เกดข� นในชวงระยะเวลาดาเนนงานตามโครงการ ซ�งในกรณน� หากผวจยเหนวา ยงไมสามารถประเมนผลกระทบไดชดเจน กอาจประเมนเพยง 4 องคประกอบแรก คอ การประเมนบรบท การประเมน

ปจจยปอนเขา การประเมนกระบวนการ และการประเมนผลผลต

สรป....เม�อดาเนนโครงการไประยะเวลาหน�ง...ประเมน...

วตถประสงคท�กาหนดกอนหนา ...... เหมาะสมหรอไม ควรปรบปรงอะไร ?

ทรพยากรท�กาหนดกอนหนา...... เหมาะสมหรอไม ควรปรบปรงอะไร ?

กจกรรมท�กาหนดกอนหนา.... กาวหนาเพยงใด มอปสรรคอะไร ควรปรบปรงอะไร

ผลลพธท�คาดหวง..... ผลลพธท�เกดข� นจรง

ผลกระทบท�คาดหวง.... ผลกระทบท�เกดข� นจรง

หากตดสนใจ...

หากตดสนใจประเมนเชงระบบ ผวจยควรเร�ม review วรรณกรรมท�เก�ยวของท�สาคญ คอ 1) หลกการ แนวคด ทฤษฎท�เก�ยวของกบโครงการท�ประเมนน�น 2) รายละเอยดโครงการท�จะประเมน โดยช� ประเดนใหเหนถงองคประกอบท�จะประเมนแตละดาน เพ�อนาไปสการกาหนดเปนกรอบแนวคดเพ�อการวจย คอ

ก) C - วตถประสงคของโครงการท�จะตรวจสอบความเหมาะสม

ข) I - ทรพยากรท�ใชในโครงการท�จะตรวจสอบความเหมาะสม

ค) P - กจกรรมการดาเนนงานในโครงการท�จะตรวจสอบความกาวหนา

ง) P - ส�งท�คาดหวงใหเกดข� นจากโครงการ

จ) I - ผลกระทบท�คาดหวงใหเกดข� นจากโครงการ (ถาตองการประเมนผลดวย)

** โครงการท� จะประเมนควรเปน Master project ไมเปนโครงการเลกๆ

ขอควรคานง...

วจยเชงสารวจ

พหกรณศกษาผลการวจย

การนาเสนอผลการวจย...

นาเสนอขอมลจากการวจยเชงสารวจ เสรมดวยขอมลจากพหกรณศกษา เพ�อตอบวตถประสงคการวจยทละดาน

ความเหมาะสมของวตถประสงค และขอเสนอแนะเพ�อการปรบปรง

ความเหมาะสมของทรพยากร และขอเสนอแนะเพ�อการปรบปรง

ความกาวหนาของกจกรรม อปสรรคท�เกดข� น และขอเสนอแนะเพ�อการปรบปรง

ผลลพธท�เกดข� นจรง ท�งสาเรจและไมสาเรจ และขอเสนอแนะเพ�อการปรบปรง

ผลกระทบท�เกดข� นจรง ท�งคาดหวงและไมคาดหวง และขอเสนอแนะเพ�อการปรบปรง

กรณศกษา...

การประเมนเชงระบบ.... ผวจย