week 11 collecting_data
TRANSCRIPT
เอกสารประกอบการสอน วิ�ชา 427-302 Methods of Social Sciences Research
เร��อง เคร��องมื�อการเก�บข้�อมื�ล
การหาค�ณภาพข้องเคร��องมื�อวิ�ด
ห�วิข้�อในการบรรยาย• ค�ณภาพข้องเคร��องมื�อวิ�ด• ทบทวินแนวิค�ดเบ�#องต้�นข้อง CTT• ประเภทข้อง Reliability• ประเภทข้อง Validity• การต้รวิจสอบค�ณภาพข้องเคร��องมื�อวิ�ด
ด�วิยโปรแกรมื SPSS
การวิ�ดค�ออะไร?
• การวิ�ด ค�อ การให�ค(าส�ญล�กษณ+ ต้(อ ค�ณสมืบ�ต้� ข้องส��งท,�ต้�องการศึ.กษา
• การวิ�ด ก�ค�อ การให�ค(าต้�วิเลข้ ต้(อ ค�ณสมืบ�ต้� ข้อง ส��ง ท,�ต้�องการศึ.กษา เพ��อท,�จะสามืารถจ0าแนกหน(วิย
ต้�วิอย(างต้ามืล0าด�บมืากหร�อน�อยข้องค�ณสมืบ�ต้�ข้อง ส��งท,�ศึ.กษาได�
การวิ�ดจ.งประกอบด�วิย
ไมื�บรรท�ด ควิามืยาวิ หน�งส�อ น�#วิ, ซ.มื.วิ�ด ข้อง ได�
ต้าช��ง น0#าหน�ก น�กเร,ยน ก�โลกร�มืช��ง ข้อง ได�
ค�ณสมืบ�ต้�(Attribute)
ส��งท,�ศึ.กษา(Object)
ค(าต้�วิเลข้(Number)
วิ�ด ข้อง ได�เคร��องมื�อวิ�ด(Measure)
ต้�วิอย(างการวิ�ดในการวิ�จ�ยทางส�งคมืศึาสต้ร+
ค�ณสมืบ�ต้�(Attribute)
ส��งท,�ศึ.กษา(Object)
ค(าต้�วิเลข้(Number)
วิ�ด ข้อง ได�เคร��องมื�อวิ�ด(Measure)
แบบทดสอบ, แบบวิ�ด
ต้�วิแปรทางทฤษฎี,
หน(วิยต้�วิอย(าง
ค(าคะแนนต้�วิแปรวิ�ด ข้อง ได�
(Test, Measure) (Construct Variable) (Subject) (Variable Values)
TOEFLS ควิามืสามืารถภาษาอ�งกฤษ
น�กศึ.กษา คะแนนวิ�ด ข้อง ได�
JDI ควิามืพ.งพอใจในงาน พน�กงาน ค(าคะแนนวิ�ด ข้อง ได�
(Job Description Index)
(Job Satisfaction)
ต้�วิอย(างการวิ�ดในการวิ�จ�ยทางส�งคมืศึาสต้ร+
เคร��องมื�อวิ�ดจ.งประกอบด�วิย
• ข้�อค0าถามื (Items)• เคร��องมื�อวิ�ด หร�อ แบบทดสอบ ท�#งฉบ�บ
(Measure or Test)
การหาค�ณภาพข้องเคร��องมื�อวิ�ด
• ค�ณภาพข้องข้�อค0าถามื• ค�ณภาพข้องเคร��องมื�อวิ�ดหร�อแบบทดสอบ ท�#งฉบ�บ
• ควิามืเป5นปรน�ย (Objectivity)• ควิามืยาก (Difficulty)• อ0านาจจ0าแนก (Discrimination)
ค�ณภาพข้องข้�อค0าถามื
ปรากฏการณ+
Subject
ObjectSubject
Objectivityปรากฏการณ+
SubjectObjectReality
Subjectivity
Reality
Reality
• ควิามืเช��อมื��น (Reliability)• ควิามืเท,�ยงต้รง (Validity)
ค�ณภาพข้องเคร��องมื�อวิ�ด
Review of Classical Test Theory
• VarianceoTrue ScoresoErrors
• 75 = 70 + 5• 80 = 70 + 10
Observed Scores
• Reliabilityo Var (T) / Var (X)o Var (T) / Var (T) + Var (E)
• Reliabilty = Rx1x2
การประมืาณค(า True Scores
Errors
• Systematic Error• Random Error
Random Error
Systematic Error
• Reliabilty = True Score + Systematic Error= T + ES
• Validity = True Score = T
Reliability VS. Validity
Reliability VS. Validity
Reliability VS. Validity
• Stability (Times)• Equivalence (Forms)• Consistency (Items)
ประเภทข้อง Reliability
Test-Retest
• Test-Retest เป5นการหาควิามืเช��อมื��นโดยน0า เคร��องมื�อวิ�ดไปวิ�ดส��งท,�ศึ.กษา แล�วิท�#งช(วิง
ระยะเวิลาหน.�ง จากน�#นน0าไปวิ�ดซ0#าอ,กคร�#งแล�วิน0าผลการวิ�ดท,�ได�จากคร�#งแรกก�บคร�#งหล�งมืาเปร,ยบเท,ยบก�น
Stability (Times)
Parallel Form
Inter-Rater
• Parallel Form เป5นการหาควิามืเช��อมื��นโดยสร�างเคร��องมื�อ วิ�ดท,�มื,ควิามืเท(าเท,ยมืก�นข้.#นมืา 2 เคร��องมื�อ น0าไปวิ�ดส��งท,�
ต้�องการศึ.กษา แล�วิน0าผลการวิ�ดจากเคร��องมื�อวิ�ดท�#งสองมืาเปร,ยบเท,ยบก�น
• Inter-Rater เป5นการหาควิามืเช��อมื��นในกรณ,ท,�เคร��องมื�อวิ�ด เป5นคนท,�คอยส�งเกต้หร�อประเมื�น โดยใช�ผ��ประเมื�นอย(างต้0�า
2 คนมืาส�งเกต้หร�อประเมื�นส��งท,�ต้�องการศึ.กษาร(วิมืก�น จากน�#นน0าผลท,�ได�มืาเปร,ยบเท,ยบก�น
Equivalence (Forms)
• Average Inter-Item Correlation• Average Item-Total Correlation• Split-Half Correlation• Cronbach's Alpha
Consistency (Items)
Average Inter-Item Correlation
Average Item-Total Correlation
Split-Half Correlation
Cronbach’ s Alpha
Cronbach’ s Alpha
• Cronbach's Alpha เป5นการหาควิามืเช��อมื��นโดยด�ท,�ควิามืสอดคล�องกลมืกล�นข้องข้�อค0าถามืในเคร��องมื�อ
วิ�ด ถ�าแต้(ละข้�อค0าถามืสามืารถวิ�ดส��งท,�ต้�องการศึ.กษา ส��งเด,ยวิก�น คะแนนท,�ได�แต้(ละข้�อค0าถามืควิรมื,ควิามื
สอดคล�องก�น
• ควิามืเท,�ยงต้รงข้องการวิ�จ�ย(Research Validity)
• ควิามืเท,�ยงต้รงข้องการวิ�ด (Measurement Validity)
ควิามืเท,�ยงต้รง (Validity)
Research Validity
• (Face Validity)• Content Validity• Criterion-Related Validity
Classicial Classification of Validity
• Construct Validity
• ควิามืเท,�ยงต้รงต้ามืผ�วิหน�า เป5นควิามืเท,�ยงต้รงในระด�บท,�ต้0�า ท,�ส�ด กล(าวิค�อ เมื��ออ(านหร�อมืองด�ต้ามืสภาพหร�อต้ามืผ�วิ
เผ�นแล�วิ เคร��องมื�อวิ�ด น(าจะวิ�ดต้�วิแปรได�ต้รงก�บท,�ผ��วิ�จ�ยต้�องการ
(Face Validity)
• ควิามืเท,�ยงต้รงต้ามืเน�#อหา เป5นควิามืเท,�ยงต้รงท,�ประเมื�นวิ(าเคร��องมื�อสามืารถวิ�ดต้�วิแปรได�ครบถ�วินและครอบคล�มื
เน�#อหาข้องต้�วิแปรได�ครบท�กประเด�น ท�กองค+ประกอบ ข้องต้�วิแปรท,�จะวิ�ดหร�อไมื(
Content Validity
• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ เป5นควิามืเท,�ยงต้รงท,�ใช�เกณฑ์+หร�อ มืาต้รฐานบางอย(างท,�ทราบมืาก(อนแล�วิวิ(ามื,ควิามืเท,�ยงต้รง น0า
มืาใช�เท,ยบเค,ยงหร�อประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด• แบ(งออกเป5น 2 ประเภท ค�อ Concurrent Validity และ
Predictive Validity
Criterion-Related Validity
• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ท,�ใช�เกณฑ์+หร�อมืาต้รฐานท,�มื,อย�(แล�วิ ในข้ณะน�#น น0ามืาประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด
• ต้�วิอย(างเช(น เคร��องมื�อวิ�ดอ��นท,�วิ�ดต้�วิแปรเด,ยวิก�น แต้(ผ(าน การทดสอบมืาแล�วิวิ(ามื,ควิามืเท,�ยงต้รง
Concurrent Validity
• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ท,�ใช�เกณฑ์+หร�อมืาต้รฐานท,�จะเก�ด ข้.#นในอนาคต้ น0ามืาประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด
• ต้�วิอย(างเช(น เกรดเฉล,�ยระด�บมื�ธยมืต้�น ก�บ คะแนนสอบเอ�น ทรานซ+ หร�อ การค�ดเล�อกพน�กงานท,�ใช�การด�นรล�กษณ+ แล�วิใช�
คะแนนผลการปฏ�บ�ต้�งานหล�งจากท0างานไปแล�วิ 3 เด�อน
Predictive Validity
• ควิามืเท,�ยงต้รงต้ามืทฤษฎี, เป5นการประเมื�นควิามืเท,�ยงต้รง ข้องเคร��องมื�อวิ�ดวิ(า สามืารถวิ�ดต้�วิแปรได�ต้รงต้ามืท,�ทฤษฎี,
ระบ�ไวิ�หร�อไมื(• เช(น อาจน0าเคร��องมื�อวิ�ดไปหาควิามืส�มืพ�นธ+ก�บต้�วิแปรอ��นท,�ทฤษฎี,ได�ระบ�ไวิ�วิ(ามื,ควิามืส�มืพ�นธ+ก�บต้�วิแปรท,�เคร��องมื�อวิ�ดต้�องการจะวิ�ด
Construct Validity
Construct Validity
• ใช�ด�ลย+พ�น�จo Face Validityo Content Validity
• ใช�เกณฑ์+หร�อมืาต้รฐานo Concurrent Validityo Predictive Validity
• ใช�ทฤษฎี,o Construct Validity
สร�ปประเภทข้อง Validity
การต้รวิจสอบค�ณภาพเคร��องมื�อวิ�ด ด�วิยโปรแกรมื SPSS
• ค�ณภาพข้องข้�อค0าถามื• ค�ณภาพข้องเคร��องมื�อวิ�ดหร�อแบบทดสอบ
การต้รวิจสอบค�ณภาพ
• ควิามืเป5นปรน�ย (Objectivity)• ควิามืยาก (Difficulty)• อ0านาจจ0าแนก (Discrimination)
การต้รวิจสอบค�ณภาพข้องข้�อค0าถามื
• ให�ผ��เช,�ยวิชาญต้รวิจสอบ• น0าไป Pretest
การต้รวิจสอบควิามืเป5นปรน�ย
• ด�จากร�อยละ (Percent) ข้องคนท,�ต้อบข้�อน�#นถ�ก
การต้รวิจสอบควิามืยาก
• Item-Total Correlation• Corrected Item-Total Correlation• t-test กล�(มืส�ง-กล�(มืต้0�า
การต้รวิจสอบอ0านาจจ0าแนก
• Reliability• Validity
การต้รวิจสอบค�ณภาพข้องเคร��องมื�อ
• ใช� Correlation oTest-Retest oParallel FormsoSplit Half
• ใช� Cronbach's Alpha
การต้รวิจสอบ Reliability
• ใช�ด�ลยพ�น�จข้องผ��เช,�ยวิชาญ• Known-Group Technique ด�วิย t-test• ใช� Correlation• ใช� Factor Analysis (EFA vs CFA)• ใช� Multitrait-Multimethod Matrix (MTMM)
การต้รวิจสอบ Validity
F1
F2
F3
X1
X2
X3
X4
X5
X6
X7
X8
X9
e1
e2
e6
e5
e3
e4
e8
e7
e9
EFA
F1
F2
F3
X1
X2
X3
X4
X5
X6
X7
X8
X9
e1
e2
e6
e5
e3
e4
e8
e7
e9
CFA
Multitrait-Multimethod Matrix