test case prioritization

นายชารีฟ เด่นสุมิตร

นาย ซูฟัรว ีสะมะแอ

การนําเสนอนี�เพื�อเป็นสว่นหนึ�งของการศกึษาในรายวชิาสมันาสาขาวชิาวศิวกรรมซอฟตแ์วร ์คณะเทคโนโลยแีละสิ�งแวดลอ้ม

มหาวทิยาลยัสงขลานครนิทร ์วทิยาเขตภูเกต็

Outline บทคดัย่อ Introduction

Customer Requirement-Based Techniques Coverage-Based Techniques Cost Effective-Based Techniques Chronographic History-Based Techniques

Research Challenges Ignore Practical Weight Prioritization Factors Inefficient Ranking Algorithm for Test Case Prioritization Ignore Size of Test Case

Proposed Method Test Case Prioritization Process Practical Weight Factors Multi Prioritization Method

Evaluation Experiments Design Measurement Metrics Percentage of High Priority Reserve Effectiveness Size of Acceptable Test Cases Total Prioritization Time

Result and Discussion Discussion Conclusion and Future Work

บทคัดย่อแตเ่ดิมการทดสอบในอดีต มีการใช้งบประมาณถึง ร้อยละ 50 ของงบประมาณทั �งหมด

ดงันั �นจงึได้มีการเสนอวิธีที�จะชว่ยลดทั �งเวลา คา่ใช้จา่ย และ ขั �นตอนในการทําให้น้อยลง โดยจดัได้ 4 วิธี คือ

จดัลาดบัความสาคญัโดยยดึตามความตอ้งการของลกูคา้(Customer requirement base technique)

จดัลาดบัความสาคญัโดยยดึตามความครอบคลุมในการทาการทดสอบ(Coverage-base technique)

จัดลาดับความสาคัญโดยยึดตามงบประมาณที�มี(Cost effective-base technique)

จดัลาดบัความสาคญัโดยยึดข้อมูลจากอดีต(Chronographic history-base technique)

Introductionในการทดสอบระบบนั �นมีความจําเป็นอย่างยิ�ง เนื�องจาก จํานวนผิดพลาดที�

เกดิขึ�นนั �นจะก่อให้เกดิผลกระทบต่อองคก์รที�ใช้งานระบบนั �น ดงันั �นจึ�งจําเป็นที�จะต้องตรวจสอบระบบก่อนที�จะนําไปใช้จรงิ โดยสมควรที�จะต้องใช้เวลาในการทําประมาณ 40-70% ของระยะเวลาในการพฒันา โดยการทําแบบนี�จะช่วยให้ขอ้ผดิพลาดลดน้อยลงยิ�งขึ�น แต่ยงัไงกต็าม หากระบบนั �น ๆ เป็นระบบใหญ่ การที�จะทดสอบทั �งหมดก็เป็นเรื�องที�ยากมาก และต้องใช้เวลาในการทําสูง จึงต้องมีการคิดวิธีที�ช่วยให้การทดสอบนั �น ไมจ่าํเป็นตอ้งทดสอบทั �งหมด แต่ทดสอบจากบางส่วน ซึ�งผลที�ไดจ้ะต้องไม่ต่างจากการทดสอบระบบทั �งหมด

Customer Requirement-Based Technique

วธิกีารนี�จะเป็นวธิกีารที�จะจดัลาดบัความสาคญัโดยยดึอยู่บนความต้องการของลูกค้าที�ได้ระบุใว้ในเอกสาร โดยจะมีการตั �งค่า weight เพื�อที�จะดูว่า requirement ตวัใดที�สมควรจะทดสอบ อาทเิช่น customer-assigned priority(CP),Requirement Complexity (RC) และ

Requirement Volatility(RV)

Customer Requirement-Based Technique (Con.)

จะถูกแทนดว้ยคา่ weight prioritization ที�จะถูกนามาพจิารณาความสาคญัของ requirement

จะถูกแทนที�ดว้ยคา่ของแต่ละ factor เช่น CP,RC,RV

จะถูกแทนที�ดว้ยคา่ weight ของแต่ละ factor เช่น CP,RC,RV

**** โดยคา่ WP จะมคีา่ตั �งแต่ 1-10 โดยคา่ตวัใหนที�คาํนวนไดค้า่มากกจ็ะมีความสาํคญัสงู

ข้อดี - เสีย ขอ้ดี

ทาํใหร้ะบบตรงตามความตอ้งการกรณทีี� requirement คงที�

ขอ้เสยี

วธินีี�จะไมเ่หมาะกบัระบบที�ม ีrequirement เปลี�ยนแปลงตลอด

Coverage-Based Techniques

วธิกิารนี�จะเป็นวธิกีารที�จะจดัลําดบัความสําคญัของ test case โดยเน้นถงึความครอบคลุม ในการทดสอบในด้านต่ า ง ๆ อาทิ เช่ น requirement

coverage, total requirement coverage, additional requirement coverage และ statement coverage ซึ�งวธิทีี�จะใช้เทคนิคนี�จะอยู่ในลกัษณะของ White Box Testing โดยการทําความครอบคลุมนี�จะมีวิธีการทําอยู่มากมาย เช่น clustering , statement coverage , branch covering ฯลฯ โดยเทคนิคส่วนมากที�ไดม้าจากการวจิยัจากผูท้ี�วจิยันี�มวีตัถุประสงคเ์พื�อที�จะหาวธิกีารลดชุดทดสอบ (โดยบางที�จะเรยีกว่า

test suit minimization)

Coverage-Based Techniques(Con.)Jeffrey และ Gupta(2006) ได้อธบิายถงึวธิใีหม่ที�จะใชใ้นการจดัลาดบัความสาคญั

โดยจะไม่อาศัยแต่การทา statement coverage (หรือรู้จ ักกันในชื�อว่า branch coverage) โดยมจีุดประสงค์เพื�อที�จะลดจํานวนโดยหาตวั test case weight โดยที� weight นั �นจะเอาใวใ้ชส้ําหรบัทาการทดสอบซึ�งหาไดด้งันี�

โดยที� จะแทนค่า weight ที�ใชใ้นการจดัลาดบัความสาคญัที�ถูกกาหนดมาจากแต่ละ test case จะแทนจาํนวนของ requirement ที�แสดงถงึชิ�นส่วนที�มคีวามพนัธก์บัผลลพัธท์ี�ได้

ในแต่ละ test case จะแทนค่าจานวนของ requirement ที�จะถูกดาเนินการโดน test case

ข้อดี-ข้อเสีย ขอ้ดี

ทาํใหร้ะบบที�ตรวจสอบครอบคลุมมากขึ�น

ทาํใหจ้าํนวนของตวั test case ที�ใชใ้นการทดสอบลดน้อยลง แต่ผลลพัธย์งัคงเดมิ

ขอ้เสยี

จาํเป็นตอ้งเขา้ใจในระบบเป็นอย่างดเีพราะเป็นการทดสอบในระดบั White Box

ใชร้ะยะเวลาพอสมควรเมื�อเทยีบกบัวธิกีารอื�น เพื�อที�จะลดจํานวนของ test case ให้อยู่ในระดบัที�เหมาะสมไมม่ากจนเกนิไป

Cost Effective-Based Prioritization Techniques

วิธีการนี�จะเป็นกระบวนการที�จดัลําดบัความสําคญัของ test case โดยใช้หลกัเกณฑข์องราคาเป็นหลกั เช่น การวเิคราะหร์าคา . การจดัความสาํคญัของราคา

Leung และ White (1991) ไดเ้สนอ cost model สาหรบัการทาการเลือกการทดสอบการถดถอย รวมทั �งค่าใช้จ่ายในการดาเนินการและการตรวจสอบกรณีทดสอบและค่าใชจ้่ายของการวเิคราะหเ์พื�อสนบัสนุนการเลอืก

อย่างไรกต็ามรูปแบบของ Lueng จะไม่พจิารณาค่าใชจ้่ายของความผดิพลาดที�มองเหน็เนื�องจากการละทิ�งตวัทดสอบ ซึ�ง Alexey G Malishevsky, Gregg Rothermel และ Sebastian Elbaum (2002) ไดเ้สนอ cost medel สาหรบัการจดัลาดบัความสาคญัที�จะนาราคาเหล่านั �นเขา้ไปในบญัช ีโดยพวกเขา้ได้กาหนดตวัแปรในการจดัลาดบัความสาคญัดงันี�: cost of analysis[Ca(T)] และ cost of the prioritization algorithm [Cp(T)]

Cost Effective-Based Prioritization Techniques (Con.)

โดยที�

จะแทนคา่ความสาคญัของ weight สาหรบัแต่ละ test case

จะแทนค่าการวเิคราะห์ราคาของ source code , การวเิคราะความเปลี�ยนแปลงระหว่างระบบที�ม ีversion เก่ากบั version ตวัใหม่ที�ได้รบัการปรบัปรงุ

จะแทนค่าราคาที�แท้จรงิในการจดัลาดบัโดยใช้เครื�องมอื และ ราคานี�จะขึ�นอยู่กบัอลักอรทิมึที�ถูกใช ้โดยมนัสามารถดาเนินการในช่วงระยะเบื�องต้นหรอือย่างใดอย่างหนึ�งที�สาคญั

Chronographic History-Based Prioritization Techniques

Chronographic History-Based Prioritization Techniques เป็นวธิกีารจดัลาดบัความสาคญั test case โดยยดึอยู่บนประวตัิการประมวลผลของชุดทดสอบในอดตี

Kim และ Porter (2002) ได้เสนอให้ใช้ข้อมูลเกี�ยวกบัแต่ละกรณีทดสอบก่อนที�จะทาการเพิ�มหรอืลดโอกาสที�มนัจะถูกใช้ในช่วงการทดสอบปจัจุบนั ซึ�งวิธีการของพวกเขาจะขึ�นอยู่กับความคิดที�ได้มาจากการควบคุมคุณภาพทางสถิต ิexponential weight ที�เปลี�ยนแปลงตามค่าเฉลี�ย) และการพยากรณ์ทางสถติ ิ(exponential ที�มคีา่คงที�)

Chronographic History-Based Prioritization Techniques

Kin and Porter(2002) ไดก้าหนดการเลอืกความน่าจะเป็นของแต่ละ test case(โดยแทนที� TC), ในเวลาหนึ�ง(แทนที� t) เพื�อที�จะเป็น โดยที� เป็น set ของ t, เวลาที�ใช้ในการสงัเกตุ(จะแทนที� {h1,h2,...hn} ) โดยจะมาจากการนา TC มารนั และ จะเป็นค่าคงที�ที�จะใช้ในการตั �งตวัถ่วงน้าหนักของการสงัเกตุประวตัิการทางาน โดยค่าที�สูงจะบ่งบอกถึงตัวที�ค่อนข้างจะใหม่ ในขณะเดียวกันคา่ที�ต่ากวา่กจ็ะแสดงถงึตวัที�มอีายมุากกวา่นั �นเอง ซึ�งคา่เหล่านี�ปกตแิล้วจะเป็นค่าที�เอาใวใ้ชใ้นการกาหนดความน่าจะเป็น

Result and Discussion

ผลการประเมนิของการทดสอบดงักล่าวขา้งตน้ จะนําเสนอกราฟที�เปรยีบเทยีบ ซึ�งจะแสดงวธิทีี�นําเสนอไปแลว้ขา้งตน้ เพื�อใหเ้ป็นกรณีทดสอบของ Test case ต่างๆ ซึ�งมดีว้ยกนัสามเทคนิคในการจดัลาํดบัความสาํคญั

คอื

(a) วธิกีารสุ่ม (b) วธิกีาร Hema และ (c) วธิกีาร Alexey

ที�มอียู่บนพื�นฐานของการวดัดงัต่อไปนี�

(a)ประสทิธภิาพของการจอง การลาํดบัความสาํคญัสงู

(b) ขนาดของความการลาํดบัสาํคญัที�ยอมรบัได ้

(c)เวลารวมทั �งหมด

กราฟภาพแสดงผลการประเมินของการทดสอบการจัดลาํดับความสําคัญของ test case

An evaluation result of test case prioritization methods

แสดงถงึผลการประเมนิเปรยีบเทยีบประสทิธภิาพการจอง ของการลําดบัความสําคญัสูง จาํนวนกรณีการลําดบัความสาํคญัที�ยอมรบัได ้และเวลาที�การจดัลําดบัความสาํคญัทั �งหมด กราฟขา้งตน้แสดงให้เหน็ว่า การจองลําดบัความสาํคญัสงู เกดิประสทิธผิลสูงสุด คดิเป็น 46.76% และยงัเป็นเทคนิคอื�น ๆ อกีเลก็น้อยประมาณ 40%เทคนิคเหล่านี�ถูกสงวนไวอ้กี จาํนวนเลก็น้อย เพื�อ Test case ที�มีความสําคญัสูง อยู่นอกเหนือจากนี�

กราฟแสดงใหเ้หน็ว่าวธิทีี�สิ�นเปลอืงที�สดุคอื แบบเวลารวม อย่างน้อยในระหว่างกระบวนการจดัลาํดบัความสําคญัเมื�อเปรยีบเทยีบกบัเทคนิคอื�น ๆ จะใชเ้พยีง 43.30% ซึ�งน้อยกว่าเทคนิคเลก็น้อย สุดทา้ยกราฟที�ยงับอกอกีว่าวธิทีี�สองเป็นวธิทีี�ดทีี�สุดเพื�อจองการลาํดบัความสําคญั test case ที�ยอมรบัได้

An evaluation result of test case prioritization methods(2)

สว่นนี�จะกล่าวถงึผลการประเมนิก่อนหน้านี� ในรปูแบบตาราง(ที�3,4)การจดัอนัดบัการทดสอบและเทคนิคการจดัลําดบัความสาํคญัของ test case ที�ใชใ้นการทดลองโดยขึ�นอยูก่บัการวดัขา้งตน้โดยที� 1 เป็นครั �งแรกและครั �งที� 2,3,4 ตามลําดบั

โดยางผูว้จิยัมสีองรปูแบบ(ตาราง 3,4) คอื วธิกีารจดัลําดบัความสาํคญัที�เหามะสมในการจอง มกีารจดัลําดบัความสาํคญัของ test case ในระดบัความสาํคญัเป็น และอกีวธิคีอื การสุม่ใชเ้วลาในการจดัลําดบัความสาํคญัที�ดทีี�สุดเมื�อเทยีบกบัอกีสามวธิี

Discussion

Discussion(2)

ตารางที� 3: แสดงการจดัอนัดบัของการทดสอบแต่ล่ะ test case เปรยีบเทยีบวธิกีารจดัลาํดบัความสาํคญั ในตารางจะเหน็วา่วธิทีี�ใชเ้ทคนิคที�แนะนําใหใ้ช ้คอื การจดัลาํดบัความสาํคญั ส่วนของค่ามากจะเป็น test case ของ การจดัลาํดบัความสาํคญัสงู และอกีส่วนกเ็ป็นเวลาจดัลาํดบัความสาํคญัทั �งหมด ซึ�งมคี่าน้อยที�สุด นอกจากนี�กแ็สดงใหเ้หน็วา่วธิทีี�นําเสนอในวจิยันั �นไม่ไดเ้ลวรา้ยที�สุดกวา่เทคนิคอื�น ๆ ในการรกัษาจาํนวน test case ที�ยอมรบัได้

การศกึษาครั �งนี�กาํหนดและจดัลาํดบัวธิกีารเปรยีบเทยีบขา้งตน้เป็น5อนัดบั : 5 ดมีาก, 4 ดมีาก, 3 ด,ี 2 ปกตแิละ 1ไมด่ ีการศกึษานี�จะใชค้่าสงูสุดและตํ�าสุดที�จะหาค่าช่วงเวลาสาํหรบัการจดัอนัดบั

การทดสอบประสิทธิภาพของการจองการจดัลาํดบัความสาํคญัสูง

รอ้ยละสงูสุดและตํ�าสุดคอื 46.76% และ 30.99%ตามลาํดบั

ค่าผลต่างกนัระหวา่งค่าสงูสุดและตํ�าสุดคอื 15.77%

ค่าชว่งเวลาเท่ากบัผลจากการหารผลต่างใหค้่าชว่งเป็น 3.154 เป็นผลใหไ้ดค้่าประมาณของ 5 ดงันั �นจงึ

สามารถพจิารณาไดด้งันี�

5 ดเียี�ยม (ตั �งแต่ 43.606% -46.76%),

4 - ดมีาก (ระหวา่ง 40.452% และ 43.605%),

3 - Good (ระหวา่ง 37.298% และ 40.451%),

2 - ปกต ิ(ระหวา่ง 34.144% และ 37.2988%)

1 – ไม่ด ี(30.99% - 34.143%)

Discussion(3)

ขนาดจาํนวนกรณีทดสอบที�ยอมรบัได้

รอ้ยละสงูสุดและตํ�าสุดคอื 55.73 และ 30.03 ตามลาํดบั

ค่าที�ผลต่างคอื 25.7%

ค่าชว่งเวลาคอื 5.14 ดงันั �นจงึสามารถพจิารณาไดด้งันี�

5 ดเียี�ยม (ตั �งแต่ 50.59% - 55.73%)

4 - ด ี(ระหวา่ง 45.45% และ 50.58%)

3 - Good (ระหวา่ง 40.31% และ 45.44%)

2 - ปกต ิ(ระหวา่ง 35.17% และ 40.30%)

1 - ไม่ด ี(30.03%-35.16%)

Discussion(4)

เวลาจดัลาํดบัความสาํคญัรวม

รอ้ยละสงูสุดและตํ�าสุดคอื 44.87% และ 43.30 ตามลาํดบั

ค่าของผลต่างระหวา่งค่าสงูสุดและตํ�าสุดคอื 1.51%

ค่าชว่งเวลาเท่ากบัผลจากการหารกบัค่าของผลต่าง ใหค้่าชว่งเป็น 0.314 ดงันั �นจงึสามารถพจิารณาไดด้งันี�

5 ดเียี�ยม (ตั �งแต่ 43.3%-43.614%)

4 - ด ี(ระหวา่ง 43.614 %และ 43.928%)

3 – ด ี(ระหวา่ง 43.928% และ 44.242%)

2 - ปกต ิ(ระหวา่ง 44.242% และ 44.556%)

1 – ไม่ด ี(44.556% - 44.87%)

Discussion(5)

ผลขา้งตน้แสดงให้เห็นวา่วธีิที�เรานาํเสนอ ดีและเหมาะสาํหรับสถานการณ์ที�สนใจ ถึงพื�นที�ส่วนใหญ่ ที�ถูกจองโดยทดสอบลาํดบัความสาํคญัสูง และป้องกนั case ที�ยอมรับ และมีการทาํให้ลดเวลาของจดัการลาํดบัความสาํคญัทั�งหมด วธีิการนี�ผูท้าํวจิยัเสนอวา่ น่าจะดีกวา่ ส่วนของ การวดัโดย ประสิทธิภาพของจองการลาํดบัความสาํคญัสูง ของ

Hema

Discussion(6)

การศกึษานี�นําเสนอ test case ใหม่ข ั �นตอนการจดัลาํดบัความสาํคญัที�เรยีกวา่ 2R - 2S - 3R กระบวนการใหม่จะมสีองข ั �นตอน, เรยีกวา่ 2R คอื : (a)สิ�งสาํคญัหรอืเป็นที�ตอ้งการ (b)การสั �งใหม่

ขั �นตอนแรกประกอบดว้ยสองกระบวนการย่อย, เรยีกวา่ 2S ดงันี� (a) การจดัลาํดบัความสาํคญั ของ เทคนิคการเลอืก test caseและ (b) ระบุ coverage หรอื factor ต่างๆ

ขั �นตอนที�สองประกอบดว้ยสามกระบวนการย่อย, เรยีกวา่ 3R ดงัต่อไปนี�คอื (a) กาํหนดค่านํ�าหนกั อกีครั �ง (b) คาํนวณค่าลาํดบัความสาํคญัอกีครั �ง (c) สั �งการ ทดสอบ test case อกีครั �ง

การศกึษาครั �งนี�ไดศ้กึษาถงึปญัหาและชอ่งโหวห่รอืขอ้แตกต่าง ในส่วนของ test case ของการลาํดบัความสาํคญั โดยทาํการการวจิยัแกไ้ขส่วนต่างๆต่อไปนี�

(a)ขาดการ practical weight prioritization factor ที�ด ี

(b) ขั �นตอนวธิกีารจดัอนัดบัไม่มปีระสทิธภิาพที�ใชใ้นกระบวนจดัลาํดบัความสาํคญั

(c) ไม่สนใจในการ จองการลาํดบัความสาํคญัสงูของ test case

Conclusion and Future Work

การศกึษานี�จะแนะนํา practical weight prioritization factor ใหม่ที�ใชใ้นการทดสอบ test case ซึ�งจะมกีระบวนการจดัลาํดบัความสาํคญั ชดุใหม่ประกอบดว้ย4กลุ่ม ดงันี� คอื

(a)ค่าใชจ้่าย (b)เวลา (c) ขอ้บกพร่อง (d) ความซบัซอ้น

อกีทั �งยงัศกึษาเปรยีบเทยีบวธิทีดสอบกรณีอื�น ๆเพื�อใหเ้หน็ถงึ วธิกีารจดัลาํดบัความสาํคญัที�มอียู่แลว้ซึ�งคอื

(a) วธิกีารสุ่ม (b) วธิกีารของ Hema และ (c) วธิกีารของ Alexey

ดงันั �นการศกึษาครั �งนี�พบวา่ วธิทีี�จะเสนอเพื�อเป็น วธิทีี�ดทีี�สุด เพื�อทาํการจอง test case ที�ใชท้ดสอบจาํนวนมาก คอื การลาํดบัความสาํคญัสงูที�มเีวลารวมน้อย ในระหวา่งข ั �นตอนการจดัลาํดบัความสาํคญั อย่างไรกต็ามมกีารปรบัปรุงรวมถงึการจอง เพื�อใหไ้ดค้่าของขนาดของการลาํดบัสาํคญัที�ยอมรบัได ้และเพื�อดาํเนินการพฒันาเพื�อต่อในอนาคตต่อไปthis study reveals that the proposed method is the most

recommended method to reserve the large number of high priority test cases

with the lest total time,during a prioritization process.

However,there is an improvement to maintain and reserve

the acceptable numbers of test cases,carried out in the future work.

Conclusion and Future Work(2)

test case prioritization

Education