Download - یادگیری درخت تصمیم
درختتصمیم یادگیری
Amirkabir University of TechnologyComputer Engineering & Information Technology Department
Instructor : Saeed Shiry
Mitchell Ch. 3
مقدمه روبرو مختلف جنبه دو با یادگیری مسئله یک در
هستیم: ها فرضیه نمایش& نحوه گزینیم برمی یادگیری برای که روشی
برای فصل این ها در فرضیه درخت نمایش ازبرای و میکنیم استفاده ای&ن یادگرفتنتصمیم
روش از .ID3درخت میکنیم استفاده
تصمیم درخت مفاهیم نمایش برای مصنوعی درهوش درختها
حاالت معادالت، جم&الت، ساختار نظیر مختلفی. میشود استفاده غیره و بازی،
تقریب برای روشی تصمیم درخت توابع یادگیریگسسته مقادی&ر با به. هدف نسبت روش این است
فصلی ترکیب است وقادر بوده هامقاوم داده نویز. بگیرد یاد را عطفی های گزاره
یادگیری الگوریتمهای مشهورترین جزو روش ایندر آمیزی موفقیت بصورت که است استقرائی
. است شده گرفته بکار مختلف کاربردهای
تصمیم نمایشدرخت آن در که است& درختی تصمیم نحوی درخت به را ها نمونه
در و میکنند رشد پائین سمت به ریشه از که میکند بندی دستهمیرسد برگ های گره به :نهایت
برگ یاغیر داخلی گره ویژگی (non leaf )هر یک (attribute)با . ورودی مثال با رابطه در را سوالی ویژگی این میشود مشخص
. میکند مطرح شاخه سوال این با ممکن جوابهای تعداد به داخلی گره درهر
(branch). میشوند مشخص جواب آن مقدار با یک هر که دارد وجود مشخص جوابها از دسته یک یا و کالس یک با درخت این برگهای
میشوند. این که است این تصمیم درخت& با& آن نامگذاری علت&
مثال یک دسته تعیین برای گیری تصمیم فرایند درخت. میدهد نشان را ورودی
تصمیم درخت یک از مثالیمحل درد
تب سرفه
شکم
باکتری
گلو
سکته
سینه هیچکدام
بله خیر
آپاندیس
ویروسی تب
بله خیر
آنفوالنزا سرماخوردگی
بله خیر
هیچکداممشخص • را دسته یا کالس یک درخت این برگ هر
میکند.صورت • این به تصمیم درخت در آموزشی مثال یک
: میشود بندی دسته•. میشود شروع درخت ریشه ازمی • تست گره این توسط شده معین ویژگی
گردد.داده • مثال در ویژگی ارزش با منطبق سپس و
انجام پائین به رو حرکت ها شاخه طول در شده. دهد می
جدید • گره زیردرختان های گره برای فرآیند این. شود می تکرار
کاربردها بصور&تی را& آنها بتوان که دار&د کاربرد مسایلی در تصمیم در&خت
کالس یا دس&ته یک نام بصورت و&احدی پاسخ که نمود مطرح. دهند ارائه
سوال این به که س&اخت تصمیمی درخت میتوان مثال برای : به که ساخت درختی& یا و است؟ کد&ام مریض بیم&اری دهد پاس&خ
: مبتالس&ت؟ هپاتیت به مریض آیا دهد پاسخ س&وال این زوج بصور&ت آموز&ش&ی مثالهای که است مناسب مسائلی& برای
. ) - باشند) ش&ده مشخص ویژگی& مقدار . مثال هر مثال باش&د گسسته مقادیر با خرو&جی دار&ای& هدف تابع
. ش&ود تعیین خیر و بله با &ف&صلی گر توصیف& به .(disjunctive)نیاز& باش&د
تصمیم درخت های ویژگی رود می بکار گسسته توابع تقریب (classification)برای نویز به ورودی نسبت های است مقاوم داده در رو این از کاراست باال حجم با های داده Dataبرای
mining شود می استفاده قوانین بصورت را درخت توان داد if-thenمی نمایش
است استفاده برای فهم قابل که فصلی امکان و عطفی دهد ترکیب می را ها فرضیه که آموزشی مثالهای که مواردی ویژگیها در همه فاقد
است استفاده قابل نیز هستند
تصمیم نمایشدرخت نحوهدرخت بین مستقیمی ارتباطمنطقی توابع ونمایش تصمیم
. هردرخت درواقع دارد وجودهای گزاره فصلی ترکیب تصمیم
است عطفی
عطفی ترکیب برگ به ریشه از مشخص (AND)مسیر را ها ویژگی ازفصلی ترکیب خوددرخت و .(OR)نموده میسازد را ترکیبات این
مثال عطفی ترکیب
Outlook=Sunny AND Wind=Normal
No No
مثال فصلی ترکیب
OR
مثالتابع XOR
XOR
تصمیم درخت یادگیری الگوریتم عمل یک پایه بر تصمیم درخت یادگیری های الگوریتم اغلب
حریصانه ) پائین( )greedyجستجوی به در( top-downباال. میکنند عمل موجود درختهای فضای
،پایه الگوریتم )Concept Learning System )CLSاینسال در که شود می .1950نامیده است شده معرفی
توسط الگوریتم سال Ross Quilanاین بصورت 1986درعنوان تحت )Inducing Decisition trees )ID3کاملتری
. گردید مطرح عنوان تحت دیگری کاملتر الگوریتم ارائه C4.5بعدها
نقائص برخی که .ID3گردید میکند برطرف را
اصلی ID3ایده
به ایده ومی Ocuum’s Razorاین است مشهورگوید :
“ است” ساده ذاتا دنیا
سازگار داده با که تصمیم درخت کوچکترین از بنابرایندرستی به را نادیده مثالهای که رود می انتظار باشد
. کند بندی دسته
تصمیم بایاسدرخت
کوچکتر درختهای انتخابدرختهای که است ایده این بر تصمیم درخت بایاس
. شود داده ترجیح بزرگتر درختهای بر کوچکتر
سئوال
دارای ما مسئله بود؟ mاگر خواهد چقدر تصمیم درخت ارتفاع باشد، ویژگی جواب:
است، ویژگی یک خود آن که است ریشه یک دارای تصمیم درختاست ویژگی نیز، خود آن که رسیم می پاسخی به ویژگی آن از سئوال .در
درخت ارتفاع حداکثر . mپس بود 1ویژگیخواهد
2ویژگی
mویژگی
Bدسته Aدسته
ID3الگوریتم ساخته پائین به باال از تصمیم درخت الگوریتم این در
: کدام. میشود شروع سوال این با الگوریتم این میشودگیرد؟ قرار آزمایش& مورد درخت ریشه در باید ویژگی
تا میش&ود استفاده آماری آزمون یک& از جواب یافتن برایتنهائی به است قادر حد چه تا کدام هر گردد مشخص
. کند بندی دسته را آزمایشی مثالهای یک آن ممکن مقادیر از یک& هر برای ویژگی، این انتخاب با
هر ویژگی اساس بر آموزشی مثالهای و شده ایجاد شاخه . مثالهای برای فوق عمل&یات& سپس& میشوند مرتب شاخهویژگی بهترین تا میشوند تکرار شاخه هر در گرفته قرار
. شود انتخاب بعدی گره برای انتخاب آن در که است حریصانه جستجوی یک الگوریتم این
. نمیگیرند قرار بازبینی مورد هرگز قبلی های
ID3الگوریتم
درخت ساختن نحوه که میشود استفاده مثالهائی از تصمیم درخت ساختن برای
گذاری . (label)عالمت باشند شده که مثالهاست از ای مجموعه یادگیر سیستم ورودی درواقع
است، شده بیان ها ویژگی از ای مجموعه توسط& مثال هرمختلف ازمقادیر متناهی مجموعه دارای تواند می هرویژگی
آن . باشد بندی دسته مقدار ویژگیها بر عالوه مثال هر برایباشد می الزم .نیز
برای که شد خواهیم آشنا تصمیمی درختهای با فصل این دربولی بندی یک دسته توان می کلی درحالت ولی روند می بکار
می بکار بندی دسته نوع هر برای که ساخت تصمیم درخت.رود
کننده بندی طبقه ویژگی کداماست؟ بهتری
( تصمیم درخت نام( ID3در ب&ه آماری مقدار یک ازاطالعات می Information Gainبهره استفاده
چه تا ویژگی یک که کنیم مشخص اینکه تا شودحسب بر را آموزشی مثالهای است قادر مقدار
. کند جدا آنها بندی دسته
مثال می بررسی را ای ساده مثال بندی دسته نحوه یادگیری برای
کنیم. گیرد؟ قرار درخت ریشه در باید ویژگی کدام ذیل مثال در
x2
x1
x0زیر مکعب از عبوری صفحه به توجه باشند x2یا x0با ریشه توانند می
مثال : حل: است صورت ای&ن به ما کامل درخت
پیچیده و کامل درخت این. ندارد هم خطا وضمنا است
هدف هم کردن بایاس درکه است کردن ساده
. کند خطا ایجاد است ممکن
یک گیری اندازه کمی معیاراست؟ کدام ویژگی
: کرد بیان نیز دیگری روش به ت&وان می را سئوالرا” درخت ریشه در گرفتن قرار برای وی&ژگی بهتری&ن
کنیم؟ “ انتخاب باید چگونهمثالهای تعداد حل برایشده جدا منفی و مثبت
میگیریم نظر در را
آنتروپی : ( یا نظمی بی خلوص خالص میزان (عدم ای بودن مجموعه
. مجموعه اگر کند می مشخص را مثالها مثالهای Sاز شاملآنتروپی باشد هدف مفهوم یک از منفی و به Sمثبت نسبت
. شود می تعریف زیر بصورت بولی بندی دسته این
مثالهای نسبت نسبت مثبتکه و مثالها کل به. منفیمثالهای همچنین باشد می مثالها کل log0=0 0به
. میشود فرض
مثال :
آن&تروپیx0 وx1 وx2 چقدراست؟
:اعضاء همه اگر آنتروپی Sسئوال باشند یکساناست؟ صفرچقدر
82
P
86
P)
86log
86()
82log
82( 22 E
سئوال اعضای ب&اشد Sاگر منفی نیمی و مثبت نیمی
؟ است چقدر آنتروپ&ی یک
های بندی دسته برای آنتروپیبولی غیر
دارای هدف ویژگی آنتروپی Cاگر باشد مختلف مقدارS بندی دسته این به تعریف Cنسبت زیر بصورت گانه
میشود:
آن در از piکه دسته Sنسبتی به که . iاست دارند تعلقکه شود مبنای logتوجه در . 2همچنان میشود گرفته
میتواند آنتروپی حداکثر حالت این .log2Cدر باشد
اطالعات Information)بهرهGain)
آنتروپی کاهش مقدار از است عبارت& ویژگی یک اطالعات بهره. میشود حاصل ویژگی این طریق از مثالها جداسازی بواسطه که
اطالعات بهره دیگر نظیر )Gain)S,Aبعبارت& ویژگی یک Aبرایمثالهای مجموعه به :Sنسبت میشود تعریف زیر بصورت&
آن در های )Values)Aکه ویژگی مقدار همه و Aمجموعه SVبوده
از ای آن Sزیرمجموعه برای که مقدار Aاست .Vدارای است دوم عبارت و ها داده آنتروپی مقدار اول عبارت فوق تعریف در
. هاست& داده جداسازی از بعد انتظار مورد آنتروپی مقدار
مثال از استفاده با
آموزشی مثالهایبسازید درختی زیر
بودن ب&خش لذت کهبا روزهایی در بازی
مختلف ویژگیهای. کند راتعیین
Day Outlook Temperature Humidity Wind Play
Tennis
Day1 Sunny Hot High Weak No Day2 Sunny Hot High Strong No
Day3 Overcast Hot High Weak Yes
Day4 Rain Mild High Weak Yes
Day5 Rain Cool Normal Weak Yes
Day6 Rain Cool Normal Strong No Day7 Overcast Cool Normal Strong Yes
Day8 Sunny Mild High Weak No
Day9 Sunny Cool Normal Weak Yes
Day10 Rain Mild Normal Weak Yes
Day11 Sunny Mild Normal Strong Yes
Day12 Overcast Mild High Strong Yes
Day13 Overcast Hot Normal Weak Yes
Day14 Rain Mild High Strong No
Overfitting مثل ای فرضیه فرضیه hبرای فضای به نوع Hمتعلق دو
: میشود تعریف خط&ا آموزشی های داده روی )errortrain)hخط&ا ممکن های داده کل روی )D errorD)h خطا فرضیه برای آموزشی h Hمیگوئیم های داده روی
Overfitting مثل ای فرضیه اگر میدهد وجود h0 Hرخ: که باشد داشته
errortrain)h( < errortrain)h0( and errorD)h( > errorD)h0(
Overfitting
بروز Overfittingدالیل الگوریتمID3 عمق به آنقدر را درخت از شاخه هر
را آموزشی مثالهای کامل بطور بتواند که میبرد . به منجر میتواند امر این کند بندی دسته
Overfitting . بروز دالیل :overfittingشود از عبارتند آموزشی های داده در نویز وجود آموزشی مثالهای کم تعداد
و باشیم د&اشته سکه پرتاب بار دو فقط اگر مثال برایاین مورد در ای نتیجه چه باشد آمده شیر بار د&و هر
گرفت؟ میتوان آزما&یش
از Overfittingپرهیز
مرحله 1. به رسیدن از قبل درخت رشد از جلوگیریدسته را آموزشی های داده کامل بطور که ای
. نماید بندیکردن 2. حرس سپس و درخ&ت کامل رشد به اجازه
. نیستند مفید که هائی (post pruning)شاخه
زیرا است شده استفاده بیشتر دوم روش عمل در. نیست ای ساده کار درخت صحیح اندازه تخمین
روش به درخت حرسکردنReduced Error Pruning
توسط روش . Quinlanاین به ابتدا است شده ارائه . کند رشد کافی اندازه به تا میشود داده اجازه درخت
بندی دسته دقت افزایش باعث که را هائی گره سپس: میگردند حرس نمیشوند
مجموعه دو به ها .آموزشی و تستداده میشوند تقسیم. میشود گرفته یاد قبل روش مطابق آموزشی های داده با درخت ( برگ غیر داخلی گره یک برای (nسپس
زیرشاخهn . . به میشود جایگزین برگ یک با شاخه زیر این میگردد حذفقرار مثالهای اکثر بندی دسته یعنی اکثریت مثالهای دسته برگ این
. میشود داده نسبت شاخه این تحت گرفته : حرس درخت اگر میشود بررسی تست مثالهای برروی درخت عملکرد
حرس درخت از داشت فعلی درخت با مساوی یا و بهتر عملکرد شده. میشود استفاده شده
. باشد نداشته سودی بیشتر، حرس تا یابد می ادامه آنقدر کردن حرس
Overfitting عمومی پدیده یکاست
سایر overfitting پدیده و نیست تصمیم های درخت به منحصر . غالبا پدیده این هستند مواجه آن با نیز ماشینی یادگیری روشهای
: که افتد می اتفاق وقتی the hypothesis space is very large the hypothesis search is not biased toward simple models there is little training data there is a lot of noise in the training data
که بگوئیم میتوانیم زیر شرایط دیدن با عمل داده overfittingدر رخاست:
های داده و آموزشی های داده بندی دسته دقت بین زیاد اختالفتست
( یک به رسیدن مثال پیچیده خیلی مدلهای یا و فرضیه به رسیدن) بزرگ خیلی تصمیم درخت
با های ویژگی گرفتن نظر درپیوسته مقادیر
&توسط شده یادگرفته ویژگی ID3درخت و توابع به محدود. است گسسته مقدار با های
نیز را پیوسته مقدار با های ویژگی الگوریتم این اینکه برایمثل پیوسته ویژگی یک برای میتوان شود، ویژگی Aشامل یک
مثل که Acبولی گرد اگر Acتعریف است باشد A<Cدرست. است نادرست اینصورت غیر در و
C . کند حداکثر را اطالعات بهره که شود انتخاب طوری بایدویژگی مقادیر کردن مرتب با میتواند نقاطی Aاینکار وانتخاب
. چنین در شود انجام میکنند تغییر مجاور مثالهای مقادیر کهانتخاب آستانه بعنوان میتواند مجاور دومثال میانگین حالتی
شود.
ویژگی انتخاب معیارهای سایردرخت برای
این شود، اضافه تاریخ نام به ویژگی یک قبل مثال به اگرمثالهای کلیه تا بود خواهد قادر تنهائی به ویژگی
. این اینکه بعلت واقع در کند بندی دسته را آموزشیریشه بعنوان است زیادی اطالعات بهره دارای ویژگیعمق دارای حاصله درخت و شد خواهد انتخاب درخت
. بود خواهد کمی بسیار بخوبی را آموزشی مثالهای درخت این اینکه وجود با
بسیار نادیده مثالهای مورد در اما کرد خواهد بندی دسته . عمل در درخت این زیرا نمود خواهد عمل ضعیف
. نیست تعمیم به قادر و کرده حفظ را آموزشی مثالهای
یا بهره نسبت gain ratioمعیار معیار از میتوان تاریخ مثل هائی ویژگی از پرهیز برای
یا و بهره نسبت نام با استفاده gain ratio دیگریاست این به داشتن حساسیت آن خاصیت که نمود
را ها داده یکنواختی و گستردگی چه با ویژگی یک که. میکند جدا
: میشود تعریف زیر بصورت عبارتی اینکار برای
زیر بصورت بهره نسبت فوق عبارت از استفاده با: میشود تعریف
یا بهره نسبت gain ratioمعیارSI توزیع با زیادی مقادیر که هائی ویژگی تا میشود باعث
. گردند حذف دارند یکنواخت توزیع مثالها تک تک برای تاریخ نظیر ویژگی یک مثال برای
اینرو از دارد SI=lognیکسانیاگر 2 حالیکه در شد خواهد
کند تقسیم دسته دو به را مثالها ویژگی خواهد SI=1یکشد.
است این بهره نسبت ازمعیار استفاده عملی مشکل یککوچک خیلی یا و صفر عبارت این مخرج است ممکن که
استفاده. هیوریستیک روشهای از حالت این در شودمیشود.
متفاوت هزینه با هائی ویژگی هزینه است ممکن بیمار یک پرون&ده بررسی در
یا و باشد باال بسیار ها ویژگی برخی کردن تستخطرناک آن تست ویژگی موثربودن علیرغم اینکه
باشد. که کرد بایاس طوری را درخت باید حالت این در
. مثال ب&رای دهد ترجیح را کم هزینه با های ویژگی. ن&مود تقسیم هزینه بر را بهره است ممکن
های ویژگی با مثالهائینامعلوم
ج&مع پزشکی مدارک نظیر کاربردها از برخی دراست ممکن مختلف بیمارستانهای در شده آوری
. باشد نشده ثبت درست ها ویژگی از برخی مقداربه که باشد ای&ن میتواند انتخاب یک صورت این در
گره در مثالها مقدار متداولترین مقدار نسبت nآن. شود داده
UCI Machine Learning Repository Currently
maintains 177 data sets as a service to the machine learning community.
http://archive.ics.uci.edu/ml/
ارائه موضوعfuzzy decision trees pruning in decision tree induction