یادگیری بر پایه نمونه
DESCRIPTION
یادگیری بر پایه نمونه. Instance Based Learning. Author : Saeed Shiry With little change by: Keyvanrad & Mitchell Ch. 8. Fall 1392. مقدمه. در روشهائی که تاکنون بررسی کردیم، سعی بر این بود که با استفاده از مثالهای آموزشی تابعی پیدا کنیم که بتواند توصیف کننده داده ها باشد . - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/1.jpg)
نمونه یادگیری پایه بر
Instance Based LearningInstance Based Learning
Author : Saeed Shiry
With little change by: Keyvanrad
& Mitchell Ch. 8
Fall 1392
![Page 2: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/2.jpg)
مقدمه بود این بر سعی کردیم، بررسی تاکنون که روشهائی در
بتواند که کنیم پیدا تابعی آموزشی مثالهای از استفاده با که. باشد ها داده کننده توصیف
یادگیری روش ذخیره IBLدر را مثالها فقط بسادگیتعویق به جدید مثال مشاهده تا تعمیم هرگونه و میکنیم
یا. تنبل روش گاهی روش این دلیل همین به lazyمیافتد. میشود نامیده هم
ذخیره های نمونه با آن رابطه جدید مثالهای مشاهده بانسبت آن هدف تابع برای مقدار یک و شده بررسی شده
. میشود بدست IBLروش درداده ها داده برای مشخص عمومی فرضیه یکبر و آن مشاهده هنگام جدید نمونه هر بندی دسته بلکه آمد نخواهد
. شد خواهد انجام شده، ذخیره مثالهای نزدیکترین اساس
![Page 3: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/3.jpg)
Instance-based Learning
Its very similar to aDesktop!!
![Page 4: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/4.jpg)
اساسی یک تفاوت
روش IBL جداگانه تقریب جدید، نمونه هر برای . به فقط تقریب این میکند ایجاد را هدف تابع از ای
هرگز و بوده اعمال قابل جدید نمونه همسایگی. کند عمل ها نمونه تمام فضای روی بر نمیتواند
هدف تابع که است موثر هنگامی روش این کاربردنمایش قابل حال عین در ولی بوده پیچیده خیلی
. باشد محلی تر ساده توابع توسط
![Page 5: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/5.jpg)
Instance-based Learning
When To Consider IBL Instances map to points Less than 20 attributes per instance Lots of training data
Advantages: Training is very fast Learn complex target functions Don't lose information
Disadvantages: Slow at query time Easily fooled by irrelevant attributes
![Page 6: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/6.jpg)
ها مشخصه
دارای این :3روش است اصلی مشخصه : شباهت تابع
. انتخاب هستند هم به نزدیک چقدر نمونه دو که میکند مشخص . میتوان چگونه مثال باشد مشکل بسیار میتواند تابع این
موی رنگ نمود؟ 2شباهت بیان را نفر : ذخیره برای ها نمونه انتخاب
که شوند ذخیره هائی نمونه میشود سعی الگوریتم این در . دارد عمومیت نمونه یک آیا اینکه تشخیص باشند تر عمومی
. باشد مشکلی کار میتواند خیر، یا: کننده بندی دسته تابع
. میکند تعیین آنرا بندی دسته مثال یک بامشاهده که است تابعی
![Page 7: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/7.jpg)
مشکالت
دسته . باشد پرهزینه بسیار میتواند جدید داده بندیو پذیرد نمی صورت عملی آموزش مرحله در زیرا
انجام بندی دسته هنگام در محاسبات تمامیمیگردند.
از بندی دسته زمان کاهش برای اینرو تکنیک ازایندکس .های میشود استفاده
باینری درخت روش مثل روشهای اغلب مثالهای IBLدر بازخوانی برای
موجود های ویژگی تمامی از حافظه از مشابه . به فقط هدف تابع اگر بنابراین میشود استفاده
مثالهائی باشد، داشته بستگی ها ویژگی از برخیاز بسیار است ممکن هستند مشابه واقعا که
. شوند دور یکدیگر
![Page 8: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/8.jpg)
کاربردها مثالی از
Image Scene Classification
از برای استفاده با تصویر هریک آن پیکسلهای مقادیر
signature از و شده محاسبهورودی تصویر مقایسه برای آن
بیس دیتا در موجود تصاویر با. میشود استفاده
![Page 9: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/9.jpg)
کاربردها مثالی از
image size: 82x100 pixels 5NN is used for prediction error rate is about 9.5% 5NN performs best among LVQ, CART, NN,
… .
![Page 10: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/10.jpg)
مختلف روشهای
K-Nearest Neighbor (KNN) Discrete Target Functions Continuous Target Functions Distance Weighted
Locally Weighted Regression Radial Basis Function Networks Case-Based Reasoning General Regression Neural Networks
![Page 11: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/11.jpg)
K-Nearest Neighbor Learning (k-NN)
k-NN برپایه روش متداولترین و ترین ساده. است نمونه یادگیری
ها نمونه تمام که میشود فرض روش این درفضای در همسایه nنقاطی و هستند حقیقی بعدی
تعیین استاندارد اقلیدسی فواصل برمبنای هامیشوند.
از شده kمراد گرفته نظر در های همسایه تعداداست.
![Page 12: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/12.jpg)
اقلیدسی فاصله
ویژگی اگر بردار یک بصورت را دلخواه مثال یک: دهیم نمایش
مثال دو بین تعریف xjو xiفاصله زیر بصورتمیشود:
)(),...(),( 21 xaxaxa n
n
r
jrirji xaxaxxd1
))()(( 2),(
![Page 13: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/13.jpg)
هدف k-NN الگوریتم تابع برایگسسته
بصورت برای گسسته هدف تابع یک:k-NNالگوریتم است زیر بصورت
یادگیری الگوریتم آموزشی مثال لیست <x , f(x)>هر به اضافه training_examplesرا
.کنید: بندی دسته الگوریتم
: بررسی مورد نمونه xqبرای
از هائی نمونه ترین با training_examplesنزدیک آنرا x1 … xkبه. دهید نمایش
. برگردانید و نموده محاسبه را زیر مقدار
},...{set finite theis where,: 1 sn vvVVf
k
i
iq xfvxf1Vv
))(,(argmax)(ˆ otherwise 0
if 1 b)(a, where
b a
![Page 14: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/14.jpg)
مثالاگر k=1 الگوریتم شود نزدیکترین NN-1انتخاب مقدار
به . xqنمونه بزرگتر مقادیر برای نمود خواهد انتخاب kرابین مقدار خواهد kمتداولترین انتخاب نزدیک همسایه
شد.
+
+
+
+
-
-
-
-
-
·Xq
مثال در حالت xqاین برای NN-1در و .NN-5مثبت بود خواهد منفی
![Page 15: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/15.jpg)
فرضیه فضای
توسط ماهیت شده گرفته درنظر ضمنی فرضیه فضایچیست؟ k-NNالگوریتم
ایجاد مشخصی عمومی فرضیه هرگز الگوریتم این اگرچهشده القا تصمیم سطح است ممکن وجود این با نمیکند،
بصورت را بعدی دو فضای یک برای الگوریتم توسطوجهی چند هر که داد نشان ها چندوجهی از ترکیبی
خواهند بندی دسته آن توسط که را نقاطی از ای مجموعه . مینماید مشخص شد
سایر توسط که بود خواهند نقاطی چندوجهی خارج نقاط . شد خواهند بندی دسته ها چندوجهی
نمودار نوع .Voronoi diagramاین میشوند خوانده
![Page 16: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/16.jpg)
Voronoi diagram
query point qf
nearest neighbor qi
1مثال 2مثال
![Page 17: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/17.jpg)
استقرا بایاس
الگوریتم بایاس بصورت k-NNاستقرا میتوان را: گرفت نظر در زیر
های دسته نمونه دسته مشابه نمونه یک بندیدارند قرار آن نزدیکی در که بود خواهد دیگری
![Page 18: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/18.jpg)
هدف k-NN الگوریتم تابع برایپیوسته
الگوریتم k-NN هدف توابع برای بسادگی میتواند را . بجای حالت این در نمود استفاده نیز پیوسته
همسایگی در موجود مقدار متداولترین انتخابمیانگین .kمقدار میشود محاسبه همسایه مثال
زیر رابطه از الگوریتم آخر خط در نتیجه در: میشود استفاده
k
xfxf
k
i
i
q
1
)()(ˆ
![Page 19: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/19.jpg)
k-NN پیوسته هدف تابع برای
1-nearest neighbor 3-nearest neighbor
![Page 20: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/20.jpg)
twoone
four
three
five six
seven Eight ?
مثال
ها نقاشی این از برخیمتعلق بعد جدول طبق
نام به نقاشی بهMondrian . هستند
آیا که کنید مشخصبه نیز هشتم نقاشی
دارد؟ تعلق وی
![Page 21: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/21.jpg)
Training dataNumber Lines Line types Rectangles Colours Mondrian?
1 6 1 10 4 No
2 4 2 8 5 No
3 5 2 7 4 Yes
4 5 1 8 4 Yes
5 5 1 10 5 No
6 6 1 8 6 Yes
7 7 1 14 5 No
Number Lines Line types Rectangles Colours Mondrian?
8 7 2 9 4
Test instance
![Page 22: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/22.jpg)
های نرمالیزه داده کردنآموزشی
t
ttt
xxx
'
attributestofmeanx thr
attributestofdeviationndardsta tht
آموزشی یک داده کردن نرمالیزه عبارت a´r(x) به ar(x)راهاز است
![Page 23: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/23.jpg)
Normalised training dataNumber Lines Line
types Rectangles Colours Mondrian?
1 0.632 -0.632 0.327 -1.021 No
2 -1.581 1.581 -0.588 0.408 No
3 -0.474 1.581 -1.046 -1.021 Yes
4 -0.474 -0.632 -0.588 -1.021 Yes
5 -0.474 -0.632 0.327 0.408 No
6 0.632 -0.632 -0.588 1.837 Yes
7 1.739 -0.632 2.157 0.408 No
Number Lines Line types
Rectangles Colours Mondrian?
8 1.739 1.581 -0.131 -1.021
Test instance
![Page 24: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/24.jpg)
Distances of test instance from training data
Example Distanceof testfromexample
Mondrian?
1 2.517 No
2 3.644 No
3 2.395 Yes
4 3.164 Yes
5 3.472 No
6 3.808 Yes
7 3.490 No
Classification
1-NN Yes
3-NN Yes
5-NN No
7-NN No
![Page 25: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/25.jpg)
Distance-weighted k-NN
از میتوان یک هر برای وزنی گرفتن نظر در با را الگوریتم این kعملکرد . نمونه تا ها نمونه فاصله اساس بر وزن این نمود بهتر همسایگی مثال
معکوس رابطه ها نمونه فاصله با معموال و میشود اعمال بررسی مورددارد.
: گسسته حالت در
پیوسته حالت در
جای به که داشت خواهد وجود امکان این وزن اعمال صورت نمونه kدر . این اما کنیم استفاده بندی دسته برای ها نمونه تمامی از همسایه
. شد خواهد بندی دسته عمل شدن کند باعث انتخاب
21Vv
1 where ))(,(argmax)(ˆ
), xd(x wxfvwxf
iqii
k
i
iq
2
1
1
),(
1 e wher
)()(ˆ
iqik
i
i
k
i
ii
qxxd
ww
xfwxf
![Page 26: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/26.jpg)
الگوریتم نکاتی مورد k-NNدر
الگوریتم Distance-weighted k-NN موثری بطوراستقرائی استنتاج برای مختلفی عملی مسائل در
. است رفته بکار مواردی در و بوده مقاوم نویز به نسبت روش این
بسیار باشد موجود زیادی آموزشی داده کهکاراست.
![Page 27: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/27.jpg)
The curse of dimensionality
ها از ویژگی تمامی از فاصله محاسبه برای انجائیکههای ویژگی حتی که دارد وجود امکان این میشود استفاده . این گیرند قرار استفاده مورد بندی دسته امر در نامرتبطآن در که است تصمیم درخت مثل روشهائی خالف بر امر
. شود استفاده مرتبط های ویژگی از فقط تا میشد سعی با نمونه هر که کنید فرض مثال مشخص 20برای ویژگی
فقط آنان میان از که بندی 2شوند دسته برای ویژگیذخیره های نمونه است ممکن اینصورت در باشند کافیهم از بسیار هستند مشابه ویژگی ایندو در که ای شده
. مورد معیارفاصله دراینصورت باشند داشته فاصلهدر .k-NNاستفاده باشد کننده گمراه بسیار میتواند
مسئله .curse of dimensionalityاین میشود نامیده
![Page 28: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/28.jpg)
Cross-validation
ویژگی یک بیشتربرای وزن از استفاده مشکل این حل راه . محور مقیاس تغییر مشابه امر این است مرتبط های
ویژگی: محور و کوتاهتر مرتبط های ویژگی محور هاست. میشوند تر طوالنی نامرتبط های
روش از میتوان ها ویژگی وزن تعیین -crossبرایvalidation: نمود استفاده
انتخاب آموزشی های داده عنوان به ها داده از ای مجموعهمیشوند.
مقادیرz1,…,zn شوند ضرب محور هر در باید که ضرایبی بعنوان . بندی دسته خطای که است بنحوی انتخاب این میگردند انتخاب
. یابد کاهش مثالها درباقیمانده دادن قرار با .zj=0میتوان نمود حذف بکلی را ویژگی یک اثر
![Page 29: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/29.jpg)
Indexing
روش از در زمان K-NNآنجائیکه تا مثالها بندی دستهاز استفاده میافتد تعویق به مثال آن با برخورد
Indexing آموزشی مثالهای کردن مرتب برایرا الگوریتم کارائی چشمگیری بطور میتواند
. دهد افزایشبرای kd-tree(k-dimensional tree)روش روش یک
سطح در ها نمونه آن در که است کردن ایندکسهم به نزدیک های نمونه و شده ذخیره درخت یک
ذخیره هم به نزدیک های گره یا و گره همان درمیشوند.
![Page 30: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/30.jpg)
نمونه یادگیری ویژگیهای
مزایا: کند مدل را پیچیده توابع میتواند نمیرود بین از آموزشی مثالهای در موجود اطالعات ) در کند استفاده ها نمونه سمبلیک نمایش از میتواند
)case-based reasoningروش :معایب
است کم بندی دسته انجام هنگام الگوریتم بازده است مشکل مناسب فاصله تابع یک تعیین دارند فاصله معیار در منفی تاثیر نامرتبط ویژگیهای باشد داشته نیاز زیادی بسیار حافظه به است ممکن
![Page 31: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/31.jpg)
در شده استفاده نامه لغتدیگر منابع
:regression با تابع یک تقریب از است عبارتحقیقی مقدار
:Residual از حاصل خطای مقدار از است عبارتتابع تقریب
:Kernel Function با که تابعی از است عبارتآموزشی مثالهای وزنهای مقدار فاصله از استفاده
. میکند معین را
![Page 32: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/32.jpg)
Kernel توابع
نقاط معموال تا دارند معکوس رابطه فاصله با. بگیرند بیشتری وزن نزدیکتر
K(d(xi,xq)) 1/d2
e-d
1/(1+d)
![Page 33: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/33.jpg)
Kernel توابع
K(d(xq,xi)) = 1/ d(xq,xi)2
K(d(xq,xi)) = 1/(d0+d(xq,xi))2
K(d(xq,xi)) = exp(-(d(xq,xi)/0)2)
![Page 34: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/34.jpg)
Locally Weighted Regression
الگوریتم LWR الگوریتم بر تقریب K-NNتعمیمی که استتابع از نمونه fصریحی برگیرنده در محلی ناحیه حول
بررسی .xqمورد میدهد بدست یا و هم نزدیک مثالهای از استفاده با محلی تقریب این
.distance-weightedمثالهای میشود انجام شبکه یک یا و دو درجه خطی، تابع یک است ممکن تابع این
. باشد عصبی: نامگذاری دلیل
:local میکند استفاده بررسی مورد نمونه نزدیک مثالهای از:Weighted آن فاصله گرفتن درنظر با آموزشی مثال هر اثر
میشود منظور:Regression میرود بکار حقیقی مقدار با تابع یک تقریب برای
![Page 35: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/35.jpg)
f1 (simple regression)
Training data
Predicted value using locally weighted (piece-wise) regression
Predicted value using simple regression
Locally-weighted regression
f2
Locally-weighted regression
f3Locally-weighted regression
f4
![Page 36: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/36.jpg)
Locally Weighted Linear Regression
در این هدف تابع تقریب برای خطی تابع یک از روش: میکند استفاده بررسی مورد مثال نزدیکی
فصل در استفاده مورد تابع مشابه تابع محاسبه 4این برایطوری وزنها آن در که است عصبی شبکه یک وزنهای
: گردد حداقل زیر خطای مقدار که میشدند انتخاب
آموزش قانون از اینکار برای gradient descentکه. میشد استفاده
)()()(ˆ110 xawxawwxf nn
Dx
xfxfwE2
))(ˆ)((21
)(
)())(ˆ)(( xaxfxfw iDx
i
![Page 37: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/37.jpg)
محلی؟ رابطه
در قانون است کلی تقریب پروسیجر یک دلتاروش در یک nearest neighborحالیکه دنبال به
. هستیم محلی تقریب برای رابطه :کلی رابطه از استفاده با میتوان چگونه سوال
بدست را نظر مورد محلی رابطه دلتا قانونآوریم؟
![Page 38: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/38.jpg)
محلی استفاده خطای از
مجدد به تعریف راه، ترین ساده که میرسد نظرآموزشی محلی مثالهای با بنحویکه خطاست رابطه
. نماید تطبیق: داد انجام میتوان روش سه به را اینکار
NNkxqq
Dxqq
NNkxq
xxdKxfxfxE
xxdKxfxfxE
xfxfxE
)),(())(ˆ)((21
)(
)),(())(ˆ)((21
)(
))(ˆ)((21
)(
23
22
21
از 1- همسایگی kاستفاده مثال
تمامی 2- از استفادهیک تخصیص با مثالها
آنها به وزنی مقدار
روشهای 3- از 2و 1ترکیبی
![Page 39: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/39.jpg)
وزنها قانون تغییر
فوق در انتخابهای E1 نمیگیرد نظر در را فاصله E2 پرهزینه آن محاسبه اما بوده همه از جالبتر
است E3 است بینابین انتخاب یک انتخاب یادگیری E3با برای را دلتا قانون میتوان
: نوشت زیر بصورت وزنها)())(ˆ)(()),(( xaxfxfxxdKw i
NNkxqi
![Page 40: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/40.jpg)
kمقدار انتخاب
اگر k بود خواهد حساس نویز به نسبت باشد، کوچک خیلی اگرK از نقاطی همسایگی یک است ممکن باشد بزرگ خیلی
. بگیرد بر در نیز را کالسها سایر Large k:
less sensitive to noise (particularly class noise) better probability estimates for discrete classes larger training sets allow larger values of k
Small k: captures fine structure of space better may be necessary with small training sets
Balance must be struck between large and small k
![Page 41: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/41.jpg)
Radial Basis Functions
روشی. است توابع تقریب برای با عصبی RBFیادگیری های شبکه با نزدیکی ارتباط
و .Distance-weighted regressionمصنوعی دارد : میباشد زیر بصورت شده یادگرفته فرضیه روش این در
تعداد از روش این استفاده kدر تابع تقریب برای کرنل تابعانتخاب . گاوسی تابع یک بصورت معموال کرنل تابع میشود
میشود:
k
uuuu xxdKwwxf
10 )),(()(ˆ
22
),(2
1
)),((xxd
uu
uuexxdK
![Page 42: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/42.jpg)
Radial Basis Functionsگاوسی نشان کرنل تابع کافی تعداد صورتیکه در که است شده داده
از استفاده با شوند، نسبتا RBFانتخاب خطای با را تابعی هر میتوان. زد تقریب کمی
که نمود تشبیه الیه دو عصبی شبکه یک به میتوان را فوق رابطه و ها کرنل مقادیر اول الیه. مینماید محاسبه را آنها مجموع دوم الیه
x1 x2 x3 xn
K1 K2 Kk
w1
w2wk
…
…
k
uuuu xxdKwwxf
10 )),(()(ˆ
W0
1
f(x)
![Page 43: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/43.jpg)
RBF آموزش
، در آموزشی مثالهای از ای مجموعه داشتن صورت:RBFآموزش میگیرد صورت مرحله دو در
.1 . با دیگر بعبارت میشود انتخاب کرنل توابع تعدادبرای , مقداری xu , s2مقادیر Kانتخاب
u تابع هر برای. میگردد تعیین کرنل
داده 2. با شبکه که میشوند انتخاب طوری شبکه وزنهای . رابطه از استفاده با اینکار گردد منطبق آموزشی های
میشود انجام زیر کلی خطای
Dx
xfxfwE2
))(ˆ)((21
)(
![Page 44: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/44.jpg)
واحدهای نحوه تعداد انتخابمخفی
>بازا1. آموزشی مثال گاوسی< xi,f(xi)هر کرنل یک. میشود داده تخصیص
مرکزیت به تابع مقدار xiاین آنها تمامی برای و بوده.s2یکسان میشود گرفته نظر در
شبکهRBF بتواند که میشود داده آموزش طوری . هر که شود توجه کند پیدا هدف تابع برای کلی تقریبی
همسایگی در میتواند فقط آموزشی تابع xiمثال. دهد قرار تاثیر تحت را شده زده تقریب
مثال هر بازا که میشوند محاسبه طوری وزنهارابطه< xi,f(xi)آموزشی> شبکه f’(x)=f(x)درخروجی
. شبکه ترتیب بدین باشد با RBFبرقرار کامل بطور. داشت خواهد انطباق آموزشی مثالهای
![Page 45: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/45.jpg)
واحدهای نحوه تعداد انتخابمخفی
تعداد در2. از کمتر شده انتخاب کرنل تابع تعداد روش اینمثالهاست.
. دارد قبلی روش از بیشتری بازدهی روش این. نمود انتخاب یکنواخت بصورت میتوان را ها کرنل مرکز کرنل توزیع میتوان باشند یکنواخت غیر ها نمونه توزیع حالتیکه در
. نمود انتخاب مشابهی بصورت هم را ها هر به کرنل یک تخصیص و ها نمونه کالسترینگ دیگر راه یک
. است کالستر
K1 K2
![Page 46: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/46.jpg)
شبکه ویژگی RBFهای
عصبی آموزش های شبکه از آسانتر ها شبکه اینروش از که است Back Propagationمعمولی
. میکنند استفاده از استفاده با را تابع از کلی تقریب یک شبکه این
. میکند محاسبه محلی تقریبات مجموع
![Page 47: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/47.jpg)
Case Based Reasoning
![Page 48: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/48.jpg)
Case Based Reasoning
پایه سه بر یادگیری های سیستم اصلی خاصیتنمونه:
تا 1. تعمیم عمل که هستند تنبلی یادگیری روشهایمیافتد تعویق به جدید نمونه مشاهده
مشابه 2. ازمثالهای جدید نمونه بندی دسته برایمیشود استفاده
در 3. حقیقی مقادیر با نقاطی توسط ها نمونهمیشوند nفضای داده نشان بعدی برای CBRیادگیری روش که حالی در میکند تبعیت اول ویژگی ازدو
. بدست دلیل همین به مینماید استفاده سمبلیک روش از ها نمونه نمایشاست تر مشکل مشابه های نمونه آوردن
![Page 49: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/49.jpg)
شیوه مسائلی به که CBRرامیکنیم حل
CBR از برخی حل برای آدمی که است روشی مشابه: نظیر . میبرد بکار مسائل
:پزشکی مواجهه در و سپرده بخاطر را بیماران قبلی های نمونه پزشکان اغلب
. میبرند سود گذشته تجربه از جدید بیماران با:حقوق
اختالفات اساس بر انگلستان و امریکا مثل درکشورهائی قضاوت. میشود انجام است شده صادر آنها برای که هائی رای و گذشته
: مسکن بنگاهفروش اخیرا که مشابهی های خانه اساس بر ها خانه قیمت معموال
. میگردند تعیین اند رفته
![Page 50: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/50.jpg)
CBRسیستم اجزا
Case-baseقبلی یک مثالهای از بیس دیتا
Retrieval of relevant casesبیس استفاده دیتا در موجود مثالهای برای ایندکس از مثالها ترین شبیه با تطبیق قابلیت مشابه مثالهای از استفاده با حل راه آوردن بدست
Adaptation of solutionمورد تغییر مثال بین اختالف بنحویکه حل راه دادن
نظر در را بیس دیتا در شده پیدا های نمونه و بررسیبگیرد.
![Page 51: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/51.jpg)
Retain Review
Adapt
Retrieve
Database
NewProblem
Similar
Solution
CBR Solving Problems
![Page 52: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/52.jpg)
نرخ CBRاز :مثالی تعیینمسکن
Case Location code
Bedrooms Recep rooms
Type floors Cond-ition
Price £
1 8 2 1 terraced 1 poor 20,500
2 8 2 2 terraced 1 fair 25,000
3 5 1 2 semi 2 good 48,000
4 5 1 2 terraced 2 good 41,000
Case Locationcode
Bedrooms Receprooms
Type floors Cond-ition
Price£
5 7 2 2 semi 1 poor ???
Test instance
![Page 53: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/53.jpg)
قوانین چگونگی ایجاد
هم مثالهائی شبیه زیادی حد تا که میکنیم پیدا راباشند
case 1 and case 2 قانون :R1 تعداد کند 1به 2از recep-roomsاگر تغییر
را .5,000£قیمت دهید کاهشcase 3 and case 4 قانون :R2 اگرType ازsemi بهterraced کند تغییر
را .7,000£قیمت دهید کاهش
![Page 54: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/54.jpg)
انطباق
شده مثال ذخیره مثالهای با را بررسی موردمشخص را انطباق موارد و کرده مقایسه
میکنیم: matches(5,1) = 3 matches(5,2) = 3 matches(5,3) = 2 matches(5,4) = 1
Estimate price of case 5 is £25,000
![Page 55: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/55.jpg)
Adaptation
2 قانون: میشود معکوس قانون :R2 اگرType ازsemi بهterraced کند تغییر
را .7,000£قیمت دهید افزایشمعکوس اعمال قانون
£ نظر مورد مسکن قیمت از جدید بینی 32,000پیشاست
![Page 56: یادگیری بر پایه نمونه](https://reader035.vdocuments.site/reader035/viewer/2022081503/56814bc8550346895db8a0fd/html5/thumbnails/56.jpg)
یادگیری
یک بدین جدید caseترتیب قیمت یک و جدید. است شده زده تخمین
در. نمیشود اضافه بیس دیتا به چیزی مرحله این£ قیمت به خانه این آینده در فروش 35,000اگر
یک عنوان به مورد این اضاقه caseبرود جدیدمیشود اضافه هم جدید قانون یک و شده
میزان £7به 8از اگر به را قیمت کند 3,000تغییر. میشود اضافه