المحاضرة 6 شبكات عصبية
DESCRIPTION
سلسلة محاضرات يقدمها الدكتور جمال بحيري لطلاب قسم الحاسب الألي مقرر : شبكات عصبيةTRANSCRIPT
الشبكات العصبيـــــــــــــةNeural Networks
حاسب ) الرابعـــــــة الفرقةآلي(
المقرر أستاذبحيري/ محمد جمال د
المحاضرة السادســـة
الشبكات العصبية المبسطة المستخدمة في تصنيف العينات
Simple Neural Nets for Pattern Classification
ADALINE Networks
ADALINE Networks
شبكة • التكيفية ADALINEتعد الخطية األعصاب شبكةالعلماء استخدمها وتعتمد WINDROW & HOFFوقد
القطبية ثنائي التمثيل لتنشيطات [1,-1]+على كقيمبهذا , ملزمة غير أنها إلى باإلضافة والخرج الدخل وحدات
بقابلية . الشبكة أوزان وتتميز التمثيل من األسلوبالتعديل.
شبكة • التي Deltaقاعدة ADALINEتستخدم و التعلم فيالصغرى المربعات متوسط قاعدة باسم A أيضا تعرف
(LMS).
قاعدة • الطبقة Deltaتستخدم الوحيدة الشبكات أجل من. مخارج بعدة أو وحيد بخرج
ADALINE Networksالهندسية (Architecture)البنية
شبكة • دخل ADALINEتتكون طبقة من البسيط بشكلهاوحدة من مكونة خرج وطبقة وحدات عدة من مكونة
وحيدة.الدخل .• لوحدات إضافية انحياز وحدة تستخدمبما • الدخل وحدات بين الترابطات أوزان تتميز
خالل للتعديل قابلة االنحياز وحدة وزن فيهاالتعلم .مرحلة
شبكة • دلتا ADALINEتستخدم في DELTAقاعدةالتعلم .
شبكة • معمارية يوضح التالي .ADALINEالشكل
ADALINE Networksالهندسية (Architecture)البنية
1
X1
Xn
YXi
wn
wi
w1
b
ADALINE Networksالهندسية (Architecture)البنية
شبكة • توسيع تصبح ADALINEويمكن بحيثالخرج يصبح بحيث طبقات عدة من مكونة
لوحدات كدخل الطبقة وحيدة للشبكة بالنسبةالوحدة وتصبح الخرج وحدات باسم تعرف أخرى
وتعرف الخفية الطبقة باسم تعرف الداخليةباسم الشبكات . MADALINEهذة
ADALINE Networks(Algorithm)الخوارزم
وفقها • ستسير التي الخطوات سنستعرضشبكة في التعلم المعتمدة ADALINEعملية
: وهي دلتا قاعدة علىقيم ) :1الخطوة- نستخدم لألوزان ابتدائية قيم إعطاء
( ,) التعلم معدل حدد صغيرة ( .αعشوائيةنفذ: 2الخطوة- يتحقق لم التوقف شرط أن طالما
من .7الى 3الخطواتالقطبية :3الخطوة- ثنائي تدريب زوج كل أجل من
(S:t )من الخطوات .6إلى 4نفذالدخل :4الخطوة- وحدات أجل من تنشيطات ضعiiبالشكل: sx
ADALINE Networks(Algorithm)الخوارزم
:5الخطوة- بالعالقة: الخرج وحدة دخل احسب
بالعالقات ::6الخطوة- واالنحياز األوزان عدل
الوزن . :7الخطوة- تغير كان إذا التوقف شرط اختبرالخطوة في العظمي الحد 3الحاصل من أقل
التعلم . المسموح عملية في استمر وإال توقف عندئذ ،
iiwxbnet
)()()(
)()()(
netdoldbnewb
xnetdoldwneww iii
ADALINE Networks(Algorithm)الخوارزم
•. الحرص بعض يتطلب مناسبة بقيمة التعلم معدل وضع إنالحدية • من القيمة ايجادها يمكن للقيم العليا العظمى القيمة
االرتباط لمصفوفة السطرية Rالخاصة الدخل ألشعة ذلك وx)p(:
للمصفوفة αحيث • خاصة قيمة أعظم نصف من أصغر ستكونR.
الـ • نجسب لن هذا مستوانا في و قيمة. Rهنا نضع سوف بـ αو
. nجيث الدخل وحدات عدد
p
1p
T pXpX.P
1R
0.1.1.0 n
ADALINE Networks
نوضح :-• و نشرح سوف1. How weight adjustment its
achieved in an ADALINE.
2. What is meant by Hebbian learning.
3. What is meant by the delta rule.
Training and weight adjustmentفي األوزان وتعديل تدريب
الشبكةثالثة • هناك الشبكة تعليم أو تدريب حالة في
-: الحساب في وضعها من البد رئيسية عواملمن 1. اختيرت تطبيقها يتم التي المدخالت إن
المطلوب الرد أن حيث التدريب مجموعة. معروف يكون المدخالت لهذه للنظام
الفعلية 2. عندها (actual output )المخرجات تنتجبالـ input patternالـ وقورنت طبقت تكون
desired output. الخطأ لحساب تستخدم و.3. الخطأ لتخفيض األوزان ضبط
Training and weight adjustmentفي األوزان وتعديل تدريب
الشبكة•-: القول خالصةشبكة • تكون مرحلة ADALINEعندما في
هناك التعلم أو أن التدريب يجب نقاط ثالثةاالعتبار بعين :تؤخذ
.1 : حيث التدريب عينة من اختيارها ويتم المدخالتلهذة النظام من المطلوبة االستجابة أن
. معروفة تكون المدخالت.2 : مع يقارن المدخل عادة الفعلية المخرجات
, الخطأ لحساب ذلك ويستخدم المطلوب الخرج. الخطأ لتقليل لذلك طبقا تعدل األوزان
Training and weight adjustmentفي األوزان وتعديل تدريب
الشبكةالتدريب. 3 يسمى هذا التدريب نوع
المخرجات ) supervised( learningبمعلم ألنالخرج إلبراز مندفعة تكون والشبكة معروفة
, معلم. بدون التدريب ذلك من العكس على الصحيحلها مسموح والشبكة معروف غير الخرج أن حيث
. المناسبة للحالة الوصول
بمعلم التدريب طريقة متطلباتهي:
• Suitable weight adjustment mechanism & Suitable error function
إليجاد • المحاوالت Suitable weight adjustmentمعظمmechanism جملة على والتي Donald Hebbتعتمد
يسمى بما تنص . "Hebb Ruleتعرف تم وهي إذافعاليتهما وكانت عصبونين مابين onاالتصال
بين األوزان قيم ستزداد اللحظة نفس فيالعصبونين بطرق ". هذين تمثيلها يمكن الجملة هذة
مختلقة.الدخل • أن نفرض أن هو ذلك لتمثيل الطرق xإحدى
يكون yوالخرج عندما فقط يزداد والوزن ثنائية قيم هيأيضا 1الخرج هي له المقابلة الدخل عندما, 1وقيم
هي االبتدائية الوزن قيمة عدة , 0تكون بعد الوزن قيمةستكون : تدريب ↓نماذج
بمعلم التدريب طريقة متطلباتهي:
.pحيث • التدريب عينة النماذج عدد هيضرب • كحاصل السابقة المعادلة كتابة يمكن
: المخرجات بمصفوفة المدخالت مصفوفة
المصفوفة .• منقول هي حيث
p
p
ppii yxw
1
YXW T
X X
من أجل ADALINE: شبكة مثال بمداخل ومخارج ANDالتابع
ثنائيةالـ • :functionباستخدام
الحقيقة • جدول حيثالمناظر.
بتطبيق •: اآلتي على نحصل
P x1 x2 y
1 0 0 0
2 0 1 0
3 1 0 0
4 1 1 1
21 xxy
YXW T
من أجل ADALINE: شبكة مثال بمداخل ومخارج ANDالتابع
ثنائية
1
1
1
0
0
0
1010
1100
1
0
0
0
1010
1100
11
01
10
00
W
YandXX t
من أجل ADALINE: شبكة مثال بمداخل ومخارج ANDالتابع
ثنائية ,w1=1إذن •
w2=1 وسيكون مجموع ( net)األوزان
الخرج. أنظر والجدول المناظر
P x1 x2 Net y
1 0 0 0 0
2 0 1 1 0
3 1 0 1 0
4 1 1 2 1
من أجل التابع ADALINEشبكة AND NOT بمداخل ومخارج
ثنائيةاستخدام القيم •
الثنائية ال يعطي دائما نتائج جيدة بواسطة
استخدام طريقة تحديث األوزان كما
سنالحظ في الـ function التالية:
21 xxy
P x1 x2 y
1 0 0 0
2 0 1 0
3 1 0 1
4 1 1 0
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
P x1 x2 y
1 0 0 0
2 0 1 0
3 1 0 1
4 1 1 0
األوزان تحسب كما •يلي:-
0
1
0
1
0
0
1010
1100W
ERROR
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
P x1 x2 net y
1 0 0 0 0
2 0 1 0 0
3 1 0 1 1
4 1 1 1 0
,w1=1إذن •w2=0,
وسيكون مجموع ( net)األوزان
والخرج كما بالجدول المناظر
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
سبب الخطأ أن قاعدة التعلم هذه تصف لحد •بعيد فقط السماحية لزيادة قيم األوزان.
هناك قواعد عامة تسمح بتقليل قيم األوزان•إحدى الطرق للحصول على تقليل الوزن عندما •
يكون الدخل نشط والخرج غير نشط والعكس صحيح.
هذا يمكن الحصول عليه بسهولة باستخدام •(0,1)( بدال من 1,+1-القيم ثنائية القطبية )
من أجل التابع ADALINEشبكة AND NOTمخارج ثنائية بمداخل و
القطبيةسوف نستخدام القيم •
ثنائية القطبية مع الـ function التالية:
21 xxy
P x1 x2 y
1 -1 -1 -1
2 -1 +1 -1
3 +1 -1 +1
4 +1 +1 -1
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
القطبيةباستخدام المصفوفات إليجاد األوزان •
: :-Hebbian Learningباستخدام
2
2
1
1
1
1
1111
1111W
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
القطبيةP x1 x2 net y
1 -1 -1 0 -1
2 -1 +1 -4 -1
3 +1 -1 +4 +1
4 +1 +1 0 -1
,w1=+2إذن •w2=-2,
وسيكون مجموع ( net)األوزان
والخرج كما بالجدول المناظر
من أجل التابع ADALINEتابع شبكة AND NOTبمداخل ومخارج ثنائية
القطبيةال يحقق دائما Hebbian Learning هذا النموذج من •
تدريب الشبكة بشكل ناجح. تتم عملية تدريب الشبكة بنجاح عندما تكون قابلة للفصل •
الخطي.• Hebbian Learning ال تأخذ بعين االعتبار قيمة الخرج
الفعلي فقـــط للخرج المطلوب . سوف نسعى إلى فكرة جديدة. هذه الفكرة تأخذ الخرج •
الفعلي وتعدل باألوزان إلى أن تتوصل إلى الخرج المطلوب.
سوف نطلق على الفرق بين الخرج المطلوب والخرج • delta( δالفعلي اسم )
. Delta Ruleو سوف نطلق على هذه الطريقة اسم •
Delta Rule for Single Output Unitخرج وحدة أجل من دلتا قاعدة
وحيدةتفيد قاعدة دلتا في تعديل اوزان الترابطات بين وحدات •
الشبكة العصبية بحيث نحصل على قيمة خطأ كلي أصغري للفرق بين دخل و خرج وحدة الخرج للشبكة.
يجب أن تتناسب Δwi البد أن نعلم أن wiلضبط الوزن •A مع وكذلك مع الخطأ أي أن:xiطرديا
و y_in هي قيمة الخطأ بين الخرج المطلوب δجيث • معنى ذلك أن:tالخرج الفعلي
δ = t – y_in
1xw ii
Delta Rule foe Single Output Unitوحيدة خرج وحدة أجل من دلتا قاعدة
( نجد أن 1من )•
حيث:• x شعاع التفعيل لوحدات الدخل، مكونا من :n .زوج
Y_in دخل وحدة الخرج : y:و يعطي بالعالقة
n,,1ix.in_yt.
x.w
i
ii
n
1iii w.xin_y
وحيدة خرج وحدة أجل من دلتا قاعدةاالشتقـــــــــــــــــــــاق
(E) األوزان جميع أجل من الخطأ قيمة عن تعبرwi
2)in_yt(
n
iiiwxiny
1
_
iii
xinytw
inyinyt
w)_(2
_)._(2
ii xinytw _
خرج وحدات أجل من دلتا قاعدة متعددة
االشتقـــــــــــــــــــــاق يعطى مربع الخطأ من أجل عينة التدريب •
خاصة بالعالقة:
21
2
1
2
_
_
_
jjij
m
jjj
ijij
m
jjj
inytw
inytww
inyt
خرج وحدات أجل من دلتا قاعدة متعددة
االشتقـــــــــــــــــــــاق •: العالقة وباستخدام
•: مايلي على نحصل فإننا
بسرعة • سيتناقص المحلي الخطأ فإن وبالتالياألوزان بتعديل ذلك و تعلم معدل اجل من
دلتا : لقاعدة باالستناد
n
iijij wxiny
1
_
ijjij
jjj
ij
xinytw
inyinyt
w)_(2
_)._(2
ijjij xinytw )_(
Derivation of the Delta Rule
اشتقاقات قاعدة دلتا بصورة أخرىLect_4انظر ملف الورد
باستخدام تطبيقات : دلتــــــــا The Delta Ruleقاعدة
في قاعدة دلتا عملية تعديل األوزان تعمل •بطريقة بحيث أن الخطأ بين الخرج المطلوب
والخرج الفعلي يقل . مثال:•
( والخرج 1+ لو كان الخرج الفعلي هو )-( الوزن يعدل بحيث أن القيمة 1المطلوب هو )
( تكون أقل مما كانت عليه الجديدة ل )سابقا. هذا يعني ,لو كانت سالبة الوزن يزيد أو
لو كانت موجبة الوزن يقل .
ii xw
باستخدام تطبيقات : دلتــــــــا The Delta Ruleقاعدة
مثال:•استخدام عن سيحدث ماذا سنرى لحل Delta Ruleاآلن
وهي : الذكر األنفة المشكلةη=0.1نستخدم الحل:•ابتدائية • قيم تعطى w1=-0.12, w2=0.4, w3=0.65األوزاناألول ) أوال:• الدخل اجل ويكون+( 1- 1- 1من للشبكة تقدم
األوزان ) المطلوب( )1.17-مجموع -(1والخرج
وزن ηδxiوقيمة δ=d-net=0.17تكتب δقيمة • لكل تحسبفيصبح ) عشريتين لمنزلتين يقرب والرقم (.0.02xiوتخزن
21 xxy
باستخدام تطبيقات : دلتــــــــا The Delta Ruleقاعدة
مثال:••:w الثاني ) ثانبا الدخل اجل تقدم+( 1- 1+ 1من
األوزان ) مجموع ويكون والخرج( 0.13للشبكة-(1المطلوب )
ηδxiوقيمة δ=d-net=-1.13تكتب δقيمة •لمنزلتين يقرب والرقم وتخزن وزن لكل تحسب
فيصبح ) (.0.11xiعشريتين
وهكذا لبقية المدخالت .•أنظر الجدول التالي.•
التكـــــــــــــرار األول
X0 X1 X2 W1 W2 W3 net d ηδx0 ηδx1 ηδx2
+1 -1 -1 -0.12 0.4 0.65 -1.17 -1 0.02 0.02- 0.02-
+1 -1 +1 -0.12 0.4 0.65 0.13 -1 -0.11 0.11 0.11-
+1 +1 -1 -0.12 0.4 0.65 -0.37 +1 0.14 0.14 0.14-
+1 +1 +1 -0.12 0.4 0.65 0.93 -1 -0.19 -0.19 -0.19
First pass through the training set
total -0.14 0.04 -0.46
mean 0.04- 0.01 -0.12
باستخدام تطبيقات : دلتــــــــا The Delta Ruleقاعدة
مثال:•• . التدريب من األولى المرحلة من االنهاء بعد
القيم القديمة ηδxiمتوسط لألوزان أضيفت-: . هكذا الجديدة األوزان مجموعة إليجاد
W0)new( = -0.12 )w0)old(( + )-0.04 ηδx0(= -0.16
W1)new( = 0.40 )w1)old(( + 0.01 ηδx1(= 0.41
W2)new( = 0.65 )w2)old(( + )-0.12 ηδx0(= 0.53
أصبحت • الجديدة األوزان A and 0.53, 0.41, 0.16-إذا
•. التالي بالجدول كما الثاني للتكرار انتقل ثم
التكـــــــــــــرار الثاني
X0 X1 X2 W1 W2 W3 net d ηδx0 ηδx1 ηδx2
+1 -1 -1 -0.16 0.41 0.53 -1.10 -1 0.01 -0.01 -0.01
+1 -1 +1 -0.16 0.41 0.53 0.04 -1 -0.10 0.10 -0.10
+1 +1 -1 -0.16 0.41 0.53 -0.28 +1 0.13 0.13 0.13-
+1 +1 +1 -0.16 0.41 0.53 0.78 -1 0.18 0.18- 0.18-
Second pass through the training set
total -0.14 0.04 -0.44
mean 0.04- 0.01 -0.11
صحيح • الخرج يكون أن إلى يستمر التدريباألوزان , فإن ذلك يحدث عندما المدخالت لجميع
وشبكة التغير عن إلى ADALINEتتوقف تشير. الحل تقارب
قيم • ذات األوزان تكون عندما يحدث , 0.5-هذا0.5 and -0.5
مقدار • والمتوسط المجموع يكون ذلك على بناءيساوي ) لألوزان بالنسبة (.0تغيرها
nالتكـــــــــــــرار رقم
X0 X1 X2 W1 W2 W3 net d ηδx0 ηδx1 ηδx2
+1 -1 -1 -0.50 0.50 -0.50 -0.50 -1 -0.50 0.50 0.50
+1 -1 +1 -0.50 0.50 -0.50 -1.50 -1 0.50 -0.50 0.50
+1 +1 -1 -0.50 0.50 -0.50 0.50 +1 0.50 0.50 -0.50
+1 +1 +1 -0.50 0.50 -0.50 -0.50 -1 -0.50 -0.50 -0.50
total 0.00 0.00 0.00
اآلن نستطيع أن نقول أن الشبكة نجحت في إيجاد •األوزان التي أنتجت قيم صحيحة للخرج لكل
المداخل. :ADALINEمميزات شبكة •تقوم قاعدة التعليم بتقليل متوسط الخطأ •
التربيعي بين التنشيط وكذلك بين قيمة الخرج المطلوبة , هذا يسمح للشبكة باالستمرار بالتعليم
على كل عينات التدريب حتى بعد توليد جهد الخرج الصحيح لعدة عينات أخرى.
تعدل األوزان بحيث حصل على أقل خطا ممكن .•