اصل مقاله (939 k)

5931بهار و تابستان - ومسسال دريافنونپژوهشي - نامه علميفصلدو

5

جستجویازدحام ذرات و یبیبا استفاده از روش ترک یاهداف سونار یدسته بند

یگرانش

4، محمدجعفر ناصری9، آالوه مريدی2، محمد خويشه5یسید محمدرضا موسو

[email protected]

ايران و صنعتبرق، دانشگاه علم استاد دانشکده -5

ايران و صنعتبرق، دانشگاه علم دانشجوی دکتری -2

ايران و صنعتبرق، دانشگاه علم ارشددانشجوی کارشناسي -9

دانشجوی کارشناسي ارشد برق، دانشگاه علوم دريايي امام خمیني)ره( -4

چكیده

ان و برانگیز محققهای فیزيکي بسیار نزديک اهداف واقعي و کالترِ سونار فعال، تفکیک اين اهداف، از موضوعات چالشبا توجه به ويژگي

بندی اهداف دنیای های عصبي در دسته( يکي از پرکاربردترين شبکهMLPهای عصبي چنداليه ). شبکهاستگران حوزه آکوستیک صنعت

های اخیر بسیار مورد توجه قرار گرفته است. به منظور های توسعه اين نوع شبکه ها است که در سالواقعي هستند. آموزش از مهمترين بخش

بندی نامناسب، گیر افتادن های بازگشتي و گراديان نزولي مرسوم بوده است. دقت دستهاز دير باز استفاده از روش MLPهای آموزش شبکه

های اخیر استفاده از . به منظور غلبه بر اين معايب، در سالاستهای سنتي های محلي و سرعت همگرايي پايین از معايب روشدر کمینه

سازی ترکیبي ازدحام از الگوريتم بهینه MLPکاری بسیار مرسوم گرديده است. اين مقاله برای آموزش شبکه های ابتکاری و فرا ابتالگوريتم

سازی فرا ابتکاری جديد بر ( يک روش بهینهGSAکند. الگوريتم جستجوی گرانشي )استفاده مي PSOGSA)ذرات و جستجوی گرانشي )

است که اين الگوريتم توانايي خوبي برای جستجوی کلي دارد، اما در آخرين تکرارها . ثابت شده است اساس فعل و انفعاالت گرانش و جرم

برداری، ( در فاز بهرهPSOساز ازدحام ذرات )فرد بهینه. با توجه به توانايي منحصربهاستبرداری فضای جستجو دارای سرعت پايین در بهره

و GSA ،PSOهای مبتني بر کنندهبندیدهد که دستهدست آمده نشان ميشود. نتايج به از اين روش برای حل مشکل فوق استفاده مي

PSOGSA نمايند. همچنین سرعت همگرايي الگوريتم بندی ميدسته 42974/34و 1045/39، 0177/32دادگان سونار را به ترتیب با دقت

.استترکیبي نسبت به دو الگوريتم معیار ذکر شده بهتر

.ساز ازدحام ذرات، الگوریتم جستجوی گرانشیی، سونار، کالتر، بهینهبنددستهکلیدی : واژگان

54/75/34 تاريخ دريافت مقاله :

21/57/34 مقاله : تاريخ پذيرش

فنونپژوهشي دريا -نامه علمي فصلدو 5934 ستانتابو بهار -وم سسال

2

مقدمه -1

يکي از پرکاربردترين ابزار برای های عصبي چنداليهشبکه

وان تها ميباشند. با استفاده از اين شبکهمحاسبات نرم مي

های عصبيطور کلي، شبکهخطي را حل نمود. بهمسائل غیر

ي داده بینبندی الگو، پیشمنظور دستهاليه بهمصنوعي چند

[. 4-5گیرند ]و تقريب زدن توابع مورد استفاده قرار مي

های ها به دستهبندی دادهمعني تقسیمالگو به بندیدسته

بیني که پیش[، در حالي1از پیش تعريف شده است ] گسسته

شته های گذاتفاقات آينده بر اساس داده بینيبه معنای پیش

[. در نهايت تقريب تابع، فرآيند 1های کنوني است ]و داده

د. شوهای ورودی را شامل ميمدل کردن روابط بین متغیر

های عصبي چنداليه با يک اليهثابت شده است که شبکه

توانند هر تابع گسسته و يا پیوسته را تقريب بزنند پنهان مي

ي های عصبصرف نظر از کاربردها، توانايي متمايز شبکه[. 0]

اين معني [. يادگیری به9اليه، يادگیری است ]مصنوعي چند

توانند از يک يها همانند مغز انسان ماست که اين شبکه

تجربه يا آزمايش ياد بگیرند. اين ويژگي )يادگیری( بخش

های عصبي است که ممکن است به دو ضروری همه شبکه

[ و يادگیری بدون 4] 5نوع تقسیم گردد: يادگیری با نظارت

)در های عصبي مصنوعي چنداليه[. برای شبکه3] 2نظارت

[ 57شده ]بهینه 9ارانتشهای پسبیشتر کاربردها(، از الگوريتم

د گردگیری استفاده ميعنوان روش ياد[، به55و يا استاندارد ]

الگوريتم باشند.گیری با نظارت ميياد که از خانواده

انتشار، بر مبنای گراديان است که اشکاالتي همچون پس

کوچک [ و بکارگیری در يک محدوده52همگرايي آهسته ]

های عملي قابل اعتماد ای کاربرد[ را دارد و بنابراين بر59]

نیست.

های عصبي، پیدا کردنگیری در شبکههدف نهايي فرآيند ياد

ها است، به آن 4دار و باياسهای وزنبهترين ترکیب از يال

های آزمون، کمترين مقدار که در آموزش شبکه و نمونهطوری

عصبي حال اغلب خطای شبکههرخطا را داشته باشیم. به

گیری، بزرگ يه، برای مدت زيادی در زمان فرآيند يادالچند

سمت کم شدن را بهگیری آن خواهد بود و الگوريتم ياد

1 Supervised Learning 2 Unsupervised Learning 3 Back-Propagation (BP) Algorithm 4 Bias 5 Heuristic Optimization Methods 6 Meta-Heuristic Optimization Methods 7 Simulated Annealing (SA)

های يادگیری مبتني برکند. اين مسئله در فرآيندهدايت مي

انتشار، کاماًل مشترک است. الگوريتم پسگراديان، مثل

ياد به ز مقدار خیليانتشار بهپس همچنین همگرايي الگوريتم

حرکت وابسته است. مقادير مقادير اولیه نرخ يادگیری و اندازه

تواند حتي سبب واگرايي الگوريتم مي هانامناسب اين متغیر

گردد. مطالعات بسیار زيادی برای حل اين مشکل الگوريتم

سازی کافي اما بهینه .[54پس انتشار انجام گرفته است ]

. اين داردجانبي خودش را آثاربدست نیامده و هر روش فقط

و فرا 1دهد که الگوريتم جستجوی ابتکاریمقاله نشان مي

های يادگیری مبتني برتواند جايگزين الگوريتممي 1ابتکاری

ها [، زيرا ماهیت تصادفي اين الگوريتم51گراديان باشد ]

های دهد تا درصد خطای کمتری نسبت به روشاجازه مي

و همچنین احتمال گیر داشته باشیممبتني بر گراديان

. های محلي کاهش يابدافتادن در کمینه

سازی ابتکاری مختلفي برای آموزش های بهینهروش

ها های عصبي چنداليه استفاده شده است. از جمله آنشبکه

، [50و51] 0(SAتوان به الگوريتم تبريد تدريجي )مي

تساز ازدبهینه4 [54 ،](GAژنتیک ) الگوريتم 3حام ذرا

(PSO )[53-29 ،][24] 57يسازی مغناطیسالگوريتم بهینه ،

، 55 [5](BBOساز مبتني بر جغرافیايي زيستي )بهینه

و ديفرانسیل 52 [21](GWOساز گرگ خاکستری )بهینه

ها برخي الگوريتم [،20]با توجه به اشاره کرد.[ 21] 59تکاملي

توانند احتمال به دام افتادنمي GAو SAها مانند الگوريتم

ها هنوز دارای نرخ در کمینه محلي را کاهش دهند، اما آن

ساز بهینه ،[24-53]همگرايي آهسته هستند. با توجه به

ی هاترين الگوريتمازدحام ذرات يکي از کارآمدترين و عملي

سازی در افزايش نرخ همگرايي است. اين مقاله، بهینه

سعي در غلبه بر GSAو PSOهای وسیله ترکیب الگوريتمبه

دو مشکل ذکر شده دارد.

به ترتیب به 4تا 2های ادامه مقاله به شرح زير است. بخش

ساز ازدحام های کوتاه درباره مفاهیم اولیه بهینهارائه مقدمه

ذرات، الگوريتم جستجوی گرانشي و ترکیبي از اين دو

روش استفاده 1پردازد. بخش ( ميPSOGSAالگوريتم با نام )

8 Genetic Algorithm (GA) 9 Particle Swarm Optimization (PSO) 10 Magnetic Optimization Algorithm (MOA) 11 Biogeography-Based Optimizer 12 Gray Wolf Optimizer 13 Differential Evolution (DE)


9

های آموزشي های ذکر شده را به عنوان الگوريتمالگوريتم از

دهد. نتايج های عصبي چنداليه مورد بحث قرار ميشبکه

اند. در نشان داده شده 1ها در بخش سازیآزمايشات و شبیه

دهد.ميارائه را گیری مقاله نتیجه 0نهايت بخش

(PSO)ساز ازدحام ذرات بهینه -2

ذرات يک روش محاسباتي تکاملي است بهینه ساز ازدحام

ساز بهینه. [ ارائه شده است24] 5که توسط کندی و ابرهارت

ازدحام ذرات از رفتار اجتماعي پرندگان الهام گرفته شده

های نامزد( که در است. اين روش از تعدادی از ذرات )راه حل

فضای جستجو به دنبال يافتن بهترين راه حل هستند،

د. در همین حال همه ذرات به سوی بهترين کناستفاده مي

ای )بهترين راه حل( که در مسیرشان وجود دارد، حرکت ذره

های خود را کنند. به عبارت ديگر، ذرات بهترين راه حلمي

گیرند. به عنوان بهترين راه حل کلي در نظر مي

دحام ذرات بايد پارامترهايي مانند: ساز ازهر ذره در بهینه

gbestو فاصله تا pbestي، سرعت فعلي، فاصله تا موقعیت فعل

سازیخود در نظر بگیرد. مدل را به منظور تغییر موقعیت

( 2( و )5رياضي بهینه ساز ازدحام ذرات به صورت روابط )

است:

(5 )

1

1

2

t t t

i i i i

t

i

w c rand pbest

c rand gbest

(2 ) 1 1t t t

i i i tدر روابط باال،

i ذره 2مبین سرعتi- ام در تکرارt- ،امw

ن ب jc، 9مبین تابع وز randو 4مبین ضريب شتا

است. 5و 7دهنده يک عدد تصادفي بین نشانt

i مبین

iام است. همچنین-tام در تکرار -iموقعیت فعلي ذره pbest

ام است و بهترين -tام در تکرار -iعامل حل، بهترين راه

است. gbestحلي که تا کنون پیدا شده راه

t(، )5بخش اول رابطه )

iw بهینه ساز (، توانايي اکتشاف

کند. بخش دوم و سومازدحام ذرات را فراهم مي

1

t

i ic rand pbest و 2

t

i ic rand gbest

دهنده تفکر خصوصي و همکاری بین ذرات به ترتیب نشان

است. بهینه ساز ازدحام ذرات کار خود را با قرار دادن تصادفي

1 Kennedy and Eberhart

Velocity 2

Weighting Function 3

رار سرعتکند. در هر تکذرات در يک فضای مسئله شروع مي

شود. بعد از محاسبه( محاسبه مي5ذرات با استفاده از رابطه )

( به 2سرعت ذرات، موقعیت جديد ذرات با استفاده از رابطه )

آيد. فرآيند تغییر موقعیت ذرات تا دستیابي به معیار دست مي

نهايي ادامه دارد.

الگوریتم جستجوی گرانشی -3

يک الگوريتم [23] راشدی و همکارانش 2773در سال

(GSA)ابتکاری جديد به نام الگوريتم جستجوی گرانشي

پیشنهاد کردند. هدف اين الگوريتم پیدا کردن بهترين راه

حل در فضای جستجوی مسئله با استفاده از قوانین فیزيکي

است. نظريه فیزيکي که الگوريتم جستجوی گرانشي از آن

گويد: [ که مي97ست ]الهام گرفته شده است، تئوری نیوتن ا

هر ذره در جهان ذره ديگر را با يک نیرويي که به طور "

ضرب جرم آن دو ذره و به طور معکوس با مستقیم با حاصل

. الگوريتم "کندمجذور فاصله بین آنها رابطه دارد، جذب مي

ای از عوامل توان به عنوان مجموعهجستجوی گرانشي را مي

گرفت که دارای جرم متناسب با های نامزد( در نظر )راه حل

هستند. در طول اجرای 1مقدار خود در تابع شايستگي

ها توسط نیروی جاذبه بین خودشان الگوريتم تمام توده

وی تر باشد، نیرکنند. هر چه جرم سنگینيکديگر را جذب مي

ماالً تر که احتهای سنگینجاذبه بیشتر است. بنابراين، جرم

ا های ديگر رکمینه کلي هستند، جرمها به ترين جرمنزديک

[، 95نمايند. با توجه به ]متناسب با فاصله آنها جذب مي

عامل وجود دارد. موقعیت هر Nفرض کنید يک سیستم با

عامل )جرم( که يک نامزد راه حل مسئله است، به صورت

شود: ( تعريف مي9رابطه )

(9 )1,2,...,i N 1,..., ,..., ,d n

i i i iX

مبین بعد مسئله و Nکه در آن، d

i مبین موقعیت عامل

i- ام در بعدd- .الگوريتم کار خود را با قرار دادن ام است

کند. در عوامل به طور تصادفي در فضای جستجو شروع مي

ام در -iبر عامل ام-jطول هر تکرار، نیروی گرانشي از عامل

شود:( تعريف مي4به صورت رابطه ) tزمان خاص

(4 )

pi ajd

ij

ij

d d

j i

M t M tF t G t

R t

t t

n CoefficientAcceleratio4 5 Fitness Function


4

ajکه در آن،M

-jمبین جرم گرانشي فعال مربوط به عامل

piام،M مبین جرم گرانشي غیرفعال مربوط به عامل i- ،ام

G(t) مبین ثابت گرانشي در زمانt، يک ثابت کوچک و

ijR t مبین فاصله اقلیدسي بین دو عاملi وj است. ثابت

ام به -jام و -iو فاصله اقلیدسي بین دو عامل G گرانش

شوند:( محاسبه مي1( و )1ترتیب و به صورت روابط )

(1 ) 0( ) exp maxG t G iter iter

(1 ) 2

jiij )t(X),t(X)t(R

مبین ضريب نزولي، که در آن،0

G مبین ثابت گرانش

، و iterاولیه maxمبین تعداد تکرار فعلي iter نشان

dدهنده حداکثر تعداد تکرار است. در يک فضای مسئله

شود از رابطه ام اعمال مي-iبعدی، نیروی کلي که بر عامل

گردد:( محاسبه مي0)

(0 ) 1,

Nd d

i j ij

j j i

F t rand F t

، jکه در آنrand نشان دهنده يک عدد تصادفي در

است. با توجه به قانون حرکت، شتابِ يک عامل به [0,1]بازه

طور مستقیم با نیروی برآيند و به طور معکوس با جرم آن

رابطه دارد. بنابراين شتاب همه عوامل به شرح زير محاسبه

شود:مي

(4 )

d

id

i

ii

F ta t

M t

نشان دهنده يک زمان خاص t مبین بعد مسئله، dکه در آن،

iوM مبین جرم جسمi- ام است. سرعت و موقعیت عوامل

شوند:( محاسبه مي57( و )3به صورت روابط )

(3 ) 1d d d

i i i it rand t a t

(57 ) 1 1d d d

i i it t t iمبین بعد مسئله و dکه در آن،

rand نشان دهنده يک

( 57( و )3توان از روابط )است. مي [0,1]عدد تصادفي در بازه

چنین استنباط کرد که سرعت فعلي يک عامل به صورت

شود، کسری از آخرين سرعت که به شتاب آن اضافه مي

گردد. عالوه بر اين، موقعیت فعلي يک عامل برابر تعريف مي

است با آخرين موقعیت خودش که به سرعت کنوني آن اضافه

شده است.

ستفاده از ارزيابي تابع شايستگي تعريف جرم عوامل با ا

رين تشود. اين بدين معني است که يک عامل با سنگینمي

جرم کارآمدترين عامل است. با توجه به معادالت باال، هر چه

تر باشد، نیروی جاذبه بیشتر و حرکت آن يک عامل سنگین

تر است. جاذبه بیشتر را با توجه به قانون جاذبه بیان آهسته

تر را با توجه قانون ( و جنبش آهسته4توسط رابطه )شده

جرم تمام [. 23توان تعريف نمود ]( مي4حرکت و رابطه )

شود:رساني ميعوامل با استفاده از روابط زير به روز

(55 )

i

i

fit t worst tm t

best t worst t

که در آن، i

fit t مبین ارزش شايستگي عاملi- ام در

worst(t)و tترين عامل در زمان مبین قوی t ،best(t)زمان

و best(t)است. tترين عامل در زمان مبین ضعیف

worst(t) ( و 52سازی به صورت روابط )برای مسئله حداقل

شوند:( محاسبه مي59)

(52 )

1,...,

min jj N

best t fit t

(59 )

1,...,

max jj N

worst t fit t

best(t) وworst(t) برای مسئله حداکثرسازی به صورت

گردند:( محاسبه مي51( و )54روابط )

(54 )

1,...,

max jj N

best t fit t

(51 )

1,...,

min jj N

worst t fit t

( به صورت 55نرمال سازی جرم محاسبه شده توسط رابطه )

شود:زير تعريف مي

(51 )

1

i

i N

j

j

m tM t

m t

حل نامزد در الگوريتم جستجوی گرانشي هر عامل يک راه

ر با مقاديشود. در اين الگوريتم ابتدا تمام عوامل تلقي مي

گردند. پس از مقداردهي اولیه، دهي اولیه ميتصادفي مقدار

( 55( و )3سرعت و موقعیت همه عوامل با استفاده از روابط )

شوند. همچنین، پارامترهای ديگر مانند ثابت تعريف مي

گردند. ( محاسبه مي55( و )1گرانش و جرم توسط روابط )

ار دستیابي به معیدر نهايت الگوريتم جستجوی گرانشي با

شود. مراحل الگوريتم جستجوی گرانشي در نهايي متوقف مي

( نشان داده شده است.5شکل )

رفتار که دارای جمعیت مبتني بر هایالگوريتم تمام در

بايد ذاتي دو ويژگي، GSA و PSO اجتماعي هستند، مانند

برای جستجوی تمام الگوريتم توانايي :در نظر گرفته شود

برداری ازبهره اش درتوانايي جستجو و فضای هایبخش

بهترين راه حل.


1

[.03]گرانشی جستجوی الگوریتم عمومی مراحل (1شکل )

در حالي ، نام دارد 5اکتشاف مسئله فضای در تمام جستجو

يک راه حل در نزديکي بهترين راه حل به همگرا شدن که

مبتني بر شود. يک الگوريتمنامیده مي 2برداریبهره خوب

یدا پ تضمین حیاتي را به منظور اين دو ويژگي بايد جمعیت

،ساز ازدحام ذراتبهینه باشد. درداشته حلبهترين راه کردن

با برداریبهره و توانايي Pbestده ازبا استفا اکتشافتوانايي

ز الگوريتم است. درنمايش داده شده Gbestاستفاده ا

برای پارامترهای مناسب مقدار با انتخابجستجوی گرانشي،

ي تصادف 0 G and ،شود و تواند تضمینمي اکتشاف

داری برتواند توانايي بهرهتر ميحرکت آهسته عوامل سنگین

.[92]را تضمین کند

بین ایيک مطالعه مقايسه[ 23] و همکاران در راشدی

های الگوريتم و برخي ازالگوريتم جستجوی گرانشي

ساز ازدحامبهینه مانند شناخته شده ابتکاری سازیبهینه

دهند مقايسه نتايج نشان مي دهند. در اينذرات را ارائه مي

ای سازی داربهینه در زمینهالگوريتم جستجوی گرانشي که

ارای دالگوريتم جستجوی گرانشي با اين حال،. توانايي است

در [. 99] تکرارها است در آخرين پايین یجستجو سرعت

ساز هینهب با الگوريتم جستجوی گرانشيترکیبي از اين مقاله

ضعف اين به منظور بهبود، PSOGSA نام با ازدحام ذرات

پیشنهاد شده است.

PSOGSAالگوریتم ترکیبی -4

توانايي تفکر بدين صورت است که PSOGSAايده اصلي

1 Exploration

با ساز ازدحام ذرات رابهینهدر موجود( gbest) اجتماعي

الگوريتم جستجوی گرانشي ترکیب جستجوی محلي قابلیت

به شرح (50رابطه )، هاالگوريتم ترکیب اين منظوربه کند. مي

:است زير پیشنهاد شده

(50)

2

1i i i i

i

V t w V t c rand ac t

c rand gbest X t

که در آن، iV t عامل سرعتمبینi-تکرار در ام t-،امj

c

نشان دهنده randو وزن تابعمبین w، شتاب ضريب مبین

. همچنین است 5 و 7 يک عدد تصادفي بین iac t مبین

حلي بهترين راه gbestو ام-t تکرار در ام-iعامل شتاب

رارهر تک در عوامل موقعیت است که تا کنون پیدا شده است.

شود:ميبه روزرساني به شرح زير

(54 ) 1 1i i iX t X t V t در نظر نامزد يک راه حل به عنوان PSOGSA عامل در هر

به صورت تصادفي همه عوامل در ابتدا. شودگرفته مي

نیروی دهي اولیهمقدار پس از گردند.مقداردهي اولیه مي

با عوامل میاندر حاصل نیروهای و ثابت گرانش، گرانشي

شوند. سپسمحاسبه مي (0( و )1(، )4استفاده از روابط )

بهترين گردد.تعريف مي (4به وسیله رابطه ) ذرات شتاب

پس از محاسبه به روز شود. هر تکرار بايد در حل پیدا شدهراه

را سرعت همه عوامل حل،بهترين راه رسانيروزو به شتاب

محاسبه نمود. در نهايت، (50)با استفاده از رابطه توانمي

شود. فرآيند به روز مي( به54موقعیت عوامل توسط رابطه )

رساني سرعت و موقعیت با دستیابي به يک معیار مشخص روز

Exploitation 2


1

( 2در شکل ) PSOGSAگردد. مراحل الگوريتم متوقف مي

نشان داده شده است.

اشاره به نکات زير ،PSOGSA برای توضیح کارآمد بودن

:شودمي

در PSOGSA به روش درشايستگي( ) حلراهکیفیت

. شوددر نظر گرفته مي رسانيروز

عوامل، خوب هستند حلنزديکي راه عواملي که در

فضای های مختلفقسمت در حال بررسي ديگری که

کنند.باشند را جذب ميجستجو مي

يک راه حل خوب در نزديکي تمام عوامل هنگامي که

در اين مورد، نمايند.حرکت مي هستند، بسیار آرام

gbest کلي به آنها حلبهترين راه برداری ازبرای بهره

کند.کمک مي

الگوريتمPSOGSA بهترين حافظه، با استفاده از

) حليراه را حفظ ( gbestکه تاکنون کشف شده

باشد. در دسترس در هر زمانتا نمايدمي

بهترين راه حل تواندمي هر عامل (gbest را ) مشاهده

و به سمت آن میل کند.

1 با تنظیمc 2 و

c ،کلي و جستجوی هایتوانايي

متعادل شود. تواندمي محلي جستجوی

طیف برای حلرا PSOGSAالگوريتم ذکر شده در باال،نکات

سازی، به اندازه کافي قدرتمند مسائل بهینه ای ازگسترده

[. 94سازد ]مي

ا ب اليهشبکه عصبي چند های آموزشمکانیزم، در بخش بعد

های و به ترتیب با نام PSOGSA و PSO ،GSA استفاده از

FNNPSO ،FNNGSA و FNNPSOGSA ،مورد و معرفي

.گیرندبررسي قرار مي

الیه با استفاده از های عصبی چندآموزش شبكه -5

PSOGSA و PSO ،GSAهایالگوریتم

های عصبي شبکه آموزش برایسه روش به طور کلي

.وجود دارد های فرا ابتکاریالگوريتم اليه با استفاده ازچند

پیدا کردن ترکیبي ابتکاری برای هایاول الگوريتمدر روش

شوند، های شبکه استفاده ميباياسو هاوزن مناسب از

شبکه عصبي برای خطا را اين ترکیب حداقلِ کهطوریبه

های فرا ابتکاری اليه فراهم نمايد. در روش دوم، الگوريتمچند

به عنوان راهي برای پیدا کردن يک ساختار مناسب برای

ند. رواليه در يک مسئله خاص به کار ميشبکه عصبي چند

الگوريتم پارامترهای الگوريتم تکاملي،، در آخرين روش

ها تر. اين پارامکندگراديان را تنظیم مي مبتني بر يادگیری

حرکت. و اندازه يادگیری نرخعبارتند از:

ساختار يه،الچند يدر مورد اول، قبل از آموزش شبکه عصب

کردن دایپ يآموزش يتمالگور يک یفه. وظشوديشبکه ثابت م

به منظور هاياسو با هايالوزن يتمام یمقدار مناسب برا يک

ت. اس يهالچند يشبکه عصب يکل یبه حداقل رساندن خطا

متفاوت يهالچند يعصب یهادر مورد دوم، ساختار شبکه

است.

اليهشبکه عصبي چند اعمال شده به آموزشي يک الگوريتم

فاده است خاص يک مسئله برای ساختار بهترينبرای تعیین

ارتباط بین تواند با دستکاریمي ساختار تغییر شود.مي

هر پنهان در هایتعداد گره و پنهان هایاليه، تعداد هانرون

انجام شود. اليهشبکه عصبي چند از اليه

. PSOGSAمراحل عمومی الگوریتم ( 2شکل )


0

اهداف بندی کنندهبه منظور طراحي دستهدر اين بخش،

با PSOGSA و PSO ،GSA هایسوناری، در ابتدا الگوريتم

.وندشاليه اعمال ميروش اول به شبکه عصبي چند استفاده از

، FNNPSOترتیب های طراحي شده بهکنندهبندیدسته

FNNGSA و FNNPSOGSA توجه گردند.نام گذاری مي

. ثابت است اليهشبکه عصبي چند ساختار شود که

و وزن ترکیبي از PSOGSA و PSO ،GSAهای الگوريتم

اعث ب اليهشبکه عصبي چند برای خطا را حداقل که هاباياس

، FNNPSO طراحيبه منظور کنند. شود، پیدا ميمي

FNNGSA و FNNPSOGSA عناصر اساسي تابع شايستگي

.بايد تعريف شوند و راهبرد کدکردن

تابع شایستگی -5-1

ه يک الي) دهدبا سه اليه را نشان مي شبکه عصبي (9) شکل

تعداد ( که در آن خروجي و يک اليه پنهان يک اليهورودی،

تعداد گره و hبرابر مخفي تعداد گره، nورودی برابر گره

هر گره، خروجي آموزش از هر دوره در است. m خروجي برابر

: شودمي ( محاسبه53به صورت رابطه ) مخفي

(53 )

1

1

1 exp .

jn

ij i j

i

f s

w

1,2,...,j h که در آن،

1

.n

j ij i j

i

s w

،n نشان دهنده تعداد گره

ورودی،ijw مبین وزن اتصال از گرهi-ورودی به ام در اليه

ام و-jمبین باياس )آستانه( گره jام در اليه پنهان،-jگره

i ورودی گرهi-های ام است. پس از محاسبه خروجي گره

توان به شرح زير تعريف کرد: پنهان، خروجي نهايي را مي

(27) 1,2,...,k m 1

.h

k kj j j

i

o w f s

سه الیه. شبكه عصبی ساختار( 0شکل )

kjکه در آن،w مبین وزن اتصال از گره مخفيj- ام به گره

kام و-kخروجي مبین باياس )آستانه( گره خروجيk- ام

)تابع شايستگي( به Eدر نهايت، خطای يادگیری است.

شود:صورت زير محاسبه مي

(25 )

2

1

mk k

k i i

i

E y d

(22 )1

q

k

k

EE

q

kهای آموزشي،نشان دهنده تعداد نمونه qکه در آن،

id

ام وقتي که -iمبین خروجي مورد انتظار از واحد ورودی

kشود وام استفاده مي-kنمونه آموزشي

iy مبین خروجي

-kوقتي که نمونه آموزشي ام است،-iواقعي از واحد ورودی

گردد. بنابراين، تابع شايستگي نمونه آموزشي ده ميام استفا

i-( تعريف کرد:29توان به صورت رابطه )ام را مي

(29 ) i iFitness X E X

الیه عصبی چند آموزش شبكه نمایش مسئله -5-2

PSOGSAو PSO ،GSAهای توسط الگوریتم

)راهبرد کد کردن(

ا هگره ها و باياسطور کلي، سه روش برای نمايش وزن يالبه

[. در نمايش 5وجود دارد: بردار، ماتريس و حالت دودويي ]

شود. برای عنصر با يک بردار نمايش داده مي برداری، هر

-ها و باياسوزن آموزش يک شبکه عصبي چنداليه، بايد همه

صورت يکبهها معلوم باشند. در نمايش ماتريسي، هر عنصر

يي اصورت رشتهماتريس و برای نمايش دودويي ، هر عنصر به

شوند. هر کدام از اين مي های دودويي نمايش دادهاز بیت

های نمايش، مزايا و معايب خاص خود را دارند که شیوه

[. 91خاص مفید واقع گردد ] مسائلتواند در مي

ایهرشت يادر روش نخست، تبديل عناصر به بردار، ماتريس و

های دودويي آسان است، اما فرآيند بازيابي آنها پیچیده از بیت

های همین دلیل اغلب اين روش در شبکهخواهد بود. به

گیرد. در روش دوم برای عصبي ساده مورد استفاده قرار مي

اصر تر از کد کردن عنها با ساختار پیچیده، بازيابي آسانشبکه

های های يادگیری در شبکهماست. اين روش برای الگوريت

عصبي عمومي بسیار مناسب است. در روش سوم، نیاز است

صورت دودويي نمايش داده شوند. در اين حالت که متغیرها به

وقتي که ساختار شبکه پیچیده گردد، طول هر عنصر نیز


4

يابد. بنابراين فرآيند کدکردن و کدگشايي خیلي افزايش مي

پیچیده خواهد شد.

ی پیچیده اليههای عصبي چندمقاله، چون با شبکه در اين

منظورسروکار نداريم، از روش برداری استفاده شده است. به

های عصبي چنداليه، از شبکه کاهش زمان اجرای برنامه

عنوان به استفاده نخواهد شد. Matlabجعبه ابزارهای عمومي

-ي چندبعص کد نويسي، بردار نهايي شبکه مثالي از اين شیوه

( آورده شده است.24(، در رابطه )4شکل ) اليه

13 23 14 24 15 25 36 46 56 1 2 3 4particle w w w w w w w w w

(24)

تشریح مطالب و نتایج -6

روی دادگان سونار با ابعاد PSOGSAدر اين بخش الگوريتم

منظور اطمینان از گردد. همچنین بهکاهش يافته، اعمال مي

مجموعه ، PSOGSAسازی صحت عملکرد الگوريتم بهینه

سازی ازدحام ذرات و جستجوی های بهینهدادگان به الگوريتم

گرانشي اعمال و نتايج باهم مقايسه خواهند شد.

دادگان سونار -6-1

و Gormanدادگان مورد استفاده در اين مقاله از آزمايش

Sejnowski استخراج شده است. ] 90و91 [موجود در مراجع

فوت و يک 1به طول در اين آزمايش يک سیلندر فلزی

و اندشده دادهبا آن در بستر شني دريا قرار اندازههمصخره

( به سمت 55/6ka=) 5خطي پهن باند FMيک پالس چیرپ

57است. اکوهای برگشتي در فاصله شده فرستادهها آن

ی شده است.آورجمعها متری از آن

اکو که 274اکو، 5277اکوی دريافتي از SNRبر اساس

SNR 4ها بین آنdB 15تاdB از اين اندشدهاست، انتخاب .

عدد مربوط 30عدد مربوط به سیلندر فلزی و 555اکو، 274

هايي از اکوهای دريافتي از ( نمونه1به صخره هستند. شکل )

دهد.فلزی را نشان مي لندریو سصخره

کاهش ابعاد دادگان با استفاده از الگوریتم -6-2

ورهای آماریژنتیک و گشتا

( 60D=با توجه به ابعاد باالی دادگان سونار )در اين مقاله

های زيادی در روند ، افزونگيPSOGSAو پیچیدگي الگوريتم

آيد.بندی اهداف بوجود ميدسته

1 Wide-Band Linear FM

.2-0-1الیه با ساختار ی عصبی چندشبکه( 4شکل )

نمایش دامنه اکوهای برگشتی از سیلندر فلزی و ( 5شکل )

.]03[صخره

بندیها باعث کاهش عملکرد شبکه در دستهاين افزونگي

. گردداهداف و همچنین افزايش پیچیدگي زماني شبکه مي

ی هااين مقاله با استفاده از دو روش متداول استخراج ويژگي

و های مبتني بر گشتاورهای آماری(جديد )توسط روش

اهداف بندیهای که بیشترين تأثیر را در دستهانتخاب ويژگي

Dدارند )توسط الگوريتم ژنتیک(، ابعاد دادگان ورودی را از

dبه صورتي که dبه Dنمايد و بدين صورت ، تبديل مي

سعي در کاهش زمان پردازش اطالعات و افزايش دقت

يکي ديگر از مسائل dانتخاب مقدار بندی شبکه دارد.دسته

d در اين مقاله برای انتخابچالش برانگیز اين روش است.

استفاده شده است. screeاز روش آزمون

از نمايش نزولي نمودار مقادير dبرای انتخاب ]94 [روش

ای را که نمودار کند. بدين صورت که نقطهويژه استفاده مي

افت شديدی دارد، ولي هنوز در مقادير کوچک ثابت نشده

کند. نتیجه اين آزمايش در انتخاب مي dعنواناست را به

( نمايش داده شده است. 1شکل )


3

بر روی دادگان سونار. screeحاصل از آزمون نتایج( 6شکل )

شود برای دادگان سونار، همان گونه که در شکل مشاهده مي

1<d<4 تواند انتخاب گردد که برای کاهش بارمي

[گونه که در مرجعهمان انتخاب شده است. =4dمحاسباتي

اثبات شده است اکوهای برگشتي از اهداف، طنین، نويز ]93

مخصوص به خود با 5و کالتر دارای توابع چگالي احتمال

باشند.پارامترهای تقريباً مشخص مي

و کالتر توزيع 2تابع چگالي احتمال مربوط به طنین، ريلي

K است، اين درحالي است که تابع چگالي احتمال مربوط به

. با توجه به ]47 [است 9الوه يک غالبهدف واقعي ريلي بع

اين تفاوت در توابع چگالي احتمال مربوط به اهداف واقعي

( و گشتاور Skewnessو کاذب و اينکه گشتاور مرتبه سوم )

( با تغییر توابع چگالي احتمال Kurtosisمرتبه چهارم )

کنند، در اين قسمت با استفاده از دادگان اصلي به تغییر مي

برداری با استفاده از تابع چگالي احتمال ر نمونهبا 17جای

مربوط به هر آزمايش، گشتاورهای مرتبه سوم و چهارم را

کنیم و هر کدام از گشتاورها را به عنوان يک محاسبه مي

گیريم. برای يک توزيع دامنه ويژگي جديد در نظر مي

1(x ,..., x )

N با میانگینx و واريانس که از رابطه

توان گشتاورهای مرتبه سوم و آيد، مي( بدست مي21)

k=3 , k=4( و به ترتیب برای 21چهارم را توسط رابطه )

بدست آورد.

(21)

(21 )1

m o m e n t s = ( ( 1 / N ) ( x x ) ) /N

k k

m

m

k - th

1 Probability Density Function 2 Rayleigh 3 One-Dominant-Plus-Rayleigh (1D+R)

از آنجا که برای داشتن نتیجه بهینه به دو ويژگي ديگر نیز

از الگوريتم ژنتیک برای انتخاب دو ويژگي مؤثرتر نیاز داريم،

های کنیم. تکنیکويژگي در دسترس استفاده مي 17از بین

بیني مبتني بر تئوری اطالعات برای انتخاب متغیرها در پیش

های زماني و شناسای آماری الگو بسیار پرکاربرد سری

ها حداکثر سازی اطالعات باشند. اساس اين تکنیکمي

بین خروجي و ورودی است. بهرحال اين فرآيند دوطرفه

.است محاسباتي زيادی بدلیل محاسبه آنتروپي دارای بار

های توان از روشبرای جلوگیری از اين بار محاسباتي مي

سازی افزونگي و حداکثرسازی غیرمستقیم برای حداقل

سازی اطالعات دوطرفه استفاده کرد. با اين وجود بهینه

بررسي تمام متغیرها(، نیازمند بار محاسباتي ترکیبي )يعني

بسیاری است. برای جلوگیری از اين بار محاسباتي در اين

.]45 [مقاله از الگوريتم ژنتیک استفاده شده استnايده اصلي اين روش انتخاب يک مجموعه ويژگي

N عضوی

n}صورتب }, (1, 2,..., )i n

i N های انتخاب است. ويژگي

بین هدف شده سعي در حداکثرسازی اطالعات دوطرفه

n1 NI(y; yh ,..., yh iهای)کالس( و خروجي (

yh ناشي از

iويژگي yh های اين بهینه سازی حلدارد. تعداد راه

تعداد کل M( است که در آن 20ترکیبي به صورت رابطه )

ها است.ويژگي

(20)

سازی ترکیبيبرای جلوگیری از اين بار محاسباتي، بهینه

n1 NI(y; yh ,..., yh با استفاده از الگوريتم ژنتیک انجام (

در اين الگوريتم به 4پذيرد، با اين تفاوت که عملگر ادغاممي

، يکي از 1اين صورت است که بجای ترکیب خطي والدين

گردد. والدين به صورت تصادفي انتخاب مي

تابع شايستگي الگوريتم ژنتیک بکار رفته براساس

افزونگي است. اين حداکثرسازی ارتباط و حداقل سازی

ی حداکثرساز باسازی افزونگي، حداکثرسازی ارتباط و حداقل

Vپذيرد که در اين رابطه ( تحقق مي24رابطه ) P

( نشان داده 97( و )23به ترتیب در روابط ) Pو Vاست.

nارتباط بین Vاند که در آنشدهN ويژگي وP افزونگي

میانگین اطالعات دوطرفه Vست. توجه نمايید کههابین آن

4 Crossover Operation 5 Parents

2 2

1

(1/ N) (x x)N

m

m

!

2 !n

M

M N


57

( ; )i

I yh y های های ناشي از ويژگيها و خروجيبین دسته

مقدار میانگین اطالعات دوطرفه Pانتخاب شده است و

( ; )i j

I yh yh است. يهای انتخابهای ويژگيبین خروجي

(24) 1...max

Nni i

(23)

(97 ) 2

1 1

1( ; )

n nN N

i j

j in

p I yh yhN

تنظیم پارامترها و انجام آزمایش -6-3

( آورده 5پارامترهای مورد نیاز و مقادير اولیه در جدول )

آزمايش شده است. بهترين شبکه بار 57اند. هر شبکه، شده

بار اجرا، انتخاب و برای 57عصبي آموزش ديده از بین

شود. کار گرفته ميمقايسه به

برای هبندی و درصد خطای آزمون دو مقايسدسته نرخ

باشند. برای انجام يک های ذکر شده ميمقايسه الگوريتم

عداد ثر تها وقتي که حداکالگوريتم نسبتاً خوب، همه مقايسه

شوند. در نهايت همگرايي رسید، متوقف مي 217تکرار به

ايي جامع بررسي خواهد شد. در نتايج برای انجام مقايسه

که برای انتخاب جاييهای داده، از آنبندی مجموعهدسته

های پنهان استانداردی وجود ندارد، بنابراين تعدادِ گره

اليه، از پیشنهاد مطرحهای عصبي چندبراساس ساختار شبکه

( استفاده خواهد شد.51[ و از رابطه )42]مرجع شده در

(95) های پنهان را تعداد گره H ها وتعداد ورودی Nکه در آن،

دهند.نشان مي

اندازه کافي توانايي به PSOGSAنظر آماری، الگوريتم از

های محلي را دارد و آهنگ افتادن در کمینهجلوگیری از گیر

مشاهده کرد.( 0شکل ) توان درهمگرايي آن را مي

بدلیل جستجوی همه PSOGSAکارآيي بهتر الگوريتم

و سرعت همگرايي باال GSAفضای مسئله توسط الگوريتم

است. به طور کلي PSOالگوريتم بادر رسیدن به بهینه کلي

نسبت به FNNGSAتوان مشاهده کرد که مي

های ديگر عملکرد خوبي ندارد. اين ضعف کنندهبندیدسته

ی الگوريتم گرانشي است که از سرعت پايین جستجوناشي

دهد.را تحت تاثیر قرار مي FNNGSAبرداری توانايي بهره

پارامترهای مورد نیاز و مقادیر اولیه. (1جدول )

مقادیر پارامتر الگوریتم

PSO

2 (1Cثابت شناختي )

2 (2Cثابت اجتماعي )

(wثابت محلي ) 4/7تا 3/7به صورت خطي از

يابدکاهش مي

274 اندازه جمعیت

اتصال کامل جانمايي

5و 7به طور تصادفي بین سرعت اولیه ذرات

GSA

27ضريب

) ثابت گرانش0G) 5

5و 7به طور تصادفي بین هاجرم اولیه سرعت

7 شتاب ارزش اولیه

7 جرم ارزش اولیه


PSOGSA

1c 5

2c 5

(wثابت محلي ) 4/7تا 3/7به صورت خطي از

يابدکاهش مي

5و 7به طور تصادفي بین عوامل یهسرعت اول


های کنندهبندیمقایسه نمودار همگرایی دسته( 7شکل )

FNNPSO ،FNNGSA وFNNPSOGSA .

با اين حال الگوريتم جستجوی گرانشي دارای توانايي

های تکاملي جستجوی بسیار قوی در میان تمام الگوريتم

های يادگیری مورد استفاده در [. الگوريتم23ديگر است ]

اليه، نه تنها به توانايي جستجوی قوی های عصبي چندشبکه

ت نتايج دقبرداری دقیق نیز نیاز دارند. از بلکه به توانايي بهره

های آموزش شبکه بندی توسط الگوريتمحاصل از طبقه

FNNPSOتوان نتیجه گرفت که عملکرد اليه، ميعصبي چند

است. اين برتری به دلیل توانايي FNNGSAبهتر از

، اما اين است ساز ازدحام ذرات تر بهینهبرداری دقیقبهره

ي مینه محلافتادن در کالگوريتم هنوز هم دارای مشکل به دام

2 1H N

1

1( ; )

nN

i

in

V I yh yN


55

عملکرد FNNPSOاست. اين ضعف بدان معني است که

FNNPSOGSAناپايداری دارد. نتايج به دست آمده توسط

ی برداری قوکند که اين الگوريتم هر دو مزيت بهرهثابت مي

. به عبارت ديگر، قدرت است و توانايي جستجوی خوب را دارا

نشي با ساز ازدحام ذرات و الگوريتم جستجوی گرابهینه

موفقیت مورد استفاده قرار گرفته و عملکرد بسیار مناسبي را

دهد. اين بدين اليه نشان ميدر آموزش شبکه عصبي چند

قادر به حل مشکل به دام FNNPSOGSAمعني است که

افتادن در کمینه محلي است و دارای سرعت همگرايي بااليي

است.

نتیجه گیری -7

های عصبي با استفاده از شبکه در اين مقاله اهداف سوناری

بندی گرديدند. برای آموزش ( دستهMLPچنداليه )

سازی ترکیبي از الگوريتم بهینه MLPکننده بندیدسته

استفاده شد. PSOGSA)ازدحام ذرات و جستجوی گرانشي )

نشان داده شد که الگوريتم جستجوی گرانشي توانايي خوبي

ين تکرارها دارای سرعت برای جستجوی کلي دارد، اما در آخر

برداری فضای جستجو است. از طرف ديگر با پايین در بهره

( PSOساز ازدحام ذرات )فرد بهینهتوجه به توانايي منحصربه

برای حل PSOGSAبرداری از روش ترکیبي در فاز بهره

مشکل فوق استفاده گرديد. نتايج به دست آمده نشان داد که

PSOGSAو GSA ،PSOي بر های مبتنکنندهبندیدسته

و 1045/39، 0177/32دادگان سونار را به ترتیب با دقت

شکل بندی کردند. همچنین با توجه به دسته 42974/34

(، سرعت همگرايي الگوريتم ترکیبي نسبت به دو الگوريتم 0)

معیار ذکر شده، بهبود پیدا نمود.

له و با توجه به مسايل دنیای واقعي که دارای چندين مسا

سازی هستند و نیز با توجه به توابع پارامتر همزمان بهینه

ل سازی آن مسائکننده بسیار اين مسائل، برای بهینهمحدود

های مرکب سازی سیستمهای بهینهبیشتر از الگوريتم

دگان بندی داسازی برای دستهشود. اين نوع بهینهاستفاده مي

بعدی های پژوهش ای برایعنوان زمینهتواند بهسونار مي

باشد.

مراجع -8[1] Mirjalili, S., Mirjalili, S. M. and Lewis, A., “Let a

Biogeography-based Optimizer Train Your Multi-

Layer Perceptron”, Journal of Information

Science, Vol.269, pp.188-209, June 2014.

[2] Abedifar, V., Eshghi, M., Mirjalili S. and Mirjalili,

S. M., “An Optimized Virtual Network Mapping

using PSO in Cloud Computing”, 21st Iranian

Conference on Electrical Engineering, pp.1-6,

2013.

[3] Nguyen, L. S., Frauendorfer, D., Mast M. S. and

Gatica-Perez, D., “Hire Me: Computational

Inference of Hirability in Employment Interviews

based on Nonverbal Behavior”, IEEE

Transactions on Multimedia, Vol.16, No.4,

pp.1018-1031, 2014.

[4] Auer, P., Burgsteiner H. and Maass, W., “A

Learning Rule for Very Simple Universal

Approximators Consisting of a Single Layer of

Perceptrons”, Neural Networks, Vol.21, No.5,

pp.786-795, June 2008.

[5] Barakat, M., Lefebvre, D., Khalil, M., Druaux, F.

and Mustapha, O., “Parameter Selection

Algorithm with Self Adaptive Growing Neural

Network Classifier for Diagnosis Issues”,

International Journal of Machine Learning and

Cybernetics, Vol.4, No.3, pp.217-233, 2013.

[6] Guo, Z. X., Wong, W. K. and Li, M., “Sparsely

Connected Neural Network-based Time Series

Forecasting”, Information Sciences, Vol.193,

pp.54-71, 2012.

[7] Csáji, B. C., “Approximation with Artificial

Neural Networks”, Faculty of Science, Etvs Lornd

University, Hungary, 2001.

[8] Reed R. D. and Marks, R. J., “Neural Smithing:

Supervised Learning in Feedforward Artificial

Neural Networks”, MIT Press, 1998.

[9] Oja, E., “Unsupervised Learning in Neural

Computation”, Theoretical Computer Science,

Vol.287, No.1, pp.187-207, 2002.

[10] Zhang, N., “An Online Gradient Method with

Momentum for Two-Layer Feedforward Neural

Networks”, Applied Mathematics and

Computation, Vol.212, No.2, pp.488-498, 2009.

[11] Hush D. R. and Horne, B. G., “Progress in

Supervised Neural Networks”, IEEE Signal

Processing Magazine, Vol.10, No.1, pp.8-39,

1993.

[12] Ng, S. C. , Cheung, C. C., Leung, S. H. and Luk,

A., “Fast Convergence for Back Propagation

Network with Magnified Gradient Function”,

IEEE Joint Conference on Neural Networks,

Vol.3, pp.1903-1908, 2003.

[13] Magoulast, G. D., Vrahatis M. N. and

Androulakis, G. S., “On the Alleviation of the

Problem of Local Minima in Back-propagation”,

Nonlinear Analysis, Theory, Methods &

Applications, Vol.30, No.7, pp.4545-4550, 1997.

[14] Ho, Y. C. and Pepyne, D. L., “Simple

Explanation of the No-Free-Lunch Theorem and

its Implications”, Journal of Optimization Theory

and Applications, Vol.115, No.3, pp.549-570,

2002.

[15] Wang, P., Yu X. and Lu, J., “Identification and

Evolution of Structurally Dominant Nodes in


52

Protein-Protein Interaction Networks”, IEEE

Transactions on Biomedical Circuits and Systems,

Vol.8, No.1, pp.87-97, 2014.

[16] Shaw, S.and Kinsner, W., “Chaotic Simulated

Annealing in Multilayer Feedforward Networks”,

Canadian Conference on Electrical and Computer

Engineering, Vol.1, pp.265-269, 1996.

[17] Chang, S. K., Mohammed, O. A. and Hahn, S.

Y., “Detection of Magnetic Body using Article

Neural Network with Modified Simulated

Annealing”, IEEE Transactions on Magnetics,

Vol.30, No.5, pp.3644-3647, 1994.

[18] Montana, D. J. and Davis, L., “Training Feed-

forward Neural Networks using Genetic

Algorithms”, 11th International Joint Conference

on Artificial Intelligence, Vol.1, pp.762-767,

1989.

[19] Kiranyaz, S., Ince, T., Yildirim, A. and Gabbouj,

M., “Evolutionary Artificial Neural Networks by

Multi-dimensional Particle Swarm”, Neural

Networks, Vol.22, No.10, pp.1448-1462, 2009.

[20] Sellcs, M. and Rylander, B., “Neural Network

Learning using Particle Swarm Optimization”,

Advances in Information Science and Soft

Computing, pp.224-226, 2002.

[21] Zhang, C., Shao, H. and Li, Y., “A New Evolved

Artificial Neural Network and Its Application”,

Proceeding of 3rd World Congress on Intelligent

Control and Automation, Vol.2, pp.1065-1068,

2000.

[22] van den Bergh, F., Engelbrecht, A. P. and

Engelbrecht, A. P., “Cooperative Learning in

Neural Networks using Particle Swarm

Optimizers”, South African Computer Journal,

No.26, pp.84-90, 2000.

[23] Zhang, C., Shao, H. and Li, Y., “Particle Swarm

Optimization for Evolving Artificial Neural

Network”, IEEE International Conference on

Systems, Man, and Cybernetics, Vol.4, pp.2487-

2490, 2000.

[24] Mirjalili, S.and Safa Sadiq, A., “Magnetic

Optimization Algorithm for Training Multilayer

Perceptron”, IEEE 3rd International Conference

on Communication Software and Networks

(ICCSN), pp.42-46, 2011.

[25] Mirjalili, S., Mirjalili, S. M. and Lewis, A.,

“Grey Wolf Optimizer”, Advances in Engineering

Software, Vol.69, pp.46-61, 2014.

[26] Si, T., Hazra, S. and Jana, N., “Artificial Neural

Network Training using Differential Evolutionary

Algorithm for Classification”, The International

Conference on Information Systems Design and

Intelligent Applications, pp.769-778, 2012.

[27] Zhang, J. R., Zhang, J., Lok, T. M. and Lyu, M.

R., “A Hybrid Particle Swarm Optimization-back-

Propagation Algorithm for Feedforward Neural

Network Training”, Applied Mathematics and

Computation, Vol.185, No.2, pp.1026-1037, 2007.

[28] Kennedy, J., “Particle Swarm Optimization”,

Encyclopedia of Machine Learning, pp.760-766,

2010.

[29] Rashedi, E., Nezamabadi-pour, H. and Saryazdi,

S., “GSA: A Gravitational Search Algorithm”,

Information Sciences, Vol.179, No.13, pp.2232-

2248, 2009.

[30] Newton, I., “In Experimental Philosophy

Particular Propositions Are Inferred from the

Phenomena and Afterwards Rendered General by

Induction”, Andrew English Translation

Published, Vol.2, 1729.

[31] Abarghouei, A. A., Ghanizadeh, A.and

Shamsuddin, S. M., “Advances of Soft

Computing Methods in Edge Detection”,

Intternational Journal of Advance Soft Computing

Application, Vol.1, No.2, pp.1-42, 2009.

[32] Rashedi, E., Nezamabadi-pour, H. and Saryazdi,

S., “BGSA: Binary Gravitational Search

Algorithm”, Natural Computing, Vol.9, No.3,

pp.727-745, 2010.

[33] Sinaie, S., “Solving Shortest Path Problem using

Gravitational Search Algorithm and Neural

Networks”, Universiti Teknologi Malaysia

(UTM), Johor Bahru, Malaysia, M.Sc. Thesis,

2010.

[34] Mirjalili, S. and Hashim, S. Z. M., “A New

Hybrid PSOGSA Algorithm for Function

Optimization”, International Conference on

Computer and Information Application (ICCIA),

pp.374-377, 2010.

[35] Mirjalili, S., Hashim, S. Z. M. and Sardroudi, H.

M., “Training Feedforward Neural Networks

using Hybrid Particle Swarm Optimization and

Gravitational Search Algorithm”, Applied

Mathematics and Computation, Vol.218, No.22,

pp.11125-11137, 2012.

[36]http://archive.ics.uci.edu/ml/datasets/Connection

i st+Bench+(Sonar,+Mines+vs.+Rocks). [37] Gorman R. P. and Sejnowski, T. J., “Analysis of

Hidden Units in a Layered Network Trained to

Classify Sonar Targets”, Neural Networks, Vol.1,

No.1, pp.75-89, 1988.

[38] Jade, R. K., Verma, L. K. and Verma, K.,

“Classification using Neural Network and

Support Vector Machine for Sonar Data Set”,

International Journal of Computer Trends and

Technology, Vol.4, No.2, pp.116-119, 2013.

[39] Fialkowski, J. M. and Gauss, R. C., “Methods for

Identifying and Controlling Sonar Clutter”, IEEE

Journal of Oceanic Engineering, Vol.35, No.2,

pp.330-354, 2010.

[40] Moll, C. A. M., Ainslie, M. A. and Janmaat, J.,

“The Most Likely Distribution of Target Echo

Amplitudes”, 2nd International Conference &

Exhibition on Underwater Acoustic

Measurements: Technologies & Results, pp.361-

366, 2007.


59

[41] Ludwig, O. and Nunes, U., “Novel Maximum-

Margin Training Algorithms for Supervised

Neural Networks”, IEEE Transaction on Neural

Networks, Vol.21, No.6, pp. 972-984, 2010.

[42] Mirjalili, S., “Hybrid Particle Swarm

Optimization and Gravitational Search Algorithm

for Multilayer Perceptron Learning”, Master,

Universiti Teknologi Malaysia (UTM), 2011.

اصل مقاله (939 k)

Documents