(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده
TRANSCRIPT
![Page 1: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/1.jpg)
(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن ددانشگاه صنعتی شریف، تهران
1ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست
[email protected] محسن فیاض1395دی 22
فیاضمحسن
![Page 2: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/2.jpg)
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
2
مروری
هبر مباحث گذشت
شبکه کانولوشنشبکه متصل محلیشبکه تمام متصل
![Page 3: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/3.jpg)
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
3
آموزش یشبکه های عصب
![Page 4: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/4.jpg)
آموزش شبکهوزن های اولیه
پیش بینی اولیه
اختالف با هدف
آموزش
4ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 5: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/5.jpg)
آموزش شبکه
گرادیان نزولی•
5ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
![Page 6: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/6.jpg)
آموزش شبکه
گرادیان نزولی•
6ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
![Page 7: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/7.jpg)
آموزش شبکه
گرادیان نزولی•
7ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن
![Page 8: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/8.jpg)
آموزش شبکه
گرادیان نزولی•
8ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 9: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/9.jpg)
آموزش شبکه
انتشار رو به عقب•
9ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 10: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/10.jpg)
آموزش شبکه
انتشار رو به عقب•
10ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 11: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/11.jpg)
آموزش شبکهانتشار رو به عقب•
11ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 12: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/12.jpg)
گرادیانمحوشدگی
فعالسازتابع های •Sigmoid
oگرادیانمحوشدگیoغیر صفر بودن میانگین خروجی
12ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
1( )
1 tS t
e
𝜕𝑆(𝑡)
𝜕𝑥= 𝑆(𝑡)(1 − 𝑆 𝑡 )
![Page 13: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/13.jpg)
گرادیانمحوشدگی
فعالسازتابع های •Tanh
o محوشدگیدارای مشکلoرفع مشکل میانگین غیر صفر
13ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
tanh x = 2𝑆 2𝑥 − 1S(x) = Sigmoid(x)
𝜕tanh(𝑥)
𝜕𝑥= 1 − 𝑡𝑎𝑛ℎ2(𝑥)
![Page 14: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/14.jpg)
گرادیانمحوشدگی
فعالسازهایتابع•
•ReLU
گرادیانهمگراییسرعتافزایش•
سادهریاضیعملیات•
احیاقابلغیرمرگ:مشکل•
14ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
( ) max(0, )f x x
𝑥 > 0,𝜕𝑓(𝑥)
𝜕𝑥= 1
𝑥 = 0,𝜕𝑓(𝑥)
𝜕𝑥= 0
𝑥 < 0,𝜕𝑓(𝑥)
𝜕𝑥= 0
برابر با صفر در نظر گرفته می شودReLUمشتق x=0برای *
![Page 15: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/15.jpg)
مفاهیم الیه ها در شبکه های ژرف
15ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بستفیاضمحسن
![Page 16: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/16.jpg)
مفاهیم الیه ها در شبکه های ژرف
16ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 17: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/17.jpg)
مفاهیم الیه ها در شبکه های ژرف
GMP
Fully Convolutional VGG + GMP
17ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 18: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/18.jpg)
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
18
مختلفانواع
یعصبشبکه های
![Page 19: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/19.jpg)
انواع مختلف شبکه های عصبی
شبکه عصبی تمام متصل•
مناسب برای تغییر فضای بازنمایی
مناسب برای دسته بندی
19ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 20: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/20.jpg)
انواع مختلف شبکه های عصبی
شبکه عصبی کانولوشن•
مناسب برای پردازش تصویر
استفاده در پردازش متن و صوت
20ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 21: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/21.jpg)
انواع مختلف شبکه های عصبی
شبکه عصبی بازگشتی•
مناسب برای دادگان با طول متغیر
پردازش متن
پردازش صوت
RNN [2] LSTM [2]
21ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 22: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/22.jpg)
انواع مختلف شبکه های عصبی
خودرمزکننده ها•
یادگیری ویژگی ها به صورت بدون نظارت
استفاده در تمامی زمینه ها
22ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 23: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/23.jpg)
فیاضمحسن
یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده
23
بررسی کارهای
State of the Art
![Page 24: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/24.jpg)
آموزش با نظارت ضعیف
هاCNNیادگیری با نظارت ضعیف با استفاده از
•Multiple Labeling
•Weakly Localization
امکان استفاده از دادگان موجود در اینترنت•
Is object localization for free? - Weakly-supervised learning with convolutional neural networks,Oquab et. al., CVPR 2015
24ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 25: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/25.jpg)
آموزش بدون نظارت
پیش بینی بازنمایی های تصویری از ویدیوهای بدون برچسب
آموزش بر روی حجم عظیم ویدیوهای بدون برچسب موجود بر روی اینترنت•
آموزش دسته بندها بر روی خروجی سامانه بدون نظارت•
Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016
25ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 26: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/26.jpg)
Distributed Training:
From Karpathy’s slides
آموزش توزیع شده
26ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 27: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/27.jpg)
آموزش توزیع شده
27ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
[Large Scale Distributed Deep Networks, Jeff Dean et al., 2013]
توزیع دادگان توزیع شبکه
![Page 28: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/28.jpg)
منابع
• [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation-algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017
• [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017
28ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن
![Page 29: (3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده](https://reader033.vdocuments.site/reader033/viewer/2022052312/587f50681a28ab0d378b51e9/html5/thumbnails/29.jpg)
(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن دکارگروه کالن داده؛ دانشگاه صنعتی شریف، تهران
با تشکر
29ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست
[email protected] محسن فیاض1395دی 22
فیاضمحسن