deep learning: cложный анализ данных простыми словами_Сергей...
DESCRIPTION
Конференция AI&BigData Lab, 12 апреля 2014TRANSCRIPT
![Page 2: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/2.jpg)
Проблема классификации
Отличить мотоцикл от Луны
![Page 3: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/3.jpg)
Проблема классификации
Классификатор
© A. Ng и др.
![Page 4: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/4.jpg)
Проблема классификации
пиксель
светимость
![Page 5: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/5.jpg)
Проблема классификации
«Сырые» данные не описывают данные достаточно хорошо. Нам нужны какие-то «умные» представления.
содержит колеса
содержит «моря»
![Page 6: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/6.jpg)
Извлечение признаков
Классификатор
Оп
ред
ели
тел
ь п
ри
знак
ов
© A. Ng и др.
![Page 7: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/7.jpg)
Извлечение признаков
Есть ли лучшие способы?
© A. Ng и др.
![Page 8: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/8.jpg)
Автоэнкодер
![Page 9: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/9.jpg)
Автоэнкодер
© Honglak Lee и др.
▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
![Page 10: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/10.jpg)
Автоэнкодер
© Quoc V. Le и др.
См. Building high-level features using large scale unsupervised learning
![Page 11: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/11.jpg)
Deep Learning Нейронные Сети
Обучен предварительнокак автоэнкодер
Типичный классификатор
Moon
![Page 12: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/12.jpg)
Deep Learning Нейронные Сети
© A. Ng и др.
![Page 13: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/13.jpg)
Deep Learning Нейронные Сети
© A. Ng и др.
![Page 14: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/14.jpg)
Deep Learning Нейронные Сети
Video
Text/NLP
Images
© A
. Ng
и д
р.
![Page 15: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/15.jpg)
Deep Learning Нейронные Сети
Особенности обучения Можно использовать немаркированные данные Легко переобучить Очень большой объем вычислений
![Page 16: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/16.jpg)
Немаркированные данные
колеса
руль
![Page 17: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/17.jpg)
Переобучение автоэнкодера
Sparsity constraint – способ ограничения вариативности автоэнкодера
Идея: ограничить активацию скрытого слоя на восстановление одного примера
![Page 18: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/18.jpg)
Переобучение классификатора
Dropout создает «ансамбль» нейронных сетей
![Page 19: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/19.jpg)
Вычислительные ресурсы
Тысячи ядер Частота: 300-900 МГц Память: 2-6 Gb Производительность: до 3.5
Tflops Instruction-level parallelism Shared memory До 4 устройств в кластере
![Page 20: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/20.jpg)
MNIST
Data:
Features:
![Page 21: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/21.jpg)
Galaxy Zoo
Data: Features:
![Page 22: Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук](https://reader031.vdocuments.site/reader031/viewer/2022020105/5557d51fd8b42af2178b4d41/html5/thumbnails/22.jpg)
Thank you