Upload File

what is machine learning (in russian)

25
Что такое машинное обучение

Upload: dmitri-babaev

Post on 20-Mar-2017

84 views

Category:

Software


0 download

Report

TRANSCRIPT

Page 1: What is Machine Learning (in russian)

Что такое машинное обучение

Page 2: What is Machine Learning (in russian)

БабаевДмитрий

ЛеонидовичData Science, Эксперт по наукам о данных

в МТС

В прошлом: Яндекс, Grid Dynamics, Digital Society Laboratory и Тиньков Банк

Что такое машинное обучение

Page 3: What is Machine Learning (in russian)

www.itsmforum.ru

Машинное обучение везде

Что такое машинное обучение

• Голосовой помощник Google, Siri• Автономные автомобили• Ранжирование в Google, Яндекс• Рекомендации товаров в онлайн-магазинах

Page 4: What is Machine Learning (in russian)

www.itsmforum.ru

Типы машинного обучения

Что такое машинное обучение

• С учителем• Без учителя• С подкреплением

Page 5: What is Machine Learning (in russian)

www.itsmforum.ru

Отличие от программирования

Что такое машинное обучение

• Вместо того, чтобы самим писать программу мы показываем входные и выходные данные и алгоритм сам создает программу для преобразования входных данных в выходные

Page 6: What is Machine Learning (in russian)

www.itsmforum.ru

Дерево решений

Что такое машинное обучение

Page 7: What is Machine Learning (in russian)

www.itsmforum.ru

Построение дерева

Что такое машинное обучение

• Выбор условия разделения: при построении дерева необходимо достичь того чтобы в листьях было как можно больше примеров одного класса

• Выбрав произвольный признак и произвольный порог разделения можно проверить его качество

• После проверки всех признаков выбирается признак наилучшим образом разделяющий выборку

Page 8: What is Machine Learning (in russian)

www.itsmforum.ru

Переобучение

Что такое машинное обучение

• Наша цель - создать модель которая будет хорошо работать на новых примерах, которых нет в обучающей выборке

• Дерево в котором каждый лист содержит единственный пример имеет максимальную точность на обучающей выборке но абсолютно бесполезно на любой другой выборке

Page 9: What is Machine Learning (in russian)

www.itsmforum.ru

Борьба с переобучением в дереве решений

Что такое машинное обучение

• Ограничение глубины дерева• Ограничение минимального количества примеров в листе

Page 10: What is Machine Learning (in russian)

www.itsmforum.ru

Boosting

Что такое машинное обучение

Page 11: What is Machine Learning (in russian)

www.itsmforum.ru

Boosting

Что такое машинное обучение

1.Обучаем 1-е дерево2.Считаем ошибку прогноза для каждого примера

3.Обучаем следующее дерево прогнозировать ошибку предыдущих деревьев

4.Результат - сумма прогнозов всех деревьев

Page 12: What is Machine Learning (in russian)

www.itsmforum.ru

Ранжирование в Яндексе

Что такое машинное обучение

Веб страница Ранг

http://netflix.com 10

http://ivi.ru 8

… …

http://filming.com 524

http://netflix.com
http://ivi.ru
http://filming.com
Page 13: What is Machine Learning (in russian)

www.itsmforum.ru

Ранжирование в Яндексе

Что такое машинное обучение

• Ранжирование - определение того, насколько веб страница соответствует запросу пользователя

• Признаки для алгоритма обучения:– встречаемость слов запроса в различных частях веб страницы

– встречаемость слов запроса во всем корпусе веб страниц– PageRank– пол, возраст, регион, интересы пользователя– статистика переходов пользователей на данную страницу

Page 14: What is Machine Learning (in russian)

www.itsmforum.ru

Революция Deep Learning

Что такое машинное обучение

• Нейросети вернулись из забвения• Удалось решить проблему обучения многослойных нейросетей

• Слои нейросети обучаются иерархически выделять промежуточные признаки

Page 15: What is Machine Learning (in russian)

www.itsmforum.ru

Пример классической нейросетиЧто такое машинное обучение

Page 16: What is Machine Learning (in russian)

www.itsmforum.ru

Иерархическое выделение признаков

Что такое машинное обучение

Page 17: What is Machine Learning (in russian)

www.itsmforum.ru

Глубокая нейросеть имеет параллели с устройством визуального корекса

Что такое машинное обучение

Page 18: What is Machine Learning (in russian)

www.itsmforum.ru

Достижения Deep Learning

Что такое машинное обучение

• DQN, Human-level control through deep reinforcement learning: http://deepmind.com/dqn• AlphaGo, Mastering the game of Go with deep

neural networks and tree search: http://deepmind.com/alpha-go

http://deepmind.com/dqn
http://deepmind.com/dqn
http://deepmind.com/alpha-go
http://deepmind.com/alpha-go
Page 19: What is Machine Learning (in russian)

www.itsmforum.ru

Применимость Deep Learning

Что такое машинное обучение

• Является ли Deep Learning наилучшим алгоритмом на сегодняшний день?• нет, выбор алгоритма зависит от задачи

• Deep Learning обычно нуждается в существенно большем количестве примеров чем другие алгоритмы для обучения нейросети с нуля

Page 20: What is Machine Learning (in russian)

• Сегментация клиентов• Банковский скоринг• Реклама• Борьба с оттоком

• Персонализация• Ранжирование в поисковых системах• Товарные рекомендации• Персонализированный пользовательский интерфейс

Практические применения ML

Что такое машинное обучение

Page 21: What is Machine Learning (in russian)

• Распознавание образов• Распознавание речи• Обработка естественного языка

Практические применения ML (ИИ)

Что такое машинное обучение

Page 22: What is Machine Learning (in russian)

• Просто в сборе данных мало смысла, необходимо еще извлечь из них новое знание

• Большие данные сложно анализировать экспертом вручную из за их объема

ML и большие данные

Что такое машинное обучение

Page 23: What is Machine Learning (in russian)

www.itsmforum.ru

Ссылки

Что такое машинное обучение

• Data Scientist: The Sexiest Job of the 21st Century: https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/

• A Visual Introduction to Machine Learning: http://www.r2d3.us/visual-intro-to-machine-learning-part-1/

• Visual Information Theory: http://colah.github.io/posts/2015-09-Visual-Information/

• Demystifying Deep Reinforcement Learning; http://www.nervanasys.com/demystifying-deep-reinforcement-learning/

• Deep Learning Playground; http://playground.tensorflow.org

https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
http://www.r2d3.us/visual-intro-to-machine-learning-part-1/
http://www.r2d3.us/visual-intro-to-machine-learning-part-1/
http://www.r2d3.us/visual-intro-to-machine-learning-part-1/
http://colah.github.io/posts/2015-09-Visual-Information/
http://colah.github.io/posts/2015-09-Visual-Information/
http://www.nervanasys.com/demystifying-deep-reinforcement-learning/
http://www.nervanasys.com/demystifying-deep-reinforcement-learning/
http://www.nervanasys.com/demystifying-deep-reinforcement-learning/
http://playground.tensorflow.org
Page 24: What is Machine Learning (in russian)

• Andrew Ng, Machine Learning; https://www.coursera.org/learn/machine-learning/

• Kaggle; https://www.kaggle.com/

Ресурсы для обучения

Ресурсы для обучения

https://www.coursera.org/learn/machine-learning/
https://www.coursera.org/learn/machine-learning/
https://www.kaggle.com/
Page 25: What is Machine Learning (in russian)

[email protected]Дмитрий Леонидович Бабаев, Эксперт по наукам о данных в МТС

www.itsmforum.ru

КОНТАКТЫ

mailto:[email protected]?subject=

kobesh machine products catalog - russian version

Machine Learning Engineer Nanodegree Capstone Project P6 ... · Machine Learning Engineer Nanodegree Capstone Project P6: Sberbank Russian Housing Market Report I. Definition Project

Section 1Section 1 Machine Learning basic concepts · Machine Learning TutorialMachine Learning Tutorial ... Section 1Section 1 Machine Learning basic concepts ... Learning Tutorial

1. Introduction to Machine - lis-lab.fr › bernard.espinasse › ... · § 1. Introduction to Machine Learning § Machine Learning Problem § Machine Learning: Supervised & Unsupervised

MathWorks - Introducing Machine Learning · 4 ntroducing Machine Learning How Machine Learning Works Machine learning uses two types of techniques: supervised learning, which trains

FORECASTING RUSSIAN CPI WITH DATA VINTAGES AND MACHINE LEARNING …cbr.ru/StaticHtml/File/120016/wp-apr21_e.pdf · 2021. 4. 6. · FORECASTING RUSSIAN CPI WITH DATA VINTAGES AND MACHINE

Machine Learning FabSpace March 2018 - irit.fr Learning FabSpace March 2018... · Machine Learning 5 Machine Learning • Supervised : Train / test • Predictiveanalysis Machine

Masters of Craft: Programming - Machine Learning : Research · Masters of Craft: Programming - Machine Learning: Research Janet Choi. Machine Learning Machine Learning is a trend

Methods MACHINE LEARNING FROM MACHINE LEARNING TO …

10 tips for learning Russian

Fast Track Machine Learning Part 1 (Machine Learning Overview) - Types of Machine Learning Problems

1-Machine Learning in Oracle - ITOUG2017/12/01  · – Oracle Machine Learning (on Oracle Autonomous Data Warehouse Cloud Service) – Automated Machine Learning => Machine Learning

Machine Learning-Deep Learning Fondement et biaisfiles.meetup.com/19203187/FondetBiaisMLDLonline.pdf · Machine Learning-Deep Learning Fondement et biais Machine learning Aix-Marseille

Introducing Machine Learning · 4 ntroducing Machine Learning How Machine Learning Works Machine learning uses two types of techniques: supervised learning, which trains a model on

Machine Learning on Spark - UC Berkeley AMP Campampcamp.berkeley.edu/.../Machine-Learning-on-Spark... · Machine Learning on Spark Shivaram Venkataraman ... Machine learning algorithms

CS7267 Machine Learning introduction to machine learning

Learning with large datasets Machine Learning Large scale machine learning

Machine Learning Chapter 11. 2 Machine Learning What is learning?

Machine Learning and Azure Machine Learning

Machine Learning using MapReduce - Boise State Universitycs.boisestate.edu/.../mapreduce-machine-learning-handout.pdf · 2016-10-27 · What is Machine Learning I Machine learning

Human and Machine Judgements for Russian Semantic Relatedness · Human and Machine Judgements for Russian Semantic Relatedness ... Natalia Konstantinova5,NataliaLoukachevitch3, and

Machine Learning for NLP - Ethics and Machine Learning

Machine Learning: Machine Learning:

machine Learning Learning

DAT340/DIT866 Applied Machine Learning: Machine learning ...richajo/dit866/lectures/l11/l11.pdfDAT340/DIT866 Applied Machine Learning: Machine learning and ethics Vilhelm Verendel

Machine Learning: Machine Learning: Introduction Introduction

An Introduction to Machine Learning - GitHub Pages · Introduction Machine learning The machine learning process What’s machine learning History Supervised learning Non-supervised

Predicting Housing Prices With Azure Machine Learning · Azure Machine Learning. Expected Learning Outcomes Azure Machine Learning @tetranoodle Build Regression Machine Learning Model

Bayesian Methods for Machine Learning - Machine Learning (Theory)

Russian revolution (Bilingual learning)

Machine Learning Probabilistic Machine Learning · Machine Learning Probabilistic Machine Learning learning as inference, Bayesian Kernel Ridge regression = Gaussian Processes, Bayesian

learning with social software (russian)

Machine Learning Introduction Machine learningbejar/ia/transpas/teoria.mti/6-AP-aprendizaj… · Machine Learning Introduction Types of machine learning Inductive Learning: Models

Introduction To Azure Machine Learning...Expected Learning Outcomes Azure Machine Learning @tetranoodle Supervised Machine Learning Machine Learning Algorithms in Azure ML Workflow

11 Machine Learning Important Issues in Machine Learning