machine learning в Модерации - Андрей Рыбинцев (avito)
TRANSCRIPT
![Page 1: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/1.jpg)
MLвМодерацииПрименениемашинногообученияианализаданных
впроцессахмодерации АвитоАндрейРыбинцев
![Page 2: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/2.jpg)
Модерация вАвито
Объявление
Неправильнаякатегория
Запрещённыйтовар
...
Правила
![Page 3: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/3.jpg)
Автоматизация
• Экспертныеправила• \b(куплю|приобрету|прим(?:у|ет) вдар)\b =>Объявлениеопокупке
• Новыеавтомобили:Цена<150000=>Нереалистичнаяцена
• Машинноеобучение
![Page 4: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/4.jpg)
Пример:запрещённыйтовар
Пистолет
Запрещённыйтовар(оружие)
![Page 5: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/5.jpg)
Визуальныеклассы
Классификатор(нейронныесети)
Базаданныхразмеченныхизображений
Изображение
Визуальныйкласс
1500+классов
![Page 6: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/6.jpg)
Визуальныеклассы
Блокпитания
Клатч
Нож
ВАЗ2107
![Page 7: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/7.jpg)
Пример:несоответствующеефото
Фотонеявляетсясобственным
Нетлица Нетлица Нетлица
![Page 8: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/8.jpg)
Пример:неправильнаякатегория
Текстобъявления
Pymorphy2TFIDF
SGDClassifier
cat1:prob1cat2:prob2cat3:prob3
…
cat1:prob1cat2:prob2cat3:prob3
…
XGBoostПравильная/неправильнаякатегория
![Page 9: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/9.jpg)
Пример:некорректноеописание
"кхоъ" N-граммы Классификаторпочастотам "плохоеслово"
кх,хо,хъкхо,хоъ
![Page 10: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/10.jpg)
Пример:повторнаяподача
![Page 11: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/11.jpg)
Решениясконкурсов
![Page 12: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/12.jpg)
Инфраструктура
Детектордубликатов
5000+строккода500+воркеров
250+GB10k+hits/s ML
![Page 13: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/13.jpg)
Аналитика
Обоснованиепроблемы
Реализация
Оценка
Инфраструктура ML
![Page 14: Machine Learning в Модерации - Андрей Рыбинцев (Avito)](https://reader031.vdocuments.site/reader031/viewer/2022013109/58e4cba71a28abc24e8b640b/html5/thumbnails/14.jpg)
Метрикиикачество
• Автоматическийрежим• Нарушение=блокировка
• Важнонезаблокироватьлишнее
Precision->1.0
• Подсказкимодераторам• Нарушение=подсказка
• Важнонепропуститьничего
Recall->1.0