support vector machine - svm lucas araújo lopes - [email protected]@ufpi.edu.br ufpi...
TRANSCRIPT
![Page 1: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/1.jpg)
Support Vector Machine - SVMLucas Araújo Lopes - [email protected] – DIE – PPgCC – Mestrado em Ciência da Computação
23/0
8/12
1
![Page 2: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/2.jpg)
Visão Geral• Aprendizado supervisionado• Dado um conjunto de dados• (xi, yi) | xi: exemplo; yi: rótulo• deve-se produzir um classificador capaz de predizer o rótulo de
novos dados• Encontrar um hiperplano que separe as classes• Reconhecer padrões
23/0
8/12
2
![Page 3: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/3.jpg)
Características• São baseadas em um modelo teórico – Teoria do Aprendizado
Estatístico (TEA)• Garantia teórica sobre sua performance• Não é afetada por mínimos locais – Lagrange• Não sofre da maldição da dimensionalidade• Solução ótima (maximizando as margens)
23/0
8/12
3
![Page 4: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/4.jpg)
Classificação de Padrões Linearmente Separáveis• Determinar uma função que atribui um
rótulo (+1) se e (-1) caso contrário
23/0
8/12
4
![Page 5: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/5.jpg)
Hiperplanos
23/0
8/12
5
![Page 6: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/6.jpg)
Margem e Vetores de Suporte
23/0
8/12
6
![Page 7: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/7.jpg)
Hiperplano Ótimo• Hiperplano ótimo
• Margens:
ou em outras palavras:
23/0
8/12
7
![Page 8: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/8.jpg)
Distâncias
23/0
8/12
8
![Page 9: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/9.jpg)
Margem• Margem (ρ)
• O hiperplano ótimo é dado pela maximização da margem, isto é, pela minimização da norma
23/0
8/12
9
![Page 10: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/10.jpg)
Multiplicadores de Lagrange
23/0
8/12
10
![Page 11: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/11.jpg)
Classificação de Padrões Não-Linearmente Separáveis
23/0
8/12
11
![Page 12: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/12.jpg)
Classificação de Padrões Não-Linearmente Separáveis• Mapear o conjunto de dados S = em um
conjunto de dados S’, mapeados por uma função Φ, representado por .
23/0
8/12
12
![Page 13: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/13.jpg)
Problema Não-Linear
23/0
8/12
13
![Page 14: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/14.jpg)
Função Kernel• Função Kernel
23/0
8/12
14
![Page 15: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/15.jpg)
Classificação Multiclasses – DAGSVM
23/0
8/12
15
![Page 16: Support Vector Machine - SVM Lucas Araújo Lopes - lucaslopes@ufpi.edu.brlucaslopes@ufpi.edu.br UFPI – DIE – PPgCC – Mestrado em Ciência da Computação 23/08/12](https://reader036.vdocuments.site/reader036/viewer/2022062418/552fc15f497959413d8e6e44/html5/thumbnails/16.jpg)
Referências• LORENA, A. C; CARVALHO, A. C. P. L. F. de. Uma Introdução às
Support Vector Machines.• WESTON, J. Support Vector Machine (and Statistical Learning
Theory).• TAHIM, A. P. N. Máquinas de Vetores de Suporte (SVM).• FLETCHER, T. Support Vector Machines Explained.• GONÇALVES, A. R. Máquina de Vetores de Suporte.• BURGES, C. J. C. A Tutorial on Support Vector Machines for
Pattern Recognition.
23/0
8/12
16