definición de grupos: clasificación -...
TRANSCRIPT
![Page 1: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/1.jpg)
Definición de grupos:
clasificación
Capítulos 10 y 11 de
McCune y Grace 2002
![Page 2: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/2.jpg)
Clasificar
• Proceso natural humano para interpretar el mundo
• Pero estamos acostumbrados a sólo observar pocas dimensiones
• Más complejo cuando intentamos clasificar objetos de muchas dimensiones como los datos de composición
![Page 3: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/3.jpg)
![Page 4: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/4.jpg)
Opciones generales
• Clasificación jerárquica o no-jerárquica– Jerárquica: grupos se componen de otros grupos– No-jerárquica: los grupos no tienen relacion entre
ellos
• Clasificación politética o monotética– Politética: usa > una variable para definir grupos– Monotética: usa una variable
• Clasificación aglomerativa o divisiva– Aglomerativa: primer grupo formado por los 2 objetos
mas parecidos– Divisiva: primer grupo es el conjunto de todos los
objetos
![Page 5: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/5.jpg)
Clasificación jerárquica
aglomerativa
• Pasos:– Calcular la matriz de distancias (o similaridades)
– Unir 2 elementos de acuerdo a algún criterio de distancia mínima
– Combinar los atributos de las entidades en ambos grupos
– Desactivar los elementos del primer grupo y evaluar ese grupo con los demas elementos
– Formar los próximos 2 grupos, etc.
• Los resultados se pueden presentar en un dendrograma
![Page 6: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/6.jpg)
Ejemplo
Método de enlace sencillo (o de vecino más cercano)
![Page 7: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/7.jpg)
Matrizde
similaridades
![Page 8: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/8.jpg)
Subgráfica conectada
![Page 9: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/9.jpg)
Dendrograma
![Page 10: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/10.jpg)
Dendrogramas
![Page 11: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/11.jpg)
Dendrogramas
• La escala en el dendrograma se puedeexpresar por:
– Similaridad según la medida utilizada
– Función objetiva:
• % de información restante:
![Page 12: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/12.jpg)
¿Dónde podar el dendrograma?
• Los criterios dependen de los objetivos
– Homogeneidad dentro de grupos
– Número de grupos vs número de elementos
• Pocos grupos pueden ser muy heterogéneos
• Muchos grupos derrotan el propósito de clasificar
![Page 13: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/13.jpg)
Tres métodos de enlace
recomendados para datos de
comunidades
UPGMA, Ward y Beta flexible
![Page 14: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/14.jpg)
UPGMA: “Unweighted Pair-Group
Mathematical Average”
![Page 15: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/15.jpg)
![Page 16: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/16.jpg)
UPGMA
![Page 17: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/17.jpg)
Enlace sencillo vs. UPGMA
![Page 18: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/18.jpg)
Método de Ward
![Page 19: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/19.jpg)
![Page 20: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/20.jpg)
Método de Ward
![Page 21: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/21.jpg)
Método de Beta flexible
![Page 22: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/22.jpg)
![Page 23: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/23.jpg)
¿UPGMA, Ward o Beta flexible?• UPGMA:
– Bastante conservador de espacio
– Pero tiende al encadenamiento
• Ward:
– Conservador de espacio
– Pero incompatible con distancias por proporción
• Beta flexible:
– Encadenamiento es alto cuando beta se acerca a +1
– Contrae el espacio cuando beta se acerca a -1
– Resultados más aceptables cuando beta ~ -0.25
![Page 24: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/24.jpg)
Ventajas y desventajas de
clasificación jerárquica aglomerativa
• El resultado en multiniveles puede sugerir relaciones entre grupos
• Puede haber agrupaciones incorrectas porque las fusiones subsiguientes dependerán de las anteriores.
• Para datos bien heterogéneos puede ser conveniente subdividir en grupos más manejables y luego analizar con ordenaciones.
![Page 25: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/25.jpg)
Métodos no jerárquicos
• Este tipo de clasificación asigna lasunidades en un número de grupos queuno decida inicialmente.
• Bien útil cuando el conjunto de datos esbien grande.
![Page 26: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/26.jpg)
Evaluación de la calidad de la
clasificación
• Grado de encadenamiento
• Interpretabilidad
• Comparación con algún atributoindependiente
![Page 27: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/27.jpg)
Grado de encadenamiento
![Page 28: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/28.jpg)
Interpretabilidad
• ¿Hace sentido el dendrograma?
• ¿Son los grupos el resultado de algún proceso biológico interesante?
![Page 29: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/29.jpg)
Comparar con atributo
independiente
• ¿Son los miembros de un grupo similaressegún los valores de alguna variable (no incluida en los datos analizados) perodistintos en esa variable a los miembrosde otros grupos?
![Page 30: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/30.jpg)
¿Qué informar?
• Medida de distancia utilizada
• Método de enlazar
• Si se buscaron elementos clasificados
erróneamente, cómo se hizo y cómo se
corrigieron.
• Dendrograma y cuál medida se utilizó en la
escala
• Criterios para podar el dendrograma (mencionar
la cantidad de información retenida a ese nivel).
![Page 31: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala](https://reader031.vdocuments.site/reader031/viewer/2022022018/5b86a93a7f8b9a2e3f8d5c86/html5/thumbnails/31.jpg)
Ejercicio
• Generar una clasificación manualmentepor enlace sencillo con los datos de Oak_t_6x5r
• Comparar con UPGMA, Ward y Beta flexible