sistemas de recomendación: tipos y evaluación
Post on 13-Jun-2015
1.046 Views
Preview:
TRANSCRIPT
Sistemas de Recomendación:
tipos y evaluación
Blanca A. Vargas GoveaGrupo de Servicios de Recomendación
Dirigido por: Dr. Juan Gabriel González SernaCENIDET 29/Sep/2010
1.Sistemas de recomendación- Tipos: filtrado de contenido, colaborativo e híbrido- Problemas
2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
Encontrar ítems/servicios del agrado del usuario
Objetivo
Tipos
Filtrado basado en contenido
Filtrado colaborativo
Filtrado híbrido
Filtrado basado en contenido
Correspondencia ítem - usuario
Descripción - ítem
Descripción - perfil
Vectores de atributos
Implícita
Explícita
Filtrado basado en contenido
Aprendizaje automático
Entrada: descripción - ítem
Salida: rating del usuario sobre el ítem
Árboles, reglas
Filtrado basado en contenido: ventajas
El usuario puede conocer el efecto de sus preferencias
Puede generar recomendaciones sin necesidad de ratings
Filtrado basado en contenido: desventajas
Descripciones ricas, completas
Recomiendan ítems muy parecidos
Contenido en te minos de ŕatributos
Filtrado colaborativo
Favorece los juicios humanos
Opiniones expresadas por una comunidad
Basado en el modelo
Basado en la memoria
Filtrado colaborativo: basado en memoria
Supone que usuarios que han compartido intereses en el pasado lo seguirán haciendo en el futuro
Es el que domina
Filtrado Colaborativo: basado en memoria
1. Formación de vecindario
2. Agregación de opinión
3. Generación de recomendaciones
Métricas de similaridad
Correlación de Pearson
Manhattan
Jaccard
Euclidiana
Se calculan las predicciones de rating (k-vecinos más cercanos)
Filtrado colaborativo: generación de recomendaciones
Retroalimentación
Los perfiles crecen
Se repite el ciclo
Filtrado colaborativo: basado en el modelo
Técnicas de aprendizaje automático
Clasificación: a qué rating pertenecenlos ítems no calificados
Regresión: relación de variables (usuario-otros perfiles)
clase 2
clase 1
clase 3
clase 4
Filtrado colaborativo: basado en el modelo
Inferir reglas o patrones
Agrupar usuarios en clusters
Ejemplo:
Los vecinos son los usuarios del mismo cluster
Filtrado colaborativo: basado en el modelo
Predicción eficiente
Basados en memoria: igual de eficientes, ¿más simples?
Se entrena un modelo por usuario
Noción de comunidad
Interpretación
Filtrado híbrido
Filtrado basado en memoria y modelo (e.g.,clusters+vecinos cercanos)
Filtrado colaborativo y de contenido (e.g., correr independientemente y combinar con esquema de votación)
Problemas generales
Datos faltantes
Cold Start
Espera de nuevas recomendaciones
Usuarios maliciosos
1. Sistemas de recomendación- Tipos: filtrado de contenido, colaborativo e híbrido- Problemas
2. Evaluación - Dificultades - Importancia de los datos - Diversos enfoques
Evaluación
Gran cantidad de algoritmos
Todos dicen ser el mejor
No hay una metodología estándar para determinar qué hace a un algoritmo mejor que otro
Evaluación: dificultades
Algoritmos diseñados para conjuntos de datosespecíficos
Distintos objetivos
Cuestionamiento en decidir qué métricas usar
Evaluación: tareas del sistema (las más evaluadas)
Depende de los objetivos y tareas del sistema
Predicción de preferencias
Desplegar artículos (e.g., lista rankeada)
Evaluación: tareas del sistema (menos evaluadas)
Todos los ítems buscados (e.g., documentos legales)
Sólo navegar, sin comprar
Recomendador confiable
Mejora del perfil
Deseo de expresarse
Ayudar a otros
Evaluación: ¿qué se evalúa?
Objetivo del sistema Objetivo del usuario
Pueden ser muy diferentes
Evaluación: los datos
¿Offline?
¿Simulados?
¿Online?
Evaluación: los datos
Propiedades de los datos para modelar mejor la tarea
Atributos de dominio
Atributos inherentes
Atributos de muestreo
Evaluación: los datos, atributos de dominio
Naturaleza del contenido a recomendar/contexto
Tareas soportadas por el sistema
Evaluación: los datos, atributos de dominio
Novedad y calidad
Costo/Beneficio
Granularidad de la preferencia
Evaluación: los datos, atributos inherentes
Ratings implícitos, explícitos o ambos
Escala del rating
Evaluación: los datos, atributos inherentes
Dimensiones del rating
Presencia/ausencia de registro de tiempo
Evaluación: los datos, atributos inherentes
Registro de las recomendaciones
Sesgo de la colección de datos
Disponibilidad de información demográfica del usuario
Evaluación: los datos, atributos de muestreo
Densidad de los ratings de ítems
Densidad de los ratings de usuarios que generan recomendaciones
Ítems: 999
Calif: 3
Ítems: 1122Calif:3127
Evaluación: los datos, atributos de muestreo
Tamaño y distribución: ítems > usuarios, usuario > ítems
Escasez de datos
Evaluación:métricas de precisión
Mide qué tan cerca el sistema puede predecir el rating para un ítem en comparación con el rating real
¿Qué rating le dará un usuario a un ítem?
¿Seleccionará el usuario un ítem?
¿Qué orden de utilidad tendrán los ítems?
Evaluación: categorías de métricas de precisión
1. Precisión predictiva
2. Clasificación
3. Precisión y recuerdo
Evaluación: precisión predictiva
Error Absoluto Medio (MAE)
Raíz cuadrada del error cuadrático medio (RMSE)
Miden qué tan cerca están las predicciones de los ratings del sistema de recomendación a los del usuario real.
No es muy útil cuando la granularidad de las preferencias es pequeña.
La diferencia radica en el grado en el cual los errores son penalizados. RMSE penaliza errores grandes.
Evaluación: clasificación
Miden la frecuencia con la que el sistema toma decisiones correctas o incorrectas sobre si un ítem es bueno.
Son apropiadas para tareas como encontrar buenos ítems donde los usuarios tienen preferencias binarias.
Evaluación: precisión y recuerdo
Precisión:Capacidad del sistema de mostrar ítems relevantes. Representa la probabilidad de que un ítem seleccionado sea relevante.
Recuerdo:Cobertura de ítems útiles que el sistema puede obtener. Representa la probabilidad de que un ítem relevante sea seleccionado.
Relevante Norelevante
Seleccionado a b
No seleccionado
c d
P=aa+b
R=aa+c
Miden la capacidad del sistema de obtener los ítems relevantes disponibles.
Evaluación: curvas ROC
Receiver Operating Characteristic
Mide la capacidad del sistema de distinguir entre ítems relevantes y no relevantes.
Precisión/Recuerdo enfatizan la proporción de recomendaciones exitosas. Ideal para: muchos ítems interesantes y se necesitan pocas buenas recomendaciones.
ROC enfatiza la proporción de ítems no exitosos que fueron recomendados. Ideal para: cada recomendación tiene un costo y equivocarse es caro.
Evaluación:métricas de precisión
Ciertas métricas son más adecuadas para determinadas tareas y tipos de datos
Evaluación:más allá de la precisión
Cobertura
¿Qué porcentaje de los ítems son los que recomienda el sistema?
¿Sobre qué porcentaje de ítems el sistema puede generar predicciones?
Evaluación:más allá de la precisión
Tasa de aprendizaje
Novedad y Suerte
Similar a un esquema por refuerzo
Confianza: ¿qué tan seguro está el sistema de que
su recomendación es exacta? Mostrarle al usuario.
Evaluación:más allá de la precisión
Evaluación del usuario
Evaluación explícita/implícita
Estudios de laboratorio/campo
Definición de lo que es una salida exitosa
Corto/largo alcance
Evaluación:más allá de la precisión
Satisfacción del usuario
¿A qué métricas son más sensitivos los usuarios?
¿Cómo afectan los diversos aspectos (cobertura, novedad, etc.) a la satisfacción?
Gracias.¿Preguntas?
blanca.vg@gmail.com
Referencias
Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). StateoftheArt Recommender Systems, chapter 1, pages 1–22. IGI Global. Book: Collaborative and Social Information Retrieval and Access: Techniques for Improved User Modeling.
de Wit, J. J. (2008). Evaluating recommender systems – an evaluation framework to predict user satisfaction for recommender systems in an electronic programme guide context. Master’s thesis, University of Twente.
Gunawardana, A. and Shani, G. (2009). A survey of accuracy evaluation metrics of recommendation tasks. Journal of Machine Learning Research, 10:2935–2962.
Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T.(2004). Evaluating collaborative filtering recommender systems. ACM Trans. Inf. Syst.,22(1):5–53.
Lathia, N. (2009). Computing Recommendations with Collaborative Filtering,chapter 2, pages 23–38. IGI Global. Book: Collaborative and Social Information Retrieval and Access: Techniques for Improved User Modeling.
Referencias imágenes
http://www.flickr.com/photos/ario/54106663/sizes/m/http://www.flickr.com/photos/44760652@N05/4659522355/http://www.flickr.com/photos/51813566@N08/4760804346/http://www.flickr.com/photos/7750017@N02/4267291403/http://www.flickr.com/photos/94698336@N00/292229414/http://www.flickr.com/photos/15086630@N07/4152920543/http://www.flickr.com/photos/splorp/59240233/sizes/l/http://www.flickr.com/photos/44921934@N00/302001867/http://www.flickr.com/photos/79477324@N00/230625187/http://www.flickr.com/photos/26517433@N00/2007012694/http://www.flickr.com/photos/38917708@N00/455000502/http://www.flickr.com/photos/49366539@N00/572481795/http://www.flickr.com/photos/49462908@N00/4411505290/http://www.flickr.com/photos/80639080@N00/1286122845/http://www.flickr.com/photos/32263295@N00/3938238831/http://www.flickr.com/photos/40780016@N02/3914729343/http://www.flickr.com/photos/49408564@N00/91970575/
Referencias imágenes
http://www.flickr.com/photos/44124426342@N01/151822725/http://www.flickr.com/photos/35034364750@N01/282496846/http://www.flickr.com/photos/10687935@N04/3887516326/http://www.flickr.com/photos/32957828@N00/3737437574/http://www.flickr.com/photos/24431382@N03/4671584999/http://www.flickr.com/photos/35855601@N06/3313477849/http://www.flickr.com/photos/71239936@N00/397653832/http://www.flickr.com/photos/23812016@N05/4998557125/http://www.flickr.com/photos/39332788@N02/4060003777/http://www.flickr.com/photos/41987260@N00/2234941799/http://www.flickr.com/photos/65793011@N00/84894948/http://www.flickr.com/photos/32109282@N00/4504668254/http://www.flickr.com/photos/32109282@N00/4633615801/http://www.flickr.com/photos/71438311@N00/2764675971/http://www.flickr.com/photos/70403129@N00/2492474473/http://www.flickr.com/photos/15087210@N00/997085301/http://www.flickr.com/photos/60364452@N00/264891907/
top related