evaluacion de productos (1)

Grupo 2

Evaluación de Productos

Grupo 2

Agenda

• Introducción• Norma ISO/IEC 14598• Proceso para Evaluadores

Grupo 2

Evaluación de Productos• Importancia de evaluar productos

• Para la evaluación de calidad:– Modelo de calidad– Método de evaluación– Medición del software– Herramientas de soporte

Grupo 2

Norma ISO/IEC 14598• Conformada por:

– 1: Descripción General– 2: Planificación y gerenciamiento– 3: Proceso para Desarrolladores– 4: Proceso para Adquirientes– 5: Proceso para Evaluadores– 6: Documentación de Módulos de evaluación

Grupo 2

Norma ISO/IEC 14598-1• Descripción General

– Descripción de las partes que conforman la norma– Quienes la pueden usar

• Desarrolladores• Adquirientes

• Evaluadores

Grupo 2

Norma ISO/IEC 14598-2• Planificación y Gerenciamiento

– Determinar requerimientos para asegurar el éxito de la evaluación

– Función de soporte al proceso de evaluación:• Adquisición de estandares nacionales e internacionales• Desarrollo de estandares internos y herramientas que se

adecuan a los requerimientos de la organización

Grupo 2

Norma ISO/IEC 14598-3• Define Proceso de evaluación de producto para

Desarrolladores– Evaluación para Desarrollo y Mantenimiento

– Aplica a todas las fases del desarrollo

– Se realiza por miembros de la propia empresa

– Se evalúa productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-4• Define Proceso de evaluación de producto para

Adquirientes– Evaluación de productos ya desarrollados

– La evaluación resultante de este proceso se aplica para la toma de decisiones de la adquisición del producto.

Grupo 2

Norma ISO/IEC 14598-5• Define Proceso de evaluación de producto para

Evaluadores– Realizado por personal independiente

– Evaluación de productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-6• Guía para Documentación de Módulos de

evaluación– Modulo de evaluación: estandarización para

documentar nuevas métricas y guias de uso

– Se documentan las técnicas, métricas y métodos del proceso de evaluación

– Ej.;Definición de Templates

Grupo 2

Producto de software

Proceso deevaluación

Recursos yentorno

Efecto delproductosoftware

Apoyo a laevaluación

Proceso deevaluación

MétricasInternas

Métricasexternas

Métricas decalidad en

uso

14598-2

14598-6

14598-3

14598-4

14598-5

14598-1

9126-3 9126-2 9126-4

9126-1

ISO/IEC 14598 - ISO/IEC 9126

Grupo 2

Agenda

• Introducción• Norma ISO/IEC 14598

• Proceso para Evaluadores

Grupo 2

Proceso para evaluadores• Define un proceso de evaluación

– Actividades– Entregables

• Debería ser usado por:– Laboratorios evaluadores– Empresas desarrolladoras de software– Adquirientes de software– Usuarios de un producto– Entidades certificadoras

Grupo 2

Proceso para evaluadores (2)• Promueve las siguientes características:

– Repetible– Reproducible– Imparcial– Objetivo

Grupo 2

aEstablecimiento de los Requerimientos

Grupo 2

• Propósito– Definir los objetivos de la evaluación.

- Proyectar uso del producto de software y riesgos asociados.

- Puede ser interesante considerar diferentes puntos de vista (desarrollador, proveedor, encargado de mantenimiento, etc)

Establecimiento de los Requerimientos

Grupo 2

Caja AmpliadaEstablecimiento de los Requerimientos

Grupo 2

Entradas• Requerimientos del Solicitante

– Aspectos del producto a gran escala que el Solicitante quiere evaluar.

Grupo 2

Actividades a desarrollar

• Planteo de requerimientos del Solicitante.

• Definición del cubrimiento de la evaluación por parte del Solicitante.

• Orientación del Evaluador hacia el Solicitante en la definición de requerimientos.

• Acuerdo mutuo en la definición de requerimientos.

Grupo 2

Salidas• Requerimientos de la Evaluación

– Descripción general del dominio de la aplicación– Listado de requerimientos de calidad a evaluar (se

recomienda basarse en ISO/IEC 9126-1)– Ponderar reqs. de calidad en función del tipo de

aplicación a evaluar

Grupo 2

• Producto a Evaluar: Gmail• Evaluación de Interfaz en las sig. tareas

• Envio de mail• Uso de Chat• Armado de grupos• Redireccionamiento a otra casilla de correo

• Atributos de calidad• Efectividad• Productividad• Satisfaccion

Ejemplo: Reqs de la Evaluación

Grupo 2

Especificación de la Evaluación

Grupo 2

Especificación de la Evaluación

• Propósito– Especificar las mediciones a realizar acerca de los

atributos anteriormente seleccionados.– Brindar un nivel de detalle suficiente como para

asegurar que el proceso sea repetible y reproducible.

Grupo 2

Especificación de la Evaluación

Grupo 2

Entradas• Requerimientos de Evaluación (etapa anterior)

• Descripción del Producto (Solicitante)• Especificaciones Predefinidas (Evaluador)

– Conjunto de posibles mediciones a realizar sobre un cierto atributo de calidad

Grupo 2

Actividades a desarrollar

• Análisis de la descripción del producto– Determinación de los componentes a ser evaluados y

estudio de factibilidad.

• Especificación de las evaluaciones– Especificación de que atributos de calidad van a ser

evaluados por componente.– Especificación de las métricas a ser utilizadas en

ciertos componentes (Evalúo midiendo).– Determinación de requerimientos a ser testéados.

(Evalúo testeando).

Grupo 2

Actividades a desarrollar (2)

• Verificación de la Especificación de la Evaluación– Verificar el cubrimiento de los Reqs. de evaluación con

respecto a la Especificación de la Evaluación.

Grupo 2

Salidas• Especificación de la Evaluación

– Resultado de las actividades anteriormente mencionadas.

Grupo 2

• Evaluaremos los siguientes atributos de calidad:– Efectividad– Productividad– Satisfacción

Ejemplo: Esp. de la Evaluación

Grupo 2

Ejemplo: Esp. de la Evaluación

• Efectividad– % funciones relevantes usadas– % de usuarios capaces de completar cada tarea– % de usuarios capaces de completar una tarea sin

capacitación

Grupo 2

Ejemplo: Esp. de la Evaluación

• Productividad– Tiempo insumido en primer intento – Tiempo insumido normalmente– Cantidad de clicks necesarios

Grupo 2

Ejemplo: Esp. de la Evaluación

• Satisfacción– Relación entre opiniones positivas y negativas de los

usuarios– % de usuarios que recomendarían el producto– % de usuarios que lo califican de fácil uso en

comparación con otro competidor

Grupo 2

Diseño de la Evaluación

Grupo 2

Diseño de la Evaluación

• Propósito– Documentar los métodos y procedimientos a ser

usados en la evaluación– Identificar los recursos a ser utilizados en la evaluación

Grupo 2

Diseño de la Evaluación

Grupo 2

Entradas• Especificación de la Evaluación (etapa anterior)

• Descripción del Producto (Solicitante)• Métodos de Evaluación (Evaluador)

– Conjunto de técnicas y procedimientos conocidos por el Evaluador.

Grupo 2

Actividades a desarrollar• Documentación de los métodos y

procedimientos en un plan inicial.– Para cada evaluación a realizar, se deberá describir en

forma detallada el método a ser usado y como este va a ser instanciádo.

• Agendar las actividades a realizar de acuerdo a los recursos disponibles.

• Optimización del plan inicial.

Grupo 2

Salidas• Plan de la Evaluación

– Métodos a seguir– Agenda.

Grupo 2

Ejemplo: Diseño de la Evaluación

• Plan de Evaluación– Encuestas

• % de usuarios que recomendarían el producto.

– Cronómetro• Tiempo insumido en primer intento.

– Contar clicks• Cantidad de clicks necesarios.

Grupo 2

Ejecución de la Evaluación

Grupo 2

Ejecución de la Evaluación

• Propósito– Llevar a cabo el plan definido en el diseño registrando

los resultados obtenidos y las acciones tomadas.

Grupo 2

Ejecución de la Evaluación

Grupo 2

Entradas• Plan de la Evaluación (etapa anterior)

• Componentes del Producto (Solicitante)• Herramientas de Evaluación (Evaluador)

Grupo 2

Actividades a desarrollar• Gestión de los componentes del producto

– Llevar registro de los componentes de producto recibidos.

• Identificador único de componente o documento• Nombre del documento o componente• Estado del documento (en buen estado, dañado, etc)

• Versión• Fecha de recibido

– En caso de ser necesario se podra usar Gestión de la Configuración

Grupo 2

Actividades a desarrollar (2)• Gestión de resultados obtenidos

– Manejo ordenado– Prevención de modificaciones accidentales– Manejo de la confidencialidad– Tener en cuenta el lugar de desarrollo de la evaluación

Grupo 2

Actividades a desarrollar (3)• Gestión del uso de herramientas

– Inclusión en el Informe borrador de la evaluación información acerca de las herramientas utilizadas

– Inclusión en el registro de acciones de información detallada sobre el uso de herramientas

– Verificación del correcto funcionamiento de las herramientas

– Capacitación (en caso de ser necesario) en el uso de las herramientas.

Grupo 2

Actividades a desarrollar (4)• Revisión de los datos obtenidos y generación de

reportes– Todos los resultados deben ser analizados

– Participación de integrantes no involucrados directamente en la medición de los resultados

– Resultados de la revisión se deben incluir en el Informe Borrador de la Evaluación

Grupo 2

Salidas• Plan de la Evaluación

– Informe Borrador de la Evaluación– Registros de Acciones

Grupo 2

Conclusión de la Evaluación

Grupo 2

Conclusión de la Evaluación

• Propósito– Revisión conjunta (Solicitante, Evaluador) del Informe

Borrador de la Evaluación– Eliminación de los datos no relevantes de la

evaluación

Grupo 2

Conclusión de la Evaluación

Grupo 2

Entradas• Requerimientos de la Evaluación (etapas

anteriores)

• Especificación de la Evaluación(etapas anteriores)

• Informe Borrador de la Evaluación(etapa anterior)

• Componentes del Producto (Solicitante)

Grupo 2

Actividades a desarrollar• Revisión conjunta

– Puesta en común de los resultados documentados– Comentarios del solicitante– Generación del Informe Final de la Evaluación, la cual

incluye la integración de los documentos de entrada

• Cierre de la evaluación– Destino de los datos, documentos, componentes,

herramientas, hw, etc.

Grupo 2

Salidas del Proceso• Informe Final de la Evaluación

– Resultado de las actividades anteriormente mencionadas. – Entregado al Solicitante y almacenado por parte del

Evaluador

Grupo 2

Salidas del Proceso• Registros de la Evaluación

– Almacenado solo por el Evaluador– Es lo permite que el proceso sea repetible y

reproducible.

Grupo 2

Preguntas