capítulo 07 interpretación de resultados

Traducción de Material Capacitación Simio LLC. Se traduce solamente las explicaciones, manteniendo los comandos y nombre de las variables en inglés. www.evirtual.cl - Capacitación

Ver los resultados.

Errores de simulación.

Análisis estadístico de los resultados.

Cálculo de los intervalos de confianza

Sistemas terminales.

Sistemas Estado estacionario.

Craer y correr experimentos.

Interactivo (insights, verificación/validación)

◦ Animation

◦ Trace

◦ Watch

◦ Dashboard

Experiment (predicción de KPI’s, comparación de alternativas)

◦ Responses

◦ Pivot Table

◦ Reports

2D Animation (Top down view)

3D ◦ “H” para mostrar ayuda de navegación

◦ “R” para iniciar rotación, “Esc” para detener

◦ “w” para recorrer el lugar

View Ribbon ◦ Named Views

◦ Camera Placement

Animation too slow? ◦ Ajusta factor de velocidad para aumentar el valor.

◦ Asegure que Trace está turned off

Trace entrega un listado completo de todas las acciones que ocurrieron mientras el trace estaba activado.

Column size se puede ajustar para sacar mejor provecho del espacio disponible.

Filtering permite focalizar la atención en un subconjunto.

Trace se sopia automáticamente a un archivo CSV. ◦ Se encuentra en la misma ubicación que el archivo projects

(SPF)

◦ Puede ser importado en Excel para sacar provecho del ordenamiento y filtración.

Trace trabaja bien en combinación con setting Breaks y usando Step para correr incrementalmente a través del modelo.

Clic derecho en cualquier objeto para agregar la Watch window ◦ Static objects

◦ Dynamic objects (mientras están en el sistema)

Expandir el árbol de cada item en la watch window para mostrar los valores vigentes de ◦ States

◦ Functions

◦ Elements

◦ Processes

◦ Tokens

Trabaja bien con setting Breaks

Interactive (insights, verification/validation)

◦ Animation

◦ Trace

◦ Watch

◦ Dashboard

Experiment (predicting KPI’s, comparing alternatives)

◦ Responses

◦ Pivot Table

◦ Reports

Use Responses para resaltar Key Performance Indicators (KPIs).

Responses pueden ser cualquier expresión.

Datos completos está disponible en Results window.

Estadísdtica de datos fuente pueden ser exportados por la Results window.

Plots Response de valores para cada escenario seleccionado.

Muestra una Response a la vez.

Puede encender o apagar las distintas capas de datos.

Datos se muestran usando Simio Measure Of Risk & Error (SMORE) Plots

Diferentes aspectos del SMORE Plot se muestran al variar niveles de datos.

Mediciones de error nos indican cuán bien son las estimaciones de las mediciones de desempeño. Se puede reducir el error al hacer más réplicas.

Mediciones del riesgo nos dice cuánto riesgo se tiene con los resultados considerando la variabilildad del desempeño del sistema. Se puede reducir el riesgo solamente cambiando el sistema.

1 Replication

Single Response Value

2-5 Replications

Maximum, Minimum, and Mean

6+ Replications

Upper + Lower Percentiles, Median, Mean Confidence Interval

Enough Reps for Statistically Valid Results

Confidence Intervals for Upper + Lower Percentiles

Se peude ver la dispersión de los datos fuente vertical u horzontalmente.

Organiza, resume, muestra, y explora los datos.

Grouping: Arrastra las columnas a diferentes posiciones para que los datos se agrupen diferentemente.

Sorting: Click en triángulo en la cabecera de la columna para alternar el ordenamiento de la columna entre ascendente y descendente.

Filtering: Click en el funnel en la cabecera de la columna para un menu para hablitar/deshabilitar el mostrar cualquier campo en esa columna.

Interactive Detail – Para una réplica ◦ Use experimentos para obtener variabilidad de

datos.

Scenario Detail – Para cada Scenario y cada estadístico, todos los objetos se presesntan juntos para una fácil comparación. ◦ Look at throughput on Server1 vs. Server2

Scenario Comparison – Para cada estadística, los resultados de todos los escenarios se presentan juntos para cada comparación.

Look at Server1 throughput on Scenario1 vs Scenario2

Dado que todos los modelos tienen entradas aleatorias, se deben interpretar los resultados usando estadística.

Cada réplica de un modelo produce un resultado diferente que es un estimado del verdadero pero de comportamiento desconocido.

Si se realiza solamente una réplica para un largo arbitrario no hay forma de conocer cuán cerca está el valore estimado del real.

Error del modelo se manea con la verificación/validación

Estimación error se maneja con análisis estadístico.

Real System

Model

X = (X1 + … Xn) / n

Θ

μ

Error Modelo (Representación)

Estimación error

Algunos errores del modelo se pueden cancelar. ◦ Example: Fallas pueden impactar en ambos sistemas de igual forma. ◦ Si el propósito es comparar sistemas, se necsitan menos detalles en el

modelo. ◦ Estimación de errorse mantiene crítico.

Real System A

Model A

X = (XA1 – XB1 + … XAn - XBn) / n

Θ

μ

Error Modelo

Estimación error

Real System B

Model B

Se usan observaciones de las réplicas del modelo para estimar el valor verdadero, pero desconocido, del desempeño del modelo.

A mayor cantidad de réplicas, mejor es el estimado.

Se usa métodos clásicos de estadística para generar intervalos de confianza en los estimados.

Se requiere las suposiciones IID ◦ Independent observations

◦ Identically distributed

Observations dentro de un modelo están típicamente correlacionadas (not IID).

Observations que son registradas de las réplicas con las mismas condiciones iniciales son IID.

Se puede expresar un intervalo de confianza para un estadística guardada como Interval = SampleMean ± HalfWidth

HalfWidth = tValue * StdDev / Sqrt(NumberReplications)

Este intervalo “cubre” el valor verdadero pero desconocido con media de acuerdo al nivel de confianza especificado (e.g. 95%).

Para reducir el intervalo en la mitad, se necesitan 4 veces la cantidad de réplicas.

Un sistema terminal tiene un inicio muy bien definido al igual que las condiciones finales. ◦ Tienda abre vacía a las 9am, cierra a las 7pm.

Un steady-state system no tiene condiciones de término y las condiciones iniciales no son relevantes después de un periodo largo de tiempo. ◦ Departamento de emergencia de un hospital.

Sistemas que no tienen “Desocupado y vacío” cuando cierran son típicamente steady state systems.

Algunos sistemas muestran ambos tipos de comportamiento ◦ Call Center con llamadas por devolver del día

anterior.

Use las condiciones naturales de inicio y de fin del modelo. Haga N (>= 5) réplicas del modelo, uy vea los resultados. Si el half width (HW) basado en las N réplicas paraun KPI

importante es mayor mayor que el deseado half width (DHW), calcule la cantidad de réplicas requeridas (NR) usando la siguiente fórmula: NR = N * (HW/DHW)2

Aumente N a NR en la tabla de experimentos y ejecute las réplicas adicionales.

Inicialice el sistema en un estado aproximado al estado estacionario (use corridas piloto para estimar).

Haga N (>=5) réplicas largas del modelo y trate los resultados como en en caso de término. O

Haga una corridalarga y use la capacidad de Simio de calcular automáticamente la half widths.

Use corridas piloto para estimar el tiempo por réplica.

Haga uso de las tardes/fin de semana para experimentos grandes.

Si se varían varias propiedades considere usar un experimento full factorial para capturar la interacción entre las propiedades

Visual Inspection ◦ Review Response Chart and pick the “best”

Simio Subset Selection Algorithm ◦ Breaks Scenarios down to two groups Possible Bests

and Rejects

Select Best Scenario Using KN Add-In

OptQuest for Simio Add-In

OptQuest se encarga de establecer los valores de las propiedades, iniciar las réplicas, y recuperarlos resultados.

El Add-In agrega parámetros a todos los Controls que permiten al usuario definir cómo OptQuest se mueve entre las variables de entrada.

El usuario puede usar restricciones para limitar los valores de entrada aún más y guiar el algoritmo a una solución óptima ◦ Por ejemplo, Input1 + Input2 + Input3 < 10

El experimento puede tener varias columnas Response. Pero una, y solamente una, de las Responses puede ser el Objective Function (Primary Response)

Una vez que los Controls, Constraints, y Objective Function han sido definidos, OptQuest creará inteligentemente Scenarios para cerrar en la solución óptima rápidamente y fácilmente (hace todo el trabajo!).

Descarta un conjunto de Escenarios posibles en uno definitivo como Mejor Escenario.

Compara Scenarios con igual cantidad de réplicas usando una Indifference Zone

Determina si algunos candidatos son definitivamente perores que el resto del grupo. Si es así, el Escenario no se Chequea.

Los canditatos que se mantienen realizan uns candidad de réplicas adicionales que está determinado por el algoritmo.

Luego deja de chequear cualquier escenario que no cupla con los requerimientos.

El proceso se repite hasta que haya solamente un escenario o que haya corrido el máximo contidad de réplicas.

Definir Controls, Responses, y Constraints Correr OptQuest para Simio o manualmente

definir losvalores de Control para crear un conjunto de Escenarios interesantes.

Correr una “cantidad mínima” de réplicas. Use Simio’s Subset Selection algorithm para

eliminar los escenarios no-óptimos. Uncheck los escenarios no óptimos. Corra Select Best Scenario usando KN Add-

In

Resultados pueden ser vistos de dos modos: ◦ Interactive para sistemas internos, verificación/validación. ◦ Experiments para predecir/comparar alternativas

Error = Model Error + Estimation Error

Classical statistics (intervalos de confianza) se usan para medir/controlar el error estimado. El error estimado se reduce proporcionalmente a la SQRT (cantidad de réplicas) .

Sistemas pueden ser término/estado estacionario .

Las réplicas entregan un método simple para correr y alargar los experimentos.

Predicción del desempeño de un sistema simple requiere mayor detalle de modelamiento que la comparación de sistemas.