CONFERENCIA 6 Esquema de Evaluación Externa de la
Calidad con Enfoque Proactivo
1ra. Parte
Agenda
Introducción
Aspectos críticos
Desempeño y calidad
Introducción
Herramienta para la mejora continua de la
calidad
Introducción
Introducción
Enfoque reactivo
Prevención
Gestión de riesgos
Agenda
Introducción
Aspectos críticos
Desempeño y calidad
Trazabilidad metrológica
Composición del grupo
Valor de referencia/ valor asignado
Dispersión
Incertidumbre del valor asignado
Nº del grupo
Dato de lectura
¿ ? Resultado del paciente Curva de
Calibración
Instrumento
Concentración (mg/dl)
Abs.
Dato de lectura
C1: C2: C3:
A1: A2: A3:
Curva de Calibración
Instrumento
Concentración (mg/dl)
Abs.
Dato de lectura
Curva de Calibración
Resultado del paciente
Am:
Cm:
Instrumento
Valor de referencia / Valor asignado
Media robusta grupo de
comparación
Dispersión
N: Cantidad de laboratorios participantes N > 30
Incertidumbre del valor asignado
Media robusta grupo de
comparación
Valor asignado
S* = σpt
Incertidumbre del valor asignado
Nº del grupo
Nº del grupo
Prevención
Estimación del sesgo
Especificaciones de desempeño analítico
Componente de incertidumbre asociado a posibles efectos
sistemáticos
Indicadores
Error de medida
Índice de desvío estándar
Error de medida
Valor medido
C
Valor de referencia
V
Error de medida EM= C - V
Error de medida
Error de medida
Error de medida
Error de medida
Índice de desvío estándar
u(x) > 0.3 * σpt u(x) < 0.3 * σpt
u(x) < 0.3 * σpt
u(x) > 0.3 * σpt
[Z] ≤ 2.0
2.0 < [Z] < 3.0
[Z] ≥ 3.0
Desempeño satisfactorio
Desempeño cuestionable
Desempeño inaceptable
0 1 2 3 -3 -2 -1
[Z] ≤ 2.0 Desempeño satisfactorio
0 1 2 3 -3 -2 -1
2.0 <[Z] < 3.0 Desempeño cuestionable
0 1 2 3 -3 -2 -1
[Z] ≥ 3.0 Desempeño inaceptable
Agenda
Introducción
Aspectos críticos
Desempeño y calidad
Desempeño y calidad
Desempeño y calidad
2da. Parte
Estandarización en el tratamiento de los resultados no conformes
Revisión de la última encuesta frente a las encuestas anteriores
Criterio de aceptación/rechazo externo (proveedor del esquema) y
considerando los requisitos de calidad
Evaluación de la consistencia del grupo de comparación
Foco en los resultados aceptados y rechazados
Enfoque proactivo
Evaluación de la consistencia del grupo de comparación
Valor asignado
Grupo de comparación
N° de participantes
Media robusta
Incertidumbre estándar del
valor asignado
DE robusto
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.25 4.5 0.51 0.06
Valor asignado:
Media robusta del grupo de comparación
Mejor estimación del valor verdadero
DE: Desvío estándar robusto del grupo de
comparación
Vinculado a la dispersión del grupo de comparación
N: Cantidad de
laboratorios participantes
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
Evaluación de la consistencia del grupo de comparación
N > 12 (media)
N > 15 (estadística robusta)
N > 18 (mediana)
N > 20 (mínimo)
N > 30 (óptimo)
DE confiable
N >30
ESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.25 4.5 0.51 0.06
Evaluación de la consistencia del grupo de comparación
Evaluación de la consistencia del grupo de comparación
u(x): Incertidumbre estándar del
valor asignado
N grupo: número de participantes
del grupo par
DE grupo: Desvío estándar robusto
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor informado Valor asignado Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
U = K.uc
U: Incertidumbre Expandida
K: Factor de Cobertura
uc: Incertidumbre Combinada
Evaluación de la consistencia del grupo de comparación
u(x) = 0.06
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor asignado Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
u(x) = 1.25 x 0.51
√115
Evaluación de la consistencia del grupo de comparación
9.2.1 Si la incertidumbre estándar u(xpt) del valor asignado es grande en comparación con el criterio de evaluación de
desempeño, existe el riesgo que algunos participantes reciban señales de acción y alerta debidas a inexactitud en la
determinación del valor asignado , no debido a alguna causa del participante. La incertidumbre estándar del valor
asignado debe ser determinada y reportada a los participantes (ver ISO/ IEC 17043:2010,4.4.5 y 4.8.2)
Si se cumple el criterio siguiente, la incertidumbre del valor asignado puede considerarse despreciable y no es necesario
incluirla en la interpretación de los resultados de la ronda del ensayo de aptitud.
uXpt = Incertidumbre estándar del valor asignado
pt = Desvío estándar del grupo de comparación
Evaluación de la consistencia del grupo de comparación
u(x) = 0.06 u(x) < 0.3 * DEgrupo
0.06 < 0.3 * 0.51
0.06 < 0.15
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
Incertidumbre despreciable
Valor asignado confiable
Grupo par consistente
Evaluación de la consistencia del grupo de comparación
u(x) = 0.16 u(x) < 0.3 * DEgrupo
0.16 ? 0.3 * 0.51
0.16 > 0.15
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 15 11.530 11.399 1.15 0.26 4.5 0.51 0.16
Incertidumbre SIGNIFICATIVA
Evaluación de desempeño Z score (IDE)
Permite evaluar el desempeño del laboratorio en una encuesta
Para sacar conclusiones debemos asegurar la consistencia del grupo par
( x – X grupo )
Zscore (IDE) =
DEgrupo
Z (IDE): Indice de desvío estándar
X: valor informado por el lab
Xgrupo: valor asignado (media
robusta del grupo par)
DE grupo: desvío estándar robusto
del grupo
Recordar !
Las estimaciones son
confiables a partir de
N > 30
Indicador vinculado al error sistemático
Evaluación de desempeño Z score (IDE)
Z score (IDE) Interpretación
[Z]+ ≤ 2.0 Satisfactorio
2.0 < [Z] < 3.0 Cuestionable
[Z]+ ≥ 3.0 Inaceptable
Interpretación de valores obtenidos
Óptimo IDE ≤ 1
Aceptable 1 < IDE ≤ 2
Error Sistemático IDE > 2
Evaluación de desempeño Z score (IDE)
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
Z score (IDE)= 0.26
( 11.53 – 11.399 )
Zscore (IDE) =
0.51
( x – X grupo )
Zscore (IDE) =
DEgrupo
Evaluación de desempeño Z score (IDE)
RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml
Ciclo de
evaluación
Muestra N grupo
par
Valor
informado
Valor
asignado
Error de
medida %
IDE
( Z score)
CV
grupo %
DE
grupo u(x)
64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06
Z score (IDE )= 0.26
Z score (IDE) Interpretación
Z+ ≤ 2.0 Satisfactorio
2.0 < [Z] < 3.0 Cuestionable
Z+ ≥ 3.0 Inaceptable
Revisión de la última encuesta frente a las encuestas anteriores
No existen resultados excluidos
según el criterio del proveedor
Desvío Negativo
Valor medido
C
Valor de referencia
V
Error de medida EM= C - V
ERROR DE MEDIDA
Error porcentual de medida
Valor Informado
Media del Grupo
Media del Grupo
= X 100
- 7.80
7.75
7.75
0.61 %
Indicador vinculado la
exactitud
Error de
medida
Especificación
de desempeño
analítico <
0.61 %
Fuente: CLIA
17 %
Seguimiento del %EM de encuesta a encuesta
%TEa *100= 11
2
Análisis de resultados de Esquemas de evaluación externa de la calidad:
Debe llevarse a cabo en los días subsiguientes a la recepción de cada reporte, con un tope máximo de 7 (siete) días para que los posibles problemas descubiertos se solucionen en el menor tiempo posible.
Situaciones que llevan a elevar una No Conformidad:
Cuando el Error% de una (1) encuesta supera al ETa%: Encuesta “Rechazada”.
Cuando en dos (2) encuestas consecutivas el Error% es igual o mayor al Error Sistemático Aceptable (SEa: 0,50 * TEa).
Cuando el Sesgo% de las encuestas evaluadas (calculado como la Media Cuadrática de Errores%) es igual o mayor al SEa.
Cuando se evidencie un aumento significativo en la imprecisión del método, es decir aumenta la variabilidad en los Errores%.
Cuando se evidencie una tendencia en siete (7) puntos consecutivos, es decir aumentan o disminuyen progresivamente
Estandarización del tratamiento de resultados no conformes
Se deben implementar procedimientos para detectar, comprender y corregir los
problemas identificados
Situaciones que llevan a toma de Acciones Preventivas (AP):
Cuando exista un Sesgo% que, aunque no supere el SEa, se considere
necesario investigar para evitar errores significativos posteriores.
Cuando existan dos reportes consecutivos con SDi ≥ 2, aunque no exista
rechazo en la encuesta, es necesario investigar para evitar errores
significativos posteriores.
Estandarización del tratamiento de resultados no conformes
Pre analítico
Problemas con las muestras
Muestras mal identificadas
Problemas en el transporte
Analítico
Problemas metodológicos
Problemas con el equipo
Problemas técnicos
Pos analítico Errores en los resultados
Errores de envío
Sin explicación
Entrenamiento del personal insuficiente, poco efectivo o
ausente
Comunicación de instrucciones inadecuada por parte
del supervisor
Falta de experiencia, o poco conciencia, en el manejo de
EQA/PT
Causas raíz asociadas al desempeño
Uso de equipos inapropiados o inadecuados
Diseño inadecuado del espacio de trabajo
Entrenamiento del personal insuficiente, poco efectivo o
ausente
Comunicación de instrucciones inadecuada por parte
del supervisor
Falta de experiencia, o poco conciencia, en el manejo de
EQA/PT
Análisis de Desvíos de Control de Calidad Externo
F-730
PG-SGC.02
Rev. 00
GESTIÓN DE LA CALIDAD
Entrada en vigencia: 08-02-17
SI NO
Error Administrativo
El resultado fue correctamente trascripto al informe
Se reportó el resultado en las unidades correctas
Se realizaron correctamente los cálculos
Se realizó la revisión final antes del envío de resultados
Se cargó correctamente la hoja o página donde se reportan los resultados
Se informó el resultado en fecha apropiada
El Laboratorio está registrado en el grupo de comparación correcto
Otros problemas asociados con actividades administrativas
Error Técnico
Error en el procesamiento del CCE
Se procesó la muestra de control correcta
El agua utilizada para la reconstitución del material estaba en óptimas condiciones
Se reconstituyó correctamente el control (para muestras liofilizadas)
Se homogeneizó correctamente el material de control
El material de control se almacenó en las condiciones recomendadas de temperatura y/o tiempo de conservación.
El material de control se contaminó durante el procesamiento
Se retrasó el procesamiento de la muestra luego de su reconstitución, causando evaporación o deterioro.
Se realizó correctamente la dilución (en caso de necesidad de diluir)
Fallas en el CCI
Control Interno del día de largada del CCE correcto
Desempeño del CCI correcto
Error en el CCE
Problemas con el Material remitido
Volumen del material de control adecuado
Problemas en la Evaluación
Grupo par apropiado
El n del grupo comparador apropiado
Error Metodológico
Problemas en reactivos y/o Calibradores
El fabricante o distribuidor comunicó problemas con el funcionamiento de los calibradores que fueron utilizados
El fabricante o distribuidor comunicó problemas con el funcionamiento del reactivo que fue utilizado
Error de Equipamiento
La aspiración de la muestra fue incorrecta (error de aspiración)
Se detectó mal funcionamiento del equipo
Asegurar la consistencia del grupo de comparación.
Evaluar los resultados de la última encuesta frente a aquellos de encuestas anteriores, los rechazados y los aceptados.
Considerar los criterios de aceptación/rechazo del proveedor y los requisitos de calidad establecidos por el laboratorio.
Estandarizar el tratamiento de resultados no conformes.
Realizar el seguimiento de indicadores de calidad analítica obtenidos de datos de las encuestas.
Estas prácticas permiten una gestión proactiva de los esquemas de evaluación externa de la calidad, brindando la posibilidad de prevenir errores que pueden afectar los resultados y el cuidado de la salud de los pacientes.
Conclusiones