Ejercicios de Intercomparación

Jornadas de Referencia sobre Análisis de Alimentos – Microbiología

Centro Nacional de Alimentación 5-7 de junio 2013

DEPARTAMENTO DE SALUDViceconsejería de SaludDirección de Salud Pública y Adicciones

Gipuzkoako Osasun Publikoko LaborategiaLaboratorio de Salud Pública de Gipuzkoa

Carmen Zigorraga Arrien

OSASUN SAILAOsasun SailburuordetzaOsasun Publikoaren eta AdikzioenZuzendaritza

Política de ENAC sobre IntercomparacionesNT-03 Rev.5 Sep 2012

UNE EN ISO /IEC 17025 apdo.5.9: Aseguramiento de la calidad5.9.1: “El laboratorio debe tener procedimientos de control de la calidad para realizar el seguimiento de la validez de los ensayos y calibraciones llevados a cabo”Dicho seguimiento de ser planificado y revisado y puede incluir, entre otros, los elementos siguientes:….b) la participación en comparaciones interlaboratorios o programas de ensayos de aptitud;….

5.9.2: Los datos del control de calidad deben ser analizados ….

Guia sobre la participación en programas de intercomparaciónG-ENAC-14 Rev 1 Sep 2008

Requerimiento

COM (Comisión europea 2013) 265 final : Propuesta de Reglamento del Parlamento europeo y del consejo relarivo a los controles oficiales……Art. 37 Obligaciones de los laboratorios oficiales- Apdo.2: A petición del laboratorio de referencia de la Unión Europea o del LNR, los laboratorios oficiales participarán en pruebas comparativas interlaboratoriosorganizadas para los análisis, pruebas o diagnósticos que realicen en su calidad de laboratorios oficiales.

legallegal

Ejercicios de Intercomparación

Política de ENAC sobre IntercomparacionesNT-03 Rev.5 Sep 2012

Guia sobre la participación en programas de intercomparaciónG-ENAC-14 Rev 1 Sep 2008

Política de ENAC sobre IntercomparacionesNT-03 Rev.5 Sep 2012

Guia sobre la participación en programas de intercomparaciónG-ENAC-14 Rev 1 Sep 2008

Exigencia

Validación de métodos

Evaluación de las actividades de control de calidad de los ensayos•Controles Internos•Participación en ensayos de Intercomparación/ensayos de aptitud apropiados al alcance

CONTROL OFICIALCONTROL OFICIAL

Laboratorios acreditados (ISO/IEC 1725:2005)

Alcances ámpliosConseguir la acreditación

Mantenimiento del alcance en el tiempo

Problema: l

ogístico

económico

PLAN DE PARTICIPACION DE INTERCOMPARACIONES (EI) (NT-03, EA-4/18)

Establecer criterios para participar en Ejercicios de IntercomparaciónDefinir: - Nivel / Familia de ensayos incluidos en el alcance

- FrecuenciaEvaluación

Materiales de referencia:- Establecen la trazabilidad de los valores asignados

- No están disponibles o no cubren el intervalo deseado

Control interno en rutina:- Los factores del método no varían- No se ponen de manifiesto influencias desconocidas que interfieran en el método (matrices, interferencias…) por no tener referencia externa.

Ejercicios de Intercomparación:- Se identifican diferencias entre laboratorios- Se aseguran las actividades intralaboratorio- Se pueden identificar errores (procedimientos inadecuados, equipos, cualificaciones…)- Se comparan resultados emitidos a lo largo del tiempo-tendencias

Aporta una evaluación externa e independiente del ensayo

Herramientas para Validación y Caracterización de un método:

Competencia

Técnica

Factores que intervienen en un ensayo:Producto/matriz objeto de ensayo

Distinguir entre diferentes productos/matricesMétodo de ensayo

Se ajusta al objetivo que quiero evaluar cualitativo/cuantitativo / PCR…

ParámetroSe corresponda con el que queremos evaluar

Intervalo de trabajo que se quiere cubrirCondiciones de ensayo

CRITERIOS PARA PARTICIPAR EN UN EJERCICIO DE INTERCOMPARACIÓNA. Nivel/FamiliaB. Frecuencia

EI específico para cada matriz, técnica, parámetro….

El resultado del ejercicio de intercomparación debe estar correlacionadocon los otros componentes del grupo

Justificar la equivalencia comparabilidad

Datos Validación

Mismo método standard (ISO…)

A efectos de Aseguramiento de calidad

Ideal

Familia de ensayosProblema: logístic

o €

CRITERIOS PARA PARTICIPAR EN UN EJERCICIO DE INTERCOMPARACIÓN (G-14 r1:2008)

A. Nivel/FamiliaB. Frecuencia

“Cada Laboratorio ha de definir la frecuencia mínima de participación”

Complejidad del método: a mayor complejidad mayor frecuencia

Variabilidad de matrices o interferentes de difícil control en la validación

Volumen de actividad: No por baja frecuencia analítica el control ha de ser bajo

Histórico de intercomparaciones

La frecuencia ha de ser coherente con el empleo de otras herramientas de control:(MR, Control Interno, muestras ciegas, participación en desarrollo de métodos/validación de métodos, caracterización de MRs….)

Para cada ensayo/familia incluidos en el alcance, al menos UNA participación en el periodo entre reevaluacionesRecomendaciones

(EA-4/18, NT-03)

En función de:

Análisis acreditados por el LaboratorioRecuento de E.coli en productos cárnicosRecuento de Salmonella en productos cárnicosRecuento de E. coli en vegetalesRecuento de Salmonella en vegetalesRecuento de E.coli en productos lácteosRecuento de E,coli en agua de consumoRecuento de E.coli en aguas de piscinas

Método analítico

Parámetro Matrices Validación

A E.coli Ptos. cárnicos SI

A E.Coli Vegetales SI

B E.Coli Ptos. lácteos SI

C Salmonella Ptos. cárnicos Si

C Salmonella Vegetales SI

D E.Coli Aguas consumo

SI

D E.Coli Piscinas Si

Resultado familias del ejercicioRecuento de E.coli en productos cárnicos y

vegetalesRecuento de Salmonella en productos cárnicos y

vegetales

Recuento de E. coli en productos lácteosRecuento de E.coli en aguas de consumo y

piscinas

¿Racionalizar la carga de los ensayos de intercomparación ?

Ej: Caso estudio 2 – Laboratorio de análisis microbiológicoEA-4/18 TA:2010 - Guidance on de level and frequency of proficiency testing participation

1º Organizados por proveedores acreditados según norma ISO/IEC 17034

2º Organizados por proveedores no acreditados según norma ISO/IEC 17034

3º Participación de número estadísticamente adecuado de laboratorios

4º Participación de un número no adecuado de laboratorio (valor de referencia para la medida no de consenso)

5º Dificultad en participar

Tener en cuenta

1.Muestra de ensayo:• homogénea, estable, • lo mas aproximado a las muestras que analizamos habitualmente…

2. Transporte

3. Instrucciones claras y completas..

4. Estadística utilizada en la evaluación ( conforme a G-ENAC 14 ):• tipo de método de evaluación• valor asignado/valor de consenso

5. Informe:• datos de participación, • resultados, • incertidumbre…• evaluación del rendimiento…

OPCIONES de ParticipaciOPCIONES de Participacióón en Programas de n en Programas de IntercomparaciIntercomparacióónn((NTNT--03)03)

EVALUACIÓN del EJERCICIO EN MICROBIOLOGIA

Pruebas estadísticas

- Identificación de resultados anómalos y Valoración de la participación:

- Valor asignado: valor asignado a partir del diseño de muestras, resultados y controles internos obtenidos por el laboratorio organizador (Informe preliminar )valor asignado por consenso (media o mediana de los

participantes) (informe final)

Percentiles de 11º a 89º satisfactorioPercentiles de 6º a 10º o de 90º a 95º cuestionablePercentiles de 0º a 5º o de 96º a 100º insatisfactorio

Mediana ±2Sd satisfactorioMediana ±2Sd a Mediana ±3Sd cuestionable> Mediana ±3Sd insatisfactorio

Test de Mediana Robusta: comparación del resultado del laboratorio con respecto a la mediana del conjunto.

Cálculo de Percentiles: para un número de participantes superior a 50.

EVALUACIÓN del EJERCICIO EN MICROBIOLOGIA

Puntuación Z-score: Diferencia entre el resultado del participante y el valor asignado (mediana de participantes).

Z= -1,99 a +1,99 satisfactorioZ= -2 a -2,99 ó +2 +2,99 cuestionableZ=<-3,00 ó >+3,00 insatisfactorio

(NMP Z= ±3 y ±5)

Regla de las 0.5 unidades log10: Fundamentada en criterios microbiológicos

Mediana ± 0,5 log satisfactorio> Mediana ± 0,5 log cuestionable o insatisfactorio

Desviación Mediana Absoluta (MAD): Cálculo de la diferencia del resultado del laboratorio con respecto a la mediana del conjunto* una constante (1,4826)= valor MAD. Menos de 50 participantes.

Mediana ±2MAD satisfactorioMediana ±2MAD a Mediana ±2,58 MAD cuestionable> Mediana ±2,58 MAD insatisfactorio

σ : conforme con el fin pretendidoHPA: σ= 0,35, σLegionella= 0,55Senate: σ= 0,25

Z= (x-X)σ

Si 3*μx> σZ’=

(x-X)

√σ2+μx2

Evaluación de Dispersión de datos del conjunto de participantes

Excelente indicador de la bondad del ejercicio en microbiologíaSe debe evaluar la relación entre la dispersión obtenida en el ejercicio y la considerada adecuada al fin pretendido

> De otro modo puede ser indicativo de una distribución bimodal

σp : desviación adecuada al fin pretendidoσejercicio: desviación estándar que describe la dispersión de resultados de los participantes n

Resultados dispersos:Tipo de muestra?Materiales utilizados (cepas?)Recuentos bajos…

Casos prácticos

1. Recuento de NMPde E.coli y Salmonella en moluscos (AESAN)Detección Salmonella: A/P – Metd: ISO 6579

Recuento E. coli: NMP – ISO 16649-3

Preparación de la muestra InóculoControles de homogeneidad y estabilidad

Evaluación de los resultados

Recuento de NMP:- Transformación logarítmica de los resultados de NMP- Cálculo de media y DESVEST de los dos duplicados- Cálculo de Zscore

σ=0,24 en términos de log decimal (ISO/TS 22117:2010)X= valor asignado mediana de los participantesX: valor del laboratorio

Z= (x-X)σ

Z≤3 Satisfactorio (mediana ±0.72 log)

3<Z ≤5 Cuestionable (±0.72 a 1.20 log)

Z>5 No satisfactorio (±1.20 log)(HPE)Satisfactorio: mediana±2,68 σCuestionable: mediana ±>2,68±<4 σNo satisfactorio: mediana:±<4 σσ=0,26 en términos de log decimal

RESULTADOS INSATISFACTORIOS/ CUESTIONABLES

Evaluación:

Detección: Ausencia/Presencia Identificación, serotipo….

Recuentos: diferencia valor laboratorio y mediana de participantes. ± 0,5 log

2. Casos prácticos

Standard (HPE)Detección Patógenos: A/P Recuento de indicadores: Enterobacterias, ColiformesRecuento de aeróbios

Estudio de tendenciasEstudio de tendencias

organiza

Distribution No:

Sample No: fecha AÑO Indicators

FEPTU (log10 values)

Difference FEPTU

EVAL inicial

Participants

median (log10 values) Lab

Lab (log10 values)

Difference

mediana

EVAL final

Upper Cut off

Lower Cut off 1/2 ptos

(max.2) Z-score COMENTARIOS

HPA 211 E0464 15/09/10 2010 Enterobacterias 3,97 -0,32 OK 3,9 4,47E+03 3,65 -0,25 OK 0,5 -0,5 VRBG 2

HPA 215 E0471 31/1/11 2010 Enterobacterias 4,5 -0,50 OK 4,25 2,24E+03 4,00 -0,25 OK 0,5 -0,5 VRBG 1HPA 215 E0472 31/1/11 2010 Enterobacterias 3,15 -0,05 OK 3,40 1,26E+03 3,10 -0,30 OK 0,5 -0,5 VRBG 2HPA 223 E0488 23/10/11 2011 Enterobacterias 3,91 -0,57 MAL 3,77 2,20E+03 3,34 -0,43 OK 0,5 -0,5 VRBG 2

AESAN F1-12 F1-12-074-11 17/10/11 2011 Enterobacterias 3,77 2,60E+03 3,41 -0,36 OK 0,5 -0,5 VRBG 2 -0,62 z-score manualHPA 227 E0495 23/4/12 2012 Enterobacterias 3,3 -0,12 OK 3,50 1,50E+03 3,18 -0,32 OK 0,5 -0,5 VRBG 2 -0,62 z-score manualHPA 227 E0496 23/4/12 2012 Enterobacterias 3,04 0,44 OK 3,04 3,00E+03 3,48 0,44 OK 0,5 -0,5 VRBG 2 -0,62 z-score manualHPA 235 E0511 3/10/12 2012 Enterobacterias 5,5 -0,35 OK 5,63 1,40E+05 5,15 -0,48 OK 0,5 -0,5 VRBG 2 -0,62 z-score manualHPA 235 E0511 3/10/12 2012 Enterobacterias 3,54 -0,18 OK 3,61 2,30E+03 3,36 -0,25 OK 0,5 -0,5 VRBG 2 -0,62 z-score manual

AESAN F1-12 F1-12-078-12 16/10/12 2012 Enterobacterias 3,36 0,02 OK 3,36 2,40E+03 3,38 0,02 OK 0,5 -0,5 VRBG 2 -0,62 z-score manual

Tendencias rto Enterobacterias PNT MAL 06 - Extended Scheme (2010-2012)

-1,00

-0,80

-0,60

-0,40

-0,20

0,00

0,20

0,40

0,60

0,80

1,00

RESULTADOS INSATISFACTORIOS/ CUESTIONABLES

Evaluación:

Detección: Porcentaje de exactitud global de muestras de moluscosRecuentos: Descripción de nº de copias de cada Laboratorio

(no se evalúa)

3. Casos prácticos

PT46 Norovirus (Genotipos I y II) y Virus de Hepatitia A en Moluscos (CEFAS)Detección:Recuento

Resultados globales de los participantes

TP: verdadero positivoFN: Falso negativoFP: Falso positivoTN: Verdadero NegativoN: Total de ejercicios

Resultados cuantitativos de los participantes copias/g en

RESULTADOS INSATISFACTORIOS/ CUESTIONABLES

EVALUACION DE EJERCICIO Y DEL PROVEEDOR

G-ENAC-14 Guia sobre participación en programas de intercomparc.