z-score y youden

CPQ//Ley 7020/65 COFILAB

MCEI005

MANUAL DE CALIDADENSAYOS INTERLABORATORIOS

TITULO:

Evaluacin estadstica en Ensayos de Aptitud Interlaboratorios (EAI).OBJETIVOS: Establecer los criterios a seguir en el procesamiento estadstico de datos provenientes de Ensayos de Aptitud Interlaboratorios (EAI). ALCANCE: Todos los EAI coordinados por el COFILAB. 1. Introduccin Los Ensayos de Aptitud Interlaboratorios (EAI), estn orientados a la evaluacin continua de la competencia tcnica o desempeo. Cada laboratorio participante recibe dos submuestras de concentracin parecida, tomadas aleatoriamente cada una de ellas, de una muestra homognea. Los datos analticos informados son evaluados estadsticamente y los resultados de esta evaluacin se vuelcan en un Informe Final que se enva a cada participante. Un elemento bsico en los EAI es la evaluacin del desempeo de cada participante. Para ello la organizacin del ensayo debe establecer dos estimaciones: 1) El valor asignado para la concentracin de cada analito en cada una de las muestras y 2) La diferencia aceptable entre el resultado informado por cada participante respecto al valor asignado. Hay diferentes mtodos para establecer estas estimaciones. No se conoce un protocolo estandarizado que prescriba la estrategia a utilizarse, por ello el organizador del ensayo debe tomar sus propias decisiones y desarrollar sus procedimientos. Dejando constancia de los mismos en el respectivo Protocolo Tcnico. En los EAI se utilizar estadstica robusta, evitando el requisito de normalidad en los datos a evaluar. As, la mediana se utilizar en lugar de la media como estimador del valor asignado y la mediana de la desviacin absoluta multiplicada por 1.483 (MADe) como estimador del desvo estndar de reproducibilidad utilizado para obtener la puntuacin z. Este estadstico result ms adecuado que el modelo de precisin de Horwitz evaluado a partir de los datos de ejercicios anteriores. A fin de obtener la mxima utilidad de los datos informados, sern presentados en el Informe Final los anlisis y grficos de Youden, por ser esta una excelente herramienta de diagnstico, permitiendo a cada laboratorio participante evaluar sus errores aleatorios y sistemticos y guiarlo en la toma de acciones correctivas, si correspondiera. En todos los casos se procurar presentar la informacin en forma grfica y tablas para facilitar la comprensin de la misma.IDENTIFICACION MCEI005 COPIA 1 REVISION 2 FECHA DE VIGENCIA 24/11/04 FILE:mcei005.doc Hoja 1 de 10


MCEI005


2. Anlisis de Youden El Anlisis de Youden est especialmente dirigido a comparaciones interlaboratorios. La ventaja del Anlisis de Youden es su habilidad para separar los errores aleatorios de los sistemticos utilizando un diseo simple y con requerimientos de un mnimo esfuerzo analtico por parte de los participantes. Para su implementacin se requieren dos materiales similares (submuestras A y B) con pequeas diferencias en la concentracin de las caractersticas (analitos) a determinar. Este requisito es necesario, ya que, tanto los errores aleatorios como los sistemticos pueden depender de la concentracin de la caracterstica considerada, como tambin, de posibles interferencias de la matriz presente. Cada laboratorio participante, para una caracterstica dada, genera as, un resultado de X para el caso de la submuestra A y un resultado de Y para el caso de la submuestra B. Estos resultados permiten la construccin del Grfico de Youden a partir del cual se obtiene el diagnstico general de desempeo. 3. Grfico de Youden El grfico de Youden se prepara a partir de un eje x como abscisa con una escala adecuada para cubrir el rango de los resultados de la caracterstica evaluada en el material A. Y un eje y como ordenada, con escala en las mismas unidades para incluir el rango de los resultados de la misma caracterstica en el material B. El par de resultados de cada laboratorio es as un punto del grfico. Habr una cantidad de puntos igual a la de laboratorios participantes y un punto origen cuyas coordenadas son las medianas de X y de Y (valores de consenso) . Una vez graficados los resultados, se dibuja una lnea mediana horizontal, paralela al eje x. De esta forma habr puntos arriba de esta lnea y puntos por debajo. Una segunda lnea mediana se dibuja paralela al eje de las y, la cual dejar puntos a su izquierda y a su derecha. Una lnea diagonal de 45 y un crculo con centro en el origen completan el grfico. En la Fig. 1 se muestran los componentes del grfico y en la Tabla 1 se describen los mismos.

IDENTIFICACION MCEI005

COPIA 1

REVISION 2

FECHA DE VIGENCIA 24/11/04

FILE:mcei005.doc Hoja 2 de 10


MCEI005


Fig. 1:Componentes del Grfico de Youden.

Tabla 1: Descripcin de los componentes del Grfico de Youden Origen Es el punto de coordenadas (xM,yM), siendo xM e yM las medianas respectivas de los resultados de X y de Y de todos los laboratorios participantes. Se utiliza la mediana por ser menos vulnerable a la presencia de resultados aberrantes. Ejes XY Coordenadas con escala adecuada para representar todos los resultados de los laboratorios participantes. Lneas medianas Lneas paralelas a los ejes que pasan por el punto origen y dividen al grfico en cuatro cuadrantes. Lnea de 45 Lnea diagonal a 45 que pasa por el origen bisectando los cuadrantes inferior izquierdo y superior derecho. Resultados del Punto de coordenadas (xi,yi), siendo xi y yi los resultados de las Laboratorio i concentraciones de la caracterstica determinada por el laboratorio i en las muestras A y B respectivamente. Crculo Lmite Crculo con centro en el origen (valores asignados) y radio igual a del 95% la desviacin estndar multiplicada por un factor de confianza, de tal forma que el crculo contendra al 95% de los resultados si los errores sistemticos fueran eliminados. En el caso hipottico de ausencia de errores sistemticos y si slo operaran errores aleatorios, los puntos de los resultados se distribuiran alrededor del origen ocupando regularmente los cuatro cuadrantes, ya que los errores positivos y negativos son igualmente probables. Si por el contrario, en el caso hipottico de ausencia de errores aleatorios y sloIDENTIFICACION MCEI005 COPIA 1 REVISION 2 FECHA DE VIGENCIA 24/11/04 FILE:mcei005.doc Hoja 3 de 10


MCEI005


operaran errores sistemticos, los puntos de resultados estaran alineados sobre la lnea de 45, ya que se espera que si un laboratorio tiene desvos positivos negativos en sus resultados, tendr desvos con similar magnitud y sentido en ambas submuestras analizadas. Operando ambos tipos de errores, se obtendra una combinacin de ambos casos extremos y los resultados ocuparan un espacio elptico con la mayora de los puntos en los cuadrantes inferior izquierdo y superior derecho. 4. Simulacin de un ensayo interlaboratorios con 11 participantes En la Fig. 2 se muestra el grfico de Youden para un Interlaboratorio simulado con 11 participantes. Las submuestras tienen concentraciones medias de cloruro de 30 y 40 mg/L respectivamente y desviacin estndar de 1. Los errores sistemticos impuestos van de -2.5 para el laboratorio 1 y se incrementa en intervalos de 0.5 mg/L hasta llegar a +2.5 para el laboratorio 11. En el grfico se presentan los resultados del anlisis de Youden calculados como se indica en el punto 5.

La distribucin de los puntos en el grfico de Youden ponen en evidencia posibles problemas, resultando una excelente herramienta de diagnstico. Puntos conformando una elipse angosta y alargada es seal de problemas con el mtodo analtico utilizado y sealan la necesidad de su modificacin. Puntos alejados de ambos ejes indican resultados errticos.


COPIA 1

REVISION 2




MCEI005


El punto cercano a un eje pero alejado del otro es indicativo de resultados bastante buenos en un material pero bastante malos en el otro. Puntos en el cuadrante inferior izquierdo y superior derecho pero alejados del origen reflejan una tendencia de resultados altos o bajos en ambos materiales. Puntos cercanos a la lnea de 45 pero alejados del origen indican errores sistemticos importantes. Puntos alejados de la lnea de 45 indican errores aleatorios grandes y son clara evidencia de desviacin importante con el mtodo de ensayo utilizado. Puntos fuera del crculo de confianza (95%) indican errores totales grandes. Alta proporcin de puntos fuera del crculo de radio igual a 2.448 x s y cercanos a la lnea de 45 indican presencia general de errores sistemticos.

5. Anlisis de Youden, clculos En la Fig. 3 se representan nuevamente los resultados del laboratorio i (xi,yi) en un Grfico de Youden y los vectores involucrados en los clculos. Fig. 3: Errores Aleatorios y Sistemticos.

En la Fig. 3 se representaron los siguientes puntos: Punto R: De coordenadas (xi,yi). Resultados informados por el laboratorio i. Punto O: De coordenadas (xM,yM). Resultados de las medianas valores de consenso utilizado. Punto P: De coordenadas (xi,yi). Distancia del punto R a la lnea de 45. Los vectores generados y sus ecuaciones de clculo resultan:


COPIA 1

REVISION 2




MCEI005


OR : Error Total (T) cometido por el laboratorio i. Es una medida del desvo entre los valores de consenso y los resultados del laboratorio i. T = Raz cuadrada [ ( xi - xM )2 + ( yi - yM )2 ] ec. 5.1 OP : Componente Sistemtico del error (CS) CS = [ (xi xM ) + ( yi yM ) ] / 2 PR : Componente Aleatorio del error (CA) CA = Raz cuadrada [ (x1-(CS/2+xM))2 + (y1-(CS/2+yM))2 ] ec. 5.3 ec. 5.2

5.1. Ajuste de los componentes Sistemtico y Aleatorio calculados Los componentes Sistemtico y Aleatorio calculados requieren ser proporcionados de tal forma que su suma sea igual al mdulo del vector Error Total, de esta forma se obtienen los Errores Sistemtico y Aleatorio correspondientes: Error Sistemtico, S = [CS / (|CS| + CA)] x T Error Aleatorio, total: ec. 5.4 ec. 5.5

A = [CA / (|CS| + CA)] x T

Asi, valor absoluto del error sistemtico sumado al error aleatorio resulta igual al error

T = |S| + A

ec. 5.6

5.2. Desviacin estndar, Crculo de confianza. La desviacin estndar combinada, s se obtiene sumando el cuadrado de los errores aleatorios de todos los laboratorios, dividiendo el resultado por el nmero de laboratorios menos 1 y extrayendo la raiz cuadrada:2 = Ai (n 1)

ec. 5.7

Para el clculo de radio, r del crculo de confianza se utilizan los factores mostrados en la Tabla 2


COPIA 1

REVISION 2




MCEI005


Tabla 2: Tabla de probabilidad para una Distribucin Normal Circular % f % f 10 0.459 70 1.552 20 0.668 75 1.665 25 0.759 80 1.794 30 0.845 90 2.146 40 1.011 95 2.448 50 1.177 99 3.035 60 1.350 ----% = Porcentaje de puntos dentro del crculo. f = Factor de multiplicacin de la desviacin estndar. El radio del crculo que demarca un Intervalo de Confianza del 95% ser as de: r = 2.448 x s ec. 5.8

Para graficar el crculo se utiliza su frmula dada por: y = raiz cuadrada (x2 r2) ec. 5.9

Tabla de presentacin de resultados y clculos En la Tabla 3 se muestran los datos originales y los resultados obtenidos en forma generalizada. Tabla 3: Datos originales y clculos Lab. N Muestra A Muestra B 1 x1 y1 2 x2 y2 . . . . . . n xn yn xM yM Mediana : 6. Evaluacin de desempeo. Puntuacin z La evaluacin de desempeo puede medirse simplemente como el desvo (d) entre el resultado analtico y el respectivo valor asignado o por este desvo expresado en forma porcentual: d = xi xM ec. 5.10 d% = (xi xM) / xM x 100 ec. 5.11IDENTIFICACION MCEI005 COPIA 1 REVISION 2 FECHA DE VIGENCIA 24/11/04 FILE:mcei005.doc Hoja 7 de 10

Ti T1 T2 . . Tn

Si Ai Ai2 S1 A1 A12 S2 A2 A22 . . . . . . Sn An An2 Des. Est. = s = ( Ai2) / (n 1) Radio = r = f x s


MCEI005


Una indicacin de desempeo ms adecuada e internacionalmente aceptada, es la puntuacin z. La puntuacin z es la medida del desvo de los resultados informados por cada laboratorio, respecto al valor asignado, expresado en unidades de desviacin estndar. Este parmetro es conveniente por su clculo directo y fcil interpretacin. En este caso definimos una puntuacin z para cada resultado analtico como el cociente entre el desvo respecto al valor asignado (xi xM) dividido por la desviacin estndar sz. Resultando: ec. 5.12 z = (xi xM) / sz xM = Valor asignado (Mediana de los resultados informados). sz = Desvo estndar utilizado en el clculo de z (MADe, mediana absoluta de los desvos respecto al valor asignado multiplicada por el factor 1.483). xM = mediana (xi) MADe = mediana (|xi mediana(xi)|) x 1.483 La puntuacin utilizada se muestra en la Tabla 4 Tabla 4: Puntuacin z. |z| 2 se considera Satisfactorio 2 < |z| < 3 se considera Cuestionable |z| 3 se considera No satisfactorio Manipulaciones de z Los valores individuales de z pueden combinarse para obtener un desempeo global de cada laboratorio participante. Con este propsito se utilizan los siguientes ndices: a) Sz: Suma de los z de cada laboratorio, Sz = z, si todas las puntuaciones z son del mismo signo, este ndice ser de mayor valor absoluto indicando un desvo sistemtico. b) SRz: Suma re-escalada de los z de cada laboratorio, SRz = (z) / raiz(m), donde: m= nmero de anlisis combinados, igual que en a), al utilizar los signos de z, se detecta la presencia de errores sistemticos. SRz se interpreta utilizando la misma escala de la puntuacin z. SRz 2 Satisfactorio; 2 < SRz < 3 Cuestionable; SRz 3 No satisfactorio ec. 5.13 ec. 5.14 dnde:

c) SSz: Suma de los cuadrados de z, SSz = z2, no tiene en cuenta los signos de z y detecta desvos anormalmente altos entre valores provenientes de la misma poblacin. Este ndice tiene una distribucin chi cuadrado (2), y se interpreta utilizando la tabla de distribucin 2 para n carctersticas reportadas. Para el caso de 4 y 6 analitos por ejemplo, la interpretacin se muestra en la tabla 5:


COPIA 1

REVISION 2




MCEI005


Tabla 5: Interpretacin de la suma de cuadrados de z. Intervalo de n=4 n=6 Evaluacin confianza 95% 9.49 12.59 Satisfactorio 99% Cuestionable > 9.49 13.28 > 12.59 16.81 > 99% > 13.28 > 16.81 No satisfactorio d) Puntaje %: Para la determinacin del puntaje global en cada ensayo interlaboratorio resulta de utilidad asignar un puntaje a cada valor absoluto de z obtenido en cada analito y expresar el puntaje en una escala porcentual. Con este propsito se asignan puntos conforme a la siguiente tabla: Puntuacin z |z| 1 1 < |z| 2 2 < |z| < 3 |z| 3 Puntos asignados 5 4 2 0

El puntaje de desempeo se calcula como: Puntaje % = Total de puntos / Nmero de anlisis x 100 / 5 Con esta escala se consideran Satisfactorios los resultados iguales o mayores a 70%

Notas: 1) La interpretacin de SRz y SSz debe ser realizada con sumo cuidado, ya que no se tienen en cuenta resultados aberrantes y las puntuaciones z no satisfactorias de signo opuesto se cancelan entre s, dando la impresin de desempeo satisfactorio. SSz refleja con mayor exactitud el desvo total que SRz, pero no da el signo del desvo. Por ello ambos ndices resultan complementarios. 2) Es evidente que cuanto ms cerca de cero resulten los ndices mejor ser el desempeo. Un laboratorio debera investigar y posiblemente tomar acciones de mejora si: Algunos de los resultados informados resultaron aberrantes. Si todas las puntuaciones z resultaron del mismo signo. Si valores absolutos de una puntuacin z o de SRz resulto mayor a 2. Si el resultado de SSz result mayor al valor de tabla para el 95%.


COPIA 1

REVISION 2




MCEI005


3) No es recomendable comparar estadsticos z combinados entre laboratorios con anlisis de diferente cantidad de analitos. Por ello, es conveniente agrupar los resultados por nmero de analitos reportados (n).

7. Bibliografa 7.1. The Sample, the Procedure, and The Laboratory. W.J.Youden. Analytical Chemistry, Vol. 32, N 13, Dec. 1960. 7.2. Graphical Diagnosis of Interlaboratory Test Results. W.J.Youden. Industrial Quality Control, Vol. XV, N. 11, May 1959. 7.3. Selection, use and interpretation of proficiency testing (PT) eschemes by laboratories 1999. Eurchem Nederland, task group Proficiency testing schemes 7.4. Quality Control. W.Horwitz et al. J. Assoc. Off. Anal. Chem. Vol. 63, N 6, (1980). 7.5. Ensayos de aptitud por comparaciones interlaboratorios. IRAM 305-1: 1998. 7.6. Evaluacin de desempeo en los Ensayos de Aptitud Interlaboratorios (EAI). COFILAB: 18/Ago/04. 7.7. CAEAL Proficiency Testing Program For Environmental Laboratories. CAEAL Training Service. November 2003. Revision 5.5.


COPIA 1

REVISION 2



z-score y youden

Documents