ensaio de proficiÊnciainmetro.gov.br/noticias/eventos/metquim_palestras/%cfntercompara%e... ·...
TRANSCRIPT
ENSAIO DE PROFICIÊNCIA
Seleção e usoEscola Avançada de Metrologia em QuímicaNovembro 2003
•Sérgio Motta•SENAI- CETIND
ENSAIO DE PROFICIÊNCIA
Objetivo
•Avaliação externa regular•Comparação de resultados•Avaliação da exatidão•Cumprimento de pré-requisitos
ENSAIO DE PROFICIÊNCIA
Seleção e uso
•Complexidade•Entendimento dos resultados•Avaliação do desempenho
ENSAIO DE PROFICIÊNCIA
Interpretação dos resultados
•Complexidade- volume excessivo de dados•Adequação da avaliação•Benefício para o participante
ENSAIO DE PROFICIÊNCIA
Garantia da qualidade analítica
•Apenas mais uma ferramenta do CQA•Não usar como CQA rotina •Avaliação pontual
ENSAIO DE PROFICIÊNCIAGarantia da qualidade analítica
Padrões
Materiais dereferência
Itens retidosBrancos
Ensaios deproficiência
Correlação deresultados
CQA
Duplicatas
ENSAIO DE PROFICIÊNCIA
Tipos – ABNT ISO/IEC Guia 43-1/2 : 1999
•Programas de comparação de medição•Programas de ensaios interlaboratoriais•Programas de ensaios de partidas de amostras•Programas qualitativos•Programas de valor conhecido•Programas de processo parcial
ENSAIO DE PROFICIÊNCIA
Critérios para provedores de EP
•ABNT ISO / IEC Guia 43-1/2 : 1999
•ILAC-G13:2000 - Guidelines for therequirements for the competence of providers ofproficiency testing schemes
ENSAIO DE PROFICIÊNCIA
Por que participar ?
•Demostrar confiabilidade dos resultados•Cumprimento de pré-requisitos decredenciamento•Conhecer mais o próprio laboratório
ENSAIO DE PROFICIÊNCIA
Escolha do provedor
•Existe provedor para o ensaio desejado?•O programa existente é adequado?
ENSAIO DE PROFICIÊNCIA
XComo achar um provedor?
•Catálogo geral
•Órgãos credenciadores nacionais•Laboratórios que já participaram•Catálogo do provedores conhecidos•INTERNET•Ensaios de Proficiência- Requisitos paraprovedores e banco de dados CTLE 05INMETRO
ENSAIO DE PROFICIÊNCIA
Como decidir se o programa é adequado?
•Participar de algum programa é melhor do quenão participar
ENSAIO DE PROFICIÊNCIA
Como decidir se o programa é adequado?
•Raramente existe um programa perfeito!•Comparar o programa com a realidade dolaboratório•Participar de uma rodada para teste – caso nãoesteja certo da adequação•Aquisição de amostras antigas com relatórios
ENSAIO DE PROFICIÊNCIA
Como decidir se o programa é adequado?Itens avaliados
•Componentes desejados X Componentes oferecidos•Matriz desejada X Matriz oferecida•Concentração desejada X Concentração oferecida•Método desejado X Método requerido
•Adequação ao público alvo
ENSAIO DE PROFICIÊNCIA
Aprender com os resultados
Resultados satisfatórios Bom laboratório
Resultados ruins Mau laboratório
ENSAIO DE PROFICIÊNCIA
Os resultados devem ser estudados e liçõesaprendidas para não repetir o problema
ENSAIO DE PROFICIÊNCIA
Estatística – Principal ferramenta
Avaliação de desempenho de cada participante
Valor designadoFaixa aceitável
ENSAIO DE PROFICIÊNCIA
Valor designado e faixa aceitável
•Não existe padronização- diversos métodos•Não há melhor forma de definí-los•Provedor descreve a sua metodologia
ENSAIO DE PROFICIÊNCIA
Valor designado
Estimativa do valor verdadeiro
1. Formulação2. Valor de laboratórios referência3. Valor de consenso
ENSAIO DE PROFICIÊNCIA
Valor designado
Formulação
Adição de uma quantidade conhecida do analitoem uma matriz que não o contenha
Desvantagem- não simula dificuldades depreparação- recuperação
ENSAIO DE PROFICIÊNCIA
Valor designado
Valor de laboratórios de referência
Laboratórios de referência analisam amostrasco pela mesma metodologia
Vantagem- mais próximo do valor verdadeiroDesvantagem – Caro e dificuldade de identificarlaboratório de referência
ENSAIO DE PROFICIÊNCIA
Valor designado
Valor de consenso dos participantesValor obtido em cada rodada baseado nosresultados dos participantes- média apósexclusão de valores discordantes (outliers)
Vantagens- Econômico e aplicável a matrizesnaturaisDesvantagens- susceptibilidade a resultadostendenciosos dos participantes
ENSAIO DE PROFICIÊNCIA
Valor de consenso dos participantes X
Valor de laboratórios de referência
Valor verdadeiroX
Concordância entre os laboratórios
ENSAIO DE PROFICIÊNCIA
Valor designado e faixa aceitável
Mais comum- uso dos dados dos participantes
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•Estatística paramétrica/ robusta•Youden, elipse•Z-score•En
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•Estatística paramétrica •Distribuição normal
•Sujeita a influências de valores discordantes•Aplicação de testes para outliers•Média e desvio padrão
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•Estatística robusta •Distribuição não normal
•Não sujeita a influências de outliers•Não necessidade de testes par outliers•Mediana e desvio absoluto da mediana
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•Youden, elipse •2 amostras similares
•Informações sobre erros sistemáticos•Diferença de amostras – livre de errossistemáticos
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•z-score •Indicador de desempenho
•Quantifica o desempenho analítico doparticipante
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
•z-score- critérios z < 2 – satisfatório
2 < z < 3 – questionávelz > 3 - insatisfatório
ENSAIO DE PROFICIÊNCIA
Tratamento dos dados
En – Erro normalizado
En < 1 – satisfatório
En > 1 - insatisfatório
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
Laboratórios procuram 2 coisas: • Necessito tomar ações corretivas?
• Estou melhorando o desempenho ao longodo tempo?
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
• Avaliar resultado de uma participação• Avaliar histórico das participações
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
• Avaliar resultado de uma participação
• Aceita a avaliação do provedor• Recalcula o indicador de desempenho
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
Recalcula o indicador de desempenho
• Usar a média e desvio padrão dosparticipantes que usaram o mesmo método
• Correção de resultados de recuperação
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
2. Avaliar histórico das participações
Comparar desempenho do laboratório ao longode várias participações
O Laboratório está melhorando ou piorando ?
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
Comparação de várias participações
• Z-score depende do desvio padrão da rodada• Rodadas diferentes não comparáveis• Provedor utiliza desvio padrão alvo• Laboratório calcula desvio padrão alvo
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
Indicador acumulado do desempenho(Rolling performance indicator)
• Usado para vária rodadas• Analisam tendências (bias) e precisão• CQA interno – primeiro indicador• EP- confirma as tendências do CQA• Plotar resultados consecutivos• Várias formas de cálculo
ENSAIO DE PROFICIÊNCIA
Avaliação de desempenho
Desempenho global –Desempenho do laboratório em relação aos
participantes
• Resultado insatisfatório- grupo muitossatisfatórios
• Resultado insatisfatório- grupo com muitosinsatisfatórios
ENSAIO DE PROFICIÊNCIA
Ações corretivas
• Resultados insatisfatórios• Resultados questionáveis• Resultados insatisfatórios ou questionáveis
consecutivos• Tendências de resultados insatisfatórios ao
longo de várias participações• Tendências de 1 desvio padrão acima ou
abaixo do valor designado em váriasparticipações mesmo que satisfatórias
ENSAIO DE PROFICIÊNCIA
Análise de causas
• Padrões• Tratamento, armazenamento e manuseio das
amostras• Equipamentos• Ambiente• Cálculos e transcrições
ENSAIO DE PROFICIÊNCIA
Conclusões
• Aumento da importância de EP comoferramenta da garantia da qualidadeanalítica.
• Importante para o laboratório a compreensãodo escopo e disponibilidade de PEP nasáreas de seu interesse, permitindo decisõesadequadas.
ENSAIO DE PROFICIÊNCIA
Conclusões
3. Laboratórios necessitam desenvolverconhecimentos no entendimento de EP, seuobjetivo e como os dados devem ser usadose avaliados
4. Os PEP escolhidos devem se aproximar darealidade dos laboratórios.
5. A avaliação de desempenho deve levar emconta o contexto em que o laboratório estáenvolvido e não apenas o resultado por si só.
ENSAIO DE PROFICIÊNCIA
Conclusões
6. O desempenho ao longo do tempo deve seravaliado sempre que possível.
7. O laboratório deve desenvolver seusconhecimentos no tratamento estatístico dosPEP.
8.Sempre que possível manter contato com oprovedor para obter maior entendimento dosPEP.
ENSAIO DE PROFICIÊNCIA
CETIND Ensaios Químicos e Microbiológicos Calibração Volumétrica Ensaios de Proficiência
Sérgio Motta- [email protected]
Tel (71) 379-8303