Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev.

1 Septiembre 2008
INDICE

1. 2. 3. 4. 5. 6. 7. 8.

INTRODUCCIN ................................................................................................................... 2 AUTORIA ............................................................................................................................... 2 OBJETO .................................................................................................................................. 3 DEFINICIONES ...................................................................................................................... 3 GENERALIDADES ................................................................................................................ 3 UTILIDAD DE LA PARTICIPACIN EN EJERCICIOS DE INTERCOMPARACIN .... 4 CRITERIOS PARA ESTABLECER UN PROGRAMA DE PARTICIPACIN .................. 5 ASPECTOS A TENER EN CUENTA PARA LA EVALUACIN DE PROVEEDORES... 6 8.1. Item .................................................................................................................................. 6 8.2. Materiales y transporte .................................................................................................... 7 8.3. Instrucciones .................................................................................................................... 7 8.4. Estadstica ........................................................................................................................ 7 8.5. Informe ............................................................................................................................ 8 BUENAS PRACTICAS DE PARTICIPACIN EN PROGRAMAS DE INTERCOMPARACIN ....................................................................................................... 9

9.

10. ASPECTOS A EVALUAR EN LA PARTICIPACION EN EJERCICIOS DE INTERCOMPARACION ..................................................................................................... 10 10.1. Item remitido ................................................................................................................. 10 10.2. Informe remitido por el proveedor ................................................................................ 11 10.2.1. Datos de los participantes ...................................................................................... 11 10.2.2. Tratamiento estadstico .......................................................................................... 11 10.2.3. Evaluacin del rendimiento ................................................................................... 13 10.2.4. Evaluacin realizada por el proveedor .................................................................. 13 10.2.4.1. Proveedor con evaluacin objetiva con criterio adecuado al fin pretendido para el conjunto de laboratorios ................................................ 14 10.2.4.2. Proveedor con evaluacin descriptiva, sin criterio adecuado al fin pretendido ................................................................................................... 14 10.2.4.3. Proveedor con evaluacin objetiva con criterio no adecuado al fin pretendido por el laboratorio....................................................................... 15 10.2.5. Grficos ................................................................................................................. 15 10.2.6. Incidencias ............................................................................................................. 15 10.3. Informe de la evaluacin ............................................................................................... 15 11. ACTUACIONES A LLEVAR A CABO ANTE LA OBTENCIN DE RESULTADOS NO SATISFACTORIOS ...................................................................................................... 16 12. ERRORES COMUNES......................................................................................................... 17
1/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008 13. BENEFICIOS DE LA PARTICIPACIN ............................................................................ 17 14. REFERENCIAS BIBLIOGRFICAS .................................................................................. 18

1. INTRODUCCIN La norma UNE-EN ISO 17025 Apartado 5.9 recoge El laboratorio debe tener procedimientos de control de la calidad para realizar el seguimiento de la validez de los ensayos y las calibraciones llevados a cabo e incluye la participacin en programas de intercomparacin entre las herramientas bsicas de aseguramiento de calidad de los laboratorios. Esta herramienta incide por un lado en la capacidad de los laboratorios para la realizacin de un ensayo concreto obteniendo informacin externa con la que el laboratorio asegura, en la medida de lo posible, que la validacin de su procedimiento y su estrategia de control interno de calidad son suficientemente eficaces y por tanto puede asegurar con cierto grado de confianza que no tiene un sesgo en sus resultados de rutina. Por otro lado, dicha participacin incluye un alto potencial de mejora al obligar al laboratorio, ante resultados no satisfactorios, a poner a prueba su capacidad para detectar la posible fuente del error, que podra ser desde la cualificacin inadecuada del personal, la validacin incompleta del procedimiento de ensayo o un error puntual en el funcionamiento del equipo, etc. No obstante, para que un ejercicio de intercomparacin rinda todo su potencial de mejora y control para el laboratorio es imprescindible que todo el proceso de gestin del ejercicio desde la preparacin del item, su envo a los participantes y la explotacin e interpretacin de los datos se haga con un elevado nivel de competencia tcnica. La participacin en ejercicios de intercomparacin que no garanticen dicho nivel es un gasto de tiempo y dinero para los laboratorios que debe ser evitado a toda costa. En este sentido, los laboratorios que usan proveedores acreditados no necesitan desarrollar una metodologa ni invertir recursos para evaluar a sus proveedores ya que pueden confiar en la evaluacin realizada por los organismos de acreditacin. Sin olvidarnos de que al llevarse a cabo la evaluacin por profesionales expertos se contribuye a aumentar el nivel de calidad de los programas existentes y, por lo tanto, la confianza en los resultados. Por otra parte, tanto ILAC como EA han establecido polticas especficas relativas a la participacin en intercomparaciones, al entender que, desde la ptica de los acreditadores, la participacin en este tipo de programas resulta un mtodo adecuado de obtener informacin sobre el desempeo del laboratorio que puede ser utilizada dentro de las actividades de evaluacin establecidas en el proceso de acreditacin.

2. AUTORIA Esta gua ha sido elaborada por un Grupo de Trabajo de ENAC en el que se encontraban representadas todas las partes interesadas: laboratorios participantes en intercomparaciones, expertos en los criterios aplicables, proveedores acreditados y auditores cualificados.

2/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

3. OBJETO El objetivo fundamental de este documento es potenciar un uso profesional y sistemtico de la participacin en intercomparaciones por parte de los laboratorios acreditados, y ayudar a los laboratorios a que establezcan polticas y procedimientos robustos en relacin con la evaluacin tanto de la calidad de los ejercicios en los que participan como de la fiabilidad de sus resultados. Esta gua se aplica en la intercomparaciones desarrolladas al objeto de evaluar la competencia tcnica de los laboratorios para realizar un ensayo o calibracin. A efectos de esta gua a menos que se indique lo contrario siempre que se mencione la palabra ensayo incluir tambin calibraciones.

4. DEFINICIONES Item: Muestra, material, instrumento, equipo, etc. sobre el que se lleva a cabo el ensayo/calibracin objeto del ejercicio de intercomparacin. Proveedor: Organizacin que disea y organiza un ejercicio de intercomparacin. Rendimiento: Expresin de la evaluacin de los participantes realizada por el proveedor a partir de los resultados emitidos por el laboratorio en un ejercicio de intercomparacin. Valor Asignado: Valor atribuido a una determinada propiedad de un item ensayado, en un ejercicio de intercomparacin, con el objeto de calcular el rendimiento.

5. GENERALIDADES Las intercomparaciones consisten en la organizacin, el desarrollo y la evaluacin de ensayos del mismo tem o tems similares por varios laboratorios, de acuerdo con condiciones preestablecidas. Las intercomparaciones pueden cubrir diferentes objetivos, tales como: evaluacin del desempeo de los laboratorios para ensayos o medidas especficos, incluyendo el seguimiento continuado de su desempeo. identificacin de problemas en los laboratorios e inicio de acciones correctivas que, por ejemplo, puedan estar relacionadas con procedimientos inadecuados, cualificacin del personal o calibracin de los equipos. establecimiento de eficacia y comparabilidad de ensayos o mtodos de medida identificacin de diferencias entre laboratorios caracterizacin de mtodos educacin de los laboratorios participantes basndose en los resultados de su participacin en las intercomparaciones

3/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Por otra parte las intercomparaciones pueden ser, por ejemplo: cuantitativas/cualitativas de transformacin/interpretacin de datos puntuales o peridicas, normalmente organizados por proveedores comerciales con muestras/item homogneas distribuidas a todos los participantes o circulando la misma muestra/item que se mide por todos los participantes

6. UTILIDAD DE LA PARTICIPACIN EN EJERCICIOS DE INTERCOMPARACIN La validacin de un mtodo (de ensayo o calibracin) implica que se han evaluado sus caractersticas bsicas (sesgo, precisin, linealidad, etc.) en diferentes condiciones. A partir de los resultados obtenidos en la validacin se considera que el mtodo puede ser adecuado al fin pretendido. La adecuacin al fin pretendido implica que la calidad de la medida realizada es adecuada como para que, teniendo en cuenta las necesidades de cada sector, se tomen decisiones correctas basadas en los resultados de ensayo. Es decir, la adecuacin al fin pretendido, no representa necesariamente la mejor calidad que pueden dar los mtodos de ensayo ya que esta aproximacin podra suponer realizar un gasto innecesario en la realizacin de las medidas (por ejemplo, con un sesgo y precisin demasiado pequeos, que podra carecer de utilidad prctica). La evaluacin del cumplimiento de los requisitos establecidos en la validacin del mtodo requiere el uso de diferentes herramientas, tales como: participacin en ejercicios de intercomparacin, uso regular de materiales de referencia o implantacin de otras herramientas de control interno de la calidad, que sirven para evaluar diferentes aspectos del proceso de ensayo (desde la recepcin del tem a la emisin de informes). Por una parte el uso de materiales de referencia apropiados aporta una informacin demostracin de la validez del mtodo ya que permite establecer la trazabilidad asignados al mensurando. Sin embargo, en muchos tipos de ensayo o sectores, no es materiales de referencia porque no estn disponibles o, si lo estn, no cubren todo aplicacin del mtodo. valiosa para la de los valores posible utilizar el intervalo de

Por otra parte, la implantacin en rutina de un control interno de la calidad permite comprobar que los factores que determinan la magnitud de la incertidumbre no se han modificado desde que en el proceso de validacin se demostr la adecuacin del mtodo. Sin embargo, en un mtodo de ensayo, puede haber influencias desconocidas que interfieran en el proceso de medida y que, segn como haya sido el proceso de validacin, pueden no haberse puesto de manifiesto (por ejemplo, matrices o interferencias distintas a las evaluadas en la validacin...). Por lo que, los laboratorios que no tienen una referencia externa pueden trabajar durante largos periodos con sesgos importantes sin percatarse de este problema. Por ello las intercomparaciones resultan un medio adecuado para asegurar que las actividades realizadas intralaboratorio (validacin, uso de materiales de referencia y control de la calidad) funcionan satisfactoriamente y, en el caso de detectar fuentes de error inesperadas, iniciar acciones correctoras. La participacin regular en ejercicios de intercomparacin permite, adems, comparar los resultados emitidos a lo largo del tiempo y bajo diversas circunstancias (Ej.: personal, equipos, patrones, etc.).

4/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Las intercomparaciones aportan una evaluacin externa e independiente que permite estudiar el sesgo y la precisin de los resultados as como su comparabilidad y con ello el laboratorio puede demostrar el mantenimiento de la competencia tcnica al enfrentarse a problemas habituales.

7. CRITERIOS PARA ESTABLECER UN PROGRAMA DE PARTICIPACIN Teniendo en cuenta las diferentes combinaciones de mtodo/parmetro/intervalo de trabajo asociados a un producto/equipo que el laboratorio lleve a cabo, se deber asegurar una participacin regular y desarrollar, de antemano, un programa de participacin. En el caso de laboratorios acreditados se debern considerar todos los ensayos incluidos en el alcance de acreditacin. Para elaborar dicho programa, inicialmente, se tendrn en cuenta: Producto/equipo, debe considerarse si un producto es nico o debe clasificarse en distintos subproductos con caractersticas diferenciadas Mtodo de medida Parmetro Intervalo de trabajo, que se desea cubrir. En funcin del tipo de ensayo y producto, el laboratorio deber evaluar qu aspectos de los citados anteriormente influyen significativamente en los resultados. Con la informacin anteriormente obtenida se establecern las producto/mtodo/parmetro/intervalo apropiadas para cubrir todos los ensayos. combinaciones

A continuacin el laboratorio establecer una frecuencia de participacin teniendo en cuenta, al menos, los siguientes aspectos: Complejidad del mtodo: en aquellos casos en los que el ensayo suponga un proceso largo, complejo y con un nmero elevado de etapas intermedias antes de la emisin del resultado final, debera plantearse una mayor frecuencia de participacin, ya que suelen ser estos casos, los sujetos a una mayor probabilidad de error. Variabilidad en el tipo de matrices o posibilidad de interferencias de difcil control en la validacin. Volumen de actividad: debe evitarse el considerar que la realizacin poco frecuente de un determinado ensayo puede asociarse a una baja/nula frecuencia de participacin, pues pueden darse situaciones en las que sea necesario una mayor participacin con objeto de evaluar el mantenimiento de requisitos establecidos en la validacin. Histrico de intercomparaciones: en aquellos casos en los que el laboratorio disponga de participaciones anteriores se deberan tener en cuenta los resultados obtenidos para establecer una frecuencia adecuada. Teniendo en cuenta lo anterior el laboratorio podr clasificar los ensayos en familias de ensayo. A la hora de establecer dichas familias se deber tener en cuenta el hecho de que la participacin en una intercomparacin en una familia debe ser razonablemente vlida para evaluar la calidad de los resultados de todos los ensayos incluidos en ella (ver ENAC NT-03).

5/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

En cualquier caso, el programa y la frecuencia de participacin en intercomparaciones, deber ser coherente con el empleo de otras herramientas de control implantadas en el laboratorio para asegurar la adecuacin al fin pretendido del mtodo de ensayo.

8. ASPECTOS A TENER EN CUENTA PARA LA EVALUACIN DE PROVEEDORES Cuando un laboratorio decide su participacin, debe seleccionar las posibles organizaciones capaces de suministrarle los ejercicios de intercomparacin que le permiten cubrir los requisitos del programa de participacin. Para ello es posible recopilar informacin a travs de la documentacin recibida en el laboratorio de organizaciones que ofrecen sus programas, otros laboratorios del sector, internet o consultando la pgina www.eptis.bam.de, la cual permite llevar a cabo una bsqueda avanzada utilizando distintos criterios. Para seleccionar los proveedores ms adecuados a sus necesidades, el laboratorio deber disponer de una informacin suficiente sobre los ejercicios organizados por cada proveedor, que le permita seleccionar aquellos ms adecuados a sus necesidades. A ttulo de ejemplo, esta informacin consistir en: Descripcin de la planificacin del trabajo (calendario, plazos...) nmero de rondas rango de trabajo N de participantes previstos Tipo de tem Materiales y transporte Instrucciones Estadstica utilizada Mtodo de evaluacin de los participantes Contenido del Informe Con toda la informacin disponible, suministrada por el proveedor, el laboratorio deber valorar, al menos, los siguientes aspectos tcnicos:

8.1. Item El tem suministrado debe ser lo ms aproximado posible a la que se ensaya en el laboratorio. El participante optar, en la medida de lo posible por tems reales. Debe evitar si es factible, los patrones, disoluciones puras, fortificados, etc. que no representan las ensayadas habitualmente en el laboratorio. En el caso de calibracin, para poder confirmar la capacidad ptima de medida de un laboratorio, se pueden tener que utilizar equipos con un nivel metrolgico mejor que el de los calibrados habitualmente. Al proveedor se le debe solicitar que garantice que el tem tiene la suficiente homogeneidad y estabilidad para el fin previsto. Los estudios de homogeneidad y estabilidad son, generalmente, la actividad ms costosa de la organizacin de un ejercicio de intercomparacin, el laboratorio debe asegurarse que el proveedor ha evaluado este aspecto de forma adecuada.

6/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

La homogeneidad del tem suministrado debe asegurarse una vez que ha sido envasada en la forma en que se suministrar al laboratorio participante. Su estabilidad debe quedar demostrada, como mnimo, durante el periodo de duracin del ejercicio, en las condiciones de transporte y almacenamiento requeridas. El estudio de la homogeneidad y la estabilidad debe estar perfectamente documentado y realizarse segn sistemticas reconocidas (ISO 13528, IUPAC Technical Report). Para establecer los criterios de aceptacin de estabilidad y homogeneidad ha de tenerse en cuenta la influencia que puedan tener sobre la incertidumbre de los resultados de los participantes y por lo tanto en la aceptacin de sus resultados. Dichos criterios deben estar previamente establecidos. En aquellos casos en los que el proveedor establezca la ausencia de un analito u otra sustancia acompaante debe aportar informacin suficiente sobre los lmites de deteccin de los mtodos utilizados (o la sistemtica de preparacin del tem que justifique dicha ausencia).

8.2. Materiales y transporte La organizacin debe asegurar que el transporte se realiza en las mejores condiciones posibles para evitar la degradacin o cambio que puedan afectar a las caractersticas del item ensayado. Dentro de estas condiciones se encuentran por ejemplo, envases adecuados de forma que no reaccionen o contaminen el tem ensayado, refrigeracin, proteccin frente a roturas en caso necesario, duracin mxima del trasporte al laboratorio, etc. Si los tems del ejercicio deben viajar entre laboratorios deber establecerse cual es la sistemtica en la que debe realizarse (por ejemplo: estrella, crculo, etc.).

8.3. Instrucciones El proveedor suministrar las instrucciones precisas y adecuadas que ayuden al laboratorio participante en la correcta realizacin del ejercicio. Por ejemplo: Material enviado (nmero de unidades, tipo de material, accesorios...) Origen del tem a ensayar Conservantes o tratamientos previos realizados Especificaciones de realizacin del ensayo (rango de medida, tiempo mximo de anlisis, diluciones en caso necesario, tratamientos, acondicionamiento, tiempo de estabilizacin...). as como cualquier otro factor que pueda afectar a la realizacin del ensayo. Nmero de repeticiones del ensayo a realizar Unidades y forma en las que debe expresarse los resultados Fechas de envo de resultados Se deber aclarar si se permite la libre eleccin del mtodo a emplear o si el proveedor lo impone.

8.4. Estadstica El laboratorio deber evaluar, a partir de la informacin suministrada por el proveedor, la metodologa estadstica utilizada para el tratamiento de los datos recibidos, en concreto deber considerar aspectos tales como:

7/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Procedimiento que utilizar para estimar el valor asignado del mesurando y su incertidumbre: La sistemtica establecida para la determinacin del valor asignado (valor consenso entre laboratorios expertos, valor de consenso entre laboratorios, valor de referencia, valor de preparacin, etc.) y su incertidumbre asociada. Cuando el valor asignado se obtiene por consenso, la evaluacin estadstica est altamente influenciada por el nmero de participantes, por lo que es aconsejable la participacin en ejercicios de intercomparacin que aseguren un nmero mnimo de participantes. Procedimiento utilizado para identificar los valores estadsticos atpicos: Existen multitud de mtodos para tratar los resultados considerados atpicos (intra e interlaboratorio) y que en un momento dado, pueden desvirtuar los resultados generales. Por lo que se recomienda el uso de estadsticas robustas que minimiza la influencia de resultados extremos en los clculos realizados. Procedimiento empleado para la evaluacin del rendimiento: Se recomienda la participacin en ejercicios que determinaran la evaluacin del objetivo de precisin mediante fuentes externas (por ejemplo: a partir de documentos normativos, legislacin...), es decir, fuentes que no dependen de los resultados obtenidos por los participantes, para que la participacin de laboratorios con poca experiencia, o un mal tratamiento estadstico no desvirtuara el resultado final. As mismo se debera evaluar la justificacin del criterio aplicado por el proveedor y su adecuacin al fin pretendido (ver apartado 10.2.4).

8.5. Informe Los informes debern ser claros y comprensibles y debern incluir, normalmente, la siguiente informacin: A Datos proporcionados por el proveedor: Nombre y direccin de la organizacin que gestiona el programa. Identificacin del informe Codificacin de cada participante Detalle de las pruebas de homogeneidad y estabilidad y sus resultados Desarrollo y comentario de los criterios estadsticos utilizados Parmetros determinados en el ejercicio y caractersticas del tem Calendario de actuaciones Exactitudes y precisiones asignadas por el organizador B Datos proporcionados por los laboratorios participantes: Mtodos de ensayo empleados e informacin complementaria. Valores de las medidas individuales, centrales e intervalos, incertidumbres, etc. C Resultados del ejercicio: Identificacin de laboratorios cuyos resultados se consideran aberrantes Nmero de laboratorios aceptados para el clculo estadstico de cada parmetro Valor asignado e incertidumbre Desviacin estndar del ejercicio Estadstica por mtodos, si procede Valor del rendimiento (z score, nmero E, etc...)

8/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

En el caso de que no existan ejercicios suministrados por un proveedor, el laboratorio deber promover iniciativas (ejercicios) que cubran su programa. En la medida de lo posible, dichos ejercicios, debern desarrollarse de acuerdo con los aspectos anteriormente citados. En cualquier caso, dichos ejercicios debern cumplir con unos requisitos mnimos para asegurar su eficacia: Nmero de laboratorios participantes: Dada la influencia que el nmero de participantes tiene en el clculo del valor asignado por consenso, debera tenerse en cuenta que un nmero bajo de participantes puede tener una validez estadstica limitada (DIN 38402 Parte 41 y 42, IUPAC Technical Report, AQA 2007). En el caso de que no se pueda asegurar un nmero de participantes adecuado, sera recomendable obtener el valor asignado a travs de patrones, materiales de referencia, tems preparados, laboratorios de referencia en calibracin, etc. Homogeneidad y estabilidad de los tems: Si no se puede realizar un estudio de estabilidad y homogeneidad, debern seleccionarse aquellos tems que a priori ofrezcan mayor seguridad. En cuanto a la estabilidad se debern respetar los periodos de seguridad referenciados en la literatura. Ser imprescindible justificar documentalmente los motivos tcnicos que lleven a la eleccin de un tem determinado. Estadstica: Con carcter general, no se justifica, la aplicacin de criterios estadsticos, diferentes a los indicados en esta gua, para evaluar los resultados de los participantes. Informe: Deber realizarse un informe detallado, que incluya todos los apartados descritos anteriormente. La documentacin final, disponible para todos los participantes, debe asegurar que se conserva toda la informacin necesaria que permita evaluar la eficacia y validez del ejercicio.

9. BUENAS PRACTICAS DE PARTICIPACIN EN PROGRAMAS DE INTERCOMPARACIN La participacin en un ejercicio de intercomparacin no se debe entender como un examen, por lo tanto los tems se tratarn de forma habitual. En primer lugar se debern leer con detalle las instrucciones de realizacin del ejercicio, con el fin de considerar aquellas condiciones de conservacin, preparacin, estabilizacin, tiempo de realizacin mximo del ensayo, etc. que de no cumplirse afectaran a la comparabilidad de los resultados. Al recibir el tem se comprobar que las condiciones de recepcin son las adecuadas (ausencia de roturas, refrigeracin, envases, accesorios, documentacin de equipos, etc.). En el caso de ejercicios internacionales, es habitual la apertura en la aduana, por lo que se deber verificar que no se haya visto afectada la integridad del tem. En el caso que las instrucciones no sean claras debern consultarse con el organizador aquellos aspectos dudosos.

9/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Tambin se deber comprobar si es obligado la realizacin de un mtodo o se da plena libertad al laboratorio en la metodologa a realizar. En algunos casos, si bien el procedimiento es libre, pueden existir condicionantes impuestos por el organizador (para la preparacin del tem, relativos a la expresin de los resultados, etc.) que podran afectar a la forma habitual de realizar los ensayos. En caso de tener que realizar preparaciones previas no habituales (diluciones, tratamientos trmicos, rehidrataciones, adiciones, ataques metalogrficos, etc.), se deber seguir las instrucciones indicadas al pie de la letra, evitando en lo posible que dichas preparaciones y las medidas siguientes sean ejecutadas por la misma persona para impedir que se identifique el tem como perteneciente a un ejercicio de intercomparacin. Se deber poner especial cuidado en informar de los resultados de acuerdo con las instrucciones recibidas por parte del organizador (cdigo del laboratorio, unidades, cifras significativas, expresin de resultados, incertidumbre, etc.). Se deber facilitar al proveedor toda la informacin solicitada (mtodos, variables, informacin adicional, etc.) que ayude a llevar a cabo una evaluacin de resultados adecuada por parte de ste. Tambin es importante cumplir los plazos establecidos de envo de resultados y que ste se lleve a cabo por los medios solicitados por el proveedor.

10. ASPECTOS A EVALUAR EN LA PARTICIPACION EN INTERCOMPARACION

EJERCICIOS DE

La participacin en ejercicios de intercomparacin resulta poco eficaz si el participante no hace un uso completo de los resultados de cada ejercicio. Por este motivo, la evaluacin que el laboratorio haga de su participacin no debe limitarse al estudio del rendimiento (por ejemplo: valor de z-score, ndices de compatibilidad...) realizado por el proveedor. Por el contrario siempre se debe realizar un estudio en detalle del informe de un ejercicio y no solamente cuando se obtenga un resultado que no sea satisfactorio. As, resultados aparentemente satisfactorios pueden demostrarse no satisfactorios tras una correcta evaluacin que ponga de manifiesto, por ejemplo: criterios de evaluacin no adecuados para el laboratorio, problemas en la organizacin del ejercicio o en la evaluacin llevada a cabo por el organizador, etc. A continuacin se desarrollan aspectos a evaluar tras la participacin en un ejercicio de intercomparacin y una vez que se ha recibido el informe de resultados.

10.1. Item remitido La calidad del tem que es analizado por todos los laboratorios es, sin duda, un aspecto fundamental de un ejercicio intercomparacin. Debe comprobarse si el tem remitido finalmente fue adecuado en cuanto a sus caractersticas. En concreto, cuando sean de aplicacin, se evaluar: que el nivel de concentracin o magnitud del parmetro a evaluar fue acorde con el fin pretendido (tambin en las pruebas cualitativas debe incluirse informacin relevante sobre el orden de magnitud del parmetro). la presencia de interferencias.

10/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

que cuando el proveedor ha establecido la ausencia del analito objeto de evaluacin u otras sustancias, sus lmites de deteccin declarados son adecuados y consistentes con los resultados obtenidos. si los datos obtenidos de homogeneidad/estabilidad evitan que el tem contribuya sustancialmente a la dispersin de resultados o pueda, incluso, hacer ineficaz la evaluacin realizada.

10.2. Informe remitido por el proveedor 10.2.1. Datos de los participantes Es importante que en el informe se recoja toda la informacin remitida por los participantes, ya que esta informacin es necesaria para poder llevar a cabo una adecuada evaluacin de la participacin (resultados excluidos, nmero de laboratorios con resultados inferiores al lmite de cuantificacin, capacidades ptimas de medida de los participantes, etc). Adems, permite obtener otra informacin relevante sobre los mtodos de medida prevalentes, aspectos concretos de metodologa que ofrece mejores resultados, etc. 10.2.2. Tratamiento estadstico Valor asignado En el caso de que se obtenga el valor asignado por consenso, debe sealarse la importancia del uso de mtodos estadsticos robustos que, adems de evaluar adecuadamente el tipo de distribucin de resultados, eviten la influencia de valores extremos. Otro aspecto importante a considerar es si el organizador tiene en cuenta ms de un resultado por cada laboratorio para obtener el valor asignado. Esta prctica se utiliza, en algn caso, como una forma de aumentar artificialmente el nmero de resultados a evaluar al objeto de incrementar la significacin estadstica. Esta evaluacin no es recomendable ya que entremezcla la evaluacin inter e intra laboratorios por lo que puede distorsionar de manera sustancial el valor asignado y por lo tanto la evaluacin realizada. Al determinar el valor asignado por consenso, puede darse el caso de que entre un grupo de laboratorios mayoritario, que utilizan un mtodo con sesgo, coexista una minora de participantes que utilizan un mtodo sin sesgo, como consecuencia este conjunto minoritario producir resultados que se desvan del consenso y por tanto pueden obtener evaluaciones no satisfactorias. En este sentido el mtodo estadstico aplicado debe permitir la deteccin de diferentes poblaciones (distribuciones bi o multimodales) que distorsionen significativamente el valor asignado. Asimismo, en casos como el sealado, resulta fundamental que los laboratorios participantes aporten, y se reflejen en el informe, los datos sobre la metodologa utilizada ya que sta ser la nica forma de detectar y tratar problemas de este tipo. En los casos en los que el valor asignado se ha obtenido a partir de datos ajenos a los participantes (ejemplo: mediante formulacin, material de referencia, proporcionado por el laboratorio de referencia, etc.) debe comprobarse que la incertidumbre de este valor es suficientemente pequea, para realizar una adecuada evaluacin de los resultados de los laboratorios.
11/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Dispersin de los resultados del conjunto de los participantes El valor de la dispersin de los resultados obtenidos por el conjunto de los participantes en un ejercicio de intercomparacin es un excelente indicador de la calidad del ejercicio. En el caso en que el valor asignado se haya obtenido mediante consenso de los participantes, un valor elevado de dispersin puede influir significativamente en la incertidumbre del valor asignado y por tanto en la eficacia del ejercicio. Por lo que se debe evaluar la relacin entre la dispersin obtenida en el ejercicio y la considerada como adecuada al fin pretendido. De una manera general puede decirse que en los casos en que

ejercicio 1.2

ejercicio es la desviacin estndar que describe la dispersin de resultados de los

participantes.
p

es la desviacin estndar diana u objetivo establecida como adecuada al fin

pretendido. puede suceder que o bien el conjunto de los laboratorios tiene dificultades para obtener la precisin requerida o que los resultados aportados no se corresponden con una distribucin normal sino que representan dos o ms poblaciones. En estos casos debe comprobarse que la distribucin es unimodal y que, por tanto, la moda y la mediana no tienen diferencias significativas. Incertidumbre del valor asignado El valor de la incertidumbre del valor asignado deber ser aportado por el proveedor. En aquellos casos en que la incertidumbre del valor asignado obtenida por consenso ux, en el que participan n laboratorios y obtienen una dispersin de resultados que puede describirse mediante la Desviacin Estndar ejercicio, podra aproximarse al valor del error estndar definido como: ux= ejercicio/ n Debe tenerse en cuenta que esta estimacin de la incertidumbre del valor asignado es una aproximacin, que evita la realizacin de un clculo exhaustivo, y tiene utilidad exclusivamente para evaluar la calidad de un ejercicio de intercomparacin. Una relacin adecuada entre la incertidumbre del valor asignado ( u x a ) y la desviacin estndar diana u objetivo establecida como adecuada al fin previsto (
2 ux a 2 p
p
2

) sera:

0 .1

12/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Cuando esta relacin supere el valor de 0,5, la evaluacin realizada debe considerarse solamente a ttulo informativo.

10.2.3. Evaluacin del rendimiento En general la evaluacin del rendimiento se realiza mediante la relacin entre dos aspectos diferentes. Por una parte la diferencia entre los resultados ofrecidos por el laboratorio frente al valor asignado considerado como verdadero y por otra un valor de referencia o diana de incertidumbre (habitualmente expresada como desviacin estndar) y que utiliza el organizador para considerar que los resultados son adecuados. A continuacin se hace referencia a los dos sistemas de clculo del rendimiento ms extendidos por su aplicabilidad general y amplia aceptacin: z-score Se define de acuerdo con la ecuacin:

xa

xa es el valor asignado por consenso (la media robusta de los resultados remitidos por los
laboratorios) p es la desviacin estndar diana o adecuada al fin pretendido x es la medida del laboratorio participante Nmero E Se define como:

En

/x

X/

2 2 U lab U ref

X es el valor asignado Uref es la incertidumbre expandida de X Ulab es la incertidumbre expandida del participante para la medida x x es la medida del laboratorio participante Para llevar a cabo una adecuada evaluacin del rendimiento, la incertidumbre de valor asignado no debe distorsionar la evaluacin de los resultados. Es importante destacar que la evaluacin del rendimiento no debe quedarse nica y exclusivamente en comprobar los valores generalmente aceptados como satisfactorios para estos parmetros (/z/ < 2 y En <1), debiendo evaluarse adems la adecuacin de otros aspectos del ejercicio comentados anteriormente. 10.2.4. Evaluacin realizada por el proveedor Durante aos, y en la mayora de los mbitos, la evaluacin de la participacin en ejercicios de intercomparacin se ha fundamentado en realizar una simple descripcin de los resultados ofrecidos por los laboratorios. Para ello se empleaban los estadsticos ms comunes (media aritmtica o mediana como descriptor de tendencia central y desviacin estndar como indicador de dispersin) considerando, o evaluando, que los resultados cumplan los requisitos de una distribucin normal. Este tipo de evaluacin, que suele denominarse evaluacin descriptiva, al ser dependiente de los resultados aportados por los propios laboratorios participantes, impide disponer de una correcta herramienta para la mejora.

13/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

En contraposicin a esta evaluacin descriptiva, debe realizarse una evaluacin frente a objetivos de calidad, que no provienen de los laboratorios participantes, sino de fuentes externas. Este tipo de evaluacin, denominada objetiva o adecuada al fin pretendido, permite demostrar la competencia tcnica de los laboratorios en su mbito de actuacin. Por tanto el laboratorio debe tener en cuenta qu tipo de evaluacin se ha llevado a cabo. Por otra parte, el laboratorio debe asegurarse que los criterios utilizados, por el proveedor, para realizar dicha evaluacin objetiva sean coherentes con los requisitos u objetivos de calidad que el laboratorio utiliz en la validacin del mtodo. Proveedor con evaluacin objetiva con criterio adecuado al fin pretendido para el conjunto de laboratorios

10.2.4.1.

Si el proveedor del ejercicio utiliza un criterio de precisin adecuado al fin pretendido p para la evaluacin de los resultados de los participantes, se podr emplear directamente esta evaluacin. Es importante resaltar que este criterio est establecido antes de la realizacin del ejercicio y que, en ningn caso, depende de los resultados obtenidos por los participantes. Proveedor con evaluacin descriptiva, sin criterio adecuado al fin pretendido

10.2.4.2.

Existen algunos proveedores de ejercicios de intercomparacin que no operan mediante criterios objetivos de calidad. En estos casos se calculan los rendimientos nicamente a partir de los resultados de los participantes sin ninguna referencia a requisitos externos. Si el objetivo de precisin se obtiene a partir de la desviacin estndar estimada de los resultados de los participantes (excluyendo los valores aberrantes) aproximadamente, un 95% los participantes pueden siempre tener una evaluacin aparentemente satisfactoria. Esta situacin puede resultar cmoda, tanto para los participantes como para el proveedor del ejercicio, pero no indica si los resultados son adecuados al fin pretendido y por lo tanto, no sirve para la mejora. No obstante el laboratorio podra realizar la evaluacin de forma objetiva tal y como se indica en el apartado siguiente, teniendo en cuenta que los resultados obtenidos pueden verse desvirtuados por la carencia de criterios adecuados para el estudio de la homogeneidad y estabilidad del tem.

14/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

10.2.4.3.

Proveedor con evaluacin objetiva con criterio no adecuado al fin pretendido por el laboratorio

Puede suceder que un participante encuentre que el criterio utilizado por el proveedor del ejercicio de intercomparacin es inadecuado para algunos tipos de trabajo que realiza el laboratorio. En este caso los participantes deben calcular su propio objetivo de precisin, basndose en criterios adecuados a su fin pretendido. 10.2.5. Grficos Existen multitud de formas de expresar grficamente un ejercicio intercomparacin. La representacin grfica de los datos o parmetros de evaluacin del rendimiento ayuda a visualizar la distribucin de los resultados obtenidos, facilitando la interpretacin de algunos aspectos difcilmente evaluables slo mediante datos numricos (normalidad de la distribucin, tendencias, sesgos, multimodalidad...).

10.2.6. Incidencias Si el proveedor informa de cualquier incidencia o comentario en el desarrollo del ejercicio de intercomparacin, esta deber ser tenida en cuenta a la hora de evaluar los resultados.

10.3. Informe de la evaluacin El laboratorio deber elaborar un informe que incluya la evaluacin de los aspectos relevantes descritos anteriormente y las conclusiones obtenidas. El empleo de un nico resultado de evaluacin del rendimiento supone una indicacin valiosa para el laboratorio pero, sin duda, el seguimiento de un conjunto de resultados aporta una visin de mayor inters para evaluar la robustez del mtodo y su evolucin a lo largo del tiempo. En este contexto resultan tiles tanto las herramientas estadsticas como las grficas. Debe sealarse que, en general, no se recomienda el uso de puntuaciones combinadas a partir de parmetros de evaluacin del rendimiento que provengan de diferentes analitos o parmetros. Asimismo en la interpretacin de los resmenes estadsticos que empleen puntuaciones combinadas debe tenerse precaucin para evitar conclusiones incorrectas. Por ello los clculos estadsticos que puedan utilizarse (sumatorios cuadrticos, ponderados, etc.) deben tratarse con precaucin para evitar la influencia de los valores extremos.

15/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

11. ACTUACIONES A LLEVAR A CABO ANTE LA OBTENCIN DE RESULTADOS NO SATISFACTORIOS Si, tras llevar a cabo la evaluacin de acuerdo con el apartado anterior (prestando especial atencin a que la evaluacin realizada haya sido adecuada al fin pretendido), el laboratorio llega a la conclusin de que el ejercicio de intercomparacin es correcto y an as ha obtenido resultados no satisfactorios, debe realizar una investigacin que identifique y explique las causas, para poder as establecer las acciones que eviten la repeticin de los problemas encontrados. La investigacin ante un resultado no satisfactorio debera incluir distintas etapas como: Comprobar que no se produjeron errores en la expresin de resultados (unidades, adiciones, diluciones...), trascripcin de los datos, etc. Comprobar que se siguieron las instrucciones del organizador relativas a conservacin y manipulacin del tem. Verificar que las medidas se realizaron siguiendo el procedimiento que se pretende evaluar. Comprobar que el instrumento con el que se realiz la medida funcion correctamente (Ej.: a partir de una comparacin de datos como la sensibilidad con respecto a otros das). Comprobar que no se produjeron contaminaciones provenientes del material utilizado, del ambiente, etc. Comprobar los resultados de los controles de calidad internos del mtodo de medida (material de referencia, muestra duplicada, controles entre calibraciones...) y su evolucin. Comprobar resultados de otros tems similares ensayadas el mismo da que permita descartar, por ejemplo, falsos negativos/positivos, problemas de contaminacin, etc. Comprobar otros parmetros ensayados por el mismo mtodo, da, operador (Ej..: Si se trata de un ensayo multiparamtrico y nicamente existe un resultado no satisfactorio en uno de ellos, las causas pueden ser diferentes que si todos los resultados son no satisfactorios). Verificar si pueden haber afectado al resultado del laboratorio las incidencias o particularidades sealadas por organizador en el informe. Comprobar los resultados obtenidos en anteriores ejercicios de intercomparacin. Si a pesar de realizar las comprobaciones anteriores el laboratorio, no encuentra el origen del problema, se debern llevar a cabo estudios ms exhaustivos, siempre que sea posible sobre el mismo tem, que pueden consistir en: Si es posible, repetir el ensayo. Si en este segundo ensayo, el resultado es satisfactorio, se podra considerar un error puntual, que el control de calidad interno no hubiera detectado. No obstante, en estos casos, el laboratorio deber verificar que no se han producido cambios en las condiciones de ensayo (equipos, reparaciones, personal, etc.) que pudieran haber causado el problema. Adems ser necesario realizar un seguimiento de resultados posteriores para asegurar que el problema no se vuelva a repetir. Realizar modificaciones sobre el mtodo de ensayo o algunas de la etapas claves del mismo (Ej.: digestin, mecanizacin, tratamiento trmico, extraccin, etc). Una vez considerados todos los aspectos y etapas anteriores, el laboratorio debe establecer acciones correctoras, para solucionar el problema y evitar que se repita en el futuro. As mismo se deber valorar la eficacia de dicha acciones correctoras, por ejemplo mediante la participacin en otro ejercicio de intercomparacin.

16/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Igualmente es crucial que el laboratorio tenga en cuenta y resuelva las consecuencias del problema detectado, puesto que durante el periodo transcurrido entre el envo de resultados y la recepcin del informe por parte del organizador el laboratorio habr emitido resultados que podran haber sido incorrectos.

12. ERRORES COMUNES Entre los errores ms comunes que se pueden cometer y que deben evitarse, durante la participacin en una intercomparacin, figuran los siguientes: No seguir las instrucciones del organizador. No realizar el ensayo de la forma habitual sino como un tem especial. Modificar las indicaciones del ejercicio con el fin de realizar el ensayo en condiciones ms favorables (diluciones, lmites de deteccin, etc.). No respetar las condiciones de repetibilidad, mezclando metodologas, personal, equipos, etc. Realizar un mayor nmero de medidas del requerido por el organizador o el mtodo de medida, seleccionndolas o promedindolas en virtud de los resultados obtenidos. Cometer errores en la trascripcin de resultados. Comentar resultados con otros participantes del ejercicio. Presentar como propios resultados de medidas subcontratadas a otros laboratorios. Cometer errores en la identificacin del tem cuando en una ronda el proveedor enva varias tems/envases simultneamente. Cometer errores en la transmisin de resultados (unidades, cifras significativas, decimales, etc.), codificacin del laboratorio, etc. Por otra parte, se deben evitar algunos planteamientos errneos, con respecto a la utilidad de la participacin en intercomparaciones, tales como: Considerar el ejercicio de intercomparacin como un concurso, por ejemplo estableciendo como objetivo de rendimiento z-score igual a cero. Sobrevalorar los resultados satisfactorios o no satisfactorios, llegando incluso a ser usados como medios sustitutivos del control de calidad interno. Tomar acciones frente a resultados no satisfactorios no basadas en un anlisis riguroso de los resultados, lo cual lleva a conclusiones del tipo problema puntual por lo que no se toman acciones, esperaremos al siguiente ejercicio, se comenta con el analista que tenga ms cuidado la prxima vez, no sabemos que ha pasado,etc.

13. BENEFICIOS DE LA PARTICIPACIN Entre los beneficios que los laboratorios pueden obtener de la participacin sistemtica en ejercicios de intercomparacin, pueden destacarse los siguientes: Permite confirmar la correcta validacin inicial de un mtodo por medio de la comparacin de los resultados de exactitud y precisin con los obtenidos en la validacin. La participacin en intercomparaciones nos permite poder evaluar si la incertidumbre estimada por el laboratorio es realista . As mismo los datos obtenidos de la participacin en intercomparaciones pueden ser utilizados para la validacin de mtodos de medida, siempre y cuando los tipos de tems y los intervalos de trabajo sean coherentes con el objetivo de la validacin.
17/18

Gua sobre la participacin en programas de intercomparaciones G-ENAC-14 Rev. 1 Septiembre 2008

Se pueden determinar errores sistemticos que se producen en el mtodo de medida, por ejemplo, analizando la tendencia de los resultados del rendimiento, se puede identificar la existencia de algn sesgo en el mtodo. Permite llevar a cabo mejoras en el mtodo por comparacin con otros laboratorios. Obtener informacin de los mtodos aplicados por otros participantes, nuevas metodologas, uso de nuevos materiales de referencia, comparacin de mtodos disponibles en el mercado, etc... Permite realizar un seguimiento del comportamiento del mtodo, respecto a la exactitud y precisin del mismo. Fomentar la colaboracin e intercambio de experiencias entre laboratorios. Demostracin de competencia tcnica frente a terceros. 14. REFERENCIAS BIBLIOGRFICAS NT-03 Poltica de ENAC sobre Intercomparaciones Gua ILAC G-13 ILAC Guidelines for the Requirements for the Competence of Providers of Proficiency Testing Schemes UNE- EN ISO/IEC 17025 Requisitos generales para la competencia de los laboratorios de ensayo y calibracin ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons IUPAC Informe Tcnico Protocolo armonizado internacional para programas de intercomparacin de laboratorios de qumica analtica DIN 38402 German standard methods for the examination of water, waste water and sludge; general information (group A); recording of analysis results (A 1). Belli M, Ellison S, Fajgelj A, Kuselman I, Sansone U, Wegscheider W (2007) Accred Qual Assur 12:391-398. Implementation of proficiency testing schemes for a limited number of participants.

El presente documento se distribuye como copia no controlada. Puede consultar su revisin en la pgina web de ENAC, en el apartado documentos o internamente en red.

18/18