Estimación de la incertidumbre

Escribir
ISO.
Combinación de la distintas fuentes de
incertidumbre.

Aplicación de la ley de propagación de errores

Magnitudes de entrada
no correlacionadas

201
 Estimación de la incertidumbre
Escribir
ISO.
Combinación de la distintas fuentes de
incertidumbre.

Aplicación de la ley de propagación de errores

Magnitudes de entrada
correlacionadas

202
 Estimación de la incertidumbre a partir
Escribir
de
resultados de Ejercicios Interlaboratorios.

Ventajas

• Engloba las fuentes y facilita enormemente la estimación de la

incertidumbre.

• Los errores sistemáticos y aleatorios que ocurren dentro de los

laboratorios individuales se convierten en errores aleatorios
entre laboratorios cuando se observan desde un nivel superior

• Incluye factores individuales intrínsicamente desconocidos

203
 Estimación de la incertidumbre a partir
Escribir
de
resultados de Ejercicios Interlaboratorios.

Inconvenientes

• No disponibilidad de los datos del ejercicio interlaboratorio.

• Selección de los laboratorios
• Las estimaciones de la reproducibilidad individual pueden no
ser representativas
• Algunos de los componentes de la incertidumbre (muestreo,
pretratamiento) pueden no estar incluidos La incertidumbre
determinada puede no ser representativa del laboratorio
• Diferencias entre medidas pasadas y condiciones actuales del
laboratorio

204
 Estimación de la incertidumbre a partir
Escribir
de
resultados de Ejercicios Interlaboratorios.

Los resultados obtenidos desde una

participacion en un ejercicio entre laboratorios
pueden utilizarse a los fines de cuantificar la
incertidumbre de los resultados generados
(Condiciones de reproducibilidad)

205
 Escribir
Estimación de la incertidumbre a partir de
resultados de Ejercicios Interlaboratorios.

Aumenta variabilidad

Repetibilidad Reproducibilidad

Información desde ejercicios

inter-laboratorios

Cuantificación bajo máxima

agrupación de las fuentes
de incertidumbre

206
 Estimación de la incertidumbre a partir
Escribir
de
información de la Validación del Método.

Ventajas

• Implica podo esfuerzo adicional pues siempre debe

determinarse trazabilidad y precisión en condiciones de
reproducibilidad interna.

• Menos costosa que la aproximación

207
 Estimación de la incertidumbre a partir
Escribir
de
información de la Validación del Método.

Inconvenientes

• No disponibilidad de un adecuado material de referencia con

elevada jerarquía metrológica.

• Pueden existen factores que pueden no variar

representativamente al momento de determinar la trazabilidad.

• No permite cuantificar las fuentes de manera individual.

• En ocasiones es dificultoso el diseño experimental para

cuantificar alguna fuente de incertidumbre.

208
 Estimación de la incertidumbre a partir
Escribir
de
información de la Validación del Método.

U = 2* u
X2
sesgo +u 2
Re producibilidad

Análisis microbiológico Se deben incluir todas las

fuentes de variación en el
método analítico

En el Proceso de Verificación de la Trazabilidad (PVT ) se genera

información en condiciones intermedias de reproducibilidad

209
 Escribir

Estimación de la
Incertidumbre de una
Medición Microbiológica

210
 Escribir
Estimación de la incertidumbre en
Métodos de Ensayos Microbiológicos.

“Uncertainty of Quantitative Determination

Derived by cultivation of micro Organisms”
Publication J3/2003
Centre for Metrology and Accreditation
Helsinki- Finland
(Seppo I. Niemelä)

211
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Valores observados

Resultado del ensayo

Mediciones

Incertidumbre

212
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Incertidumbre estándar relativa

w

Incertidumbre estándar combinada

uc , uy o wy

Incertidumbre expandida
U=kuc

k: F(distribución de probabilidad).
Ej: Poisson o binomial negativa
213
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumentos cuantitativos

Suspensión de ensayo Suspensión final

Sistema de tubos

Instrumentos
Sistema de placas

214
 Escribir
Estimación de la incertidumbre en
Métodos de Ensayos Microbiológicos.

Expresión de la incertidumbre

“Resultado: x (unidades) con una incertidumbre estándar uc (unidades)”

± Intervalo de confianza (U)

El último dígito significativo en el resultado

y en la incertidumbre deberán coincidir

215
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Expresión de la incertidumbre

“Resultado: x (unidades) con una incertidumbre estándar uc (unidades)”

y = x*10k

y = 1300000 g-1 con una incertidumbre del 25%

y = 1.30 * 106 g-1 con una incertidumbre estándar 0.33 * 106 g-1

216
 Escribir
Estimación de la incertidumbre en
Métodos de Ensayos Microbiológicos.

Principios de estimación de la incertidumbre

Ley de Propagación de las

incertidumbres
Tipo A

Hallazgo de las fuentes

Otros predominantes
Tipo B medios

217
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Fuentes de información

Calibración

Análisis de varianza de mediciones ya realizadas

Suposición de distribuciones estadísticas (Poisson, binomial) o

(rectangular y triangular)

Experiencia, fabricantes de equipos, especificaciones, literatura científica,

experiencia de errores instrumentales, homogeneidad de materiales,
reportes de calibración y certificación, valores de incertidumbres citados
en handbooks

218
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Distribución
rectangular

Distribución triangular
simétrica

Distribución triangular
asimétrica

219
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Cálculo de la incertidumbre combinada

Ley de propagación de incertidumbres

(A/B)

220
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Variables dependientes

Coeficiente de correlación

221
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Transformación de escala

“El error relativo de una cantidad es aproximadamente igual al

base e
error absoluto de su logaritmo”. Myrberg (1952)

222
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Características metrológicas de los

métodos de cultivo microbiológicos

Detector de recuentos de colonias

(placas de Petri)

Detectores
Detector presencia/ausencia
(tubos)

223
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

224
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Nº de colonias
Una placa
Volumen de la suspensión final

225
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Múltiples placas

226
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

MPN a una dilución

227
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

MPN a dilución múltiple

228
 Estimación de la incertidumbre en
Escribir
Métodos de Ensayos Microbiológicos.

Confirmación In Situ

Resultados de
ensayos confirmados Confirmación total

Confirmación parcial

Confirmación universal

229
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Estimación de componentes de la
incertidumbre

Incertidumbre de Incertidumbre de
lectura F

230
 Escribir
Estimación de la incertidumbre en
Métodos de Ensayos Microbiológicos.

Incertidumbre de la lectura

Incertidumbre media por Recuentos repetidos

lectura en una placa

Incertidumbre combinada
media por lectura en varias
placas

Incertidumbre de resultados Generalmente no disponible

MPN

231
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Dispersión de Poisson

Recuento simple de colonias

Suma de recuentos de
colonias

232
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Incertidumbre del volumen de ensayo

Un volumen de ensayo

Repetibilidad de l dispositivo de medición (llenado y vaciado)

Especificación del fabricante de glassware
Efectos de la temperatura (Tcalibración vs Tmedición)

Suma de volúmenes de ensayo

233
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Incertidumbre de recuentos confirmados

234
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Incertidumbre de recuentos confirmados

235
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Confirmación general en instrumentos de

placas múltiples

236
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Confirmación dilución-específica en
un instrumento de placas múltiples

237
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Confirmación placa-específica en un
instrumento de placas múltiples

No suele ser necesario suponer condiciones en cada placa del

instrumento de placas múltiples

En caso de ser necesario debe trabajarse como en “Confirmación

dilución-específica en un instrumento de placas múltiples”

238
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

El factor de dilución

a: Suspensión microbiana
b: Diluyente estéril

239
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Incertidumbre del factor de dilución

240
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

K etapas similares

Si difieren en configuración de
volúmenes

241
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Modelos matemáticos de resultados de ensayos

cuantitativos y sus incertidumbres
•Factor de dilución
Correcciones sistemáticas para:
•Coeficiente de confirmación

•Factor de dilución: F
Variables para métodos de recuento •Volumen para ensayo v
cuantitativo de colonias •Número de colonias z
•Coeficiente de confirmación p

•Se asume estricta adhesión a

Tiempo y temperatura de incubación los prescripto por las normas

242
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento monoplaca

Wt: Incertidumbre relativa

personal por lectura

243
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Diseños multi-placas. General

244
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

p: Coeficiente de confirmación
derivado de analizar un
subconjunto de las colonias

245
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Diseños multi-placas. Recuentos confirmados

246
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución simple

247
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución simple.

Incertidumbre del volumen promedio de ensayo

248
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución simple.

Incertidumbre relativa de la estimación MPN

i) Al 95% de confianza

ii) Un “error estándar del log10MPN puede convertirse a incertidumbre relativa

wMPN simplemente transformando a escala logarítmica natural (multiplicando
por 2.303)

iii) Sin otras fuentes de información, la incertidumbre relativa estándar puede

obtenerse suponiendo que el numero s de tubos estériles es una cantidad
aleatoria que varia acorde a la distribución binomial. Por lo tanto su varianza
es s(n-s)/n

249
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

xH

xA

250
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución simple.

Incertidumbre combinada del resultado

251
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución múltiple.

252
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Instrumento MPN. Dilución múltiple.

253
 Escribir
Estimación de la incertidumbre en
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de distribuciones sesgadas

Las distribuciones estadísticas de los ensayos microbiológicos son mas o

menos sesgados (asimétricos) prácticamente sin excepción

Una adición o sustracción aritmética simple de una incertidumbre expandida no

siempre da una estimación satisfactoria del intervalo de confianza al 95% para
resultados de ensayos microbiológicos

254
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de distribuciones sesgadas.

Estimación por el uso de distribuciones de probabilidad

El modelo de Poisson Aplicable cuando:

•Observado < 25
•Dilución innecesaria
•Hasta 100 por placa

255
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de distribuciones sesgadas.

Estimación por el uso de distribuciones de probabilidad

El modelo binomial negativo

•Se aplica cuando la incertidumbre procedimental no es

despreciable
•Debe excluirse la incertidumbre de la distribución
•Debe incluir otras componentes pre-analíticas como la
variabilidad de muestreo
•Hasta 100 por placa

256
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de distribuciones sesgadas.

Aproximación general.

257
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de distribuciones sesgadas.

Resultados basados en recuentos bajos

Condición de aceptabilidad

258
 Estimación de la incertidumbre en
Escribir
Métodos de Ensayos Microbiológicos.

Intervalos al 95% de confianza de

distribuciones sesgadas.
Métodos MPN

Los intervalos son provistos por programas de

computación (o tablas)

259
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Un atajo al calculo de la incertidumbre para instrumentos multi-placa

Estadístico “ratio log-likelihood”

260
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Estadístico “ratio log-likelihood”

261
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Confirmación

Cada recuento presuntivo debe ser convertido a su correspondiente

recuento confirmado.
Si solo una parte de las colonias son confirmadas deben aplicarse los
coeficientes respectivos.

262
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

263
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

264
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Modelos completos para correcciones sistemáticas y sus

incertidumbres

Naturaleza de las correcciones sistemáticas en microbiología

Errores espurios:
•Contaminación, antibioticos, interacciones competitivas entre colonias
•Temperatura

Errores sistemáticos:
•Inhabilidad ocasional de una partícula viable para expresarse como
colonia reconocible
•Solapamiento geométrico de colonias vecinas
•Desvío sistemático del estilo de recuento
•Disminución del rendimiento de un lote de medio

265
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Ejemplo 1. Placa simple muestra no diluida

Se siembra una placa simple con un 1 µl (loop calibrado). Su incertidumbre

relativa es de 12 % (wv = 0,12)
z = 75

Mensurando: y = z/v

Dispersión de Poisson

266
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Replicados de muestras o muestras control en condiciones de

reproducibilidad (ISO TS 19036)

Elementos y suposiciones para calcular la incertidumbre

• Muestras de control (no estándares)
• Todas las etapas del método
• Duplicado, en diferentes días, diferentes analistas, diferentes equipos,
• Diferentes batchs de reactivos
• Se asume que la matriz empleada es representativa de las muestras

American Association for Laboratory Accreditation

267
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.
¿Cuáles son las etapas para calcular la incertidumbre?

1.Transformar en log10 los datos de CFU (columna 2 y 4)

2.Calcular la media global de los 40 resultados (columnas 2 y 4) . Su valor: 1.9219

3.Calcular la diferencia entre los replicados transformados (columna 5)

4.Elevar al cuadrado las diferencias entre los replicados transformados (columna 6)

5.Sumar las diferencias (columna 6) y dividirlas por 2n, donde n es el total de pares duplicados (en este caso
n=20). El valor es: 0.00919

6.Tomar la raíz cuadrada del resultado obtenido en el paso anterior. Este valor , 0.0959, representa a la
desviación estándar conjunta de reproducibilidad

7.Convertir esta desviación estándar en desviación estándar relativa dividiendo por el valor medio obtenido en la
etapa 2. De acuerdo a esto RSD = 0.0499

8.Para expandir el rango de valores , aplicar el factor de cobertura k=2 (95% de confianza). La RSD obtenida es:
0,098 (valor en log10 )

9.Para calcular la incertidumbre del resultado de cualquier otra muestra que llegue al laboratorio, su resultado
debe ser transformado a logaritmo decimal y multiplicado por 0,098. Esta incertidumbre expandida debe sumarse
y sustraerse al logaritmo en base 10 obtenido.

10. Para estimar la incertidumbre de la muestra, convertir el valor logarítmico (volver) a UFC. Este valor debe ser
acompañado por el antilogaritmo de los extremos del intervalo obtenido en el punto anterior. Convencionalmente,
el resultado del extremo inferior debe redondearse hacia abajo y el extremo superior debe redondearse hacia
arriba.

268
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Replicados de recuperación para muestras o muestras de control (ISO

TS 19036)

Elementos y suposiciones para calcular la incertidumbre

• Suposición de que la recuperación es razonablemente constante para determinados

organismos en determinadas matrices .

• La variabilidad de la recuperación en el tiempo refleja a varias fuentes de incertidumbre

• Una misma cantidad de inoculo es sembrada con y sin la matriz de interes.

• Las diferencias entre cada conjunto es una medida de la recuperación del organismo
expresada como un %
•Error aleatorio natural

•Equipamiento

•Condiciones ambientales

269
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

¿Cuáles son las etapas para calcular la incertidumbre?

1. Transformar los valores de CFU a log10 (columna 1 y 3)

2. Calcular el % de recuperación de los valores logarítmicos dividiendo la columna 4 por la

columna 2 y multiplicando por 100.

3. Calcular la media y desviación estándar del % de recuperación de los valores logarítmicos

(97.0% y 3.6% respectivamente). La desviación estándar es un estimado de la
incertidumbre estándar combinada.

4. Transformar a incertidumbre expandida multiplicando el valor anterior de desviación

estándar por k=2 (7.2 %)

270
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Desde Ejercicios Inter-Laboratorio (EIL)

Proviene de: ISO TS 21748: Guidance for the use of repeatability, reproducibility and trueness
estimates in measurement uncertainty estimation.

El EIL debe cumplir los requisitos de: ISO 5725-2: Accuracy (trueness and precision) of
measurement methods and results – Part 2: Basic method for the determination of repeatability
and reproducibility of a standard measurement method.

Se sobreestima la incertidumbre calculada

Se requiere demostrar que el laboratorio es competente.

Se incluyen todas las etapas del proceso de medicion

271
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Protocolo sugerido para el calculo de la incertidumbre desde EIL

1. Asegurase de que se dispone de un diseño de estudio de validación y análisis de datos apropiado (que incluya
remoción de outliers, cálculos estadísticos, análisis de efectos de concentración, etc.) y que las estimaciones de
Repetibilidad (Sr) y Reproducibilidad (SR) son apropiadas para el uso en el laboratorio.
2. Tomar la estimación de la Reproducibilidad como una estimación provisoria de la incertidumbre de la medición (u´ ):

´ =  .
3. Utilizar la estimación de la Reproducibilidad y Repetibilidad para calcular la SD entre laboratorios (SL) de la siguiente
manera:  =  −  
4. Estimar el sesgo del laboratorio (BL) desde mediciones replicadas de materiales de referencia comparando con
laboratorios de referencia o desde interlaboratorios de aptitud: BL = (Media del Laboratorio – Valor de Referencia)
5. Estimar la repetibilidad del laboratorio (Si) desde un estudio interno, el cual puede haber sido realizado previamente.
Debe estar basado en al menos 10 replicados. Nota 1: Si la estimación del sesgo del laboratorio (BL) es menor que SL
puede saltearse el paso 6. Si la repetibilidad Si es menor que Sr puede saltearse el paso 7 (pero considerar paso 7c)
6. Calcular el criterio de aceptabilidad para el sesgo del laboratorio de la siguiente manera: Sesgo limite = 2xSL. Si |BL| <
Limite de sesgo el sesgo del laboratorio es aceptable para el uso de este procedimiento. En caso de superar el limite
verificar las razones y corregir si es posible.
7. Calcular el criterio de aceptabilidad para la repetibilidad: Limite de precisión = 1,5xSr
a) Si Si < limite de precisión la precisión es aceptable para este procedimiento
b) Si Si > limite de precisión el procedimiento puede aun emplearse, pero la incertidumbre provisoria debe ser
expandida de la siguiente manera:
´ =  − 


c) Si Si es mucho menor que Sr el laboratorio podrá querer disminuir la estimación provisoria de la incertidumbre
usando e mismo calculo que en el paso 7.b.

272
 Estimación de la incertidumbre
Escribir
en
Métodos de Ensayos Microbiológicos.

Protocolo sugerido para el calculo de la incertidumbre desde EIL

Nota 2: ISO TS 21748 requiere una prueba F, basada en el número de resultados en el estudio de
validación y el número de resultados utilizados por el laboratorio para estimar la repetibilidad. Para el
número mínimo de resultados en un estudio aceptable, y al menos 10 replicaciones en el estudio de
repetibilidad, el límite de precisión en este paso es el criterio más apretado que se obtendría.

8. Agregar componentes de variabilidad (Sa1, Sa2, etc.) que no hayan sido incluidos en el experimento de
validación, tales como submuestreo o preparación de la muestra. Pueden haber mas de una componente
adicional. Agregar la componente(s) adicional a la estimación provisoria (u´) para generar la estimación
 
final de la incertidumbre combinada estándar:
=
´ +   +  

9. Calcular la incertidumbre expandida con el 95% de cobertura y k = 2 de la siguiente manera: U = 2xu

Nota 3: Si la estimación de la incertidumbre es un %, la incertidumbre actual deberá ser calculara para

cada muestra a su nivel respectivo.

Nota 4: Los extremos del intervalo de incertidumbre deberán ser calculados con calores log10 y luego
vueltos a transformar a UFC.

273
Escribir

274
 Escribir
Conclusiones

Acreditación de laboratorios

Calidad
Validación de Ejercicios de
Métodos intercomparación
Comparabilidad
Confianza

Control de calidad internos

275
 Conclusiones
Escribir

Nuestro método de
ensayos se ajusta a
propósito, posee validez

A pesar del
paso del A pesar de la
tiempo deriva o
A pesar de las
fluctuación
modificaciones que
natural que
pudieren ocasionar
ocurre en todo
desvíos respecto de las
proceso.
especificaciones
predeterminadas
durante la validación
primaria.

276
 Conclusiones
Escribir

CONFIANZA

277
 Escribir

WWW.ASISTENCIATECNICAALCOMERCIO.GOV.CO

GRACIAS POR SU ATENCIÓN

WWW.RCM.GOV.CO
278