Sunteți pe pagina 1din 66

Proiect Phare RO 2002/000-586.04.

13

ntrirea capacitii instituionale i administrative a Ministerului


Sntii n vederea adoptrii i implementrii Acquis Communautaire
n domeniul apei i riscurilor pentru sntate asociate acesteia

RAPORT TEHNIC

Manual de instruire: Instruire QA/QC pentru


Laboratoarele de ap - Modul Laborator 1

Februarie 2005
Manual de instruire

Instruire pentru asigurarea i controlul


calitii
n laboratoarele de ap
Cuprinsul

1. Introducere............................................................................................................................4
2. Asigurarea calitii n laborator..........................................................................................6
2.1. Ce este calitatea?.....................................................................................................................6
2.2. Sistemul calitii......................................................................................................................6
2.3. Responsabiliti.......................................................................................................................7
2.4. Documentarea Sistemului calitii..........................................................................................8
2.5. ntreinerea i calibrarea echipamentelor..............................................................................13
2.6. nregistrri i arhive..............................................................................................................15
3. Controlul extern al calitii................................................................................................19
3.1. Ce este controlul extern al calitii?......................................................................................19
3.2. Participarea la un test de performan...................................................................................19
3.3. Informaii transmise n raportul la un test de performan....................................................20
3.4. Cum se utilizeaz informaiile dintr-un test de performan pentru mbuntirea activitii
24
4. Controlul intern al calitii.................................................................................................26
4.1. Ce este controlul intern al calitii?.......................................................................................26
4.2. Principii referitoare la graficele de control...........................................................................27
4.3. Construcia graficelor de control...........................................................................................29
4.4. Interpretarea zilnic a graficelor de control..........................................................................38
4.5. Utilizarea pe termen lung a datelor din graficele de control.................................................39
4.6. Grafice de control pentru calculul incertitudinii msurtorii................................................40

Anexa A: Tabele statistice


Anexa B: Exemple lucrate pentru controlul intern al calitii
Manual instruire QA/QC pag. 4 (66)

1. Introducere
Prezentul manual de instruire a fost redactat pentru uzul laboratoarelor cu activitate n domeniul
monitorizrii apei potabile din Romnia, n cadrul Proiectului Phare RO 2002/000-586.04.13 ntrirea
capacitii instituionale i administrative a Ministerului Sntii n vederea adoptrii i implementrii
Acquis Communautaire n domeniul apei i al riscurilor pentru sntate asociate acesteia.

Manualul este axat pe cerinele generale ale Sistemului calitii conform ISO 17025, redactarea i
implementarea unui Manual al calitii i asigurarea i controlul intern i extern al calitii n laborator.

Pe parcursul instruirii, manualul este completat prin documentele distribuite la fiecare seminar oferit.
Aceste documente sunt reproduceri tiprite ale diapozitivelor prezentate la retroproiector i de multe ori
ofer informaii mai detaliate n legtur cu unele aspecte prezentate n manual. Manualul este deci, n
sens mai strict, nu un document complet de sine stttor. De altfel, nici nu i propune s trateze toate
aspectele legate de asigurarea i controlul calitii, ci doar pe cele mai importante dintre acestea.

Coninutul manualului reflect pe ct posibil recomandrile i regulamentele din standardele ISO


aplicabile, mai ales ISO 17025 Cerine generale cu privire la competena laboratoarelor de calibrare i
testare. Unele poriuni din manual se inspir sau sunt chiar n mare parte identice cu coninutul
manualului Eurofins Controlul intern al calitii n laboratoarele de mediu.

Mikael Krysell
Eurofins A/S, Danemarca
Februarie 2005
Manual instruire QA/QC pag. 5 (66)

Lista abrevierilor

QC Controlul calitii
QA Asigurarea calitii
PC Prob de control (martor)
PSO Procedur Standard de Operare (Descrierea metodei)
OD oxigen dizolvat
TSS Total solide n suspensie
ISO International Standardisation Organisation (www.iso.ch) Organizaia Internaional pentru
Standardizare
drs% deviere relativ standard (n %)
LC Limit de control
Manual instruire QA/QC pag. 6 (66)

2. Asigurarea calitii n laborator

2.1.Ce este calitatea?

Definiia cuvntului Calitate n contextul activitii de laborator este urmtoarea:


Abilitatea datelor obinute de a rspunde la ntrebrile crora trebuie s le rspund

Aceasta se exprim adeseori ca potrivire fa de scop a datelor i conduce la 2 concluzii importante:

1. Persoana sau organizaia care utilizeaz datele sunt cele care definesc calitatea necesar a
datelor i nu laboratorul!
2. Calitatea corect a datelor nu este n mod necesar aceeai cu cea mai bun calitate posibil a
datelor!

Cu alte cuvinte: o bun calitate a datelor este aceea care face ca rezultatele s poat fi folosite. Este
foarte posibil s se obin date de foarte slab calitate ele nu vor putea fi utilizate. Este de asemenea
posibil ca datele produse s fie de prea bun calitate atunci se pot dovedi prea costisitoare sau pot
necesita un timp prea ndelungat de obinere.

2.2.Sistemul calitii

Definiia unui sistem al calitii (ISO 8402) este urmtoarea:

Structurile organizatorice, procedurile, procesele i resursele


necesare pentru implementarea managementului calitii

Aceasta nseamn c tot ceea ce FACEI sau utilizai ca timp, echipamente sau materiale i care ar
putea afecta n final rezultatele obinute face parte din Sistemul calitii. O greeal frecvent este aceea
de a considera ca Sistemul calitii este unul i acelai lucru cu Manualul calitii, dar nu este ctui de
puin aa. Manualul calitii este o descriere a Sistemului calitii, dar modul i msura n care
vei implementa ceea ce este descris n Manualul calitii este partea cea mai important!

Este foarte posibil (i de fapt destul de frecvent) s existe un foarte bun Manual al calitii, dar Sistemul
calitii s fie foarte slab, numai pentru c laboratorul nu a pus n practic ceea ce a descris n Manualul
calitii. Este de asemenea posibil, dar mai puin frecvent, s existe un Manual al calitii prost scris i
un bun Sistem al calitii.

Mai mult, este extrem de important s nu uitai c o lucrare de calitate nu este opera unei singure
persoane, n timp ce restul personalului se ocup de activiti de rutin i nici o activitate separat
desfurat n completarea activitii de analiz. Lucrrile de calitate trebuie realizate de ctre toi ca
Manual instruire QA/QC pag. 7 (66)

parte integrat i absolut normal a activitii i fiecare persoan rspunde permanent de calitatea
activitii pe care o desfoar.

2.3.Responsabiliti

Pentru introducerea Sistemului calitii, ntr-un laborator trebuie s existe deja cteva posturi cheie:
ef al laboratorului persoana care rspunde de partea financiar i de managementul
personalului. eful de laborator deine de asemenea responsabiliti generale n cadrul
Sistemului calitii i face disponibile resursele necesare
Managerul calitii persoana care rspunde de documentarea i actualizarea Sistemului
calitii.
Gestionar - persoana care rspunde de funciunile de ordin tehnic ale laboratorului
(echipamente, instalaii, materiale etc.)

eful de laborator sau managerul calitii pot avea i responsabiliti de ordin tehnic, aa c practic nu
este nevoie dect de dou persoane. eful de laborator i managerul calitii nu pot fi ns niciodat una
i aceeai persoan. i aceasta deoarece managerul calitii trebuie s fie liber de orice rspunderi
economice directe atunci cnd sugereaz sau implementeaz n laborator procedurile legate de calitate.
Aceast persoan trebuie s acioneze ntotdeauna numai n interesul Sistemului calitii, dup care
eful de laborator va fi cel responsabil cu gsirea resurselor necesare.

Fiele de post detaliate pentru aceste persoane vor trebui scrise nc din primele faze ale iniierii
Sistemului calitii.

De o deosebit importan n implementarea i dezvoltarea unui Sistem al calitii este i conducerea


superioar a institutului /ntreprinderii respective. Implicarea conducerii are un caracter esenial, astfel
ca aceasta s pun resursele necesare la dispoziia activitii legate de calitate. Totodat, pentru ca
personalul s poat dobndi ncredere n activitatea desfurat, este la fel de important ca ambiiile i
scopurile Sistemului calitii s fie exprimate n mod clar de ctre conducerea superioar, adeseori sub
forma unei declaraii a politicii calitii (a se vedea n continuare). Astfel, pentru cei implicai n
implementarea direct a Sistemului calitii, este important informarea permanent a conducerii cu
privire la acest proces i la fel de important este susinerea total, prin cuvnt i prin fapt, de ctre
conducerea superioar, a activitii legate de calitate.
Manual instruire QA/QC pag. 8 (66)

2.4.Documentarea Sistemului calitii

Documentarea unui Sistem al calitii este adeseori mprit n trei straturi i poate fi descris cu
ajutorul ilustraiei urmtoare:

MANUALUL CALITII

PROCEDURI
(QA/QC, Manualul
personalului, metode etc.)

DOCUMENTE DE LUCRU
(metode analitice, fie de teren etc.)

Principalul document al sistemului calitii dintr-un laborator se numete Manualul calitii (nivel 1), i
descrie n termeni generali organizarea laboratorului i responsabilitile diferitelor categorii de
personal. Manualul calitii trebuie scris astfel nct s poat fi prezentat clienilor pentru a descrie
sistemul calitii n organizaie /laborator.

Procedurile (nivel 2) conin rutinele generale din laborator; modul n care se elibereaz i se verific
documentele, cum se efectueaz controlul de rutin al calitii, cum se aleg sau se elaboreaz metodele
de analiz etc.

Documentele de lucru (nivel 3) sunt efectiv descrieri ale metodelor analitice (PSO), fie de teren,
instruciuni privind calibrarea balanelor i termometrelor i similar.
Manual instruire QA/QC pag. 9 (66)

Nivel 1: Manualul calitii

Manualul calitii trebuie s fie destul de scurt, scopul su fiind acela de a oferi o privire general
asupra Sistemului calitii. El poate conine urmtoarele titluri:

Domeniul de aplicare
Pentru care parte a institutului este valabil manualul (ex. laborator)
Referire la standardele ISO (ex. ISO 17025)
n ce scop a fost redactat manualul?

Descrierea instituiei
De exemplu un scurt istoric (fondat n)
Cui i este subordonat laboratorul (ex. aparine Ministerului Sntii)
Principalele sarcini (monitorizare)
Numrul i tipul personalului (chimiti, microbiologi, tehnicieni etc.)

Formularea politicii calitii


Descrie politica general a institutului privind calitatea
Potrivit ISO 17025, politica privind calitatea trebuie s cuprind:
angajamentul conducerii cu privire la buna practic profesional i calitate
declaraia conducerii referitoare la standardele de serviciu pentru laborator
scopul sistemului calitii
cerina ca ntregul personal s se familiarizeze cu documentaia calitii i s implementeze politicile i
procedurile aferente n activitatea sa
angajamentul conducerii de a se conforma ISO 17025

Exemplu de politic a calitii (de la Laboratorul Caspic de Mediu, Baku, Azerbaigean):


AMC-LCM se angajeaz s furnizeze servicii de nalt calitate care s rspund necesitilor i ateptrilor clienilor i
personalului. Pentru a oferi aceste servicii, AMC-LCM se va strdui s:
mbunteasc modul de lucru
rspund pozitiv la feedback i oportuniti
fie inovator n serviciile pe care le ofer

Acestea se vor realiza prin aplicarea permanent a bunelor filozofii n afaceri n cadrul unui sistem efectiv de management
al calitii, conceput, neles i implementat de ctre ntregul nostru personal.
Obiectivele AMC-LCM n realizarea calitii sunt urmtoarele:
Desfurarea tuturor activitilor n conformitate cu standardele internaionale acceptate, ex. seria EN ISO 9000 i,
acolo unde este cazul, EN ISO 17025
Analizarea i mbuntirea continu a practicilor i procedurilor de lucru
Asigurarea unei abordri constante i structurate a activitii n cadrul laboratorului
Atitudine proactiv n prevenirea problemelor n acelai timp cu meninerea abilitii de a le face fa i corecta n cazul
n care totui apar
Promovarea contientizrii i nelegerii calitii i ncurajarea participrii i implicrii ntregului personal
Realizarea reducerilor de cost i susinerea unei activiti economice de succes

Structura organizatoric i de management


De exemplu o organigram nsoit de cteva explicaii.
Manual instruire QA/QC pag. 10 (66)

Fie de post pentru personalul cheie


ef/director de laborator
Managerul calitii
Personal cheie
NB: nu nume, doar funciuni!

Cum sunt numii lociitorii dac lipsete cineva


Politica de instruire a personalului

Introducere n sistemul calitii


Structura sistemului
Ce tipuri de documente exist
Analiza sistemului calitii
Politica de tratare a reclamaiilor

Referiri la proceduri
Manualul calitii trebuie s conin o list a tuturor procedurilor (documentele de nivel 2) existente.

Nivel 2: Proceduri
Acestea pot fi documente separate sau, de preferin n organizaii mici, capitole dintr-un singur
document.

Nemenionat n continuare: toate documentele trebuie s arate ntotdeauna cine rspunde de asigurarea
realizrii fiecrei sarcini. Evitai folosirea numelor, scriei mai bine managerul calitii sau chimistul
principal sau similar.

n toate capitolele trebuie s se fac referire la documentele de nivel 3, dac exist (de exemplu
Tehnica de prelevare a probelor este descris n PSO nr. 34 sau Toate metodele analitice sunt
descrise n PSO care se afl ndosariate la managerul calitii)

Personalul
Descrie modul de angajare i eliberare din funcie a personalului, modul n care acesta este instruit
nainte de a putea desfura activiti n laborator, programul de lucru, zilele libere etc.
Spaii
Descriere a laboratorului, adeseori sub form de plan. Cte ceva despre gospodrire i verificarea
boxelor cu hot, a echipamentelor de protecie a muncii etc.

Echipamente
Sunt descrise procedurile de achiziionare i testarea a noilor echipamente, de service i ntreinere a
aparaturii, frecvena cu care sunt calibrate balanele, termometrele i pipetele etc. Nu se dau detalii
(acestea intr n documentele de nivel 3), mai mult responsabiliti, scopuri i intervale.
Manual instruire QA/QC pag. 11 (66)

Metode de prelevare
Sunt descrise metodele de prelevare alese, ce trebuie s tie personalul nainte de a pleca ntr-o misiune
de prelevare a probelor, ce parametri sunt msurai pe teren.

Metodele de testare
Cum sunt alese metodele de testare (standardele ISO, metode proprii??)
Cum sunt validate metodele, dac este vorba de metode standard, metode proprii sau alte tipuri

Controlul calitii
Descrie tot ce are de-a face cu controlul intern al calitii
Cu ce frecven sunt analizate probele de control, cte, ce tipuri de grafice de control, cum se
calculeaz i cu ce frecven, cum sunt interpretate rezultatele, care este procedura n caz c rezultatele
sunt proaste etc.

nregistrri
Se descrie modul n care sunt salvate i arhivate documentele (cnd, unde, pe hrtie sau electronic,
pentru ct timp etc.)

Rapoarte
Se descrie coninutul rapoartelor i cine are dreptul s le semneze (inclusiv cum se acord
mputernicirea de semnare a rapoartelor). Se pot descrie diferite tipuri de rapoarte: rapoarte de
monitorizare anual, rapoarte directe ctre clienii pltitori etc.

Servicii i furnituri
Unde sunt achiziionate serviciile i materialele, cum se aleg furnizorii, modul de plat, cum se fac
reclamaiile pentru servicii de calitate slab.

Reclamaii i anomalii
Procedura de tratare a reclamaiilor fcute de clieni, dar i a reclamaiilor interne din partea
personalului (personalul este ncurajat s comunice conducerii orice nereguli observate)

Audit i analiz
Se descrie frecvena cu care trebuie realizate auditurile interne, ce trebuie s conin acestea i cum
sunt raportate. De asemenea, modul n care conducerea utilizeaz aceste rapoarte n vederea operrii de
mbuntiri. Procedura cu ceea ce este de fcut n cazul n care laboratorul este supus unui audit extern
(ex. n vederea acreditrii)

Controlul documentelor
Descrie modul n care sunt redactate documentele (manuale, proceduri, metode etc.), ce trebuie s
conin acestea, cine poate aproba documentele la toate cele 3 niveluri, modul de identificare a
documentelor (ediia nr., titlul etc.) i modul n care documentele vechi sunt scoase din uz i arhivate.
Manual instruire QA/QC pag. 12 (66)

Nivel 3: Metode i fie

Este vorba de metodele analitice i de msur, dar nu numai despre acestea! Trebuie s mai existe, de
exemplu:
nregistrrile privind instruirea personalului (ce instruire, ce analize este competent s fac
fiecare persoan etc.)
Lista echipamentelor
Lista jurnalelor cu nregistrri
Formulare pentru curbele de calibrare
Formular de nregistrare a reactivilor
Lista substanelor chimice
Lista materialelor de referin
Lista testelor de performan (exerciii de intercomparare)
Lista furnizorilor
Formulare de audit
Formulare pentru analiza efectuat de conducere
Dosarul de reclamaii
Fie de teren
Fie de recepie a probelor
Lista metodelor analitice
Descrierea modului de prelevare a robelor
Formulare de validare a metodei

Un aspect foarte important pentru orice document din sistemul calitii este urmtorul: n redactarea
acestora, ncercai s descriei n ce mod procedai n prezent, nu cum ai dori s procedai ntr-un viitor
ndeprtat. Putei apoi introduce mbuntiri i actualiza documentaia pe msur ce se mbuntete
funcionarea sistemului calitii.

Dac documentele descriu o situaie nereal, atunci personalul probabil c nu va nelege i deci nu va
fi interesat s citeasc i s nvee.
Manual instruire QA/QC pag. 13 (66)

2.5.ntreinerea i calibrarea echipamentelor

Intervale

Tabelul de mai jos indic intervalele recomandate pentru efectuarea lucrrilor de calibrare i ntreinere
a anumitor echipamente. Prepararea nsi a soluiilor pentru calibrare este descris separat.

Echipament/ Calibrare Prob de control Service


parametru
OD (Winkler) Cnd se prepar Nu (duble) Se verific sptmnal volumul biuretei
tiosulfat nou, sau dup prin picurare ntr-un cilindru gradat sau
3 luni prin cntrire
Sond OD n fiecare zi de utilizare Nu (duble) Se schimb membrana conform
specificaiilor productorului
pH-metru n fiecare zi de utilizare La fiecare serie de probe Se nlocuiete soluia de electrod dup
necesiti. Trebuie verificat citirea
temperaturii
Celul de Se verific constanta La fiecare serie de probe Trebuie verificat citirea temperaturii
conductivitate celulei din 6 n 6 luni
Alcalinitate pH-metrul calibrat La fiecare serie de probe A se vedea pH-metrul
zilnic
Spectrofotometru - Cnd se folosesc La fiecare serie de probe Se verific o dat pe an lungimea de und,
nutrieni reactivi absorbia etc. cu trusa de testare
Spectrofotometru Nu este necesar Nu (duble) Se verific o dat pe an lungimea de und,
clorofil a msurtori absolute absorbia etc. cu trusa de testare
AAS n fiecare zi de utilizare La fiecare serie de probe Numai cnd este cazul
Termometru de Anual (n aprilie) Nu este cazul Numai cnd este necesar
referin
Termometre de lucru Verificare la 6 luni Nu este cazul Numai cnd este necesar
Balane La 12 luni Greutatea se verific Curare n relaie cu calibrarea
zilnic
Pipete (automate) Din 6 n 6 luni Nu este cazul Se demonteaz i se cur nainte de
fiecare calibrare
Pipete, flacoane Nu este necesar pentru Nu este cazul Se spal numai cu detergeni slabi nu cu
volumetrice i sticlrie sticlria volumetric acizi sau baze tari sau la temperatur
similar categoria A nalt
Distilator de ap curat Nu este cazul Nu este cazul Se verific lunar conductivitatea, care
trebuie s fie sub 0,5 mS/m la 25C (Ap
gradul 3 potrivit ISO 3696:1987)

Soluii de calibrare

Pentru anumii parametri sunt recomandate urmtoarele soluii de calibrare. Alte informaii pot fi gsite
de regul n standardele analitice pentru fiecare metod:
Manual instruire QA/QC pag. 14 (66)

Parametru Substana Uscare Stabilitate


pH Soluii tampon Nu este cazul A se vedea instruciunile productorului,
comerciale sau soluie tampon pH 4: 3 luni, pH 7: 2
luni, pH 9-10: 1 lun
Conductivitate KCl 105C timp de 2 Stoc: 12 luni, soluiile de lucru se prepar
ore nainte de folosire (ISO 7888)
OD KIO3 110C timp de 2 12 luni
ore
TSS Celuloz Nu Stoc: 1 sptmn, soluiile de lucru se
microcristalin prepar nainte de folosire
Alcalinitate a se vedea pH
Na NaCl 105C timp de 2 Stoc: 12 luni, soluiile de lucru se prepar
ore nainte de folosire
K KCl 105C timp de 2 Stoc: 12 luni, soluiile de lucru se prepar
ore nainte de folosire

Ca CaCl2*2H2O Nu Stoc: 12 luni, soluiile de lucru se prepar


nainte de folosire
Mg MgSO4*7H2O Nu Stoc: 12 luni, soluiile de lucru se prepar
nainte de folosire
Clorur NaCl 105C timp de 2 Stoc: 12 luni, soluiile de lucru se prepar
ore nainte de folosire
Sulphate Na2SO4 105C timp de 2 Stoc: 12 luni, soluiile de lucru se prepar
ore nainte de folosire
CCOMn Acid salicilic (1,6 Nu Stoc: 12 luni, soluiile de lucru se prepar
mg/L pentru 2,33 nainte de folosire
mg/L O2)
CBO Amestec glucoz/ 80C timp de 3 Stoc: 12 luni, soluiile de lucru se prepar
acid L-glutamic (15 ore nainte de folosire
mg/L din fiecare
pentru 21,0 mg/L O2)
CCOCr a se vedea BOD (15 mg/L din fiecare pentru 30,7 mg/L O2)
Nutrieni a se vedea tabelul separat de mai jos
Urme de Soluii comerciale Nu este cazul 1000 mg/L soluii stoc: 5 ani. Standard
metale standard diluate: 6 luni (dac se conserv n acid)
Clorofil a Msurtori absolute, nu necesit calibrare
Manual instruire QA/QC pag. 15 (66)

Prepararea soluiilor de calibrare pentru nutrieni se poate efectua dup cum urmeaz:

Parametru Substana Uscare Pentru prepararea Stoc La (mL) Se obin


a 1000 mL stoc (mL)
NO2+3-N KNO3 105C/1h 0,7218 g 2 500 400 g/L N
NH4-N NH4Cl 105C/1h 0,3819 g 2 500 400 g/L N
TN EDTA 105C/1h 1,329 g 5 500 1000 g/L N
PO4-P KH2PO4 105C/1h 0,2197 g 2 500 200 g/L P
TP Na-b-glycero- nu 0,99 g 2 500 400 g/L P
fosfat*5H2O

nregistrri privind calibrarea


Ori de cte ori se prepar o nou soluie de calibrare, acest lucru trebuie notat n registrul pentru
instrumentul respectiv. Alternativ, se pot organiza registre speciale pentru calibrri (liste coninnd data,
semntura i concentraia, pentru fiecare parametru).

2.6.nregistrri i arhive

nregistrri privind instrumentele

Fiecare instrument/aparat trebuie s aib un registru, n care s se noteze istoricul calibrrilor,


lucrrilor de service i similare, importante pentru performanele echipamentului respectiv. Registrele
instrumentelor sunt de preferin sub forma unor brouri format A5 sau de dimensiuni similare. ntre
regulile mai importante privind aceste registre se numr:

Trebuie marcate adecvat i permanent, ex. Registrul nr. 1 pentru pH-metrul Orion 4500 (nr.
serie 45-6999), valabil de la 1 martie 2004

Pe prima pagin trebuie definit ce informaii trebuie notate (alternativ se pot ntocmi registre n
format predeterminat), de exemplu Se noteaz: data, semntura, identitatea soluiei de
calibrare, rezultatele calibrrii i observaii

Se scrie numai pe paginile din dreapta, paginile din stnga se las libere pentru corecturi,
adugiri ulterioare etc.

Se folosete numai cerneal permanent. Dac nregistrrile nu sunt corecte i trebuie


modificate, notaia incorect se taie cu o singur linie transversal line i notaia corect se scrie
deasupra /alturi.
Manual instruire QA/QC pag. 16 (66)

Persoana care efectueaz analiza/calibrarea/ lucrarea de service rspunde ntotdeauna de notarea


informaiilor pertinente n registru

Vor trebui implementate cel puin urmtoarele registre:

Instrument Sugestii de notaii (n afara datei i semnturii)


Balane Rezultatele calibrrilor i verificrilor zilnice, identitatea greutilor
folosite pentru calibrare/verificri.
Informaii privind utilizrile importante ale balanei, cum ar fi
substane pentru stocuri de soluii sau probe de control.
Service sau probleme.
Termometru de referin Rezultatele calibrrilor externe (inclusiv abateri de la temperatura
corect).
Informaii cu privire la utilizrile termometrului n verificrile interne
ale altor termometre.
Electrozi, sonde (pH-metru, Rezultatele calibrrilor zilnice i soluiile de control. Identitatea
celul de conductivitate etc.) soluiilor de calibrare i control (ex. data preparrii sau data deschiderii
recipientelor cu soluii tampon comerciale).
Identitatea probelor analizate.
Service i ntreinere (ex. schimb de soluie electrod sau piese).
Echipamente de analiz n Rezultatele calibrrilor zilnice i soluiile de control. Identitatea
teren soluiilor de calibrare i control (ex. data preparrii sau data deschiderii
recipientelor cu soluii tampon comerciale).
Identitatea probelor analizate.
Service i ntreinere (ex. schimb de soluie electrod sau piese).
AAS, GC, GC-MS, HPLC, Rezultatele calibrrilor i soluiile de control (sau identitatea
TOC i echipamente similare fiierelor). Identitatea soluiilor de calibrare sau soluiilor de control.
Identitatea probelor analizate.
Service i ntreinere.
Spectrofotometru Rezultatele calibrrii cu trusele de testare pentru lungimea de und,
absorbie etc. (dac se aplic).
Scurte informaii privind prepararea noilor curbe de calibrare
(parametru i identitatea reactivului).
Identitatea probelor analizate.
Service i ntreinere (lmpi noi etc.)
Unitate de distilare/purificare Rezultatele verificrilor conductivitii.
a apei Service i ntreinere.

Se pot iniia registre i pentru alte tipuri de echipamente, de exemplu pipete, termometre sau similar,
dar n general nu este necesar, atta vreme ct se efectueaz calibrarea acestora i se noteaz pe file
ndosariate sau arhivate. Este deci recomandabil s se nceap cu echipamentele care sunt
a) foarte importante din perspectiva posibilitii de urmrire i a calitii (balane, termometru de
referin, purificator de ap)
b) calibrate i verificate sau ntreinute des (sonde, cromatografe, AAS, spectrofotometru)
Manual instruire QA/QC pag. 17 (66)

Arhivare
O parte integrant a oricrui sistem al calitii este arhivarea datelor brute i a altor informaii
importante. Timpul de arhivare convenit depinde parial de legislaia local, parial de cerinele
clienilor i parial de nevoile laboratorului.
Scopul: De a permite urmrirea tuturor datelor care conduc la obinerea unui rezultat de monitorizare,
astfel nct s se poat merge napoi pe fir pn la datele brute i confirma rezultatul prin recalcularea i
verificarea lanului de urmrire, n caz de contestare a unor date raportate.
Aceasta nseamn c este necesar s se arhiveze urmtoarele informaii:
Datele brute (dac este posibil, semnalul transmis de instrumentul de msur)
Toate datele privind calibrarea echipamentelor de analiz (spectrofotometre, pH-metre etc.)
Toate datele privind calibrarea balanelor, termometre, pipete etc.
Copii de rezerv ale programului de calcul folosit (versiunile anterioare)
Macro i similar (ex. tabelul Excel folosit pentru calcule)
Rapoartele

Pentru rezultatele de monitorizare, timpul de arhivare este n mod normal stabilit prin legislaie (5-10
ani n majoritatea rilor). Aproape la fel de important este s existe o rutin de eliminare a
informaiilor prea vechi, astfel nct s se evite supraaglomerarea arhivelor.

Procedura urmtoare va asigura pstrarea tuturor informaiilor necesare:

Responsabili:
O persoan devine responsabil cu arhivarea. Aceast persoan rspunde de introducerea tuturor
informaiilor n arhiv, de inerea la zi a registrelor de arhivare i de eliminarea informaiilor vechi.
ntregul personal al laboratorului rspunde de transmiterea informaiilor care necesit arhivare ctre
persoana responsabil cu arhiva.

Buletinele de recepie a probelor:


Toate probele recepionate se nregistreaz ntr-un dosar (registru) de primire a probelor. Se va constitui
cte un dosar pentru fiecare an i imediat dup 1 ianuarie al fiecrui an registrul ncheiat se va depozita
n arhiv. Se va ine evidena dosarelor de primirea probelor pstrate n arhiv.

Fie de teren:
O dat raportate analizele probelor, toate fiele de teren se pstreaz ntr-un dosar n laborator
(mpreun cu datele brute). Acest dosar este valabil timp de un an, dup care este transferat n arhiv.
Se va ine evidena dosarelor cu fie de teren aflate n arhiv.

Date brute:
Toate datele brute care nu exist dect sub form de citiri tiprite de instrumente (ex. pH-metre etc.) se
pstreaz, mpreun cu fia/fiele de teren corespunztoare, n laborator ntr-un dosar. Acest dosar i
pstreaz valabilitatea timp de un an, dup care este transferat n arhiv.
Dac se estimeaz c citirile nu sunt pe suport permanent (ex. hrtie termosensibil) ele vor fi mai nti
copiate i aceste copii vor fi depuse n arhiv. Alternativ, dac informaiile sunt scurte, ele pot fi copiate
direct n registrul instrumentului.
Manual instruire QA/QC pag. 18 (66)

Datele brute disponibile n format electronic pot fi pstrate n arhiva electronic. Trebuie ns s se in
seama c mediul de imprimare trebuie s poat fi citit i dup 5 ani.

Registrele instrumentelor:
Aceste registre conin toate informaiile referitoare la calibrrile respectivelor instrumente. De ndat ce
se ncheie un registru, el trebuie predat pentru arhivare. Se va pstra evidena registrelor pstrate n
arhiv.

Macro, tabele etc.:


De ndat ce a fost testat i utilizat un nou macro sau calcul pe baz de tabel, un exemplar ala cestuia
trebuie fie tiprit pe hrtie, fie arhivat n format electronic (ex. pe CD-ROM) i predat pentru arhivare.

Software:
Ori de cte ori se actualizeaz un software pentru un instrument sau pentru orice tip de calcul, de
comand a echipamentelor sau similar care ar putea afecta rezultatele obinute, o copie de rezerv a
versiunii anterioare trebuie predat n vederea arhivrii.

Rapoarte:
Cte un exemplar din fiecare raport, fie c este vorba de rapoarte periodice de monitorizare sau de
rapoarte directe pentru client, se va preda direct spre pstrare n arhiv. Se va ine evidena tuturor
rapoartelor existente n arhiv.

Eliminarea datelor vechi:


Anual, fiecare responsabil cu arhivele identific informaiile mai vechi de 5 ani i ntocmete o
eviden a acestora. Decizia final cu privire la scoaterea lor din arhiv sau nu va fi luat de eful
laboratorului.
Rapoartele periodice de monitorizare i alte informaii publice similare nu sunt n mod normal scoase
din arhive.

Caracteristici fizice ale arhivelor:


Arhivele trebuie s fie ncuiate (acces restricionat) i trebuie s se ia msuri de prevenire a pagubelor
provocate de incendii, inundaii etc.
Manual instruire QA/QC pag. 19 (66)

3. Controlul extern al calitii

3.1.Ce este controlul extern al calitii?

n cadrul unui control extern al calitii, laboratorul analizeaz probe n care nu cunoate
concentraiile materialului analizat. Scopul acestui exerciiu este acela de a verifica dac laboratorul
poate produce rezultate fiabile, fr riscul de a se lsa influenat de cunoaterea rezultatului ateptat.
Rezultatul unui astfel de control extern al calitii este deci cel mai important instrument de convingere
a celor din afar (clieni, autoriti etc.) de calitatea rezultatelor produse de laborator la nivelul ateptat
i necesar.

Tipul cel mai obinuit de control extern al calitii este participarea la un test de performan (sau
exerciiu de inter-comparare sau comparare inter-laboratoare). Cu toate acestea, alte tipuri de exerciii,
cum ar fi participarea la exerciii de comparare a metodelor sau analiza unor materiale de referin
necunoscute, pot oferi laboratorului confirmri similare ale calitii analizelor pe care le produce.

3.2.Participarea la un test de performan

Testele de performan se organizeaz de ctre mai multe organizaii din diferite ri, att n cadrul
obligaiilor lor de laboratoare naionale de referin (sau cu funciuni oficiale similare) ct i din motive
pur comerciale. Rolul organizatorului unui test de performan const din urmtoarele elemente
principale:
Planificarea testelor de performan i invitarea participanilor poteniali
Producerea probelor i testarea acestora pentru verificarea omogenitii, stabilitii i nivelului
de concentraie
Distribuirea probelor nsoite de instruciuni de pstrare, manevrare, analiz i raportare a
rezultatelor
Primirea rezultatelor i tratarea statistic a acestora
Publicarea unui raport cu informaiile legate de rezultate, inclusiv evaluri, grafice etc.

Informaiile transmise laboratoarelor naintea exerciiului trebuie s cuprind caracteristicile probelor


(matrice, nivelul aproximativ al concentraiilor i similar). Este important ca raportul s fie publicat ct
mai curnd posibil, pentru a permite laboratoarelor s ia not dac s-au constatat nereguli.

n ceea ce privete participanii la un test de performan, este important ca acetia:


S gseasc teste de performan cu matrici, niveluri de concentraie i parametri apropiate de
cele ale probelor pe care le analizeaz n mod obinuit
S participe cu ct mai mare regularitate posibil la teste de performan
S utilizeze metodele, echipamentele i personalul folosit n mod normal pentru tipul respectiv
de analize
Manual instruire QA/QC pag. 20 (66)

S trateze pe ct posibil probele ca probe de rutin


S citeasc instruciunile organizatorului
S se asigure de raportarea la timp a rezultatelor n unitile de msur corecte i cu numrul
corect de zecimale
S citeasc imediat i cu atenie raportul organizatorului i s ia msuri dac se constat
nereguli

n majoritatea testelor de performan, ori de cte ori este posibil, probele sunt distribuite n perechi
(probe duble). O pereche de probe const din dou probe identice sau aproape identice. Diferena dintre
cele dou probe dintr-o pereche este o diferen mic i cunoscut (de organizator, dar nu i de
participani) de concentraie a parametrilor ce trebuie msurai. Scopul existenei acestei mici diferene
este acela de a asigura ca participanii s NU reduc din greeal diferena dintre dou rezultate ale unei
msurtori duble, prnd astfel s aib o repetabilitate prea optimist estimat. naintea prelucrrii
statistice a datelor, mica diferen de concentraie (contaminarea) este eliminat din rezultate, lsnd
datele ce pot fi privite ca msurtori duble.

n mod normal, o concentraie mic nu poate fi omogen distribuit n probele solide. Msurtorile pe
probe solide se efectueaz de aceea n mod normal prin msurtori duble sau multiple propriu-zise
(probe uniforme).

3.3.Informaii transmise n raportul la un test de performan

Coninutul rapoartelor publicate de organizatorii testelor de performan difer, dar exist unele
trsturi mai mult sau mai puin comune n cazul celor mai muli organizatori profesioniti. Rapoartele
trebuie, ntr-un fel sau altul, s conin urmtoarele informaii:
Toate rezultatele obinute de participani, inclusiv media, mediana, abaterea standard (din i
dintre laboratoare)
Valoarea desemnat (sau nominal) a fiecrui parametru (cea mai apropiat estimare a valorii
adevrate)
O prezentare grafic a rezultatelor
Informaii privind metodele utilizate de participani
Diferenele de rezultat observate pentru diferite metode, dac este cazul

n cele mai multe cazuri se folosete un grafic Youden pentru ilustrarea datelor. Graficul prezint
rezultatele pe o prob n funcie de rezultatul celeilalte probe din aceeai pereche. Graficul Youden
ofer o imagine imediat a surselor predominante ale erorilor n rezultate. Analizele efectuate de
laboratoarele ale cror rezultate se situeaz n colul din stnga sus sau dreapta jos al diagramei sunt
influenate predominant de erori aleatorii. Pe de alt parte, laboratoarele ale cror rezultate se nscriu n
apropierea liniei de 45 prezentate n grafic, dar departe de valoarea desemnat, sunt afectate de o
eroare sistematic. n dreapta este prezentat un exemplu de grafic Youden.
Manual instruire QA/QC pag. 21 (66)

Diagram linear : Nivel A


Laborator
10 m m = valoare desemnat

9 Youden plot,
NH4-N, g/L N sample pair AB
8
Spike value 0 of B
20 assigned value
7
B=A
13B
6

5
15
4
13A
3

B, g/L N
15
2 5
10
1 10 1
14
assigned value
47
3 16
11
30 40 50 60 70
Total hidrocarburi mg/kg 9
5 12

All results outliers included: n = 40 Average = 49.0 Std.dev. = 12.0


All results outliers excluded: n = 40 Average = 49.0 Std.dev. = 12.0

0
0 5 10 15 20
A, g/L N
Laboratories omitted from the above Youden plot : 6 17

Graficul Youden nu este relevant dect pentru perechi de probe n care sunt distribuite dou probe
aproape identice cu o mic diferen de concentraie (probe duble). Pentru probele solide se utilizeaz
un model de nivel uniform deoarece nu este posibil s se prepare probe duble. Pentru probele de nivel
uniform, n reprezentarea rezultatelor se utilizeaz adesea o diagram linear. Aici, o linie orizontal
reprezint toate laboratoarele. Lungimea liniei arat domeniul de variaie al datelor obinute de
laborator i poziia pe axa x arat poziia relativ fa de valoarea desemnat. Lungimea liniei ilustreaz
deci eroarea aleatorie i poziia acesteia arat mrimea erorii sistematice. Exemplul din dreapta prezint
o diagram linear.
Manual instruire QA/QC pag. 22 (66)

Exemplul de pe pagina urmtoare arat o fil de ansamblu trimis participanilor nscrii la testul de
performan organizat de Eurofins. Pe aceast singur fil sunt prezentate majoritatea informaiilor
necesare pentru autoevaluare, inclusiv o prezentare semi-grafic a abaterilor fa de valoarea nominal.

n raportul integral transmis participanilor, aceast fil este nsoit de informaii mai detaliate cum ar
fi totalitatea rezultatelor raportate de laboratoarele participante i graficele Youden pentru toi
parametrii. Totodat este prezentat i descrierea metodei utilizate pentru stabilirea valorii desemnate,
toate rezultatele testelor de omogenitate i stabilitate i tehnica de preparare a probelor. Valoarea
desemnat (sau nominal) poate fi stabilit n dou moduri: pentru probele sintetice se determin de
obicei pe baza modului de preparare, respectiv organizatorii calculeaz concentraia teoretic n funcie
de cantitatea de substan adugat. Pentru probele naturale, valoarea desemnat se stabilete ca
valoare median a rezultatelor obinute de laboratoare, dup excluderea valorilor excentrice (valori
care, statistic, prezint abateri prea mari pentru a putea fi incluse n calcule).

n mod normal sunt identificate 2 tipuri de valori excentrice (exist ns i altele): excentricele lui
Grubb i excentricele lui Cochran. Excentricele lui Grubb sunt datele excluse deoarece media a dou
rezultate dintr-o pereche de probe (de la acelai laborator) se abat prea mult fa de valoarea desemnat.
Excentricele Cochran sunt excluse deoarece diferena dintre cele 2 valori raportate este prea mare
(abaterea standard din acelai laborator este prea mare). Nu vom discuta aici statistica exact care st la
baza acestor dou tipuri de valori excentrice (a se vedea detaliile n ISO 5725-2).
Manual instruire QA/QC pag. 23 (66)

Proficiency test Samples forwarded: 13/10-2003


Title: SPIL-1 (2003-6) Date of proficiency testing: 16/10-2003
Subject: Organic matter, phosphorus, chloride and sulphate Deadline: 03/11-2003
in waste water
Sample type: Natural waste water untreated sewage Report: 17/11-2003
Parameters: CODCr, BOD5, NVOC, TP, PO4, SSTS, Cl, SO4 Quality documentation November 2003
Organiser: Eurofins A/S/DANAK

Homogeneity Stability Determination assigned value


Homogeneity tests have been performed for TP The samples for determination of TP, PO 4, Cl The assigned values were calculated on the basis
and SS. and SO4 and ampoules for CODCr, NVOC, of the participants median values and of the
Tests for TP and SS show that the samples are BOD5 were stabilized by autoclaving. Samples spiked amount added to the samples (theoretically
homogeneous. for NVOC were tested for stability. calculated spike value). At those parameters for
The tests show that the samples are stable. which an analytical method is prescribed in the
Danish ministerial order no. 637 (1997), the
assigned value is based only on data from the
laboratories using this method.

Results of laboratory: 999


Reported Accuracy Precision
Parameter Sample Unit Result Method no. Deviation from assigned value, Assigned Grubbs % deviation Evaluation Lab. Cochran Evaluation
semigraphically value outlier from ass. stand.dev. outlier
<1 sR 1-2 sR >2 sR value s(i)
CODCr A1 mg/L O2 22.5 92 - 26.7 16 2.47
B1 26.0 - 26.7 3
BODmod A1 mg/L O2 3.40 1 - 4.00 15 0.56
B1 4.90 + 4.71 4
NVOC A1 mg/L C 7.88 1 - 9.19 14 0.049
B1 7.81 - 9.19 15
Orthophosphate A2 mg/L P 0.079 31 - 0.08 1 0.0049
B2 0.116 + 0.11 5
Total phosphorus A2 mg/L P 0.206 1 - 0.213 3 0.0120
B2 0.300 + 0.290 3
Suspended matter A3 mg/L 44.0 1 - 45.4 3 1.27
B3 35.0 - 38.2 8
Chloride A mg/L 286 4 - 301.6 5 1.8
B 308 - 321.0 4
Sulphate A2 mg/L 123 4 - 129.8 5 0.5
B2 147 - 153.1 4
Manual instruire QA/QC pag. 24 (66)
Manual instruire QA/QC pag. 25 (66)

4. Controlul intern al calitii

4.1.Ce este controlul intern al calitii?

Utilizarea regulat a graficelor de control este cel mai important instrument pentru supravegherea
de rutin a calitii msurtorilor dintr-un laborator. Graficele de control sunt instrumente vizuale de
verificare a controlului statistic asupra unui proces, de supraveghere a procesului de msurare i de
diagnosticare a problemelor intervenite n msurtori. Totodat, ele servesc documentrii subiectivitii
(sau, preferabil, lipsei de subiectivitate), preciziei i limitei de detecie.

Principiile i aplicaiile graficelor de control sunt explicate n detaliu n cele de mai jos. Citind textul i
exemplele din Anexa B, nu uitai c urmtoarele tipuri de grafice de control i utilizarea urmtoarelor
tipuri de materiale de referin, sau echivalentele lor (Tabelul 4.1) sunt insistent recomandate tuturor
laboratoarelor implicate n monitorizarea activitilor comerciale (utilizarea graficelor de control nu se
aplic parametrului temperatur). Materialele de referin din tabel sunt toate exemple de MRA VKI
(produse de Eurofins A/S):
Manual instruire QA/QC pag. 26 (66)

Tabelul 4.1 Tipuri recomandabile de grafice de control i materiale de referin pentru anumii parametri

Parametru Tip de grafic Material de referin Observaii


de control recomandat

Conductivitate Grafic X VKI QC DWB material propriu dac


concentraiile nu
corespund
TSS Grafic X VKI QC WW6
pH Grafic X VKI QC DWB Posibil soluie tampon
comercial
OD Grafic R Duble
CCOMn Grafic X Material propriu
CCOCr Grafic X VKI QC WW4A sau QC WW4 are concentraii
WW4 mai mari
CBO Grafic X VKI QC WW5
Na, K, Ca, Mg, Clorur, Grafic X VKI QC DWB material propriu dac
Sulfat, Alcalinitate conc. nu corespund
NO2+NO3-N, NH4-N, PO4- Grafic X VKI QC WW1a sau QC WW1a are concentraii
P RW1 mai mari
Total-N i Total-P Grafic X VKI QC WW3 sau QC RW2 WW3 are concentraii
mai mari
Al, As, Cu, Ni, Grafic X VKI QC LL1 HL1 i HL2 dac
concentraiile sunt prea
Cd, Fe, Mn, Pb, Se Grafic X VKI QC LL2
mici
Hg Grafic X VKI QC LL3 LL3A are o concentraie
mai mic
Si Grafic X Material propriu din standard
comercial
Coliformi Grafic R sau r% Duble
Clorofil a Grafic R sau r% Duble

Pentru unii parametri (cel puin metale), exist pe pia i alte tipuri de materiale comerciale de
referin atestate, care pot fi folosite de asemenea. Prepararea materialelor proprii este descris n
Tabelul 4.3. Trebuie reinut, ns, c utilizarea materialelor proprii este mai puin sigur i convenabil
i furnizeaz mai puine informaii laboratorului cu privire la calitate.
Manual instruire QA/QC pag. 27 (66)

4.2. Principii referitoare la graficele de control


Walter Shewhart a elaborat conceptul de trasare a graficelor de control n anii 1930 n scopul urmririi
proceselor de producie, iar la sfritul anilor 1960 a fost descris utilizarea acestora pentru
supravegherea proceselor de msurare. Au fost elaborate diferite tipuri de grafice de control, dar cele
folosite n mod curent de ctre laboratoarele de msurtori sunt graficele _ de control Shewhart.
Prezentul manual se ocup de cele cunoscute sub numele de Grafice X i Grafice R i n cazuri
speciale, Grafice D i R, ce vor fi descrise mai jos n acest capitol.

Definiii
Prob de control
Prob utilizat pentru controlul intern al calitii i supus aceleiai (sau unei pri din aceeai)
procedur de msurare ca i cea folosit pentru materialele analizate.

Valoare de control
Valoare marcat pe un grafic de control.

Valoare de rspuns
Valoare obinut prin aplicarea procesului de msurare.

Lot (sau arj, set, serie)


Set de msurtori efectuate n condiii de repetabilitate.

Linie central (sau linie de centru)


Definete cea mai apropiat estimare a variabilei reprezentate.

Limit de avertizare
Limite superioare i inferioare ntre care se preconizeaz c se vor gsi toate valorile de control cu o
probabilitate de 95%. Astfel se accept ca o valoare de control din 20 se poate situa n afara limitelor de
avertizare.

Limit de aciune (sau limit de control)


Limita superioar i inferioar n care se preconizeaz c se vor situa majoritatea (respectiv 99.7 %)
valorilor de control. Astfel se accept ca trei valori de control din 1000 (sau una din 333) se pot situa n
afara limitelor de aciune.

Un exemplu de form a unui grafic de control este prezentat n Figura 4.1.


Manual instruire QA/QC pag. 28 (66)

Figura 4.1 Grafice de control

Grafic X _
Un grafic X control n care media ponderat a unei serii de valori de control obinute ntr-o perioad
suficient de ndelungat este utilizat ca linie central a graficului.

Valorile de control pentru proba de control aleas sunt reprezentate pe grafic pe msur ce se obin.
Valorile de control pot fi ori o singur valoare de rspuns (Grafic
_ X) pentru proba de control, ori media
ponderat a dou sau mai multe valori de rspuns (grafic_ X ) pentru o prob de control dintr-un lot. n
manualul de fa se recomand utilizarea graficelor X , deoarece mediile ponderate _ sunt mai puin
influenate de valorile extreme dect valorile individuale. Totodat, graficele X sunt alegerea logic
atunci cnd se aplic Grafice R (a se vedea _ mai jos), de asemenea recomandate. Textul de mai jos
privete prin urmare exclusiv graficele X .
_
ntr-un grafic X exist linia central, limitele superioar i inferioar de avertizare i limitele
superioar i inferioar de aciune. Limitele reprezint de dou i respectiv de trei ori abaterea standard
a mediilor ponderate pe un lot.
_
Graficul X poate fi construit i cu ajutorul unei valori cunoscute, eventual atestate, luat ca linie
central i limite de avertizare i aciune luate n funcie de limitele acceptabile ale incertitudinii.
_
Un caz special de grafic X se bazeaz pe verificrile de recuperare. n acest caz valoarea _ de control
este recuperarea unei probe contaminate i graficele de control se vor numi grafice D . Recuperarea se
calculeaz ca diferen (de aici i numele graficului) dintre valorile de rspuns pentru o prob natural
Manual instruire QA/QC pag. 29 (66)

i cea pentru aceeai prob contaminat cu o cantitate cunoscut de substan standard.

Grafic R
Un Grafic R este un grafic de control n care domeniul mediei ponderate a unor msurtori repetate este
utilizat ca linie central, valorile de control fiind diferena dintre cea mai mare i cea mai mic valoare
de rspuns pentru o prob de control dintr-un lot.

Graficele R se utilizeaz n mod normal numai cu limite de aciune, bazate pe abaterea standard din
cadrul fiecrui lot (sau repetabilitate). n practic, limitele de aciune se bazeaz adeseori pe domeniul
de variaie, care este proporional cu abaterea standard din cadrul unui lot.

Atunci cnd se folosesc probe naturale ca probe de control, n locul Graficului R (graficul domeniului
relativ) se utilizeaz n mod normal Graficul R (a se vedea i Anexa B3). Aceasta deoarece domeniul
este n mod normal proporional cu concentraia probei. Dac se utilizeaz probe naturale, care au
concentraii variabile deoarece nu sunt aceleai n fiecare lot datorit lipsei de stabilitate, este mai
indicat s se utilizeze un grafic de control n care valoarea de control s fie domeniul de variaie relativ.

4.3.Construcia graficelor de control


Graficele de control Shewhart sunt uor de construit, utilizat i interpretat. Ele sunt cu deosebire utile
pentru uurina recunoaterii valorilor de control excentrice izolate. Este deci necesar ca procesul de
msurare s fie n stare de control statistic, ceea ce nseamn c analistul trebuie s fie familiarizat cu
metoda, ca sursele importante de erori s fie cunoscute i ca metoda s fie validat, pentru a asigura
obinerea unei caliti suficiente a msurtorii.

Selectarea graficului de control


Graficul R (i Graficul R) dau posibilitatea controlrii prii din eroarea aleatorie datorat variaiilor din
cadrul aceluiai lot. Dac proba de control este oarb, devine cu att mai posibil verificarea limitei de
detecie.
_ _
Eroarea sistematic este verificat cu ajutorul graficului X (sau graficului D ), care n plus dau
posibilitatea
_ verificrii tendinelor i a altor distribuii nealeatorii ale valorilor msurtorilor. n plus,
graficul X ofer informaii cu privire la partea de eroare aleatorie ce poate fi atribuit variaiilor dintre
loturi.

Alegerea unei combinaii de grafice de control ofer prin urmare posibilitatea de a supraveghea

eroarea aleatorie
eroarea sistematic
situaiile scpate de sub control
limita de detecie.
Manual instruire QA/QC pag. 30 (66)

Selectarea probelor de control


Alegerea probei de control depinde de matrice, de metoda de msurare i de caracteristicile de
performan care trebuie supravegheate.

O privire general asupra ctorva dintre cele mai frecvent folosite probe de control i grafice de control
este prezentat n Tabelul 4.2, urmat de informaii cu privire la fiecare tip de prob de control.

TABELUL 4.2 PREZENTARE SCHEMATIC A TIPURILOR DE GRAFICE DE CONTROL I AL


DOMENIULUI DE APLICABILITATE AL ACESTORA

GRAFIC DE PROB VALOARE DE CONTROL GRAFICUL PERMITE SUPRAVEGHEREA


CONTROL DE CON-
TROL
ERORII ERORII LIMITEI DE
ALEATORII SISTEMA- DETECIE
TICE
_
Grafic X _ I Media ponderat a rezultatelor + +
Grafic D analizelor unei probe sintetice, material
de referin sau alt prob de control de
concentraie cunoscut msurate n
acelai lot

III Media ponderat a recuperrii + +


standardului adugat unei probe naturale
msurat n acelai lot

IV Media ponderat a valorilor oarbe + +


msurate n acelai lot

Grafic R I Diferena dintre valoarea cea mai mare +


Grafic R i cea mai mic a rezultatului pentru o
prob de control sintetic, material de
referin sau alt prob de control stabil
msurate n acelai lot

II Diferena dintre valoarea cea mai mare +


i cea mai mic a rezultatului pentru o
prob de control natural stabil
msurate n acelai lot

IV Diferena dintre valoarea cea mai mare + +


i cea mai mic a rezultatului pentru o
prob oarb msurate n acelai lot

V Diferena dintre valoarea cea mai mare +


i cea mai mic a rezultatului pentru o
prob natural msurate n acelai lot
Manual instruire QA/QC pag. 31 (66)

Graficele de control se bazeaz pe msurtori repetate ale urmtoarelor tipuri de probe de control:

I prob sintetic sau material de referin


II prob natural stabil
III recuperarea contaminantului dintr-o prob natural
IV prob oarb
V prob natural de stabilitate limitat.

Prob de control de tip I prob sintetic sau material de referin


Analiza repetat n fiecare lot a unei probe de control de concentraie cunoscut ne d posibilitatea s
utilizm domeniul de variaie (sau abaterea standard) ca indicaie referitoare la eroarea aleatorie a
msurtorii. Media ponderat d un indiciu asupra influenei exercitate de erorile sistematice. Dac se
utilizeaz o prob sintetic, trebuie s se interpreteze cu mare atenie estimarea erorii aleatorii,
respectiv a preciziei, deoarece n general precizia este mai mare n analiza probelor sintetice
comparativ cu cele care au o matrice a probei real. Estimarea preciziei va fi mai realist dac exist
i este utilizat materialul de referin pentru matrice.

Probele de control de tipul I pot fi preparate n laborator n majoritatea cazurilor i de aceea sunt n
general disponibile. Se recomand de aceea pentru majoritatea msurtorilor de mediu.

Prob de control de tipul II - prob natural stabil


Probele de control de tipul II ofer o imagine realist a erorii aleatorii din cadrul aceluiai lot n cazul
probelor naturale. Proba de control se alege n general la ntmplare dintre materialele de analizat aduse
n laborator pentru msurtori.

Deoarece precizia nu va fi n general aceeai pentru probele sintetice i cele naturale, probele de control
de tipul II trebuie n mod normal s fie incluse n control, dac nu exist dovezi clare c precizia este
comparabil pentru probele sintetice i cele naturale.

Prob de control de tipul III recuperare dintr-o prob natural contaminat


Probele de control de tipul I i II nu ofer informaii directe cu privire la erorile sistematice datorit
matricei probelor, dect dac pentru proba de control de tipul I se folosete un material de referin
pentru matrice. Deoarece materialele de referin sunt puine, probabil c nu va fi cazul. Dac metoda
de msurare se alege cu consideraia necesar fa de posibile interferene, eroarea datorat matricei va
fi n mod normal o surs nesemnificativ de erori. ns n cazurile n care compoziia probelor este
foarte variabil, poate deveni necesar s se controleze interferenele. Aceasta se face utiliznd proba de
control de tipul III, care va scoate n eviden interferenele ce influeneaz mrimea rspunsului.
Interferenele care adaug sau scad o valoare constant dintr-un semnal (ex. clorura n msurarea cererii
chimice de oxigen) nu vor fi scoase n eviden de proba de control de tipul III. Acest tip de interferene
nu poate fi controlat dect printr-o alegere judicioas a metodei.

Prob de control de tipul IV prob oarb


Proba de control de tipul IV este necesar pentru supravegherea limitei de detecie. Totodat, acest tip
de prob de control servete la evidenierea contaminrilor sau a anumitor tipuri de erori n prepararea
reactivilor. Erorile pe probe oarbe determin erori sistematice la concentraii mici, care deci pot fi
controlate tot cu ajutorul probelor de control de tipul IV.
Manual instruire QA/QC pag. 32 (66)

Proba de control de tipul V prob natural cu stabilitate limitat


n cazurile n care un parametru este att de instabil nct pot aprea schimbri chiar n perioada de
timp necesar analizrii unui singur lot, va fi necesar utilizarea probelor de control de tipul V. Proba
poate fi aleas aleatoriu din rndul materialelor de analiz aduse n laborator pentru msurtori. n
asemenea situaii din fericire rare utilizarea unei probe de control stabile ar da o msur nerealist a
erorii aleatorii, prezentnd astfel o precizie mai bun dect aceea care poate fi realizat cu materialele
reale de analiz.

Exist materiale de referin pentru matrice pentru unele combinaii de parametri i matrici. Astfel de
materiale sunt deosebit de valoroase pentru punerea n eviden a interferenelor care determin o
deviere constant a rezultatului msurtorii. Raritatea i costul face uneori prohibitiv utilizarea
materialelor de referin pentru matrice cu regularitatea cu care se folosesc alte materiale de control.
Este ns recomandabil s se includ materiale de referin pentru matrice ct mai frecvent posibil, la
intervale ce vor fi specificate n sistemul calitii n laborator, precum i ca n interpretarea rezultatelor
s se utilizeze grafice de control.

Selectarea frecvenei controlului


Frecvena msurtorilor pe probe de control depinde de o serie de factori, dintre care cel mai important
este stabilitatea procesului de msurare. n mod normal, n fiecare lot se include un set de probe de
control, dac lotul respectiv nu este lung. Orientativ, se poate spune c un set de probe de control este
n general adecvat pentru loturi de mai puin de 20 de probe. ns este bine s se in seama i de
importana deciziilor luate pe baza rezultatelor, deoarece toate datele obinute n perioada de la ultima
prob de control stabilit ca fiind n ordine pn la prima neregul constatat vor fi de calitate
necunoscut i deci discutabil. n sfrit, trebuie gsit un echilibru ntre costul analizrii probelor de
control i costul repetrii msurtorilor de probe n situaiile n care se constat nereguli.

O dat stabilit frecvena controlului, toate msurtorile de probe de control trebuie incluse n graficele
de control. Nu este omenete posibil s se aleag complet nesubiectiv valorile de control dintre mai
multe valori poteniale. Astfel, dac se obin mai multe date dect este necesar, va aprea un risc
semnificativ de subestimare a diferitelor componente ale erorii.

Sintez
n seciunile de mai sus am artat c un singur tip de prob de control i un singur tip de grafic de
control vor fi n general insuficiente pentru controlul tuturor surselor de erori relevante.

Pentru un control optim va fi deci nevoie de o selecie judicioas a probei de control, graficului de
control i frecvenei controlului, ceea ce implic punerea n balan a diferitelor tipuri de erori, a
riscului legat de rezultate i a costurilor de timp i bani necesare pentru control. Nu poate fi indicat un
program standard de control, deoarece echilibrul va fi diferit de la un parametru la altul i n oarecare
msur i de la un laborator
_ la altul. Cu toate acestea, pentru un minim control va fi nevoie n mod
normal de un grafic X i de un Grafic R pentru o prob de control de tipul I. Pentru majoritatea
msurtorilor de mediu, se include o prob_oarb n fiecare lot i este recomandabil s se utilizeze ct
mai bine datele prin includerea n grafice X i R, mai ales dac n mod normal concentraiile msurate
n probele reale sunt mici.

n stabilirea unui program de control intern al calitii, experiena dobndit n stabilirea metodei i
Manual instruire QA/QC pag. 33 (66)

informaiile obinute din validarea metodei vor reprezenta o fundamentare valoroas.

Selectarea substanei standard i a concentraiei


Pentru probele de control de tipul I i II, rmne de ales substana standard pentru prepararea probei de
control i a soluiei de contaminare, precum i de stabilit concentraia necesar. n cele ce urmeaz vom
prezenta unele recomandri privind prepararea probelor proprii de control al calitii. De remarcat c
prima alegere trebuie s fie un material de referin atestat, dac acesta exist i este rentabil din punct
de vedere economic (a se vedea Tabelul 4.1). n orice caz, dac nu se folosesc astfel de materiale, vor
trebui urmate recomandrile din Tabelul 4.3.

Substanele standard obinute trebuie s fie de bun calitate i stabile. n Tabelul 4.3 am prezentat o
list de substane recomandate. Cu toate acestea, relevana controlului este dat de faptul c substana
utilizat pentru prepararea probelor de control trebuie s difere de cea folosit pentru calibrare, sau cel
puin s provin de la un alt productor. Dac nu este aa, orice eroare intervenit, de ex. datorit unei
substane standard impure, va fi anulat i aceast important surs de erori nu va putea fi controlat.

TABELUL 4.3 SUBSTANE RECOMANDATE PENTRU PREPARAREA PROBELOR DE CONTROL


SINTETICE I A SOLUIILOR DE CONTAMINARE

Tip de parametru Parametru Substan standard Pre-tratarea substanei standard

Calitatea general a pH KH2PO4 + Na2HPO4, 2H2O


apei
Conductivitate KCl Uscare la 105 C timp de 2 ore
Turbiditate Formazin Uscare la 105 C timp de 2 ore
Solide n suspensie Celuloz microcristalin
Culoare K2PtCl6
Total solide NaCl+zaharoz Uscare la 105C timp de 2 ore
dizolvate
Sruri dizolvate Calciu CaCl2, 2H2O
Magneziu MgSO4, 7H2O
Sodiu NaCl Uscare la 105 C timp de 2 ore
Potasiu KCl Uscare la 105 C timp de 2 ore
Clorur NaCl Uscare la 105 C timp de 2 ore
Fluorur NaF
Sulfat Na2SO4 Uscare la 105 C timp de 2 ore
Alcalinitate Na2CO3 Uscare la 270-300 C timp de 2 ore
Nutrieni Amoniac NH4Cl Uscare la 105 C timp de 2 ore
Nitrat KNO3 Uscare la 105 C timp de 2 ore
Nitrit NaNO2 Uscare la 105 C timp de 2 ore
Total azot i azot Glicin Uscare la 105 C timp de 2 ore
Kjeldahl
Orto-fosfat KH2PO4 Uscare la 105C timp de 2 ore
Total fosfor b-Glicero-fosfat, 2Na, 5H2O
Manual instruire QA/QC pag. 34 (66)

Silicat Reactiv standard comercial


Contaminani Toi Reactivi standard comerciali
anorganici
Organice nespecifice Carbon organic Potasiu hidrogen ftalat
nevolatil
CCOMn Acid salicilic*
CCOCr Potasiu hidrogen ftalat sau ca
CBO
CBO Glucoz/ acid glutamic **
Contaminani organici Toi Reactivi standard comerciali

* valoarea empiric pentru o soluie ce conine 1,6 mg/l este de 2,33 mg/l O2
** valoarea empiric pentru o soluie ce conine 15 mg/l din fiecare este 21,0 mg/l O2 (CBO5), 22,5 mg/l O2 (CBO7) i 30,7
mg/L O2 (CCO)

Important: Dac soluiile de control sunt preparate conform indicaiilor din Tabelul 4.3, este de o
importan vital s NU se utilizeze aceeai substan ca pentru prepararea soluiilor de calibrare! Dac
se utilizeaz aceeai substan i exist ceva n neregul cu aceasta (impuriti etc.) faptul nu poate fi
observat n graficele de control. Aceast problem se poate rezolva pe una dintre urmtoarele ci:

a) Se alege o alt substan (ex. NaNO3 n loc de KNO3 pentru NO3)

b) Se achiziioneaz aceeai substan, dar de o marc diferit (ex. Merck n loc de Fluka)

c) Ca ultim soluie, dac nu putei gsi dect o singur substan i o singur marc, achiziionai
dou recipiente cu serii de fabricaie diferite

Concentraia probelor de control trebuie s fie apropiat de aceea a probelor reale. Dac n laborator
se analizeaz n general o gam larg de concentraii, atunci poate fi necesar s folosii mai mult de o
concentraie de control, deoarece precizia poate varia pe domeniul de concentraii. n astfel de cazuri
este recomandabil s se utilizeze dou concentraii, una apropiat de nivelul median al probelor reale
obinuite i una de la captul superior sau inferior al domeniului aplicabil al metodei, dup cum este
mai convenabil. Motivul unei astfel de alegeri este acela c problemele de msurare apar cu o mai mare
probabilitate la capetele extreme ale domeniului.

Cnd este vorba de recuperarea probelor naturale contaminate (tipul III de prob de control) cantitatea
de contaminant trebuie s fie suficient de mare pentru a asigura o precizie rezonabil n calcularea
diferenei dintre proba contaminat i necontaminat, dar pe de alt parte suficient de mic pentru ca
abaterile standard ale celor dou msurtori s nu difere n mod semnificativ. Se consider adecvat o
contaminare mai mare dect de cel puin 5, preferabil de 10 ori mai mare dect abaterea standard dintr-
un lot i, dac este posibil, sub 20% din concentraia probei naturale.
Manual instruire QA/QC pag. 35 (66)

Construcia graficelor de control


n construcia graficelor de control se folosesc dou abordri.

Prima privete utilizarea cerinelor privind calitatea msurtorilor, fie pe baza unor reguli practice de
bun sim, fie a obiectivelor referitoare la calitatea datelor, lund eroarea aleatorie, respectiv abaterea
standard ca linie central a unui grafic R i pentru calcularea limitelor de avertizare
_ i de aciune i
concentraiile cunoscute ale probelor de control ca linie central ntr-un grafic X . Aceast abordare nu
ofer ns informaii cu privire la nivelul de calitate a msurtorii realizat, ci mai curnd o indicaie a
ceea ce nu ne-ar bga n bucluc i astfel nu informeaz n mod curent asupra calitii efective a
msurtorilor.

Cealalt abordare presupune utilizarea ca baz a estimrilor statistice privind calitatea msurtorilor ce
se pot obine n laboratorul propriu. Aceasta este i abordarea recomandabil. Totui, estimrile calitii
obinute prin abordarea statistic trebuie comparate cu cerinele privind calitatea.

Atunci cnd ncepei controlul intern al calitii, primele limite de avertizare i de aciune pot fi stabilite
pe baza preciziei estimate msurate pentru validarea metodei. Dup ce ai colectat un numr suficient
de valori de control (cel puin 10-15), putei face prima evaluare statistic a datelor i, pe baza acestei
evaluri, putei reevalua limitele de avertizare i de aciune.

n primul rnd, datele trebuie verificate pentru a se vedea dac procesul msurrii este din punct de
vedere statistic sub control. Dac este aa, se pot calcula estimativ media ponderat i abaterea
standard. Linia central, limitele de avertizare i de aciune se calculeaz apoi conform descrierii din
Tabelul 4.4.
_
Pentru graficul X , se utilizeaz abaterea standard a mediilor ponderate (s x, calculat fie direct din
datele de control intern al calitii, fie pe baza abaterilor standard din fiecare lot i dintre loturi)
deoarece fiecare valoare de control este obinut din loturi diferite. Linia central este fie o valoare
cunoscut, fie media ponderat a probei de control respective, obinut prin analiza statistic a datelor
din utilizarea anterioar a probei de control. Media ponderat nu poate fi deci folosit dect ca estimare
brut, din lips de date, n momentul iniierii controlului intern al calitii pentru o anumit prob de
control.

Linia central i limitele de aciune dintr-un grafic R se bazeaz pe media ponderat a domeniului de
variaie a probei de control respective dac exist date din utilizrile anterioare ale probei de control.
Dac nu exist, se va folosi abaterea standard din cadrul unui lot (repetabilitatea, s w). Dup cum am
artat n Capitolul 4, sw este proporional cu domeniul, cu un factor d2. Limita superioar de aciune se
calculeaz din valoarea mediei ponderate a domeniului, utilizndu-se factorul D4. Ambii factori sunt
indicai n Tabelul A1 din Anexa A pentru diferite serii de msurtori.
Manual instruire QA/QC pag. 36 (66)

TABELUL 4.4 CALCULE PENTRU GRAFICELE DE CONTROL

GRAFIC DE CONTROL CALCUL


_
=
Grafic X Linie central (LC) x sau o valoare cunoscut
Limita de avertizare LC 2 sx = LC 2 sb2 s w2 n

Limita de aciune LC 3 sx = LC 3 sb2 sw2 n

Grafic R Linie central (LC) R = d2 sw


Limita superioar de D4 R
aciune
Limita inferioar de D3
aciune
_
Grafic D - Linie central (LC) D= sau o valoare cunoscut
Limita de avertizare LC 2 2
sx = LC 2 2 sb2 sw2 n
sau LC 2 sD
Limita de aciune LC 3 2 sx = LC 3 2 s
2
b sw2 n
sau LC 3 sD
Grafic R Linie central (LC) r = d2 sw 100 / x
Limita superioar de D4 r
aciune
Limita inferioar de D3
aciune
R = d2 sw = d2 LOD/(2 t0,95(f) 11 n ) d2 LOD/5
Grafic R, orb Linie central (LC)
Limita superioar de D4 R
aciune
Limita inferioar de D3
aciune

Pentru msurarea recuperrii


_ dintr-o prob natural contaminat (prob de control de tip III) se _
utilizeaz un grafic D . Acesta
_ este, dup cum am artat mai sus, o aplicaie special a graficului X .
n pregtirea unui grafic D se presupune c abaterea standard pentru proba natural i pentru cea
contaminat sunt aceleai. Recuperarea contaminrii se calculeaz din diferena dintre valorile
msurate pentru proba natural i pentru cea contaminat. Deoarece variaia (ptratul abaterii standard)
este aceeai pentru ambele probe, variaia diferenei este de 2 ori valoarea variaiei pentru msurarea
probei naturale i abaterea standard obinut va sta apoi la baza construirii limitelor de avertizare i de
aciune. Linia central poate fi aleas ca fiind media ponderat a recuperrii sau contaminarea
cunoscut.

Dac se utilizeaz date din msurtorile de probe naturale (prob de control de tipul II sau V), graficul
de control ales este Graficul R. Construcia acestui tip de grafic de control este aceeai ca pentru
Graficul R utiliznd ns ca baz domeniul relativ, care este proporional cu abaterea standard relativ
(sw/(x )).
Manual instruire QA/QC pag. 37 (66)

Pentru probele de control de tipul IV (oarbe) limita de detecie poate fi evaluat dintr-un Grafic R,
construit la fel cum am descris anterior. Abaterea standard astfel rezultat pentru un lot se utilizeaz
apoi pentru calcularea limitei de detecie sau limita de detecie necesar se poate utiliza pentru a calcula
abaterea standard corespunztoare din cadrul unui lot.

Datele trebuie colectate n mod sistematic. Aceasta se poate face cu ajutorul unui program de computer
sau manual n format standardizat.
_ Un exemplu de formular pentru colectarea manual i procesarea
datelor pentru grafice X i R este prezentat n Figura 4.2.

4.4.Interpretarea zilnic a graficelor de control


Utilizarea zilnic a datelor din graficele de control este o privire general imediat, vizual, a msurii n
care exist un control statistic asupra msurtorilor i astfel se poate observa dac are loc o schimbare
major a erorii aleatorii sau sistematice.

Pentru detectarea neregulilor sunt recomandate urmtoarele criterii (ISO/TR 13530):


Manual instruire QA/QC pag. 38 (66)

1 valoare de control se situeaz n afara limitelor de aciune;


2 valori consecutive de control se situeaz n afara limitelor de avertizare;
7 valori consecutive prezint o tendin cresctoare sau descresctoare.
_
Pentru graficele X se aplic n plus criteriul urmtor:

10 din 11 valori consecutive de control de aceeai parte a liniei centrale;

i pentru Graficele R un criteriu suplimentar este:

7 valori consecutive se afl deasupra liniei centrale.

Dac se observ c msurtorile pe probe de control nu sunt n situaie de control statistic, este probabil
c acelai lucru se va ntmpla i cu analizele de probe reale. De aceea este important s se identifice i
s se elimine cauza erorii, pentru a readuce msurtorile n situaie de control statistic.

Dac este detectat o situaie care a scpat de sub control, se pune problema ce este de fcut cu
rezultatele analizelor de materiale efectuate n perioada n care a fost detectat neregula. Dac eroarea
poate fi corectat imediat, de exemplu prin corectarea unei erori de calcul, atunci aceasta este msura
recomandat. Dac problema nu este aa de simpl, nu se pot face recomandri generale. Cele mai
bune trei alternative sunt urmtoarele:

repetarea msurtorii dup corectarea problemei


prezentarea rezultatelor nsoite de o not privind fiabilitatea mai sczut a datelor
necomunicarea rezultatelor pentru probele respective

Interpretarea nu este numai o chestiune de statistic, ci privete i experiena i puterea de judecat a


celui ce efectueaz analizele. O msur care ns nu trebuie niciodat adoptat este aceea de a ncerca
pregtirea unor factori de corecie din datele de control al calitii pentru lotul respectiv. Nu este bine s
se utilizeze datele de control pentru corecturi, iar numrul de valori de control pentru un singur lot este
att de mic nct incertitudinea oricrui factor de corecie va fi foarte mare. Aceasta se va reflecta n
incertitudinea valorilor corectate i exist ansa ca acurateea s nu se mbunteasc n nici un fel.

4.5.Utilizarea pe termen lung a datelor din graficele de control


Datele obinute n controlul intern al calitii trebuie utilizate zilnic, aa cum am artat n seciunea
anterioar. ns prin analiza statistic periodic a datelor de control intern al calitii se pot obine i
multe informaii utile privind calitatea analizelor (caracteristicile de performan). Analiza statistic
trebuie efectuat la intervale de timp prestabilite, pe baza frecvenei analizelor. Analiza statistic
trebuie fcut fie c limitele de avertizare i de aciune sunt stabilite pe baze statistice, fie pe baza
cerinelor privind calitatea. Media ponderat, abaterile standard dintr-un lot i dintre mai multe loturi
pot fi calculate i comparate cu cele obinute n perioada anterioar pentru a se vedea dac apare o
schimbare.
Manual instruire QA/QC pag. 39 (66)

compararea mediilor ponderate pe cele mai recente dou perioade cu ajutorul distribuiei t a lui
Student;
compararea domeniilor pentru ultimele dou perioade prin compararea abaterilor standard
corespunztoare cu ajutorul testului F.

Dac se observ o diferen semnificativ n oricare dintre aceste teste, pot fi actualizate limitele de
avertizare i de aciune n graficele de control i eventual i datele privind caracteristicile de
performan ale metodelor. Orice schimbare aprut trebuie evaluat n raport cu cerinele referitoare la
calitatea datelor. Dac se are n vedere actualizarea caracteristicilor de performan, atunci trebuie
fcute urmtoarele calcule:
_ _
comparare a mediei ponderate (grafice X i D ) pentru perioada anterioar cu valoarea
desemnat (adevrat) a probei de control. Aceasta d msura erorii sistematice;
calcularea abaterii standard dintr-un lot din graficele R sau R. Astfel se obine abaterea standard a
repetabilitii; _
calcularea abaterii standard dintre mai multe loturi utiliznd date combinate din graficele X - i
R pentru aceeai prob de control;
calcularea limitei de detecie dintr-un Grafic R pentru probele oarbe.

Testele statistice nu sunt aplicabile dect dac rezultatele sunt distribuite aleator. Aceast ipotez poate
fi evaluat cu ajutorul testelor secveniale.

O secven este definit ca o serie de date (sau valori) identice n raport cu o proprietate specific.

ntr-un test secvenial sunt evaluate dou tipuri de serii. Acestea sunt aceleai cu cele verificate n
utilizarea zilnic a graficelor de control:
_
a) poziia datelor deasupra sau dedesubtul liniei centrale a graficului X _
b) valoare cresctoare sau descresctoare comparativ cu observarea anterioar a graficului X .

Aplicaia practic a testelor secveniale este demonstrat n exemplele lucrate din Anexa B.

4.6.Grafice de control pentru calculul incertitudinii msurtorii

Utilizarea regulat a graficelor de control ofer o foarte bun baz de calculare a incertitudinii
msurtorilor, deoarece ele arat modul n care rezultatele variaz de la o zi la alta pentru fiecare
parametru. n mod tradiional, multe laboratoare au utilizat direct valoarea abaterii standard din graficul
de control ca valoare a incertitudinii msurtorii. ns principiile moderne privind incertitudinea
msurtorii arat c este vorba de mai multe componente, nu doar de abaterea standard. n raportul
Nordtest Manual de calcul al incertitudinii msurtorii pentru laboratoarele de mediu (raport Nordtest
537 la www.nordtest.org) este descris o metod relativ simpl, cu care se poate calcula incertitudinea
msurtorilor cu ajutorul urmtoarelor componente:
abaterea standard dintr-un grafic de control
Manual instruire QA/QC pag. 40 (66)

subiectivitatea metodei (pe baz de materiale de referin atestate sau teste de performan)
un factor de acoperire, n mod normal 2, pentru a se ajunge la o probabilitate de 95% ca dou
rezultate s nu difere prin mai mult dect valoarea calculat a incertitudinii msurtorii

Aceast metod, cu cteva posibiliti diferite, este descris n detaliu n manualul Nordtest i nu va
mai fi ca atare descris aici.
Manual instruire QA/QC pag. 41 (66)

ANEXA A TABELE STATISTICE

ANEXA A - TABELE STATISTICE

TABELUL A1, FACTORI DE CALCULARE A ABATERII STANDARD FA DE DOMENIU I


CONSTRUCTIA GRAFICELOR R

Numr de duble pe lot Linie central/ Limita inferioar Limita superioar Grade de
abatere standard de aciune de aciune libertate
d2 D3 D4 df/m
2 1,128 0 3,267 0,88
3 1,693 0 2,575 1,82
4 2,059 0 2,282 2,74
5 2,326 0 2,115 3,62
Manual instruire QA/QC pag. 42 (66)

TABELUL A2. PUNCTE PROCENTUALE SUPERIOARE ALE LUI F (din ISO 2854:1976)

Valori of F1- (df1, df2), = 0,05


df1 4 5 6 7 8 10 12 15 20 24 30 40 60 120
df2
4 6,39 6,26 6,16 6,09 6,04 5,96 5,91 5,86 5,80 5,77 5,75 5,72 5,69 5,66
5 5,19 5,05 4,95 4,88 4,82 4,74 4,68 4,62 4,56 4,53 4,50 4,46 4,43 4,40
6 4,53 4,39 4,28 4,21 4,15 4,06 4,00 3,94 3,87 3,84 3,81 3,77 3,74 3,70
7 4,12 3,97 3,87 3,79 3,73 3,64 3,57 3,51 3,44 3,41 3,38 3,34 3,30 3,27
8 3,84 3,69 3,58 3,50 3,44 3,35 3,28 3,22 3,15 3,12 3,08 3,04 3,01 2,97
10 3,48 3,33 3,22 3,14 3,07 2,98 2,91 2,85 2,77 2,74 2,70 2,66 2,62 2,54
12 3,26 3,11 3,00 2,91 2,35 2,75 2,69 2,62 2,54 2,51 2,47 2,43 2,38 2,34
15 3,05 2,90 2,79 2,71 2,64 2,54 2,48 2,40 2,33 2,29 2,25 2,20 2,46 2,11
20 2,87 2,71 2,60 2,51 2,45 2,35 2,28 2,20 2,12 2,08 2,04 1,99 1,95 1,90
24 2,78 2,62 2,51 2,42 2,36 2,25 2,18 2,11 2,03 1,98 1,94 1,89 1,84 1,79
30 2,69 2,53 2,42 2,33 2,27 2,16 2,09 2,01 1,93 1,89 1,84 1,79 1,74 1,68
40 2,61 2,45 2,34 2,25 2,18 2,08 2,00 1,92 1,84 1,79 1,74 1,69 1,64 1,50
60 2,53 2,37 2,25 2,17 2,10 1,99 1,92 1,84 1,75 1,70 1,65 1,59 1,53 1,47
120 2,45 2,29 2,17 2,09 2,02 1,91 1,83 1,75 1,66 1,61 1,55 1,50 1,43 1,35

Valori of F1- (df1, df2), = 0,025


df1 4 5 6 7 8 10 12 15 20 24 30 40 60 120
df2
4 9,60 9,36 9,20 9,07 8,98 8,84 8,75 8,66 8,56 8,51 8,46 8,41 8,36 8,31
5 7,39 7,15 6,98 6,85 6,76 6,62 6,52 6,43 6,33 6,28 6,23 6,18 6,12 6,07
6 6,23 5,99 5,82 5,70 5,60 5,46 5,37 5,27 5,17 5,12 5,07 5,01 4,96 4,90
7 5,52 5,29 5,12 4,99 4,90 4,76 4,67 4,57 4,47 4,42 4,36 4,31 4,25 4,20
8 5,05 4,82 4,65 4,53 4,43 4,30 4,20 4,10 4,00 3,95 3,89 3,84 3,78 3,73
10 4,47 4,24 4,07 3,95 3,85 3,72 3,62 3,52 3,42 3,37 3,31 3,26 3,20 3,14
12 4,12 3,89 3,73 3,61 3,51 3,37 3,28 3,18 3,07 3,02 2,96 2,91 2,85 2,79
15 3,80 3,58 3,41 3,29 3,20 3,06 2,96 2,86 2,76 2,70 2,64 2,59 2,52 2,45
20 3,51 3,29 3,13 3,01 2,91 2,77 2,68 2,57 2,46 2,41 2,35 2,29 2,22 2,14
24 3,38 3,15 2,99 2,87 2,78 2,64 2,54 2,44 2,33 2,27 2,21 2,15 2,08 2,01
30 3,25 3,03 2,87 2,75 2,65 2,51 2,41 2,31 2,20 2,14 2,07 2,01 1,94 1,37
40 3,13 2,90 2,74 2,62 2,53 2,39 2,29 2,18 2,07 2,01 1,94 1,88 1,80 1,72
60 3,01 2,79 2,63 2,51 2,41 2,27 2,17 2,06 1,94 1,88 1,82 1,74 1,67 1,58
120 2,89 2,67 2,52 2,39 2,30 2,16 2,05 1,94 1,82 1,76 1,69 1,61 1,53 1,43
Manual instruire QA/QC pag. 43 (66)

Valori F1- (df1, df2), = 0,01


df1 4 5 6 7 8 10 12 15 20 24 30 40 60 120
df2
4 15,98 15,52 15,21 14,98 14,80 14,55 14,37 14,20 14,02 13,93 13,84 13,75 13,65 13,56
5 11,39 10,97 10,67 10,46 10,29 10,05 9,89 9,72 9,55 9,47 9,38 9,29 9,20 9,11
6 9,15 8,75 8,47 8,26 8,10 7,87 7,72 7,56 7,40 7,31 7,23 7,14 7,06 6,97
7 7,85 7,46 7,19 6,99 6,24 6,62 6,47 6,31 6,16 6,07 5,99 5,91 5,82 5,74
8 7,01 6,63 6,37 6,18 6,03 5,81 5,67 5,52 5,36 5,28 5,20 5,12 5,03 4,95
10 5,99 5,64 5,39 5,20 5,06 4,85 4,71 4,56 4,41 4,33 4,25 4,17 4,08 4,00
12 5,41 5,06 4,82 4,64 4,50 4,30 4,16 4,01 3,86 3,78 3,70 3,62 3,54 3,45
15 4,89 4,56 4,32 4,14 4,00 3,80 3,67 3,52 3,37 3,29 3,21 3,13 3,05 2,95
20 4,43 4,10 3,87 3,70 3,56 3,37 3,23 3,09 2,94 2,86 2,78 2,69 2,61 2,52
24 4,22 3,90 3,67 3,50 3,36 3,17 3,03 2,89 2,74 2,66 2,58 2,49 2,40 2,31
30 4,02 3,70 3,47 3,30 3,17 2,98 2,84 2,70 2,55 2,47 2,39 2,30 2,21 2,11
40 3,83 3,51 3,29 3,12 2,99 2,80 2,66 2,52 2,37 2,29 2,20 2,11 2,02 1,92
60 3,65 3,34 3,12 2,95 2,82 2,63 2,50 2,35 2,20 2,12 2,03 1,94 1,84 1,73
120 3,48 3,17 2,96 2,79 2,66 2,47 2,34 2,19 2,03 1,95 1,86 1,76 1,66 1,53

Valori F1- (df1, df2), = 0,005


df1 4 5 6 7 8 10 12 15 20 24 30 40 60 120
df2
4 23,15 22,46 21,97 21,62 21,35 20,97 20,70 20,44 20,17 20,03 19,89 19,75 19,61 19,47
5 15,56 14,94 14,51 14,20 13,96 13,62 13,38 13,15 12,90 12,78 12,66 12,53 12,40 12,77
6 12,03 11,46 11,07 10,79 10,57 10,25 10,03 9,81 9,59 9,47 9,36 9,24 9,12 9,00
7 10,05 9,52 9,16 8,89 8,68 8,38 8,18 7,97 7,75 7,65 7,53 7,42 7,31 7,19
8 8,81 8,30 7,95 7,69 7,50 7,21 7,01 6,81 6,61 6,50 6,40 6,29 6,18 6,06
10 7,34 6,87 6,54 6,30 6,12 5,85 5,66 5,47 5,27 5,17 5,07 4,97 4,86 4,75
12 6,52 6,07 5,76 5,52 5,35 5,09 4,91 4,72 4,53 4,43 4,33 4,23 4,12 4,01
15 5,80 5,37 5,07 4,85 4,67 4,42 4,25 4,07 3,88 3,79 3,69 3,58 3,48 3,37
20 5,17 4,76 4,47 4,26 4,09 3,85 3,68 3,50 3,32 3,22 3,12 3,02 2,92 2,81
24 4,89 4,49 4,20 3,99 3,83 3,59 3,42 3,25 3,06 2,97 2,87 2,77 2,66 2,55
30 4,62 4,23 3,95 3,74 3,58 3,34 3,18 3,01 2,82 2,73 2,63 2,52 2,42 2,30
40 4,37 3,99 3,71 3,51 3,35 3,12 2,95 2,78 2,60 2,50 2,40 2,30 2,18 2,06
60 4,14 3,76 3,49 3,29 3,13 2,90 2,74 2,57 2,39 2,29 2,19 2,08 1,96 1,83
120 3,92 3,55 3,28 3,09 2,93 2,71 2,54 2,37 2,19 2,09 1,98 1,87 1,75 1,61
NOTE
1) Pentru punctele inferioare 100 %, F (df1, df2) = 1/F1- (df1, df2)
2) Pentru interpolare
a) ntre df1, df2 = 10 i 20 se ia ca argument z = 60/df;
b) peste df1, df2 = 20 se ia ca argument z = 120/df.
Manual instruire QA/QC pag. 44 (66)

TABELUL A3. FRACTILE ALE DISTRIBUIEI t A LUI STUDENT (din ISO 2854:1976)

Pe dou pri Pe o parte


df
t0,975 t0,995 t0,95 t0,99
1 12,706 63,657 6,314 31,821
2 4,303 9,925 2,920 6,965
3 3,182 5,841 2,353 4,541
4 2,776 4,604 2,132 3,747
5 2,571 4,032 2,015 3,365
6 2,447 3,707 1,943 3,143
7 2,365 3,499 1,895 2,998
8 2,306 3,355 1,860 2,896
9 2,262 3,250 1,833 2,821
10 2,228 3,169 1,812 2,764
11 2,201 3,106 1,796 2,718
12 2,179 3,055 1,782 2,681
13 2,160 3,012 1,771 2,650
14 2,145 2,977 1,761 2,624
15 2,131 2,947 1,753 2,602
16 2,120 2,921 1,746 2,583
17 2,110 2,898 1,740 2,567
18 2,101 2,878 1,734 2,552
19 2,093 2,861 1,729 2,539
20 2,086 2,845 1,725 2,528
21 2,080 2,831 1,721 2,518
22 2,074 2,819 1,717 2,508
23 2,069 2,807 1,714 2,500
24 2,064 2,797 1,711 2,492
25 2,060 2,787 1,708 2,485
26 2,056 2,779 1,706 2,479
27 2,052 2,771 1,703 2,473
28 2,048 2,763 1,701 2,467
29 2,045 2,756 1,699 2,462
30 2,042 2,750 1,697 2,457
40 2,021 2,704 1,684 2,423
60 2,000 2,660 1,671 2,390
120 1,980 2,617 1,658 2,358
1,960 2,576 1,645 2,326

NOTA Pentru interpolare cnd df > 30, se ia ca argument z = 120/df.


Exemplu :
df = 40 z = 120/df = 3 t0,975 = 2,021
df = 60 z = 120/df = 2 t0,975 = 2,000
3 2 ,4
df = 50 z = 120df = 2,4 t0.975 2 ,021 2 ,021 2 ,000
3 2
t0,975 = 2,008
Manual instruire QA/QC pag. 45 (66)

TABELUL A4. LIMTAI INFERIOAR PENTRU NUMRUL TOTAL NUMBER DE SERII


(NIVEL DE NCREDERE 95%)
r 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
s
6 3
7 4 4
8 4 4 5
9 4 5 5 6
10 5 5 6 6 6
11 5 5 6 6 7 7
12 5 6 6 7 7 8 8
13 5 6 6 7 8 8 9 9
14 5 6 7 7 8 8 9 9 10
15 6 6 7 8 8 9 9 10 10 11
16 6 6 7 8 8 9 10 10 11 11 11
17 6 7 7 8 9 9 10 10 11 11 12 12
18 6 7 8 8 9 10 10 11 11 12 12 13 13
19 6 7 8 8 9 10 10 11 12 12 13 13 14 14
20 6 7 8 9 9 10 11 11 12 12 13 13 14 14 15

s este numrul de valori ce constituie un tip de serie (numr mai mare),


r este numrul de valori ce constituie cellalt tip de serie (numr mai mic).
Tipul de serie poate fi ori poziia de o parte sau de alta a mediei ponderate, fie creterea/descreterea
comparativ cu valoarea anterioar.
Manual instruire QA/QC pag. 46 (66)

TABELUL A5. LIMITA SUPERIOAR A LUNGIMILOR DE SERII DE O PARTE A


VALORII MEDIEI PONDERATE
Nivel de ncredere 0,05 0,01 0,001
Numr de loturi, m
10 5 - -
20 7 8 9
30 8 9 -
40 9 10 12
50 10 11 -
Manual instruire QA/QC pag. 47 (66)

TABELUL A6, LIMITA SUPERIOAR A LUNGIMII SERIILOR CRESCTOARE SAU


DESCRESCTOARE
Numr de loturi, Probabilitate egal sau mai mic Probabilitate egal sau mai mic
m dect 0,0032 dect 0,0567
Lungimea seriei Probabilitatea Lungimea seriei Probabilitatea
unei serii de unei serii de
lungime egal lungime egal
sau mai mare sau mai mare
4 4 0,0028 4 0,0028
5 5 0,0004 4 0,0165
6 5 0,0028 4 0,0301
7 6 0,0004 4 0,0435
8 6 0,0007 4 0,0567
9 6 0,0011 5 0,0099
10 6 0,0014 5 0,0122
11 6 0,0018 5 0,0146
12 6 0,0021 5 0,0169
13 6 0,0025 5 0,0193
14 6 0,0028 5 0,0216
15 6 0,0032 5 0,0239
20 7 0,0006 5 0,0355
40 7 0,0015 6 0,0118
60 7 0,0023 6 0,0186
80 7 0,0032 6 0,0254
100 8 0,0005 6 0,0322
200 8 0,0010 7 0,0085
500 8 0,0024 7 0,0215
1 000 9 0,0005 7 0,0428
5 000 9 0,0025 8 0,0245
Manual instruire QA/QC pag. 48 (66)

ANEXA B EXEMPLE LUCRATE DE CONTROL INTERN AL CALITII

Anexa B, pagina

EXEMPLUL 1. PROB DE CONTROL SINTETIC 2

EXEMPLUL 2. PROB OARB 9

EXEMPLUL 3. PROB NATURAL CA PROB DE CONTROL 14


Manual instruire QA/QC pag. 49 (66)

EXEMPLUL B1

PROB DE CONTROL SINTETIC

CCOCr n ap

Proba de control: 425,1 mg potasiu hidrogen ftalat n 1 litru ap distilat; CCOcalculat = 500 mg/l O2

Program de control: Determinarea dubl a probei de control sintetice (prob de control de tip I) n
fiecare lot
_
Lot Rezultate, mg/l O2 R, mg/l O2 x , mg/l O2
x1 x2
1 504,95 504,67 0,28 504,81
2 497,44 496,04 1,40 496,74
3 495,59 496,97 1,38 496,28
4 510,39 514,92 4,53 512,655
5 496,40 496,63 0,23 496,515
6 495,24 496,75 1,51 495,995
7 503,27 504,81 1,54 504,04
8 491,49 493,13 1,64 492,31
9 490,14 487,62 2,52 488,88
10 493,77 491,54 2,23 492,655
11 498,32 485,48 12,84* 491,90
12 507,33 505,98 1,35 506,655
13 490,82 496,39 5,57 493,605
14 497,02 491,39 5,63 494,205
15 489,96 487,19 2,77 488,575
16 496,50 496,50 0 496,50
17 485,70 490,70 5,00 488,20
18 500,28 500,28 0 500,28
19 505,61 502,88 2,73 504,245
20 498,89 495,83 3,06 497,36
* valori excluse (cf. text)

Controlul erorilor cu ajutorul unui Grafic R


Eroarea aleatorie, n ceea ce privete partea erorii aleatorii care se observ ntr-un singur lot, este
meninut sub supraveghere cu ajutorul unui Grafic R, n timp _ ce variaia dintre mai multe loturi poate
fi controlat periodic cu ajutorul unei combinaii de grafice X i R.

Domeniul, R, este o msur a erorii aleatorii din cadrul unui lot deoarece este proporional cu abaterea
Manual instruire QA/QC pag. 50 (66)

standard a repetabilitii. Procedura de calcul este urmtoarea.


_
Mai nti se calculeaz media ponderat a domeniului, R , pentru 20 de loturi:
_
R = 1/20 (R1 + .......... + R20) = 2,81

Se calculeaz apoi limita inferioar de aciune (LCL R) i limita superioar de aciune (UCL R) din
Graficul R:
_
LCLR = D3 R
_
UCLR = D4 R .

Valorile lui (D3; D4) sunt cele din Anexa A, tabelul A1, respectiv (0; 3,267), lund numrul de rezultate
pe lot, n, ca 2.

Astfel obinem:

(LCLR, UCLR) = (0; 9,18)

Rezultatul i tabelul de calcul arat c valoarea de control pentru lotul nr. 11 se situeaz n afara
intervalului de control. La analiza acestui lot a existat deci o situaie scpat de sub control n timpul
msurtorilor. Aceast valoare de control nu va trebui deci inclus n calculul limitelor
_ de control.
*
Rezultatele pentru lotul nr. 11 sunt i ele excluse i se calculeaz un nou domeniu, R :
_
R * = 1/19 (R1 + ..... + R10 + R12 + ..... + R20) = 2,28

(LCLR*; LCLR*) = (0; 7,46).

Toate celelalte valori se afl n intervalul de control. Se poate crea un Grafic R cu limitele de aciune
calculate (Figura B1.1). Valorile de control pentru loturile 1 - 20 se traseaz pe diagram.

R-chart COD Cr
10

0
0 5 10 15 20

Figura B1.1 CCOCr n ap - Grafic R pentru loturile 1 - 20


Manual instruire QA/QC pag. 51 (66)

Excluderea valorilor de control trebuie fcut cu atenie i nu prea des, deoarece excluderea repetat a
valorilor de control indic faptul c msurtorile n general nu se afl sub control statistic. Cauza lipsei
de control statistic trebuie identificat i eliminat nainte de a se ncerca din nou utilizarea de rutin a
metodei de msurare.

_
Controlul erorilor
_ cu ajutorul unui grafic X
Graficul X permite supravegherea zilnic a acurateei msurtorii. Aceasta const dintr-o combinaie
de erori sistematice, erori aleatorii ntre loturi i aa cum recomand prezentul manual cu ajutorul
valorii mediei ponderate sau dou sau mai multe valori de rspuns ca valoare de control n oarecare
msur i erorile aleatorii din cadrul unui lot. Analiza statistic a valorilor de control pentru o perioad
mai mare d posibilitatea estimrii erorilor aleatorii dintre mai multe loturi. Dac exist o valoare
desemnat (sau adevrat) pentru proba de control, se poate obine i o estimare a erorii sistematice.

Se calculeaz mai nti media ponderat a tuturor rezultatelor neexcluse:


_ _ _ _
x= = 1/19 (x 1 + ..... + x 10 + x 12 + ..... + x 20) = 497,39

Apoi se calculeaz abaterea standard pentru aceleai rezultate, sx:

sx = [(x 1 - x=)2 + .+ (x10 - x=)2 + (x12 - x=)2 + . (x20 - x=)2 )/(19-1)] = 6,603

Se calculeaz limitele inferioar i superioar de aciune (LCL X i UCLX) i limitele inferioar i


superioar de avertizare (LWLX i UWLX):

LCLX = x= - 3 sx

UCLX = x= + 3 sx

LWLX = x= - 2 sx

UWLX = x= + 2 sx

Dac introducem n ecuaie valorile din exemplu vom obine:

(LCLX; UCLX) = (477,58; 517,20)


(LWLX; UWLX) = (484,18; 510,60)

Toate valorile de control se afl ntre limitele de aciune i se poate deci trasa graficul de control, a se
vedea Figura B1.2. Valorile de control pentru loturile 1 - 20 se nscriu n diagram.
Manual instruire QA/QC pag. 52 (66)

X-chart COD Cr
525

500

475
0 5 10 15 20
_
Figura B1.2 CCOCr n ap - grafic X pentru lotul 1 20

Evaluarea periodic a metodei de msurare


Graficele de control conin informaii referitoare la erorile aleatorii i, dac se utilizeaz o prob de
control cu coninut cunoscut, se poate evalua i eroarea sistematic. Aceste informaii se folosesc
pentru evaluarea periodic a caracteristicilor de performan a metodei n chestiune. Evaluarea nu va da
ns informaii relevante dect dac metoda s-a aflat n situaie de control statistic n perioada ce
urmeaz a fi evaluat. Evaluarea controlului statistic se face zilnic prin verificarea valorilor de control
n raport cu linia central, limitele de avertizare i de aciune. Totodat, exist condiia obligatorie ca
valorile de control s fie distribuite aleator. Aceast evaluare se efectueaz ntr-o oarecare msur n
evaluarea zilnic a tendinelor cresctoare sau descresctoare i evaluarea valorilor consecutive n
raport cu linia central. Aceast verificare poate fi completat printr-un test secvenial. Secvena se
definete ca serie de date (sau valori) identice n raport cu o proprietate specific.

ntr-un test secvenial sunt evaluate dou tipuri de secvene. Acestea sunt aceleai cu cele verificate n
cursul utilizrii zilnice a graficelor de control:
_
a) poziia datelor deasupra sau dedesubtul liniei centrale a graficului X ;
_
b) valoare cresctoare sau descresctoare comparativ cu observarea anterioar a graficului X .

Un test secvenial se desfoar n felul urmtor:

Re a) Figura A1.2 prezint 6 valori aflate deasupra i 14 valori dedesubtul liniei centrale.

Deasupra liniei centrale numrul de secvene este:

secvene de 1: 4
secvene de 2: 1
total 5

Dedesubtul liniei centrale numrul de secvene este:


Manual instruire QA/QC pag. 53 (66)

secvene de 1: 1
secvene de 2: 2
secvene de 4: 1
secvene de 5: 1
total 5

Suma tuturor secvenelor este deci 5 + 5 = 10

n Anexa A, tabelul A4 arat pentru r = 6 (numrul de valori de o parte a liniei centrale) i s = 14


(numrul de valori de cealalt parte a liniei centrale) o limit inferioar de 5 pentru numrul
total de secvene (r trebuie s fie un numr mai mic dect s).

Aceasta nu indic prin urmare o tendin sistematic a valorilor de control.

Secvena cea mai lung este de 5. Din Anexa A, tabelul A5, limita de ncredere de 0,05 (pentru
20 de loturi) este 7. Aceasta nseamn c existena unei secvene de 5 este un fenomen probabil
i normal.

Re b) n ceea ce privete proprietatea urmtoare, tendina cresctoare sau descresctoare, figura B1.2
arat un numr de descreteri = 11 i un numr de creteri = 8.

Numrul de secvene descresctoare este:

secvene de 1: 5
secvene de 2: 3
total 8

Numrul de secvene cresctoare este:

secvene de 1: 6
secvene de 2: 1
total 7

Suma tuturor secvenelor este prin urmare 8 + 7 = 15

r = 8 i s = 11, corespund unei limite inferioare de 6 secvene (Anexa A, tabelul A4) la nivelul
de ncredere de 0,05. Nu exist deci nici un indiciu de tendin sistematic a valorilor de
control. Deoarece lungimea secvenei este 2, din lungimea secvenei nu exist deci nici vreo
indicaie cu privire la o tendin sistematic (Anexa A, tabelul A6).

Concluzionnd astfel c nu exist indicii cu privire la distribuia aleatorie a datelor, poate fi estimat
statistica ce descrie eroarea aleatorie i sistematic. n interpretarea valorilor statistice calculate trebuie
s avem grij s evalum msura n care proba de control este comparabil (n ceea ce privete, de ex.
interferenele, abaterea standard etc.) cu probele reale. Calculele necesare estimrii caracteristicilor de
performan sunt cele de mai jos.
_
Abaterea standard din cadrul unui lot, sw, se calculeaz din R *:
Manual instruire QA/QC pag. 54 (66)

_
*
R = d2 sw

d2 este dat n Anexa A, tabelul A1.

sw = 2,28 / 1,128 = 2,02 mg/l O2

Abaterea standard ntre mai multe loturi, sb, se calculeaz apoi din sx i sw:

s2b = s2x - s2w/n

s2b = 6,6032 2,022/2 = 41,559

sb = 6,45 mg/l O2.

Recuperarea valorii adevrate, CCOcalculat, se evalueaz cu ajutorul unui test t.

Se calculeaz valoarea t a testului:

t = x= - CCOcalculat (sx/(m))

Acest calcul corespunde calculrii intervalului de ncredere pentru media ponderat i investigrii
suprapunerii acesteia cu valoarea nominal.

t = 497,39 - 500 / (6,603 / (19)) = 1,72


_
deoarece media ponderat se bazeaz pe loturile care nu au fost excluse n construcia graficelor X i
R, respectiv 19 loturi.

Valoarea de test, t, este comparat cu fractila distribuiei t pentru nivelul de ncredere ales, n general de
95%. Deoarece media ponderat poate fi mai mare sau mai mic dect valoarea nominal, testul are
dou pri. Fractila ce trebuie cutat este deci t0,975 (m - 1 = 18). Aceast fractic este, cf. Anexa A,
tabelul A3: 2,101. Deoarece valoarea numeric de test, t, este mai mic dect aceast fractil (1,72 <
2,101), media ponderat, x=, nu difer semnificativ de valoarea nominal a CCOcalculat.

Recuperarea este deci: 497,39 100 / 500 = 99,5%


Manual instruire QA/QC pag. 55 (66)

Evaluarea zilnic a valorilor de control


Analiza CCOCr a continuat dup stabilirea graficelor de control. Rezultatele pentru urmoarele 10 loturi
sunt prezentate n cele de mai jos.
_
Lot Rezultate, mg/l O2 R, mg/l O2 x , mg/l O2
x1 x2
21 509,35 509,35 0,00 509,35
22 508,42 508,72 0,30 508,57
23 504,30 506,07 1,77 505,185
24 506,23 509,91 3,68 508,07
25 503,30 498,55 4,75 500,925
26 512,33 512,89 0,56 512,61
27 510,38 499,21 11,17* 504,795
28 501,68 504,46 2,78 503,07
29 496,30 490,77 5,53 493,535
30 496,13 493,00 3,13 494,565
*: Rezultate n afara limitei de aciune

R-chart COD Cr
10

0
0 5 10 15 20 25 30

Figura B1.3 CCOCr n ap - Grafic R pentru loturile 1 - 30

n Graficul R (Figura B1.3), se observ c rezultatele pentru lotul nr. 27 sunt mai variabile dect ne-am
atepta deoarece valoarea de control din Graficul R se situeaz peste limita superioar de aciune. n
aceast zi va trebui s evalum dac aceast cretere a incertitudinii poate fi acceptat n ceea ce
privete utilizarea rezultatelor msurrii sau dac acest lot va trebui analizat din nou. Ne preocup
totodat c rezultatul din Graficul R se situeaz din nou n afara limitei de aciune, deoarece i lotul nr.
11 a fost problematic sub acest aspect. Prezena a dou astfel de cazuri este extrem de improbabil ca
urmare a simplei variaii aleatorii. Este deci rezonabil s presupunem c am supraestimat calitatea
msurtorii calculate pe baza rezultatelor neexcluse.
Manual instruire QA/QC pag. 56 (66)

Valorile de_ control din Graficul R pentru loturile nr. 11 i 27 sunt 12,84 i respectiv 11,17 mg/l O 2, n
timp ce R este 2,28 mg/l O2. n aceste dou loturi variaia din cadrul unui lot este deci de 4-5 ori mai
mare dect cea estimat pentru celelalte 28 de loturi. Acceptabilitatea unei variabiliti de o asemenea
amploare depinde de modul n care vor fi folosite datele obinute_ prin msurtori. Nu este ns
acceptabil utilizarea necritic a abaterii standard estimat pe baza R deoarece o estimare a calitii
generale a msurtorilor cnd apar dou abateri de mrimea observat n acest set de date.

Graficul R nu determin alte comentarii, deoarece nu exist o tendin semnificativ descresctoare sau
cresctoare a valorilor de control i nici apariia consistent a valorilor de control deasupra liniei
centrale.
_
Valorile de control din graficul X sunt toate acceptabile n raport cu limitele de avertizare i de aciune
(cf. Figura B1.4). Dar dup ce a fost analizat lotul nr. 28, este clar c toate valorile de control din
loturile recente au tendina de a se situa deasupra liniei centrale. Astfel, 10 din 11 valori de control din
loturile nr. 18 la nr. 28 se situeaz deasupra liniei centrale, i numai n lotul nr. 20 se afl marginal sub
aceasta. Exist deci o trecere semnificativ ctre valori mai mari. Motivul acestei schimbri trebuie
identificat i eliminat, deoarece este oglinda unei modificri sistematice a rezultatelor msurtorii. n
cazul de fa, cauza a fost identificat a fi dozatorul utilizat pentru adugarea n probe a reactivului
dicromat. Calibrarea dozatorului a dus la ajustarea acestuia, care s-a dovedit: semnificativ. Dozatorul a
fost recalibrat dup lotul 28, iar n lotul nr. 29 rezultatele au sczut, apropiindu-se de valori mai
normale. Va fi nevoie ns de mai multe loturi n plus pentru a putea concluziona dac analiza se afl
din nou sub control statistic.

X-chart COD Cr
525

500

475
0 5 10 15 20 25 30

_
Figura B1.4 CCOCr n ap - grafic X pentru loturile 1 - 30

_
Graficul X nu mai determin i alte comentarii.
Manual instruire QA/QC pag. 57 (66)

EXEMPLUL B2

PROB OARB

Fosfor total n ap

Proba de control: 50 ml ap deionizat, activat, filtrat cu carbon tratat ca prob

Program de control: Determinare pe duble oarbe (prob de control de tip IV) n fiecare lot

_
Lot Rezultate, mg/l P R, mg/l P x , mg/l P
x1 x2
1 0,0 1,8 1,8 0,9
2 3,6 1,8 1,8 2,7
3 1,8 0,0 1,8 0,9
4 3,5 0,0 3,5 1,75
5 4,3 2,4 1,9 3,35
6 9,5 10,9 1,4 10,2
7 6,5 4,9 1,6 5,7
8 5,3 7,2 1,9 6,25
9 11,0 5,3 5,7 8,15
10 3,6 3,6 0,0 3,6
11 3,6 5,7 2,1 4,65
12 11,1 9,8 1,3 10,45
13 7,6 3,6 4,0 5,6
14 5,7 3,6 2,1 4,65
15 1,8 0,0 1,8 0,9
16 3,6 0,0 3,6 1,8
17 3,5 5,7 2,2 4,6
18 1,8 0,0 1,8 0,9
19 3,5 3,5 0,0 3,5
20 9,5 11,2 1,7 10,35

Controlul erorilor cu ajutorul unui Grafic R


Graficul R este stabilit ca n exemplele 1 i 2:

_
R = 1/20 (R1 + .......... + R20) = 2.10

Limitele de aciune se calculeaz prin nmulire cu D 3 i respectiv D4. Valorile lui D3 i D4 (0; 3,267)
Manual instruire QA/QC pag. 58 (66)

sunt cele din Anexa A, Tabelul A1:

(LCLR, UCLR) = (0; 6,86)

Rezultatul i tabelul de calcul arat c toate valorile de control se afl ntre limitele de aciune. Se poate
deci crea un Grafic R cu limitele de aciune calculate (Figura B2.1). Valorile de control pentru loturile 1
- 20 sunt reprezentate pe diagram.

R-chart Total phosphorus


8

0
0 5 10 15 20

Figura B2.1 Fosfor total n ap - Grafic R pentru prob oarb

_
Controlul erorilor
_ cu ajutorul unui grafic X
Graficul X pentru probe oarbe nu ofer informaii cu privire la caracteristicile de performan ale
metodei de msurare. Informaiile pe care le furnizeaz privesc variabilitatea probei oarbe i dau
posibilitatea detectrii unei_ modificri consistente a mrimii probei oarbe. Dac variabilitatea apare
nesemnificativ, graficul X poate fi omis n cazul probelor oarbe.
_
Procedura de stabilire a unui grafic X este aceeai cu cea demonstrat n exemplele 1 i 2:

x= = 1/20 (x1 + ..... + x20) = 4,545 mg/l P

Abaterea standard pentru aceleai valori de control, sx, se calculeaz astfel:

sx = [((x1 - x=)2 + ..... + (x20 - x=)2)/(20 - 1)] = 3,197 mg/l P

Se calculeaz limitele inferioar i superioar de aciune (LCL X i UCLX) i limitele inferioar i


superioar de avertizare (LWLX i UWLX):

(LCLX; UCLX) = (-5,05; 14,14)

(LWLX; UWLX) = (-1,85; 10,94)


Manual instruire QA/QC pag. 59 (66)

Se observ c limita inferioar de avertizare i limita de aciune sunt numere negative. Proba oarb are
ca scop s nu conin parametrul msurat, n cazul de fa fosfor. Media ponderat a determinrilor
repetate pe probe oarbe va trebui deci s fie apropiat de zero i sunt deci sunt de ateptat valori
negative.

Toate valorile de control se situeaz deci ntre limitele de aciune pentru loturile 1 20 sunt
reprezentate pe diagram.

X-chart Total phosphorus


15

10

-5

-10
0 5 10 15 20

_
Figura B2.2 Fosfor total n ap grafic X pentru prob oarb

Evaluarea zilnic a probelor de control


Evaluarea zilnic a valorilor de control nu scoate n lumin nici un fel de probleme de msurtori:
_
toate valorile de control din graficele R_ i X se afl ntre limitele de aciune;
toate valorile de control din graficul X se situeaz i ntre limitele de avertizare; _
nu exist tendin cresctoare sau descresctoare, nici n graficul R, nici n graficul X ;
i de asemenea, poziia valorilor de control nu se afl n mod consistent de o parte sau de alta a
liniei centrale.

n nici un moment al analizrii celor 20 de loturi de msurtori aceste valori de control nu au dat
natere la ngrijorri cu privire la calitatea msurtorilor.

Evaluarea periodic a metodei de msurare


Distribuia aleatorie a valorilor de control se verific printr-un test secvenial ca cel prezentat n
exemplele 1 i 2:
_
a) poziia datelor deasupra sau dedesubtul liniei centrale a graficului X t;
_
b) valoare cresctoare sau descresctoare comparativ cu observarea anterioar a graficului X .
Manual instruire QA/QC pag. 60 (66)

_
Re a) Graficul X , figura B2.2, prezint 10 valori situate deasupra i 10 valori sub linia central.

Deasupra liniei centrale numrul de secvene este:

secvene de 1: 2
secvene de 4: 2
total 4

Dedesubtul liniei centrale numrul de secvene este:

secvene de 1: 1
secvene de 2: 2
secvene de 5: 1
total 4

Suma tuturor secvenelor este deci 4 + 4 = 8

n Anexa A, tabelul A4 arat pentru r = 10 (numrul de valori de o parte a liniei centrale) i s =


10 (numrul de valori de cealalt parte a liniei centrale) o limit inferioar de 6 pentru numrul
total de secvene (r trebuie s fie un numr mai mic dect s).

Acest fapt nu indic deci o tendin sistematic a valorilor de control.

Cea mai lung secven este de 5. Din Anexa A, tabelul A5, limita de ncredere de 0,05 (pentru
20 de loturi) este 7. Aceasta nseamn c existena unei secvene de 5 este un fenomen probabil
i normal.

Re b) n ceea ce privete a doua proprietate, tendina cresctoare sau descresctoare, figura B2.2 arat
un numr de scderi = 7 i un numr de creteri = 12.

Numrul secvenelor descresctoare este:

secvene de 1: 4
secvene de 3: 1
total 5

Numrul secvenelor cresctoare este:

secvene de 1: 1
secvene de 2: 4
secvene de 3: 1
total 6

Suma tuturor secvenelor este deci 5 + 6 = 11

r = 7 i s = 12, corespund unei limite inferioare de 6 secvene (Anexa A, tabelul A4) la nivelul
de ncredere de 0,05. Nu exist deci vreun indiciu al unei tendine sistematice a valorilor de
Manual instruire QA/QC pag. 61 (66)

control. Deoarece secvena cea mai lung este de 3, nu exist nici un indiciu al existenei unei
tendine sistematice n funcie de lungimea secvenei (Anexa A, tabelul A6).

Stabilind astfel c nu exist nici un indiciu de distribuie nealeatorie a datelor, poate fi estimat criteriul
de detecie i limita de detecie.
_ Pentru coreciile pe probe oarbe se poate folosi media ponderat pe
ansamblu din graficul X dac valoarea mediei ponderate pentru probele oarbe este considerat mai
corect dect valoarea probei oarbe pentru lotul respectiv. Utilizarea mediei ponderate pe ansamblu este
recomandat de unii autori (a se vedea de ex. Taylor) deoarece incertitudinea legat de valorile pentru
fiecare prob oarb este considerabil. n interpretarea limitei de detecie i a mediei ponderate a
probelor oarbe trebuie s avem grij s evalum n ce msur proba de control este comparabil (de ex.
din punct de vedere al interferenei, abaterii standard etc.) cu probele reale.

Pentru estimarea
_ criteriului i a limitei de detecie, se calculeaz abaterea standard din cadrul unui lot,
sw, din R aa cum am descris anterior n exemplul 1:
_
R = d2 sw

d2 este dat n Anexa A, tabelul A1.

sw = 2,10 / 1,128 = 1,86 mg/l P

Numrul de grade de liberate pentru aceast abatere standard va fi:

df = 0,88 m,

unde m este numrul de loturi pe care se bazeaz estimarea lui sw.

df = 0,88 20 = 17,6 ~ 18.

Poate fi estimat acum limita de detecie, presupunnd c corecia probei oarbe se bazeaz pe proba
oarb analizat n fiecare lot i c n fiecare lot sunt analizate 2 cte dou probe oarbe:

DL = 2 t0,95(df) sw, orb (1 + 1/n)

Fractila pentru distribuia t este dat n Anexa A, tabelul A3,

DL = 2 1,734 1,86 (1 + ) = 7,9 mg/l P ~ 8 mg/l P

Criteriul de detecie este limita de detecie mprit la 2:

CD = 4 mg/l.

Putem concluziona c pentru fiecare perioad n chestiune, limita de detecie va fi 8 mg/l P i criteriul
de detecie 4 mg/l P.
Manual instruire QA/QC pag. 62 (66)

EXEMPLUL B3

PROB NATURAL CA PROB DE CONTROL

Bariu n sediment

Proba de control: Prob natural aleas la ntmplare din fiecare lot

Program de control: Determinare dubl a unei probe a naturale (prob de control de tip II) din fiecare
lot

_
Lotul Rezultate, mg/kg mas uscat R, mg/kg mas x , mg/kg mas r, %
uscat uscat
x1 x2
1 3,46 4,46 1,00 3,96 25,3
2 3,99 5,10 1,11 4,545 24,4
3 5,32 5,47 0,15 5,395 2,8
4 15,0 14,8 0,2 14,9 1,3
5 321 392 71 356,5 19,9
6 251 247 4 249 1,6
7 51,9 51,1 0,8 51,5 1,6
8 10,4 11,1 0,7 10,75 6,5
9 1,90 2,40 0,50 2,15 23,3
10 27,4 29,9 2,5 28,65 8,7
11 15,1 14,5 0,6 14,8 4,1
12 19,4 26,0 6,6 22,7 29,1
13 43,1 42,4 0,7 42,75 1,6
14 41,2 45,1 3,9 43,15 9,0
15 1020 916 104 968 10,7
16 55,9 52,6 3,3 54,25 6,1
17 37,0 32,3 4,7 34,65 13,6
18 10,0 8,37 1,63 9,185 17,7
19 187 151 36 169 21,3
20 71,0 75,0 4,0 73,0 5,5

Controlul erorilor cu ajutorul unui Grafic R


Domeniul relativ, r, este un indicator pentru o parte a preciziei msurtorii, deoarece r este proporional
cu coeficientul de variaie, CV. Domeniul relativ, r, reprezint abaterea standard din cadrul unui lot,
adic repetabilitatea. Se utilizeaz coeficientul de variaie n locul abaterii standard deoarece probele de
control sunt probe naturale alese la ntmplare. Probele naturale vor avea concentraii variate, ceea ce
indic abateri standard variabile, n funcie de concentraie.
Manual instruire QA/QC pag. 63 (66)

Calculele necesare pentru construirea unui Grafic R sunt cele de mai jos.

Se calculeaz media ponderat a domeniului relativ pentru 20 de loturi:

r = 1/20 (r1 + .......... + r20) = 11,7%

Limitele superioar (UCL) i inferioar (LCL) de aciune se calculeaz apoi pe baza valorilor date n
Anexa A, tabelul A1.

UCL = D4 r = 3,267 11,7 = 38,25% ~ 38,3%

LCL = D3 r = 0 11,7 = 0%

Compararea acestor limite cu valorile lui r din rezultate i tabelul de calcul arat c nici una dintre
valorile de control nu se situeaz n afara limitelor de aciune. Valorile calculate pot fi utilizate prin
urmare pentru construirea Graficului r. Rezultatul este prezentat n Figura B3.1.

r-chart Barium
40

30

20

10

0
0 5 10 15 20

Figura B3.1 Bariu n sediment - Grafic R pentru probe naturale

Evaluarea zilnic a valorilor de control


Evaluarea valorilor de control pe un Grafic R se efectueaz la fel ca i pentru un Grafic R. Evaluarea
valorilor de control nu scoate n eviden nici un fel de probleme legate de msurtori:

toate valorile de control se situeaz ntre limitele de aciune;


nu se detecteaz nici o tendin cresctoare sau descresctoare;
i poziia valorilor de control nu se situeaz n mod consistent, adic de peste 7 ori la rnd, peste
linia central.

Prin urmare n nici un moment din timpul efecturii msurtorilor pe cele 20 de loturi, valorile de
control nu a dat natere unor ngrijorri privind calitatea msurtorilor.

Evaluarea periodic a metodei de msurare


Valorile de control pentru domeniul relativ s-au situat n mod consistent ntre limitele de control din
Manual instruire QA/QC pag. 64 (66)

Graficul R i ele vor putea fi deci folosite pentru estimarea statistic a performanei.

Un motiv important pentru utilizarea Graficului R n cazul unei probe naturale este acela de a compara
precizia obinut prin utilizarea unei probe de control sintetice cu cea obinut pentru probe naturale.
Pentru matrici solide precizia trebuie tratat cu o consideraie special, deoarece probele sunt mai mult
sau mai puin neomogene, ceea ce face din sub-prelevarea de alicot pentru analiz o important surs
de variaie. Se poate astfel utiliza un Grafic R pentru a evalua incertitudinea combinat determinat de
msurtori i de prelevarea sub-probei. Incertitudinea prelevrii sub-probei nu va fi descris prin
utilizarea materialelor de referin atestate deoarece acestea sunt zdrobite i omogenizate pentru a
minimiza orice surs de variaie. ns materialele de referin atestate sunt valoroase pentru descrierea
incertitudinii analizei de probe fr o matrice natural comparativ cu analiza probelor de control
sintetice.

Trebuie deci comparat abaterea standard estimat pentru dou tipuri de probe de control.

Coeficientul de variaie (abaterea standard relativ), CVw, se estimeaz din r:

r = 100 d2 sw / x = d2 CVw

CVw = r / d2 = 11,7 / 1,128 = 10,4%.

Numrul gradelor de libertate va fi:

df = 0,88 m = 0,88 20 = 17,6 ~ 18.

Pentru compararea cu o prob de control sintetic, n aceste exemple se utilizeaz una cu o concentraie
de 100 mg/l, cu o abatere standard n cadrul lotului de 5 mg/l, estimat pe baza datelor pentru 20 de
loturi. Coeficientul de variaie pentru proba de control sintetic se calculeaz folosind aceste informaii:

CVw = sw 100 / x = 5,0%

Compararea celor doi coeficieni de variaie nu are sens dect dac abaterea standard este proporional
cu media ponderat. Pentru majoritatea parametrilor folosii n gestionarea mediului aa stau lucrurile,
cu excepia situaiilor n care concentraiile sunt apropiate de limita de detecie. Relaia dintre abaterea
standard i media ponderat trebuie ns evaluat n fiecare caz.

Coeficientul de variaie calculat se compar cu cel msurat pentru proba de control sintetic, cu ajutorul
testului F:

F = CV12 / CV22 = 10,42 / 5,02 = 4,33

Factorul, F, este comparat cu valoarea critic pentru F. F0.95(18,18) va fi 2,22, gsit prin interpolarea din
Anexa A, tabelul A2. Valoarea critic este mai mic dect factorul calculat i cei doi coeficieni de
variaie vor fi deci semnificativ diferii, la nivelul de ncredere de 95%. Putem trage concluzia c
abaterea standard pentru probe naturale este mai mare dect cea obinut cnd se folosesc probe de
control sintetice.
Manual instruire QA/QC pag. 65 (66)
Manual instruire QA/QC pag. 66 (66)

FIA DE ASIGURARE A CALITII

TITLUL RAPORTULUI Raport tehnic. Manual de instruire: Instruire QA/QC pentru


Laboratoarele de ap - Laborator Modul 1

PROIECT ntrirea capacitii instituionale i administrative a Ministerului


Sntii n vederea adoptrii i implementrii Acquis Communautaire
n domeniul apei i riscurilor pentru sntate asociate

IDENTIFICAREA PROIECTULUI Proiect Phare RO 2002/000-586.04.13

IDENTIFICARE QA T0xx/001

NUMR DE PAGINI MINUS ANEXE 64

LOCUL EXEMPLARULUI QA Eptisa Romania

AUTOR Mikael Krysell, chimist UE

SEMNTURA

VERIFICAT

SEMNTURA

S-ar putea să vă placă și