Sunteți pe pagina 1din 7

Revista Informatica Economic, nr.

1(33)/2005

The typology of items used in computer assisted didactical evaluation


Prof.dr. Ion Gh. ROCA, Catedra de Informatic Economic, ASE Bucureti Ec. Eugeniu CRISTESCU, Serviciul de Telecomunicaii Speciale The use of computers in educational evaluation systems requires the use of some specific item types. This paper presents evaluation techniques, used to elaborating knowledge tests and docimologic ones, and suggests possible ways of categorizing them with direct applicability to the designing of didactic evaluation systems assisted by computer. Keywords: summative evaluation, formative evaluation, criterion-referenced tests, normreferenced tests, item, computer-based training system.

Introducere Testarea academic este o parte fundamental a procesului de predare-nvare. Aceasta este utilizat nu numai ca baz a ierarhizrii studenilor evaluai la ncheierea procesului de predare-nvare, dar poate fi, i ar trebui s fie, folosit i la direcionarea predrii, ca suport pentru dezvoltarea curriculum-ului, ca ajutor la evaluarea cerinelor i diferenelor, la evaluarea progresului i la motivarea nvrii. Testele psihologice, testele de achiziie standardizate i testele realizate de profesor sunt utilizate frecvent pentru atingerea obiectivelor enunate. Profesorului i sunt necesare cunotine practice despre testare i despre construcia testelor pentru a putea seleciona i dezvolta teste care s msoare corect rezultatele nvrii. Aceste cerine capt un accent deosebit n contextul mai larg al evalurii realizate n cadrul sistemelor de instruire asistat de calculator (SIAC). 2. Evaluarea sumativ i/sau formativ ? Msurarea i evaluarea sunt folosite n educaie din diferite motive. De exemplu, unii msoar sau evalueaz pentru: a ajuta la dirijarea studentului, pentru ierarhizarea rezultatelor sau acumulrilor studenilor, pentru motivarea i realizarea instruirii acestora. Nu toate instrumentele de msur servesc la fel pentru scopuri diferite. Eficacitatea unei evaluri este deci dependent de adecvarea instrumentelor de msur folosite n procesul evalurii. De exemplu, evaluarea poate fi sumativ sau formativ. Evaluarea sumativ cumuleaz rezultatele instruirii i progresele nregistrate de un grup.

Aceasta este tipul de evaluare utilizat la determinarea notelor, a aprecierii succesului instruirii i al eficacitii curriculum-ului. Aceasta se efectueaz la terminarea unui modul, curs sau curriculum. Evaluarea formativ are loc pe parcursul modulului, cursului sau secvenei, n mod progresiv. Aceasta, din urm, este folosit ca instrument de diagnostic, ca baz a coreciilor i ca indicator al deficienelor sau succeselor instruirii studenilor. Acest indicator este folosit de formator, ca feedback imediat, pentru corectarea deficienelor i multiplicarea rezultatelor pozitive, nainte de ncheierea secvenei de instruire. Evaluarea formativ este direcionat ctre zone reduse ale modulului, cursului sau curriculum-ului, n aa fel nct formatorul s poat realiza secvene succesive de instruire individualizat, mult mai utile, astfel, fiecrui instruit n parte [Bloom et al., 1971]. Din aceste motive evaluarea sumativ este normativ (raportarea la norm), n timp ce evaluarea formativ este criterial (raportarea la criteriu). n primul caz, rezultatele obinute de instruii sunt comparate ntre ele n vederea realizrii unei ierarhii, iar n cel de-al doilea, rezultatele evalurii sunt comparate cu criterii sau standarde prestabilite. 3. Instrumente de evaluare criterial i/sau normativ ? Testele sunt probe obiective, care se noteaz la fel de orice corector, ntruct rspunsurile date de cei evaluai se compar cu un model de corectare [Muster, 1970]. Testele au ca elemente constitutive item-urile. Item-ul este cea mai mic entitate identifica-

Revista Informatica Economic, nr. 1(33)/2005

bil a unui test care este corelat cu unul sau mai multe obiective operaionale deduse, la rndul lor, dintr-un obiectiv didactic general [Roca & Cristescu, 2004, p.33]. Dup Ebel testele criteriale difer de cele normative [Ebel, 1979, p.11], astfel: Testele criteriale: Testele normative:
sunt folosite pentru

determinarea obiectivelor individuale realizate de instruii;


indic realizarea de ctre instruit a unor obiective instrucionale specifice; sunt focalizate pe un segment ngust de obiective; sunt folosite pentru a determina dac instruitul a realizat o sarcin specific de nvare.

sunt folosite pentru determinarea nivelului general al cunotinelor acumulate ntr-un anumit domeniu;
indic poziionarea n cadrul unui grup; acoper o arie larg de subiecte; sunt folosite pentru a indica gradul de succes n nvare al instruitului.

4. Tipuri de instrumente de evaluare Instrumentele de evaluare (testele) difer n funcie de scopul evalurii dar i de tipul acestora. Printre diferitele forme folosite, n mod uzual, de formatori sunt: testele standardizate, testele de tip obiectiv, testele de tip eseu, scalele de ierarhizare, listele de verificare, dispozitivele sociometrice, i testele de performan. 5. Caracteristicile instrumentelor de evaluare Indiferent de instrumentul de evaluare ales evaluatorul trebuie s fie preocupat de calitatea acestuia. n ciuda diversitii instrumentelor de evaluare exist cteva caracteristici de baz pe care acestea trebuie s le ntruneasc. Caracteristicile care asigur calitatea instrumentelor de evaluare sunt: validitatea, fidelitatea i utilizabilitatea. 5.1 Validitatea Validitatea reprezint gradul n care un instrument de evaluare msoar ceea ce a fost destinat s msoare. Toate procedurile de determinare a validitii unui test iau n considerare relaia dintre performana instrumentului de evaluare i faptele observabile relative la caracteristica evaluat. Procedurile care asigur validitatea pot fi

grupate n patru categorii: validitatea de coninut; validitatea predictiv; validitatea concurent; validitatea de construct. n literatura de specialitate este menionat i o a cincia categorie validitatea de faad. Aceasta nu se refer la validitate n sens tehnic. Pentru evaluat exprim msura n care testul este relevant i important [Stoica, 2003, p.45]. 5.1.1 Validitatea de coninut Validitatea de coninut se preocup n primul rnd cu fragmentarea n mod adecvat a prii de coninut sau comportament ce va fi supus evalurii. Aceasta este folosit n mod curent la testele de evaluare a achiziiilor i ar trebui utilizate de formatori pentru toate testele pe care le dezvolt. Pentru asigurarea unui grad nalt al validitii de coninut partea de coninuturi ce urmeaz a fi testat trebuie analizat cu atenie pentru a fi siguri c aspectele majore ale acestora sunt acoperite n mod adecvat. Aprecierea validitii de coninut se face de ctre experi, prin estimarea concordanei dintre itemii testului i obiectivele operaionale definite pe baza coninuturilor eseniale ale programului de instruire (Ibidem, p.44). 5.1.2 Validitatea predictiv Validitatea predictiv se refer la eficacitatea cu care un test prognozeaz nivelul succeselor viitoare ale instruitului. Rezultatele testului sunt verificate comparativ cu performanele ulterioare. Acest tip de validitate este folosit n mod frecvent la testele de la angajare, de difereniere a candidailor la admitere etc. 5.1.3 Validitatea concurent Concordana dintre rezultatul unui test cu cel obinut cu ajutorul altor criterii care msoar succesul, n aproximativ acelai timp, se numete validitate concurent. Acest tip de validitate este relevant pentru testele folosite n scopul diagnozei strii existente. 5.1.4 Validitatea de construct Validitatea de construct a unui test exprim gradul de acuratee pn la care un test msoar o caracteristic teoretic sau un anumit construct. Validarea construct-ului implic acumularea datelor din mai multe surse.

Revista Informatica Economic, nr. 1(33)/2005

Printre factorii care influeneaz validitatea unui test (Ibidem, p.45) se pot meniona: indicaii neclare; nivelul de dificultate necorespunztor al item-urilor; item-uri de calitate slab; test prea scurt; administrarea i corectarea necorespunztoare a testului; caracteristicile grupului cruia i se administreaz testul. 5.2 Fidelitatea Fidelitatea unui test se refer la constana scorurilor obinute de aceleai persoane n situaii diferite sau cu seturi diferite de item-uri echivalente. Determinarea fidelitii unui test implic tehnica corelrii a dou seturi independente de rezultate. Corelaia este exprimat sub forma coeficientului de corelaie care exprim gradul de similaritate dintre dou seturi de rezultate (scoruri). n cazul unei relaii perfect pozitive valoarea acestui coeficient este +1,00. Factorii care afecteaz fidelitatea sunt sintetizai n patru grupe: 1. Factori care in de construcia testelor: lungimea testului; claritatea instruciunilor; caracteristicile fizice ale testului; ambiguitatea item-urilor. 2. Factori care in de punctarea testelor: obiectivitatea testului; claritatea cheilor. 3. Factori care in de administrarea testelor: condiiile de mediu (lumin, cldur, zgomot etc.); timpul alocat testului; indicaiile administratorului de test. 4. Factori care in de studeni: motivaia; atitudinile; starea fizic; emoiile. Cu ct un test include mai multe dintre aceste condiii cu att mai mare va fi fiabilitatea acestuia. ncercnd s rspund la ntrebarea: Ce este mai important, validitatea sau fideli-

tatea testului ? profesorul Adrian Stoica observ c: Un test poate fi fidel fr a fi valid, deoarece testul poate msura altceva dect a fost desemnat s msoare. Dac un test nu este fidel, acesta nu este valid. Fidelitatea este o condiie necesar, dar nu i suficient pentru validitate. Din punctual de vedere al evalurii n clas, validitii ar trebui s i se acorde o importan mai mare. [Stoica, 2003, p.46] n anumite contexte apare un conflict ntre validitate i fidelitate: creterea primei conduce la o scdere a celei de-a doua i invers. Aceast legtur este redat n Figura 1.
Validitate

Fidelitate

Fig. 1. Legtura validitate-fidelitate 5.3 Utilizabilitatea Utilizabilitatea reprezint gradul n care un test poate fi folosit cu minimum de timp, costuri i energie. Exist multe teste standardizate care sunt neutilizabile n clas de ctre formator deoarece sunt prea scumpe, prea greu de administrat sau prea dificil de interpretat. Obiectivitatea este un ingredient al fidelitii. La testare, obiectivitatea se refer la scderea arbitrariului (de exemplu, alegerile norocoase sau la ntmplare) i a erorilor de notare. 6. Tipologia item-urilor Lund n considerare drept criterii obiectivitatea n notare i tipul de rspuns ateptat item-urile se mpart n categorii i subcategorii (Ibidem, p.54), astfel: Criteriul 1: Obiectivitatea n notare 1. Item-uri obiective
1.1. Item-uri cu alegere dual 1.2. Item-uri cu alegere multipl 1.3. Item-uri de tip pereche

Revista Informatica Economic, nr. 1(33)/2005

2. Item-uri semiobiective
2.1. Item-uri cu rspuns scurt 2.2. ntrebri structurate

3. Item-uri subiective
3.1. Item-uri cu alegere dual 3.2. Item-uri cu alegere multipl 3.3. Item-uri de tip pereche

Criteriul 2: Tipul de rspuns ateptat


1. Item-uri pentru care rspunsul este selectat sau marcat dintr-o list de opiuni 2. Item-uri pentru care rspunsul trebuie elaborat

7. Tipologia item-urilor utilizate n cadrul Sistemelor de Instruire Asistat de Calculator (SIAC) Elaborarea unui test de cunotine n variante asistate de calculator comport o suit de item-uri de a cror folosire adecvat depinde calitatea testelor [Roca et al., 2002, p.36]. Aceste tipuri sunt: ntrebri cu rspuns adevrat/fals (True/False Questions). ntrebri cu variante de rspuns multiple (Multiple Choice Questions). ntrebri cu spaii libere de completat (Fillin-the-Blank Questions). ntrebri de tipul uneori/ntotdeauna/ niciodat (Sometime/Always/Never Questions). Opiunile de prezentare posibile sunt: - o ntrebare pe pagin; - toate ntrebrile pe o pagin, cu ntrebri grupate dup tip (adevrat/fals, completare de spaii libere, alegeri multiple etc.); - toate ntrebrile pe o pagin, fr gruparea ntrebrilor dup tip; - pagini separate pentru fiecare tip de ntrebare. Opiunile de feedback pentru cursani sunt: - Corect sau incorect (Correct or incorrect); - Oferirea unei recompense (Provide reward); - Oferirea unei recompense cu o miz suplimentar (Provide reward with additional challenge); - Furnizarea rspunsului corect (Provide correct answer); - Sugerarea unui studiu pentru remediere

(Suggested remedial study); - Furnizarea instruirii pentru remediere (Provide remedial instruction); - Furnizarea scorului (Provide score); - Combinaii rezonabile ale acestor opiuni. Opiuni de marcare a timpului consumat n timpul testrii: - Dup fiecare ntrebare (After each question); - Dup unele grupuri predefinite de ntrebri (After some predefined group of questions); - Dup ncheierea testului (After the test has been completed). O alt taxonomie [Jinga et al., 1999] mparte item-urile n dou tipuri: de tip nchis i de tip deschis, n diferite variante. n cadrul SIAC este limitat utilizarea itemurilor de tip eseu sau item-urilor de construit deoarece rspunsurile subiecilor supui testrii furnizeaz rspunsuri divergente (dar pertinente) care nu pot fi descrise algoritmic. Chiar i n practica pedagogic aprecierea acestora se face diferit, pe baza unor criterii i nu pe baza unor rspunsuri definite riguros. Item-urile de tip nchis Acest tip de item are o aplicabilitate, cel mai adesea, sub forma item-urilor cu alegere multipl. Structura acestora este format din: - rdcin (ntrebarea adresat subiectului testat); - rspunsurile preformulate. Cele din urm cuprind la rndul lor cheia i distractorul (rspunsul/rspunsurile eronate). La acest tip de item se ntlnesc variantele: a) Item-ul cu rspuns binar. Este necesar alegerea unuia dintre cele dou rspunsuri preformulate. b) Item-ul cu cheia format dintr-un singur rspuns preformulat. c) Item-ul cu rspuns multiplu. Are cheia format din mai multe rspunsuri preformulate. d) Item-ul cu rspuns grupat. Are formulate att cheia ct i distractorul din mai multe rspunsuri preformulate grupate. e) Item-ul de asociere tip cauz-efect. Are rdcina format dintr-o fraz cu dou pro-

Revista Informatica Economic, nr. 1(33)/2005

poziii. Subiectul testat trebuie s analizeze dac propoziiile sunt adevrate i dac exist o relaie cauzal ntre ele. f) Item-ul de tip pereche sau coresponden. Necesit realizarea corespondenei dintre anumite elemente dispuse n dou coloane. g) Item-ul de ordonare. Necesit realizarea unei succesiuni fundamentat de o anumit logic a unor elemente, etape, obiecte etc. dispuse ntr-o ordine aleatoare. Item-urile de tip deschis Item-urile de tip deschis, utilizate n cadrul SIAC, au avantajul c anuleaz posibilitatea de ghicire a rspunsului corect, rspunsul solicitat trebuind s fie construit de ctre subiectul supus examinrii. Proiectantul se confrunt, ns, cu dificulti datorate caracterului plurisemantic al vocabularului i n acelai timp cu posibilitatea redus de exprimare sub form algoritmic a acestui tip de item. Aceasta conduce la restrngerea posibilitii de cotare a rspunsurilor prin intermediul software-ului educaional i genereaz controverse privind aprecierea obiectiv a rezolvrii acestora. Cu toate aceste dificulti, n practica SIAC s-au impus urmtoarele tipuri de item-uri de tip deschis: a) Item-ul de tip propoziie lacunar. Necesit completarea unor spaii goale n cadrul unei propoziii sau fraze; b) Item-ul de tip desene lacunare; c) Item-ul de tip desen de adnotat. Necesit precizarea anumitor pri lips ale desenului cuprins n item. Este o variant a item-ului de tip propoziie lacunar. Unele dintre tipurile menionate anterior se regsesc n practica SIAC sub dou forme (Op.cit., p.88-89): 1) cu editarea lacunei i construirea rspunsului de la tastatur; 2) cu editarea lacunei i alegerea rspunsului dintr-un meniu. Utilizarea calculatorului n procesul de evaluare ofer posibilitatea evaluatorilor s realizeze item-uri care se prezint n form de tip deschis (prezint una sau mai multe lacune) dar n coninut sunt de tip nchis (cel evaluat primete informaii din care poate s aleag rspunsul corect). Informaiile oferite

depesc numrul rspunsurilor corecte, aceasta solicitnd, pe de o parte, un efort intelectual din partea celui examinat, iar pe de alt parte, posibilitatea de a ghici anumite rspunsuri prin alegerea lor la ntmplare. 8. Analiza de item-uri Analiznd rspunsurile date la test de ctre cei evaluai putem determina calitatea itemurilor, indiferent dac acestea au fost elaborate de profesori sau de instituii specializate. Analiza se desfoar att dup pretestare ct si dup aplicarea testelor pe eantioane mari de evaluai. Ea are ca scop gsirea rspunsurilor la urmtoarele ntrebri (N. Gronlund, 1981, apud Stoica, 2003, p.92):
- Funcioneaz item-urile aa cum s-a intenionat? - Au item-urile o dificultate corespunztoare? - discrimineaz item-urile testelor normative ntre elevii buni i cei slabi? - msoar eficient item-urile testelor criteriile rezultatelor nvrii? - Sunt distractorii eficieni (pentru item-urile cu alegere multipl) ?

8.1. Analiza de item-uri pentru testele normative Dificultatea unui item este redat de numrul sau procentul elevilor care au rspuns corect la item-ul respectiv. Indicele de dificultate (p) [Stoica, 2003, p.92] se calculeaz dup urmtoarea formul:
p= numarul elevilor care au raspuns corect la item numarul total de elevi

unde, p[0; 1]. O valoare a indicelui apropiat de 1 indic un item uor, n timp ce o valoare apropiat de 0 semnaleaz prezen unui item dificil. Valorile acceptabile pentru p[0,20; 0,80], cu o valoare dezirabil de 0,5-0,6 care asigur o dispersie maxim a rezultatelor. La item-urile cu alegere multipl este foarte important calcularea indicelui de dificultate pentru fiecare opiune n parte. Un distractor cu un indice mai mic de 5% (0,05) este considerat nesatisfctor i trebuie eliminat. De regul, pentru determinarea puterii de discriminare a unui item se pornete de la ipoteza c evaluaii care au obinut un scor mare la ntregul test ar trebui s obin scoruri bune la fiecare item al testului. Pentru calcularea indicelui de discriminare (d) se parcurg urmtoarele etape (ib., pp.92-93):

10

Revista Informatica Economic, nr. 1(33)/2005

- se aranjeaz n ordine cresctoare scorurile tuturor elevilor; - se mpart elevii n 5 grupe n raport cu scorurile obinute (primii 20%, urmtorii 20% .a.m.d.); - se utilizeaz formula:
d=
primii 20% care au rspuns corect - ultimii 20% care au rspuns corect 1/5 x nr. total de elevi

s=

-R N

, unde :

Indicele de discriminare are valori cuprinse ntre +1 i -1. Valoarea d= +1 indic faptul c toi elevii buni au rezolvat item-ul corect i toi elevii slabi au dat rspunsuri greite, iar o valoare d=-l arat c toi elevii slabi au rspuns bine, n timp ce toi elevii buni au rspuns greit la item-ul respectiv. n acest caz item-ul trebuie eliminat. Sintetic, principalele valori ale indicelui de discriminare sunt redate n tabelul urmtor:
Valoarea lui d d 0,40 0,30 d 0,39 0,20 d 0,29 d 0,19 Consecine Item-ul este bun Item-ul necesit o mic revizuire Item-ul necesit o foarte atent revizuire Item-ul se elimin

Sursa: [ib., p.93] 8.2. Analiza de item-uri pentru testele criteriale Obiectivul testelor criteriale este acela de a cuantifica la ce nivel se afl performanele celui evaluat n raport cu obiectivele educaionale. Astfel, formatorul constat ce tie instruitul i ce tie s fac. n acest caz, dificultatea unui item nu mai este prestabilit ea fiind specificat de obiectivul operaional pe care l testeaz. Atta timp ct rezultatele evaluatului nu sunt comparate cu cele ale grupului de referin indicele de discriminare nu are nici o semnificaie. n situaia dat, este important s determinm dac testul evalueaz programul de instruire i nvare. Pentru aceasta trebuie s comparm rezultatele evaluailor obinute la acelai test aplicat nainte i dup desfurarea programului de instruire. Pentru testul aplicat ante sau post instruire se calculeaz indicele de sensibilitate la efectele instruirii", dup formula:

RA= numrul evaluailor care au rspuns corect la item dup programul de instruire RB= numrul evaluailor care au rspuns corect la item naintea programului de instruire N= numrul de evaluai care au participat la ambele teste Unde, s[-1; +1] cu o valoare dezirabil ct mai apropiat de 1. 9. Bncile de item-uri Pentru a reduce efortul de realizare a testelor este necesar ca item-urile s fie organizate n bnci de item-uri. Banca de item-uri reprezint o colecie organizat de item-uri clasificate i catalogate care pot fi accesate, respectnd regulile de acces i procesare impuse de administratorul acesteia n vederea realizrii de noi teste. Un avantaj important al bncilor de item-uri este acela c sunt utilizate n toate formele de evaluare: formativ, sumativ, intern, extern, iniial, final .a. Importana bncilor de item-uri rezult din scopurile n care acestea sunt create (vezi i Wood, Sturnik, 1969, apud Stoica, 2001, p. 88): (i) existena unor colecii de item-uri de bun calitate, pentru diferite discipline, care s fie utilizate att n evalurile interne, ct i n cele externe; (ii) construirea de forme paralele de teste care pot fi aplicate pe grupuri de elevi la momente diferite, cu asigurarea compatibilitii rezultatelor; (iii) elaborarea, cu mai mare uurin, a testelor standardizate; (iv) familiarizarea ct mai multor profesori cu modul de proiectare a item-urilor, n scopul mbuntirii aciunilor evaluative la clas; (v) identificarea celor ce pot scrie itemuri de bun calitate. Clasificarea item-urilor n bnci se face n funcie de urmtoarele criterii: Clas (nivel de vrst) Disciplin Tip Obiectiv evaluat Date statistice (de exemplu, indicele de

Revista Informatica Economic, nr. 1(33)/2005

11

dificultate i indicele de discriminare). Schema urmtoare prezint o modalitate de

creare a unei bnci de item-uri (ibidem):

Formularea specificaiilor pentru scrierea item-urilor Elaborarea item-urilor de ctre grupuri de specialiti Pre-testarea item-urilor Analiza i revizuirea item-urilor Testarea item-urilor pe eantion reprezentativ Analiza statistic Item-uri corespunztoare Teste BANCA DE ITEMURI Item-uri necorespunztoare Item-urile care se elimin

n contextul existenei bncilor de item-uri, testele pot fi elaborate cu uurin. Pe msur ce aceste teste sunt administrate, banca este actualizat cu item-uri noi, urmnd procedura descris anterior. Concluzii Considerm c evaluarea asistat de calculator realizat n cadrul modulelor specializate din cadrul SIAC a devenit o realitate. n aceste condiii nu mai este posibil un management universitar eficient i performant care s fac abstracie de aceast modalitate digital de evaluare. Articolul de fa subliniaz, n sintez, cteva aspecte teoretice i practice privind taxonomia item-urilor, n general i a celor cu aplicabilitate n domeniul evalurii didactice asistate de calculator, n special. Aceste item-uri utilizate n practica sistemelor de evaluare didactic asistat de calculator fac obiectul implementrii n cadrul modulelor specializate coninute n SIAC actuale. Referine bibliografice
[Bloom et al., 1971] Bloom, B.S., Hastings, J.T, Madaus, G.F., Handbook of Formative and Summative Evaluation of StudentLearning, New York: McGrawHill. [Cristescu, 2002] Cristescu Eugeniu: Digitalizarea activitilor de predare-nvare-evaluare trstur specific pentru societatea informaional-societatea cunoaterii, articol prezentat n cadrul Sesiunii de comunicri tiinifice cu tema: Diferenierea i individualizarea instruirii criterii, forme de organizare i

modaliti de realizare, Departamentul pentru pregtirea personalului didactic, ASE, 10 mai 2002, p.305318, Editura ASE, Bucureti. [Cristescu, 2003] Cristescu Eugeniu: Difficulties of didactic evaluation assisted by computer, The proceedings of the 6th International Conference on Economic Informatics, May 8-11, Bucharest, Inforec Printing House. [Ebel, 1979] Ebel, R. L.: Essentials of Educational Measurement, 3rd ed., Englewood Cliffs, New Jersey: Prentice-Hall. [Gronlund, 1981] Gronlund, N.: Measurement and Evaluation in Teaching, 4th edition, Macmillan. [Jinga et al., 1999] Jinga I., Petrescu A., Gavot M., tefnescu V.: Evaluarea performanelor colare, Editura Aldin, Bucureti. [Muster, 1970] Muster Dumitru: Verificarea progresului colar prin teste docimologice, E.D.P., Bucureti. [Roca et al., 2000] Roca Gh. Ion, pu Nicolae (coordonatori): Internet i Intranet, Concepte i aplicaii, Editura Economic, Bucureti. [Roca et al., 2002] Roca Gh. I., Apostol C. G., Zamfir G., Bodea C. N.: Informatica instruirii, Editura Economic, Bucureti. [Roca & Cristescu, 2004] Roca, Gh. I., Cristescu, E.: mbuniri metodologice privind realizarea item-urilor utilizate n evaluarea didactic asistat de calculator, n: Revista Informatica Economic, nr. 1(29), Bucureti, Editura INFOREC. [Stoica, 2001] Stoica, Adrian: Evaluarea curent i examenele. Ghid pentru profesori, Coordonator Adrian Stoica, Editura ProGnosis, Bucureti. [Stoica, 2003] Stoica, Adrian: Evaluarea progresului colar. De la teorie la practic, Editura Humanitas Educaional, Bucureti.