STOICESCU IULIANA BIANCA

MI III

Crearea strategiilor de evaluare

Instructorii trebuie să evalueze performanța studenților. Dar noi, sufletele

mincinoase, trebuie să facem mai mult. În aceste zile încă din primele zile ale
unor medii virtuale extrem de interactive, trebuie să demonstrăm (ceea ce
necesită măsurarea) eficacitatea abordării, astfel încât să putem perpetua și
dezvolta programele noastre, în ciuda criticilor, și să-i facem pe alții să cumpere
abordarea. În cele din urmă, trebuie să calibrăm orice sim, care necesită și
strategii de evaluare și evaluare. Promovarea noastră cu succes a HIVE nu
presupune să le apăram orbește, ci să le dezvoltăm inteligent.

Acest capitol va dezvălui modul și motivul și va oferi exemple de sondaje

și rezultate. Înainte de a începe, ne putem întreba, de ce nu gândește vechea
metodă ușor de comparat cu metodele tradiționale? De ce nu folosiți doar un test
standardizat? Și ar trebui ca o implementare de simulare să fie de așteptat să
învingă o evaluare a cursului standard pentru a dovedi că simulările
funcționează mai bine?

DE CE NU MĂSURAȚI EXPERIENȚA CU UN TEST DE SELECȚIE

MULTIPLĂ?

Să începem cu această întrebare de bază. De ce nu măsurați cunoștințele

nou dobândite prin intermediul întrebărilor cu răspunsuri multiple, de preferință
folosind testele existente? La urma urmei, această metodologie obiectivă ar
trebui să rezolve problema o dată pentru totdeauna dacă simulările funcționează

1
STOICESCU IULIANA BIANCA
MI III

mai bine. Cu alte cuvinte, după cum unii dintre noi au auzit de la numeroase
surse, inclusiv decanii, șefii departamentelor, colegii și chiar părinții noștri, "De
ce nu poți fi normal?".

Măsurarea învățării prin simulare prin intermediul unui test post-test cu

mai multe opțiuni este aproape inutilă. Proiectarea testelor pre și post pentru
simulări poate fi o experiență aproape existențială. Ce anume a învățat elevul?

Este util să ne gândim la exemplul conducerii unei mașini (o activitate

activă de învățare, mai degrabă decât să învățăm să cunoaștem). În primul rând,
conducerea unei mașini este un exemplu perfect împărțit partajat de o abilitate
complexă. Acțiunile de conducere a unei mașini sunt bine înțelese și sunt atât
discrete, cât și analogice, incluzând rotirea volanului exactă și utilizarea
semnalului de direcție. Scopul conducerii unei mașini este foarte clar, cum ar fi
obținerea destinației potrivite fără accidente și gaze naturale pentru următoarea
călătorie. Dar sistemele care conectează acțiunile și obiectivele sunt incredibil
(și adecvat) complexe. Acestea includ totul, de la momentul în care să se
transforme într-o intersecție ocupată (care implică prezicerea în cazul în care
fiecare vehicul va fi de cinci până la cincisprezece secunde în viitor) strategiilor
de planificare a traseului pentru o călătorie lungă (inclusiv cunoștințele culturale
privind congestionarea traficului și construcție) la deciziile etice și pragmatice
privind accelerarea. (Având în vedere toate conducerile ca o analogie, nu trebuie
să aruncăm o privire asupra celor două probleme abuzive. Primul este că, cu
excepția celor care învață o fiică sau fiu adolescent, exact cât este implicat este
adesea pierdut pentru că facem așa În al doilea rând, conducerea este așa de
bine, bine, dacă am avea o înțelegere mai bună, aș prefera să folosesc o abilitate
precum conducerea, inovația, administrarea, chiar și scrierea).

În consecință, majoritatea testelor multiple cu privire la conducere (cum ar

fi un test de conducere) se referă la definirea termenilor și la articularea regulilor
drumului. Puține teste de hârtie, suficient de adecvate, aspiră să măsoare

2
STOICESCU IULIANA BIANCA
MI III

motocicletele cu adevărat aderente. De aceea, statele folosesc teste de conducere

fizice reale. De asemenea, mulți șoferi excelenți nu ar reuși să facă parte din cele
mai multe teste de conducere.

Deci, cum, noi, ca utilizatori ai mediilor interactive, creăm teste pentru a

măsura calendarul, echilibrul și judecata? Cum facem problema în legătură cu
faptul că, pe hârtie, majoritatea întrebărilor par a fi bun-simț?

Pentru a reveni la exemplul de conducere, cauza fiecărui accident care sa

întâmplat vreodată nu ar fi printre opțiunile selectate pe un test, nimeni nu ar
alege (a) să mănânce și să-și pună machiajul în timpul conducerii, (b) în loc să-și
păstreze ochii pe șosea sau (c) șoferul din hayon în fața mea, astfel încât, dacă s-
ar opri brusc, l-aș fi lovit. Cu toate acestea, simulatorul potrivit ar putea reduce
numărul accidentelor cauzate de aceste lucruri.

Aș vrea să fi avut un răspuns definitiv, dar nu știu. provocarea de a

dezmembra un sistem care este părtinitor față de conținutul liniar nu va fi ușor.
Critic, da. Ușor, nu. Avem multe opțiuni foarte bune. Există diferite abordări în
crearea unei strategii de evaluare a simulării apropiate. Desigur, acestea ar trebui
să fie în jurul obiectivelor de bază ale învățării și a obiectivelor programului.
Dar, pragmatic, ele tind să fie puternic influențate de variabilele principale
uneori conflictuale de eficacitate, de cost (inclusiv costul politic), de evaluare a
programului față de evaluarea elevului și de oportunitate politică și de program.

Unele dintre aceste abordări sunt neobișnuite pentru o clasă tradițională,

dar sunt chiar la domiciliu pentru programe mai intense, cum ar fi educația
executivă și pentru instructorii care au nevoie să construiască un caz real. Am
inclus o listă completă pentru a ne provoca și a ne inspira. În cele din urmă,
trebuie să învățăm cum să măsuram "învățarea de a face" la fel de mult ca și
"învățarea să cunoaștem".

3
STOICESCU IULIANA BIANCA
MI III

STRATEGII DE EVALUARE

Numai după test sau pretest?

Evaluați elevii ce au început să știe sau ce știu după terminarea

programului? Orice fel de program de certificare (fie că este vorba de
programare sau de conștientizare despre hărțuirea sexuală) îi pasă de ce anume.
elevul știe la sfârșitul programului. Dar orice manager de program de sim, de
asemenea, vrea să știe care este mărimea schimbării. Unele programe, la fel ca
în cazul certificării, ajung pe toți la un prag. Alte programe ajută fiecare student
cu aceeași sumă în raport cu cunoștințele sale inițiale. Experții ajung în calitate
de experți avansați, iar începătorii ajung la începători avansați. Încă alte
programe ajută experții mai mult decât începători sau invers. Cunoașterea
punctului de plecare al fiecărui elev oferă o înțelegere mult mai bună a
impactului programului.

Grup de control sau doar studenți?

Evaluați un grup de persoane care nu au trecut prin program, precum și

studenții care au trecut prin program? Orice validare științifică necesită un grup
de control, dar acest lucru necesită adesea multă voință din partea managerului
de program.

"Doar studenții" sau persoanele din jurul elevilor?

Folosiți doar cunoștințele sau cunoștințele proprii ale elevilor sau folosiți
cunoștințele și punctele de vedere ale oamenilor din jurul elevului (așa-numitele
360 de ani)? Elevii înșiși au tendința de a supraevalua noile cunoștințe și acțiuni
noi, dar pentru comunitățile din jurul elevilor este exact opusul.

Evaluată imediat după program sau săptămâni sau luni?

Efectuați o evaluare post-program atunci când programul este vizibil?

Acest lucru va accentua în mod deosebit cunoașterea dobândită rapid, în timp ce

4
STOICESCU IULIANA BIANCA
MI III

face imposibilă evaluarea noului comportament (cu excepția cazului în care

programul a avut loc în cazul în care un nou comportament ar fi apărut deja).
Mai mult timp după program (o săptămână, cinci săptămâni, cinci luni), cu atât
este mai mare valoarea oricărui impact înregistrat, dar cu atât mai greu este
obținerea rezultatelor (rata de conformare scade), cu atât este mai greu să folosiți
aceste rezultate modelarea programului în sine, și mai multe alte variabile ajung
în cale. Cu cât este mai mult grupul implicat în evaluarea elevului (360 de ani),
cu atât mai mult timp este necesar (dacă cineva se întâlnește cu elevul de două
ori pe lună, durează mai mult pentru a vedea schimbări reale).

Alegerea standardizată sau răspunsurile scurte?

Îți întrebi pe toți aceleași întrebări cu răspunsuri multiple? Acest lucru

face ușor compararea rezultatelor. Sau permiteți răspunsuri scurte? Aceasta
adaugă mai multă personalitate și permite răspunsuri în afara celor
standardizate. Se adună anecdote ale succesului, care sunt minunate dacă
(tremurăturile) sunt subiective.

Indicatori sau măsurare directă?

Te uiți la o măsură de obiectiv extern? Succesul elevului în clasele

ulterioare? Succesul unui student la locul de muncă (dacă sunt studenți cu
fracțiune de normă sau dacă aceștia merg direct de la clasa la locul de muncă)?
Reținerea elevului? Aceste informații pot fi colectate prin mijloace obiective?

Chestionar sau interviu automatizat?

Creați un test online și un chestionar? Sau aveți implicați oameni

adevărați? Primul este mai ieftin, dar are o rată de respectare mai mică. Al doilea
este mult mai scump, dar mai nuanțat.

"Test" versus Reflecție, cunoștințe versus comportament?

5
STOICESCU IULIANA BIANCA
MI III

Îți pune intrebări cum ar fi "Care este definitia formala a ..........?" Te

intereseaza sa faci ca elevul sa dovedeasca ca a invatat ceva? Studentii care trec
prin experientele de simulare pentru a intelege foarte bine conceptele , dar
programele mai simple pot obține același rezultat. În loc de a formula definiții,
abordarea mai bogată este aceea de a prezenta mini-situații care oferă studenților
posibilitatea de a decide ce trebuie să facă.

Puneți întrebări precum: "Cât de bine ești la .............." și "Cât de des v-ați
găsit în ultimele două săptămâni ........... . Doriți elevilor să se uite la propria lor
experiență și să tragă concluzii? Într-o situație pre-și-post poate inversa. Am
avut elevii cred că au fost 4 din 5 în abilități de conducere în pre-test. prin
intermediul programului, au învățat multe și și-au dat seama cât de mult au mai
avut. Apoi, în post-test, au susținut că au fost 3 din 5. În timpul programului, au
pierdut aparent un punct de abilități de conducere! care este acela de a-și
reevalua elevii opiniile pre-programate într-un post-test. Mai degrabă decât să
întrebe "Cât de bine ești?" atât în pre și post-teste, am întrebat, de asemenea, în
post-test " înainte de program? "Acest lucru poate fi comparat cu răspunsul
original al respondenților și arată o deltă interesantă.)

Opinia studenților din clasă?

Prin anii de școlarizare, suntem foarte conștienți când aflăm noi fapte.
Suntem mai puțin conștienți când ne mărim abilitățile. Este foarte posibil ca
studenții să treacă printr-un program și să nu "învețe" nimic nou, dar, ca urmare
a simului, vor fi mult mai eficienți deoarece aplică acum ceea ce știu. În opinia
lor, astfel de studenți ar putea spune: "Acest lucru era destul de fundamental",
dar colegii lor văd o persoană nouă.

În lumea corporațiilor și în orice sistem ierarhic fluid, așa cum am spus

mai devreme, o singură măsură are într-adevăr importanță: faptul că persoana
responsabilă de program este promovată. Orice altă metrică, fie că este vorba de
zâmbete, fie o productivitate organizațională sporită sau prețul acțiunilor, este
6
STOICESCU IULIANA BIANCA
MI III

doar muniție. A spus într-un alt mod, cea mai mare parte a evaluării este
marketingul pentru programele viitoare.

TEHNICI DE EVALUARE PENTRU EVALUAREA

PERFORMANȚELOR STUDENTULUI

În cele mai multe cazuri, profesorii trebuie să califice performanța unui

student într-o simulare pentru ca experiența să fie considerată oficială. Deși
această clasificare este, probabil, la fel de arbitrară ca și clasarea unei lucrări, cel
puțin clasarea unei lucrări are avantajul unei istorii și al unui precedent de partea
sa. Iată câteva tehnici de evaluare pentru HIVE.

Scrieți o lucrare despre această experiență

În unele cazuri, elevii pot scrie o lucrare despre experiența lor într-o
simulare. Aceasta este cea mai confortabilă pentru majoritatea profesorilor.
Lucrarea ar putea fi despre motivul pentru care jucătorul a făcut ceea ce a făcut -
justificând acțiunile sale. Elevii pot lua, de asemenea, referințe tradiționale la
alte literaturi, făcându-l să se încadreze într-un mediu academic tradițional. De
asemenea, elevii pot scrie o analiză competitivă a situației sim pentru o clasă de
afaceri sau pentru istoria unui eveniment pentru o clasă de științe politice.

Păstrați un jurnal în timpul experienței

O variație pe hârtie este că studenții păstrează un jurnal în timp ce joacă

simularea, iar jurnalul în sine poate fi clasificat. Jurnalul poate discuta despre
experiențele din simulare, inclusiv despre frustrările întâlnite și despre
rezoluțiile emise. În mod ideal, studenții pot discuta, de asemenea, experiențele
lor în lumea reală, așa cum se vede prin lentila simulării. De exemplu, dacă

7
STOICESCU IULIANA BIANCA
MI III

simularea se referă la leadership, studenții pot compara experiențele în simulare

cu o experiență de conducere în viața reală, cum ar fi o echipă de lacros.

Creare și producție multimedia

Elevii pot produce producții multimedia bogate ale experiențelor și

lecțiilor învățate. Ele pot combina mai multe medii, inclusiv capturi de ecran
statice, clipuri video din lume (poate încadrate de fragmente), filme și fotografii
din lumea reală, voiceover, text pe ecran și chiar muzică. Producția ar putea fi
asamblată cu ceva atât de complicat ca software-ul de editare video sau la fel de
simplu ca PowerPoint. Ne-am putea uita la machinima, un gen de artă în care
filmul de la jocuri de calculator modded este editat împreună ca un film, pentru
inspirație.

Aceste producții răspund nevoilor de a ajuta elevii să învețe să facă, să

învețe să fie și să învețe să știe. Ele pot fi clasificate pentru integritate
intelectuală și valoare estetică. Ele pot fi postate și pentru ceilalți studenți.

În mod evident, acesta este un gen nou de teme. Criticii (în special cei
care învață cât de greșite sunt elevii rău) vor fi critici cu privire la cât de
superficiali pot arăta aceste artefacte. Și va dura ceva timp pentru ca acest gen
nou să-și găsească picioarele. Dar dacă credem cu adevărat să eliberăm
studenții, nu doar să le formăm, cred că toți vom fi uimiți de tipurile de
proprietăți intelectuale create.

Evaluarea de la egal la egal

Profesorii pot folosi și colegii să se evalueze reciproc. Iată un exemplu

despre modul în care un profesor a folosit evaluări de la egal la egal.

8
STOICESCU IULIANA BIANCA
MI III

EVALUĂRI PERSONALE ALE CONTRIBUȚIILOR INDIVIDUALE

PENTRU PROIECTUL ECHIPA (GREUTĂȚI CARE TREBUIE
APLICATE LA GRADELE DE PROIECT ECHIPA)

Iată o descriere a unei metode de la un profesor: "Motivarea indivizilor de

a contribui la efortul de echipă necesită valori, norme și sistem - pot să fac puțin
pentru a afecta direct valorile și normele pe care oamenii din echipa
dumneavoastră le adoptă, dar pot implementa un sistem de recompensă care îi
permite persoanelor să se asigure că sunt responsabili pentru contribuția lor la
proiectul dvs. Media ratingului fiecărei persoane va fi transformată într-o
greutate care va fi aplicată în clasa de proiect a echipei, un exemplu care ar
trebui să clarifice acest proces oarecum complex.

Să presupunem că echipa A are cinci membri care vor primi un total de

400 de puncte (100 pentru fiecare coleg) pentru alocare. în mod egal, ar putea
să-i aloce 100 de puncte fiecărei persoane. În acest caz, fiecare membru al
echipei ar primi 100% din gradul de proiect al echipei (să spunem 90 din 100 de
puncte). Cu toate acestea, dacă ea credea că doi membri au muncit mai mult
decât ceilalți doi, ea ar putea da muncitorilor grei 110 puncte fiecare și cei 80 de
puncte în fiecare. Acest lucru ar însemna că muncitorii grei ar câștiga 110% din
cele 90 de puncte câștigate de proiectul echipei. Acest lucru este echivalent cu
99 de puncte dintr-un posibil 100. Slackers ar câștiga doar 72 de puncte (80 la
sută din 90 de puncte.)

Timp petrecut în simulare

Deși măsurarea timpului petrecut cu simularea nu este de natură

intelectuală, ea poate avea avantajul de a se corela cu cel mai mare succes de
viitor. O variantă a acestei abordări este de a crea markeri pe o insulă care
înregistrează (și salvează pe o pagină Web) ori de câte ori fiecare student atinge

9
STOICESCU IULIANA BIANCA
MI III

acest lucru. Se pare că mai mulți elevi joacă cu mâncarea lor înainte de ao
mânca, "cu cât învață mai mult.

Modificați mediul

Elevii pot avea nevoie să îmbunătățească simularea, să schimbe imularea

sau să facă un nou nivel pentru simulare. În cadrul Second Life, de exemplu, o
echipă de studenți cu abilități de bază în dezvoltarea de software (inclusiv
identificarea cerințelor, cerințele de cotitură în desene, gestionarea resurselor
intelectuale, lucrul cu pachete grafice, crearea sau editarea programelor de
lumină în LSL) ar putea construi un laborator virtual de lucru.

Este destul de amuzant că această activitate satisface politic o mulțime de

critici de simulare în sistemele școlare. Profesorii pot face o altă jurământ de
joncțiune, având studenții să scrie documente de proiectare pentru a explica
designul lor de simulare. Boo-Yah!

Majoritatea oamenilor, inclusiv mulți experți în simulare, ar spune că

realizarea unei simulări este o modalitate foarte puternică de a învăța prin
experiența de simulare. Acest proces forțează elevii să învețe și să studieze
conținutul neliniar, precum și să aplice perspectiva de prima persoană asupra
conținutului. Aici, din nou, nu sunt de acord cu mulți dintre colegii mei mai
inteligenți și cu aspect mai bun ca fiind cel mai înalt obiectiv al tehnologiei de
simulare. Dacă ați fi antrenat un atlet olimpic, nu ați fi cerut-o să proiecteze
piesa și nu ați cere unui pilot să proiecteze un zbor simulator ca parte a
antrenamentului său (f doriți feedback pentru iterațiile ulterioare ale simulării).
Odată ce întrebați pe cineva să fie în modul de proiectare, renunțați la experiența
pură de învățare-de-a-face. Procesul de creare a unei simulări este foarte
intelectual de știut. Cu toate acestea, având în vedere prejudecățile multor școli
de a învăța să cunoască și de a produce media ca o lucrare, această abordare va fi
benefică din punct de vedere politic pentru viitorul previzibil.

10
STOICESCU IULIANA BIANCA
MI III

Joaca simularea / Completati simularea

În unele cazuri, cât de bine are un jucător într-o simulare se poate corela
direct cu nota. Deci, în cel mai simplu exemplu, dacă jucătorul a obținut un scor
de 95 la sută în simulare, el sau ea ar obține un A pentru misiune. O variație
este, în funcție de modul în care programul este structurat, dacă studentul
termină simularea, el sau ea ar obține un A. Deși acest lucru ridică multe
probleme de fidelitate, poate că aceste probleme ar trebui ridicate indiferent. Și
cu siguranță, dacă aș face un gram bazat pe certificare, ar fi abordarea pe care o
voi folosi.

Această formă de evaluare necesită simularea într-un fel să fie online și

capabilă să transmită datele în mod fiabil profesorului. Unele simulări merg mai
departe și oferă informații foarte detaliate despre jocul elevilor.

Utilizați abordări diferite

Cred că, pe măsură ce ne maturizăm în acest domeniu, cea mai mare

provocare pentru orice student și comportamentul care merită cea mai mare
recompensă, mai ales într-un mediu liber de artă sau de afaceri, va fi cât de bine
studenții aplică abordări foarte diferite în aceeași situație. Și apoi (și numai
atunci), cât de bine identifică abordarea corectă a situației și apoi cât de bine o
execută. Recunosc cum acest lucru este încă o cale de oprire.

CONCLUZIE

Două tendințe interesante se confruntă astăzi cu instructorii colegiului.

Una este clasa distribuită: iar cealaltă este simularea educațională. Ambele sunt
tehnologii avansate și ambele necesită inovație. Ambele au potențialul de a re-
crea învățământul superior. În general, sălile de clasă distribuite sunt împinse de

11
STOICESCU IULIANA BIANCA
MI III

instructori de către decanii și șefii departamentelor, în timp ce simulările

educaționale sunt efectuate de instructorul însuși. Această diferență, dintr-o
perspectivă de desfășurare, schimbă totul.

Profesorii care folosesc clasele distribuite primesc o mulțime de suporturi

și sprijin. Unele școli au instituit programe de mentorat. Departamentele se află
în spate pentru a crea structuri flexibile și virtuale. Sunt disponibile birouri de
asistență pentru studenți și instructori. Și ca parte a noii înțelegeri, profesorii dau
mai multă libertate în domenii precum evaluarea. De fapt, profesorii de săli de
clasă distribuite sunt pionierii unor noi metodologii de evaluare, parțial datorită
faptului că sunt cărți deschise, cum ar fi colaborarea în comunitate și revizuirea
colegială, participarea la echipe și cantitatea de noi idei aduse la o problemă.

În schimb, implementările de simulare se confruntă aproape cu situația

opusă. Profesioniștii care utilizează simulări sunt priviți cu suspiciune, mai ales
dacă simulatorul: implică grafica 3D și are alte atribute de joc. Chiar și colegii
lor suspectează că instructorii care folosesc simtele nu au crescut niciodată și
doresc doar o scuză pentru a juca jocuri pe tot parcursul zilei, sau că aceștia scot
subiecte de dragul studenților de recuperare. Și ca și orice suport tehnic -
fugettaboutit!

Ca rezultat, programele de evaluare au evoluat în direcția exact opusă

celor utilizate în clasele distribuite. Orice simulare trebuie să facă cazul în care
simulările sunt mai bune decât conținutul tradițional. Testele trebuie să fie
absolut tradiționale, cu atât mai obiective și mai standardizate cu atât mai bine,
pentru a preveni orice afacere amuzantă. Testele pe care elevii le iau sunt la fel
de mult pentru a evalua metodologia sim ca absorbția elevilor de conținut.

Viitorul evaluării comportamentelor în medii virtuale, Randy Hinrichs mi-

a spus, este "în timp real" și "mult timp". Fiecare acțiune a unui student, de la
ridicarea unui obiect la amestecarea substanțelor chimice în ședința unui scaun
pentru a vorbi cu colegii de echipă pentru a participa la cursuri pentru a construi
12
STOICESCU IULIANA BIANCA
MI III

o cameră este înregistrată. Patterul de navigare al unui student poate fi urmărit,

atât în jurul cât și în jurul unei simulări. Acest lucru va crea noi metodologii de
evaluare în jurul valorii de ceea ce face un student, precum și de ceea ce știe
elevul.

13