Cheminement du dvelopement de la comptence

Connaissances
dclaratives
Connaissances procdurales et
conditionnelles

Connatre et
comprendre
Choisir Planifier laborer Utiliser

Notions et vocabulaire



Objectifs dvaluation et taxonomies



Planification de lvaluation
certificative



Modalits et instruments dvaluation

x x x

Activit intgratrice, preuve synthse
et intgration des apprentissages



tablissement dun seuil de matrise



tablissement dun standard de
comptences



Politiques et rglements sur lvaluation
des apprentissages



Contrle de la qualit



Formation lvaluation des
comptences


5. Modalits dvaluation des apprentissages


M odalits
Intrum ents
Item s a
rponse choisie
Item s a rponse
construite
Rponse construite
courte
Rponse construite
labore sim ple
Rponse construite
labore com plexe
Production
Rdaction Rsolution de
problem e
Perform ance



5.1 Introduction

lintrieur de ce chapitre, vous trouverez les concepts utiles dcrire les diverses
modalits possibles permettant dvaluer les apprentissages.

Premirement, un concept central, selon nous, sera abord, soit celui ditem. Nous lui
confrerons plus de complexit et dutilit que la documentation courante lui en a
donnes traditionnellement.

Deuximement, la notion ditem tant dfinie, les diffrentes formes ditems
gnralement reconnues seront prsentes. Puisque ces formes ditems seront abordes en
profondeur dans les prochains chapitres, nous ne ferons que les dcrire brivement.

Troisimement, le type de correction, objective ou subjective, sera dcrite, tandis que,
quatrimement, les types de trace, matrielle ou par tmoin, seront prsentes. En
cinquime lieu, une modlisation de la structure gnrale dun item sera propose. Cest
ce que nous nommerons lanatomie gnrale dun item. Pour terminer, un exemple
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 67.
simple de cette anatomie gnrale sera appliqu un item choix multiples
conventionnel.


5.2 Quest-ce quun item?

Traditionnellement, dans le domaine de lvaluation des apprentissages et de la mesure
en ducation, plutt que dutiliser le terme question on prfre utiliser le terme item : ces
deux termes deviennent alors synonymes. Cest le cas notamment des questions
constituants un examen, ou des items dun examen.

Pour les raisons que nous allons maintenant vous expliquer, nous nadopterons pas cette
pratique ici, prfrant confrer plus de complexit au terme item. Premirement, dans le
domaine de la mesure, surtout depuis le dveloppement de modlisations plus complexes
issues de la thorie de la rponse litem, un item devient plus quune simple question
associe une seule rponse celle-ci. Par exemple, un item peut correspondre une
liste de questions auxquelles on associe une rponse correcte parmi un choix de rponses
commun cette liste de questions. On reconnat ici un item appariement.

Deuximement, le fait dassocier le terme item celui de question rend difficile de mettre
en relation la notion ditem la ralisation dune production, tel un rapport de laboratoire,
ou dune performance, telle quadministrer un mdicament un patient en situation
dexercice en milieu de pratique. Pour nous, la production ou la performance deviennent
tout simplement une autre forme ditem, plus complexe encore que litem appariement.

Cette vision plus large nous permettra dlaborer plus loin, la section 5.6 de ce chapitre,
une structure ditem plus gnrale que celle que nous retrouvons traditionnellement
applique une simple question dexamen choix multiples.



5.3 Formats ditems

La catgorisation la plus courante des modalits dvaluation est selon le type de rponse
offerte par ltudiante ou ltudiant dans la situation dvaluation de ses apprentissages :
choisie ou construite.

On retrouve les rponses choisies principalement avec les items choix multiples et les
items appariement. Haladyna (2004), dans un effort de couvrir les diverses possibilits
en usage actuellement, propose onze formes diffrentes ditems rponse choisie. Ces
diverses formes peuvent se prsenter sous une structure trs simple, comme dans le cas
dun item o la rponse peut tre un Vrai ou un Faux, ou sous une structure plus
complexe, comme un item appariement tendu. Ces diverses formes ditems rponse
choisie seront abordes en profondeur au prochain chapitre, le chapitre 6. Pour le
moment, nous nous contentons de vous les prsenter rapidement au tableau 5.1
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 68.

La rponse est construite lorsquon noffre pas de choix de rponses ltudiante ou
ltudiant. Il doit alors puiser dans ses propres connaissances et habilets pour donner une
rponse. Cette rponse construite peut tre courte, comme dans une phrase complter
ou une question o une seule rponse est correcte. Cest le genre ditems quon peut
retrouver dans un examen.

Une rponse construite peut aussi tre labore, comme cest le cas avec une rsolution
de problme, une production ou une performance. Dans les prochains chapitres,
considrant que nous traitons dans ce manuel dvaluation des apprentissages
lenseignement suprieur, beaucoup de place sera rserve ltude des items rponse
construite labore. Pour le moment, nous nous contentons de dcrire trs brivement
quoi correspondent les divers types ditems rponse construite labore.

Un item rponse construite labore simple peut prendre la forme de la rsolution dun
problme de mathmatique dans un examen. Par exemple trouver la drive dune
fonction trigonomtrique. Il peut aussi prendre la forme de ce quon nomme dans la
documentation anglophone un essai (essay). Par exemple, un essai peut correspondre la
description textuelle, en quelques lignes, de la variation du voltage dans un circuit en
fonction de la rsistance du circuit et de lamprage.

Un item rponse construite labore complexe peut prendre plusieurs formes. Les plus
frquentes sont les suivantes. Ainsi, une production correspond la ralisation dun
produit tangible comme un rapport de recherche ou une pice mcanique. Lorsquune
tudiante ou un tudiant fera une prestation orale en classe, une action spcifique en
milieu de stage ou une activit sportive, on parlera dune performance. On retrouve cette
distinction entre production et performance chez Astin (product et creative performance)
(1996, p. 54-55) et Wilson (concrete product et active performance) (2004, p. 43). Il faut
souligner, toutefois, que plusieurs auteurs, par exemple Gitomer (1993), considrent que
le terme performance englobe aussi bien la notion de production que de performance
telles que nous venons de les dfinir. Cette approche, selon nous, ne permet pas de bien
faire la distinction entre ces deux modalits dvaluation. Nous ne ladoptons pas.

Il se peut que litem soit compos de plusieurs productions et/ou performances : il sagit
ce moment dactivits intgratrices. On retrouve cette situation lors dun stage externe en
soins infirmiers ou dans une preuve synthse de programme complexe, par exemple. Les
traces sont alors amasses par le professeur. Enfin, le port folio est une activit
intgratrice o les traces sont conserves par ltudiante et ltudiant. Elles ne sont
formellement remises au professeur qu la fin du processus. Dans le cas dun port folio,
de plus, ltudiante ou ltudiant doit commenter les traces qui composent celui-ci.

Les diverses formes ditems rponse construite labore, simple ou complexe, sont
aussi numres au tableau 5.1.



valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 69.

Tableau 5.1 Formats ditems selon le type de rponse donne par ltudiante ou
ltudiant

Choix multiples conventionnel
Choix alternatif
Appariement
Appariement tendu
Vrai ou faux
Choix multiples complexes
Vrai ou faux multiples
Ensemble figural
Ensemble rsolution de
problmes
Ensemble vignette
Items
rponse
choisie
Interlinaire

Simple Courte
Structure complter

Essai Simple
Rsolution de problme
Production
Performance
Activit intgratrice
Items
rponse
construite
labore
Complexe
Port folio




5.4 Type de correction

Le type de correction effectue sur la rponse offerte par ltudiante ou ltudiant donne
aussi lieu une catgorisation des modalits dvaluation. La correction peut tre
objective ou subjective. Elle est objective quand elle est univoque sans laisser place
linterprtation. Les examens constitus ditems rponse choisie et les listes de
vrification sont des exemples o est appliqu ce type de correction.

loppos, elle est subjective lorsque linterprtation prend une place importante. Un
exemple classique dune stratgie de correction subjective est lutilisation dune chelle
dapprciation, communment appele chelle de Likert. Le tableau 5.2 prsente
diffrentes stratgies usuelles associes chacun de ces types de correction. Ces
stratgies seront abordes en dtail dans les prochains chapitres.





valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 70.
Tableau 5.2 Type de correction

Correction Stratgies frquentes
Objective Cl de correction
Liste de vrification
chelle descriptive analytique de vrification
chelle descriptive globale de vrification

Subjective chelle dapprciation
chelle descriptive analytique dapprciation
chelle descriptive globale dapprciation



5.5 Type de trace

On peut aussi catgoriser le type de trace conserve de la rponse de ltudiante ou de
ltudiant. Cette trace peut tre matrielle, de faon ce quil soit possible de prsenter
une tierce partie ce qua fait ltudiante ou ltudiant. Un examen, un travail de session
ou un enregistrement sonore dune prsentation orale sont des exemples de trace
matrielle. Ce type de trace est trs utile au moment dune ventuelle demande de
rvision de note par ltudiante ou ltudiant. Il est aussi trs utile pour favoriser la
transparence dans la transmission des rsultats dvaluation.

Quelque fois il est impossible dobtenir une trace matrielle du travail de ltudiante ou
de ltudiant : seul un tmoignage est disponible. Dans ces cas, il est tout de mme
prfrable de consigner par crit des informations contextuelles ou daugmenter le
nombre de tmoins. Par exemple, un rapport anecdotique, document rdig par le
professeur, permet de signaler le contexte dans lequel sest fait le travail de ltudiante ou
de ltudiant. Certains professeurs exigent aussi une signature de ltudiante ou de
ltudiant pour sassurer de son accord quant au contenu du rapport anecdotique.

Une trace par tmoin peut aussi correspondre un procs-verbal dune runion laquelle
a particip ltudiante ou ltudiant. Dans ce cas-ci, lvaluation porte gnralement sur
des comportements consigns par une autre personne que le professeur et dont ce dernier
na peut-tre mme pas t tmoin. Ladministration dun questionnaire dapprciation
aux personnes avec lesquelles a interagi ltudiante ou ltudiant consiste une forme
similaire de trace par tmoin. Dans ces cas, le professeur doit tre prudent dans
lutilisation de ces traces non matrielles par tmoin et il doit gnralement accorder une
pondration substantiellement moins importante celles-ci. Le tableau 5.3 prsente les
diffrents types de traces accompagns dexemples.




valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 71.
Tableau 5.3 Type de trace conserve de la rponse donne par ltudiante ou ltudiant
Modalits Exemples
Trace matrielle
Ralisation matrielle Examen, travail crit, uvre, pice mcanique,
rapport de stage, etc..
Enregistrement audio et/ou vido Prsentation orale, activits en classe, actions en
situation de simulation
Trace par tmoin
Dossier anecdotique Description et contextualisation dobservations dans
un rapport crit par le professeur
Compte-rendu Procs-verbal dune runion
Apprciation Questionnaire dapprciation




5.6 Anatomie gnrale dun item

Notre objectif est de proposer une structure qui pourrait mener la formalisation dune
norme commune tout type de modalit dvaluation des apprentissages. Conscient que
ce choix pourrait tre rviser, pour le moment, nous retenons le terme item pour toute
unit isole dune modalit dvaluation des apprentissages. Il sagit encore pour le
moment du terme le plus commun toute situation dvaluation et son usage rpandu
favorise aussi la formalisation dune norme commune.

Premirement, tout type doutil dvaluation portera le nom ditem. Il sagit possiblement
dune simplication outrance. Toutefois, notre avis, ce terme permettra plus facilement
de raliser la formalisation souhaite et est moins propice la confusion dans les
dveloppements futurs.
Deuximement, tous les types ditems ne ncessiteront pas un dveloppement aussi
important de lune ou lautre des constituantes. Par exemple, une question choix
multiples ne ncessite pas llaboration dune cl de correction labore; ce qui nest
cependant pas le cas dun rapport de recherche en psychologie.

Troisimement, nous avons pris la dcision dutiliser les termes de critres et de tiges
comme synonymes. En fait, avec les items rponse choisie et les items rponse
construite brve, le terme tige (stem) est plus gnralement utilis, tandis que les items
rponse construite labore sont plus gnralement associes au terme critre.

Enfin, nous avons jug ncessaire de scinder les critres en deux aspects : ladmissibilit
et lvaluation proprement dite. Ce choix est ncessaire pour diverses raisons. Entre
autres, il est ncessaire pour tenir compte de la correction dite ngative de la qualit de la
langue dans un travail. Imaginons un travail qui ne rpond du tout aux exigences mais o
on ne retrace aucune erreur orthographique. Si 15 % de la pondration de lvaluation
tait attribu ces erreurs, ltudiante ou ltudiant pourrait obtenir ce 15 % sans avoir
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 72.
mme fait le travail demand. On voit alors quil ne sagit pas vraiment dun critre
dvaluation. On ne peut dailleurs gnralement pas lui associer un objectif
dapprentissage. Il est plutt question dun critre dadmissibilit, ou encore dun critre
associ une pnalit. Le tableau 5.4 propose une structure anatomique gnrale dun
item. Cette structure sera utilise dans les prochains chapitres qui traiteront des divers
formats ditems.




Tableau 5.4 Anatomie gnrale dun item

Rfrences

Source des informations utilises pour dvelopper litem
Scnario

nonc directeur

Stimulus
Tige(s) ou critre(s) (vrification - admissibilit et/ou pnalits)
Objectif(s) dapprentissage associ(s) chacun des critres

Liste de rponses (limite ou illimite) Rponses possibles
Trace(s)

Cl de correction Cl pour la vrification de latteinte des objectifs dapprentissage
Cl pour ladmissibilit et/ou pnalits

Correction globale Mthodologie pour obtenir le rsultat final litem

Rtroaction Rtroaction chacune des rponses chacun des critres ou tiges

Rtroaction globale Gnralement, la rtroaction globale est fortement relie la cl de
correction globale telle quelle ou comme source dinspiration

Commentaires Informations en provenance des tudiants quant lvaluation




En premier lieu, un item est frquemment labor partir dinformations pralables tires
dune source publie. Pour cette raison, si cest le cas, il est important dindiquer dans le
corrig, par exemple, la rfrence au matriel utilis.

En second lieu, dans un item il y a toujours des informations et des consignes pour
raliser la tche exige de ltudiante ou de ltudiant. Il sagit alors du stimulus, qui lui-
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 73.
mme peut tre subdivis en trois aspects. Le premier est le scnario qui peut dcrire,
dans le cas dune production crite, le contexte de ralisation de la tche. Par exemple, on
pourrait proposer ltudiante ou ltudiant de raliser son travail comme sil tait dans
une situation de comptition avec des pairs et lui prciser toutes les consquences
associes la qualit du travail.

Le second aspect du stimulus est lnonc directeur. Il sagit de laction spcifique qui est
demande ltudiante ou ltudiant. Dans lexemple prcdent, laction spcifique
pourrait tre dcrire un rapport de recherche. Le troisime aspect est la tige ou le critre.
Dans le cas dun item rponse choisie ou rponse construite courte, on a tendance
utiliser le terme tige. Il sagit alors tout simplement de lnonc de la question. Cest
pourquoi, dans ce type ditem il est frquemment difficile de distinguer le scnario de la
tige. Dans le cas dune production ou dune performance, on utilisera plutt le terme
critre, terme qui nous est plus familier. Il sagit tout simplement des critres
dvaluation, mais aussi des critres dadmissibilit et/ou de pnalits associs litem
valu. Il faut noter quil y a toujours un objectif dapprentissage associ chacune des
tiges ou chacun des critres dvaluation.

En troisime lieu, il y a toujours des rponses possibles un item. Dans le cas le plus
simple, soit celui dun item rponse choisie, les rponses possibles correspondent aux
choix de rponse. Dans le cas dun item rponse construite brve, les choix de rponses
possibles sont illimits, toutefois il ne devrait y avoir quune seule bonne rponse. Enfin,
en ce qui a trait aux items rponse construite labore, il est impossible de dterminer
une seule bonne rponse. Il est toutefois possible de limiter la diversit des rponses
possibles par un exemple-type de la production ou de la performance attendue. Il faut
aussi souligner qu chaque rponse possible est associe une trace quil faut identifier.
Celle-ci peut tre matrielle ou par tmoin.

En quatrime lieu, une cl de correction doit tre constitue. Dans des items rponse
choisie ou rponse construite courte, il sagit simplement dindiquer la bonne rponse.
Dans le cas des items rponse construite labore, il faut indiquer comment seront
analyss les critres dvaluation, dadmissibilit et/ou de pnalits.

En cinquime lieu, vient la correction globale. Dans le cas dun examen, il sagit
gnralement de tout simplement additionner le nombre de bonnes rponses. Il pourrait
tout de mme tre possible dadopter une autre mthode de correction globale. Par
exemple, on pourrait diviser lexamen en deux sections spcifiques un contenu et une
note de passage serait prescrite pour chacune de ces deux sections. Dans le cas dun item
rponse construite labore, on pourrait utiliser une chelle descriptive globale qui tient
compte de plusieurs critres simultanment. Cette correction globale peut sappliquer
aussi bien aux critres dvaluation que dadmissibilit et/ou de pnalits. Les chelles
descriptives globales seront tudies en dtail dans un prochain chapitre.

En sixime lieu, viennent les rtroactions, aussi bien de la part du professeur que de la
part des tudiantes et des tudiants. La rtroaction du professeur peut elle-aussi tre
propre chacun des critres ou des tiges ou globale. Enfin, la rtroaction en provenance
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 74.
des tudiants sur litem, nomme ici commentaires, est encore trs peu utilise. Elle est
toutefois importante pour permettre de comprendre le comportement des tudiantes et des
tudiants litem et dapporter ventuellement des correctifs cette valuation ou aux
valuations ultrieures.



5.7 Exemple

Des exemples spcifiques chacun des types ditems identifis seront prsents au cours
des prochains chapitres. Tout de mme, nous prsentons un exemple, tout simple, celui
dun item choix multiples conventionnel en biologie. Il sagit du mme exemple qui
sera prsent au chapitre suivant, le chapitre 6, relatif aux items rponses choisies.
Cependant, ici on indique formellement les composantes de litem. Le lecteur notera
aussi les origines de la terminologie qui sont associes au courant bhavioriste par la
division de litem en deux parties : le stimulus et la rponse.

Il remarquera que cet exemple simple ne comporte pas de scnario. Il notera aussi que
lidentification de lnonc directeur et de la tige sont toutes fins pratiques identiques :
ce nest pas toujours le cas. Par exemple, un item appariement prsente un nonc
directeur et plusieurs tiges auxquelles sont associes les rponses correctes. Ici, litem
ayant t compltement cr par le professeur, aucune rfrence nest signale. Enfin,
dans cet exemple la cl de correction est tout simplement indique par le soulignement en
caractres gras du choix de rponse correct. Nous verrons dans les prochains chapitres
jusqu quel point la description des items rponse construite labore complexe peut
devenir sophistique.



Tableau 5.5 Composantes dun item choix multiples conventionnel en biologie

Stimulus 1. Quel systme commissural est impliqu dans le transfert
interhmisphrique de linformation auditive?

Rponses possibles A. Corps calleux
B. Colliculi suprieurs
C. Colliculi infrieurs








valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 75.
5.8 Pistes de recherches futures

Dveloppement dune norme : SCORM volu.

tude de lutilisation de lauto-valuation.

tude de lutilisation des commentaires.


5.9 Questions et exercices


5.10 Lectures complmentaires

Astin, A. W. (1991). Assessment for excellence : the philosophy and practice of
assessment and evaluation in higher education. New York, NY : MacMillan.

Auger, R. (2000). Formation de base en valuation des apprentissages : construction de
linstrument de mesure. Montral, QUBEC : ditions logiques.

Berk, R. A. (1980). Criterion-referenced measurement : the state of the art. Baltimore,
MD : J ohns Hopkins Press.

Berk, R. A. (1986). Performance assessment : methods and applications. Baltimore,
MD : J ohns Hopkins Press.

Gitomer, D. H. (1993). Performance assessment and educational measurement. Dans
R. E. Bennett et W. C. Ward (ds) : Construction verSus choice in cognitive
measurement Issues in constructed response, performance testing, and portfolio
assessment. Mahwah, NJ : Lawrence Erlbaum Associates.

Haladyna, T. M. (2004). Developing and validating multiple-choice test items. Mahwah,
NJ : Lawrence Erlbaum Associates.

Landy, F. J . et Farr, J . L. (1983). The measurement of work performance : methods,
theory, and applications. Orlando, FL : Academic Press.

Morissette, D. (1993). Les examens de rendement scolaire. Sainte-Foy, QUBEC : Les
Presses de lUniversit Laval.

Resnick, D. P. et Resnick, L. B. (1985). Standards, curriculum, and performance : a
historical and comparative perspective. Educational researcher, 14(1), 5-21.

Wilson, M. (2004). Constructing measures : an item response modeling approach.
Mahwah, NJ : Lawrence Erlbaum Associates.
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 76.

Wolf, D., Bixby, J . Glenn, J . et Gardner, H. (1991). To use their minds well: investigating
new forms of student assessment. Review of research in education, 17, 31-74.
valuation des comptences
lenseignement suprieur (Ch. 05)


Gilles Rache 77.




















M ODALITS ET INSTRUM ENTS
ITEM
FORM AT D'ITEM
CORRECTION
ANATOM IE D'UN ITEM
M ATRIELLE
TRACE
RPONSE CHOISIE
PAR TM OIN
OBJECTIVE
SUBJECTIVE
RPONSE CONSTRU ITE COURTE
RPONSE CONSTRU ITE LABORE SIM PLE
RPONSE CONSTRU ITE LABORE COM PLEXE
RDACTIO N RSOLUTION DE PROBLEM E
PROD UCTIO N PERFORM ANCE
RFRENCE
STIM ULUS
RPONSES POSSIBLES
CL DE CORRECTION
CORRECTION GLOBALE
RTROACTION
RTROACTION GLOBALE
COM M ENTAIRES
quiest
ou
ou
quiest
sont constitus
com prend les lm ents suivants
est tributaire de
est a