1

Guia de Elaborao e Reviso de Itens Volume 1

MINISTRIO DA EDUCAO INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA DIRETORIA DE AVALIAO DA EDUCAO BSICA

GUIA DE ELABORAO E REVISO DE ITENS

BRASLIA-DF ABRIL 2010

Guia de Elaborao e Reviso de Itens Volume 1

Diretoria de Avaliao da Educao Bsica Coordenao Geral de Instrumentos e Medidas Equipe Tcnica da CGIM Adlia de S Pedreira Adriana de Oliveira Barbosa Alessandro Borges Tatagiba Alexandre Marques Jaloto Rego Ana Mgna Silva Couto Andr Vitor Fernandes dos Santos Andria Lunkes Conrado Andr Teles Guedes Camila Akemi Karino Carlos Eduardo Sousa Costa David de Lima Simes Eduardo Carvalho Sousa Gabriela Freitas de Almeida Guilherme Veiga Rios Gustavo Caetano Oliveira de Faria Almeida Jane Machado da Silva Joana Darc Ribeiro Joo Luis Horta Neto Joo Fonseca de Oliveira Lenice Medeiros Marco Csar Araujo Pereira Miguel de Brito Santos Maria Vilar Ramalho Ramos Patricia Andra de Arajo Queiroz Patricia Vieira Nunes Gomes Robert Lassance Sidelmar Alves da Silva Kunz Simone Poch Vieira Palma Tase Pereira Liocdio Tefilo Francisco de Paula Vanessa Carvalho Nascimento

Guia de Elaborao e Reviso de Itens Volume 1

SUMRIO
APRESENTAO .................................................................................................... 5

1 DEFINIES E CONCEITOS ................................................................................ 1.1 Matriz de Referncia ................................................................................. 1.2 Competncias e Habilidades .................................................................... ... 1.3 Item ........................................................................................................... 1.4 Situao Problema ....................................................................................

7 7 7 7 8

ESTRUTURA DO ITEM MLTIPA ESCOLHA .................................................... 2.1 Texto-Base ................................................................................................. 2.2 Enunciado .................................................................................................. 2.3 Alternativas ................................................................................................. 2.3.1 Gabarito ....................................................................................... 2.3.2 Distratores ................................................................................... 2.3.3 Justificativas ................................................................................

9 10 10 11 11 11 11

3 ETAPAS PARA ELABORAO DE ITEM ...........................................................

12

4 ESPECIFICAES PARA APRESENTAO DO ITEM .....................................

15

5 ETAPAS PARA VALIDAO DE ITEM ...............................................................

15

6 PROTOCOLO DE REVISO DE ITEM ................................................................

15

7 REFERNCIAS BIBLIOGRFICAS ....................................................................

19

Guia de Elaborao e Reviso de Itens Volume 1

APRESENTAO

O Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep) responsvel pela elaborao e aplicao de avaliaes nacionais em larga escala da educao brasileira. A Diretoria de Avaliao da Educao Bsica (Daeb) realiza a cada dois anos os testes que compem as avaliaes diagnsticas Sistema de Avaliao da Educao Bsica (Saeb) e Prova Brasil e, anualmente, o Exame Nacional do Ensino Mdio (Enem), que a partir de 2009 se tornou um exame de seleo para o ingresso no ensino superior e de certificao do ensino mdio; o Exame Nacional para Certificao de Competncias de Jovens e Adultos (Encceja), exame de certificao do ensino fundamental e mdio de jovens e adultos que no concluram a escolaridade na idade apropriada; e a Provinha Brasil, que avalia o nvel de alfabetizao dos estudantes ao final de um ano de escolarizao, entre outras avaliaes. As avaliaes em larga escala distinguem-se das avaliaes internas, na medida em que estas so feitas pelo professor ou pela prpria instituio de ensino para fazer julgamentos de valor e propor alternativas no mbito da sala de aula ou da instituio, enquanto as avaliaes em larga escala so elaboradas por um rgo externo s escolas, com a finalidade de fazer juzos de valor e propor alternativas em mbito mais amplo que o da instituio de ensino. Esses juzos so possveis por meio da aplicao de instrumentos de medida e da anlise de seus resultados. No caso da educao, um instrumento de medida muito utilizado o teste, o qual pode ser desenhado para medir o desempenho dos participantes em determinadas situaes, com o objetivo de realizar inferncias sobre o processo educacional em desenvolvimento. Uma atividade necessria para que essas avaliaes aconteam a manuteno de um banco de itens que oferea subsdios para construir os testes. A existncia de um Banco Nacional de Itens (BNI) no Inep necessria para que se tenha uma quantidade expressiva de itens com comprovada qualidade tcnico-pedaggica e psicomtrica para comporem os testes de uma avaliao em larga escala. O BNI define-se, portanto, como uma coleo de itens de testes de natureza especfica organizada segundo determinados critrios disponveis para a construo de instrumentos de avaliao. A manuteno do BNI depende da entrada constante de itens de qualidade. Para tanto, educadores e pesquisadores da educao brasileira so

Guia de Elaborao e Reviso de Itens Volume 1

chamados a colaborar nessa construo, elaborando itens que possam fazer parte desse banco. Em atividades dessa natureza, a experincia docente de fundamental importncia para que se possam elaborar itens em consonncia com o contexto educacional. Este Guia de Elaborao e Reviso de Itens apresenta as orientaes do Inep para a construo e reviso de itens para testes de avaliao, considerando a literatura especializada na rea, e se estrutura da seguinte forma: Definies e conceitos; Estrutura do item de mltipla escolha; Etapas para elaborao de item; Especificaes para apresentao do item; Etapas de validao de item; Protocolo de reviso de item;

Guia de Elaborao e Reviso de Itens Volume 1

Nesta seo, so apresentados definies e conceitos utilizados na rea de avaliao educacional e adotados pelo Inep para fundamentar a elaborao de itens, visando composio de testes de avaliao em larga escala desenvolvida pela instituio. 1.1 Matriz de Referncia A Matriz de Referncia o instrumento norteador para a construo de itens. As Matrizes desenvolvidas pelo Inep so estruturadas a partir de competncias e habilidades que se espera que os participantes do teste tenham desenvolvido em uma determinada etapa da educao bsica. importante destacar que a Matriz de Referncia no se confunde com o currculo, que muito mais amplo. Ela , portanto, uma referncia tanto para aqueles que iro participar do teste, garantindo transparncia ao processo e permitindo-lhes uma preparao adequada, como para a anlise dos resultados do teste aplicado. 1.2 Competncias e habilidades Competncia a capacidade de mobilizao de recursos cognitivos, socioafetivos ou psicomotores, estruturados em rede, com vistas a estabelecer relaes com e entre objetos, situaes, fenmenos e pessoas para resolver, encaminhar e enfrentar situaes complexas. Segundo Perrenoud (apud Macedo, 2005, p. 29-30), uma das caractersticas importantes da noo de competncia desafiar o sujeito a mobilizar os recursos no contexto de situao-problema para tomar decises favorveis a seu objetivo ou a suas metas. As habilidades decorrem das competncias adquiridas e referem-se ao plano imediato do saber fazer (Brasil. Inep, 2005, p. 17). 1.3 Item Item consiste na unidade bsica de um instrumento de coleta de dados, que pode ser uma prova, um questionrio etc. (Brasil. Inep, 2006). Nos testes educacionais, item pode ser considerado sinnimo de questo, termo mais popular e utilizado com frequncia nas escolas.

Guia de Elaborao e Reviso de Itens Volume 1

Itens podem ser de dois tipos: (i) de resposta livre e (ii) de resposta orientada ou objetivo. Um nico teste pode conter itens de ambos os tipos ou apenas de um deles. Aos propsitos deste guia, interessam particularmente os itens objetivos. H vrias formas possveis de itens objetivos, sendo que a mais adequada a ser escolhida ser determinada, em grande parte, pelo que se pretende examinar (Anastasi, 1977). Entre os itens objetivos, destacam-se os de mltipla escolha, definidos como aqueles que permitem ao participante do teste escolher a resposta entre vrias alternativas, das quais apenas uma correta (Bradfield & Moredock, 1964). Segundo Vianna (1982), os especialistas reconhecem que os instrumentos de medida educacional possuem vantagens e limitaes, sejam eles objetivos ou no. No entanto, ambos podem ser utilizados, indistintamente, para medir os mesmos aspectos do desempenho acadmico. assim que os itens objetivos permitem verificar tanto comportamentos simples, de memorizao ou reconhecimento, como comportamentos mais complexos, envolvendo compreenso, aplicao, anlise, sntese e avaliao. Entre as principais vantagens dos itens objetivos esto, segundo Anastasi (1977), a facilidade, a rapidez e a objetividade da correo, alm de permitirem uma cobertura mais completa do contedo. Os itens objetivos mostram-se menos vulnerveis aos erros de julgamento na atribuio dos escores, sendo especialmente recomendveis nos casos em que os grupos a serem avaliados so grandes, bem como quando h grande presso para a divulgao dos resultados (Vianna, 1982). Na elaborao do item, necessrio estar atento para evitar o que tem se mostrado muito comum em itens utilizados em vestibulares e concursos: a induo ao erro (pegadinha). Essa estratgia cria quase sempre situaes que exigem do participante ateno a detalhes que o levam a errar o item no porque no domina, necessariamente, a habilidade testada. 1.4 Situao-problema um desafio apresentado no item que reporta o participante do teste a um contexto reflexivo e instiga-o a tomar decises, o que requer um trabalho intelectual capaz de mobilizar seus recursos cognitivos e operaes mentais. Uma situao-problema deve estar contextualizada de maneira que permita ao participante aproveitar e incorporar situaes vivenciadas e valorizadas no contexto em que se originam para aproximar os temas escolares da realidade extraescolar (Brasil. Inep, 2003). Alm disso, uma situao-problema no deve se restringir a uma parte

Guia de Elaborao e Reviso de Itens Volume 1

especfica do item, mas deve permear toda a sua estrutura, ao longo de todo o processo de composio, a comear pela escolha do texto-base, passando pela construo de todas as partes que compem um item. Em uma avaliao, um item contextualizado pretende transportar o participante do teste para uma situao normalmente vivenciada por ele no dia a dia, e que, no item, pode se materializar ou no em uma situao hipottica.

A elaborao de itens de mltipla escolha requer que o elaborador tenha domnio tanto da rea de conhecimento a ser avaliada quanto dos procedimentos tcnicos que envolvem a construo de itens; compreenda os objetivos educacionais e as caractersticas educacionais e psicolgicas daquele que se submete ao teste; e seja criativo para propor situaes novas e engenhosas (Vianna, 1982, p. 49). O processo de composio do item desenvolve-se artesanalmente e a verso final ser alcanada aps vrias revises. O item de mltipla escolha utilizado nos testes do Inep divide-se em trs partes, conforme ilustrado na Figura 1.

Figura 1 Partes constitutivas do item O item deve ser estruturado de modo que se configure uma unidade de proposio e contemple uma nica habilidade da Matriz de Referncia. Para tanto, devem ser observadas a coerncia e a coeso entre suas partes (texto-base, enunciado e alternativas), de modo que haja uma articulao entre elas e se explicite uma nica situao-problema e uma abordagem homognea de contedo.

Guia de Elaborao e Reviso de Itens Volume 1

2.1 Texto-base Motiva ou compe a situao-problema a ser formulada no item a partir da utilizao de um ou mais textos-base (textos verbais e no verbais, como imagens, figuras, tabelas, grficos ou infogrficos, esquemas, quadros, experimentos, entre outros), que podero ser de dois tipos: (i) formulados pelo prprio elaborador para o contexto do item e (ii) referenciados por publicaes de apropriao pblica. Devero ser respeitadas as seguintes especificaes: 1. a formulao de textos, imagens, esquemas, tabelas etc. pelo prprio elaborador 1. para o contexto do item est condicionada, necessariamente, construo de uma situao hipottica; 2. o uso de publicaes implica a citao da respectiva fonte, mesmo daquelas 2. de domnio pblico, conforme as normas da Associao Brasileira de Normas Tcnicas (ABNT). Recomenda-se que estas publicaes no sejam de autoria do prprio elaborador; 3. no poder ser utilizado livro didtico como fonte para o texto-base. 4. A referncia bibliogrfica utilizada deve ser fidedigna. Entende-se por fonte fidedigna, o texto-base que seja recupervel em pesquisa pela Internet ou em material impresso de ampla divulgao. Em ambos os casos, o texto-base dever estar conforme a redao no original e no poder ser traduo livre. Em caso de adaptao, esta no deve alterar o sentido global na fonte primria. Esta parte inicial do item deve apresentar as informaes necessrias para a resoluo da situao-problema proposta, suprimindo-se elementos de carter meramente acessrio, que possam conferir ambiguidade interpretao da tarefa a ser realizada ou que demandem dispendioso tempo de leitura. Deve-se evitar a exigncia de informaes simplesmente decoradas, como frmulas, datas, termos, nomes, enfim, detalhes que no avaliam a habilidade, mas privilegiam a memorizao. 2.2 Enunciado O enunciado constitui-se de uma ou mais oraes e no deve apresentar informaes adicionais ou complementares ao texto-base; ao contrrio, dever considerar exatamente a totalidade das informaes previamente oferecidas.
Guia de Elaborao e Reviso de Itens Volume 1

10

No enunciado, inclui-se uma instruo clara e objetiva da tarefa a ser realizada pelo participante do teste. Essa instruo poder ser expressa como pergunta ou frase a ser completada pela alternativa correta.

2.3 Alternativas Alternativas so possibilidades de respostas para a situao-problema apresentada, dividindo-se em gabarito e distratores. 2.3.1 Gabarito O gabarito indica, inquestionavelmente, a nica alternativa correta que responde situao-problema proposta. 2.3.2 Distratores Os distratores indicam as alternativas incorretas resoluo da situao-problema proposta. Alm disso, essas respostas devem ser plausveis, isto , devem parecer corretas para aqueles participantes do teste que no desenvolveram a habilidade em questo (Haladyna, 2004). Isso significa que o distrator plausvel deve retratar hipteses de raciocnio utilizadas na busca da soluo da situao-problema apresentada. Como consequncia, se esse distrator retrata uma dificuldade real do participante com relao habilidade, no devem ser criadas situaes capazes de induzi-lo ao erro. A utilizao de erros comuns observados em situao de ensino-aprendizagem costuma aumentar a plausibilidade dos distratores. Por outro lado, aqueles que retratam erros grosseiros ou alternativas absurdas, dentro ou no do contexto do item, tendem a induzir a identificao da alternativa correta. 2.3.3 Justificativas As justificativas fazem parte do protocolo de apresentao do item, devendo ser formuladas separadamente para cada uma das alternativas. Visam no somente indicar qual a resposta correta e as demais incorretas, como tambm oferecer elementos que permitam compreender o acerto ou o equvoco implcito na resoluo da situao-problema abordada no item. No que se refere reviso tcnicopedaggica do item, a apresentao das justificativas oferecer elementos que permitiro verificar a plausibilidade dos distratores.

11

Guia de Elaborao e Reviso de Itens Volume 1

As justificativas devero informar exatamente os motivos pelos quais cada uma das alternativas representa ou no a opo correta de resposta, de modo que no sero aceitas justificativas tautolgicas.

1. Selecione uma habilidade da Matriz de Referncia. 2. Construa a situao-problema, atentando-se para a realidade cotidiana do pblico-alvo. 3. D preferncia a fontes primrias, originais e sem adaptaes, caso utilize textos-base referenciados, de acordo com as normas da ABNT. 4. Utilize, preferencialmente, textos que abordem temas atuais e sejam adequados ao pblico-alvo. 5. Evite a utilizao de textos muito extensos, levando em considerao o tempo de leitura do item durante a realizao do exame. 6. Elabore itens inditos (no publicados, divulgados ou utilizados em sala de aula). 7. Elabore, sempre que possvel, at trs itens abordando o(s) mesmo(s) texto(s)-base, desde que os itens contemplem diferentes habilidades. 8. Evite abordagens de temas que suscitem polmicas. 9. Evite utilizar ou redigir texto-base, enunciado e alternativas que possam induzir o participante do teste ao erro (pegadinhas). 10. Elabore o enunciado: utilize termos impessoais como: considere-se, calcula-se, argumenta-se etc.; no utilize termos como: falso, exceto, incorreto, no, errado; no utilize termos absolutos como: sempre, nunca, todo, totalmente, absolutamente, completamente, somente etc.; no utilize sentenas como: Pode-se afirmar que, correto afirmar que etc. 11. Construa as alternativas: com paralelismo sinttico e semntico, extenso equivalente e coerncia com o enunciado; independentes umas das outras, de maneira que no sejam excludentes, negando informaes do texto, nem semanticamente muito prximas;

12

Guia de Elaborao e Reviso de Itens Volume 1

dispostas

de

maneira

lgica

(sequncia

narrativa,

alfabtica,

crescente/decrescente etc.); evite repetio de palavras que aparecem no enunciado; evite alternativas demasiadamente longas; no use: todas as anteriores, nenhuma das anteriores; o gabarito deve estar exposto de forma clara, ser a nica alternativa correta e no deve ser mais atrativo que os distratores; os distratores no devem ser absurdos em relao situao-problema apresentada. 12. Pontue as alternativas e observe as regras para sua redao, de acordo com a rea de conhecimento:

13

Guia de Elaborao e Reviso de Itens Volume 1

13. Construa as justificativas para as alternativas com argumentao consistente que explique o erro ou o acerto, de maneira que no sejam tautolgicas. 14. Indique o nvel de dificuldade estimada do item (fcil, mdio ou difcil) com base na sua experincia docente. 15. Considere o tempo mdio de trs minutos para resoluo do item.

14

Guia de Elaborao e Reviso de Itens Volume 1

A configurao bsica do documento Word para a elaborao de itens dever ser: tamanho do papel: A4; margens: superior = 2 cm, inferior = 2 cm, direita = 2 cm, esquerda = 2 cm; fonte: Arial 12 para o item, exceto para as referncias bibliogrficas (Arial 10); espaamento entre linhas: 1,5; figura escaneada: limitar seu tamanho em at 600 kb, com resoluo de at 300 dpi; frmulas: utilizar o MS Equation do Word; numerao: as alternativas e as justificativas devero ser identificadas por letras maisculas entre parnteses (A), (B), (C), (D), (E) e os textos, grficos, tabelas, figuras etc., quando utilizados mais de um(a) para a construo do enunciado, por nmeros romanos (I, II, III...).

1. Reviso tcnico-pedaggica. 2. Aceite do Inep. 3. Reviso lingustica. 4. Pr-testagem (Teoria Clssica dos Testes TCT e Teoria de Resposta ao Item TRI). 5. Leitura pedaggica com base nos parmetros psicomtricos. 6. Insero no BNI.

A ficha de reviso de item tem o objetivo de orientar a anlise do revisor, registrar os resultados e fundamentar a reviso final do item apresentado para compor o BNI. Compe-se de 35 critrios, divididos em cinco blocos, relacionados a todos os aspectos do item, de forma a permitir uma anlise ao mesmo tempo global e detalhada. No final da ficha, h um campo a partir do qual podem ser feitas observaes que o revisor julgar necessrias para justificar, documentar e, finalmente, qualificar a resposta dada ao item assinalada por NO ( ) na primeira e/ou na segunda leituras. A proposta da ficha a de oferecer, aps seu completo preenchimento, o encaminhamento a ser dado ao item. O primeiro bloco de informaes trata dos aspectos formais do item, da integridade de informaes que so necessrias sua reviso. O segundo bloco trata da composio

15

Guia de Elaborao e Reviso de Itens Volume 1

do texto-base. O terceiro bloco trata da estrutura textual do enunciado. O quarto bloco trata da composio textual das alternativas e das justificativas, objetivando estabelecer o rigor necessrio para a sua elaborao. O quinto bloco trata da adequao global do item a aspectos distintos, tais como habilidades, competncias, contextualizao, nvel de dificuldade e adequao norma padro da lngua portuguesa. O revisor tcnico-pedaggico, na primeira leitura, deve devolver o item ao elaborador, se identificar um ou mais dos seguintes problemas: no atendimento a nenhuma habilidade da Matriz de Referncia; erro conceitual; mais de um ou nenhum gabarito; ausncia ou insuficincia das justificativas; ilegibilidade das imagens; no indicao da referncia bibliogrfica, quando necessrio; enunciado sem problematizao satisfatria ou sem explicitao de um nico problema a ser resolvido. Se, na segunda leitura, um ou mais problemas como os descritos permanecerem, o item deve ser reprovado. O revisor tcnico-pedaggico tem autonomia de fazer pequenas modificaes no item que julgar necessrias para a sua aprovao, na primeira ou na segunda leituras, desde que no sejam relacionadas aos problemas mencionados anteriormente. A reviso deve ser identificada por meio do cdigo do item e do cdigo do revisor, o que permitir a rpida recuperao de informaes a respeito do revisor e do item revisado, se necessrio. Por fim, deve-se proceder sntese da reviso, por meio da marcao de uma opo:

16

Guia de Elaborao e Reviso de Itens Volume 1

17

Guia de Elaborao e Reviso de Itens Volume 1

18

Guia de Elaborao e Reviso de Itens Volume 1

ANASTASI, Anne. Testes psicolgicos. Trad. Dante Moreira Leite. 2 ed. So Paulo: EPU, 1977. BRADFIELD, James M.; MOREDOCK, H. Stewart. Medidas e testes em educao: introduo sua teoria e prtica para os nveis da escola primria e secundria. Rio de Janeiro: Brasil Fundo de Cultura, 1964. v. 2. BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep). Roteiro para elaborao de itens de Matemtica. Braslia, 2009. _______. Orientaes para elaborao de itens para a Avaliao Nacional de Jovens e Adultos. Braslia, 2006. _______. Exame Nacional do Ensino Mdio: fundamentao terico-metodolgica. Braslia, 2005. Disponvel em: <http://www.publicacoes.inep.gov.br/detalhes.asp?pub=4005>. _______. Guia para elaborao de itens de Lngua Portuguesa. Braslia, 2003. _______. Exame Nacional do Ensino Mdio: documento bsico. Braslia, 2002. BRASIL. Ministrio da Educao. Orientaes curriculares para o ensino mdio: linguagens, cdigos e suas tecnologias. Braslia, 2008. v. 1. BRASIL. Ministrio da Educao. Secretaria de Educao Mdia e Tecnolgica. Parmetros curriculares nacionais: ensino mdio. Braslia, 1999. HALADYNA, Thomas M. Developing and validating multiple-choice test items. 3 ed., Mahwah, NJ: Lawrence Erlbaum, 2004. MACEDO, Lino de. A situao-problema como avaliao e como aprendizagem. In. BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep). Exame Nacional do Ensino Mdio: fundamentao terico-metodolgica. Braslia, 2005. p. 29-36. Disponvel em: <http://www.publicacoes.inep.gov.br/detalhes.asp?pub=4005>. VIANNA, Heraldo M. Testes em educao. 4 ed. So Paulo: Ibrasa, 1982.

19

Guia de Elaborao e Reviso de Itens Volume 1

20

Guia de Elaborao e Reviso de Itens Volume 1