Interpretao Pedaggica das Escalas de Proficincia Exame Nacional do Ensino Mdio Enem

Prestes a completar 15 anos, o Exame Nacional do Ensino Mdio (Enem) foi utilizado para uma srie de objetivos entre os quais destacavam-se: (1) conferir ao cidado parmetros para a autoavaliao, visando a continuidade de sua formao e sua insero no mercado de trabalho; (2) criar referncia nacional para os egressos de qualquer das modalidades do ensino mdio; (3) fornecer subsdios s diferentes modalidades de acesso educao superior; e, (4) constituir-se em modalidade de acesso a cursos profissionalizantes ps-ensino mdio. Em 2009, o exame passou por uma profunda reestruturao que redefiniu suas matrizes de referncia e o tamanho da prova. A partir de ento, o Enem passou a contar com quatro reas de conhecimento, e cada uma com matriz de referncia prpria, composta por 30 habilidades. As matrizes de referncia so os documentos que servem de base elaborao dos itens (ou questes) que compem as provas. Os itens so a unidade bsica do instrumento de medida. As mudanas implementadas no exame contriburam para a democratizao das oportunidades de acesso s vagas das Instituies Federais de Ensino Superior, e tambm para a mobilidade acadmica e para induzir a reestruturao dos currculos do ensino mdio. Desde a edio de 2009, a proficincia dos participantes do Enem estimada por meio da Teoria de Resposta ao Item (TRI). Mais que estimar as dificuldades dos itens e as proficincias dos participantes, essa metodologia permite que os itens de diferentes edies do exame sejam posicionados em uma mesma escala, que uma mtrica ou uma rgua. Uma vez realizado esse posicionamento na rgua, a interpretao das caractersticas pedaggicas do item pode contribuir para uma anlise qualitativa das habilidades que os participantes j dominam e daquelas cujo domnio eles ainda esto construindo. Cada uma das quatro reas do conhecimento avaliadas no Enem possui uma escala prpria, uma vez que avalia construtos distintos, quais sejam, a proficincia em: Linguagens, Cdigos e suas Tecnologias; Matemtica e suas Tecnologias; Cincias da Natureza e suas Tecnologias; e Cincias Humanas e suas Tecnologias. A interpretao pedaggica dessas escalas importante para ampliar a compreenso do significado das proficincias e dos parmetros de dificuldade dos itens, na medida em que busca oferecer um sentido qualitativo e pedaggico s estimativas quantitativas. Nesse sentido, a Diretoria de Avaliao da Educao Bsica (Daeb/Inep) realizou, a partir de 2010, seis oficinas que contaram com a participao de mais de 70 colaboradores externos, alm dos servidores do Inep, nas quais as metodologias empregadas na interpretao de escalas de proficincia foram estudadas, debatidas e testadas. Com base nessas vrias discusses tcnicas, o Inep definiu a utilizao do modelo denominado Mapa de Itens para consolidar a interpretao pedaggica das escalas de proficincia do Enem. O Mapa de itens O modelo de mapa de itens consiste em associar cada item a um ponto da escala utilizada para medir as proficincias dos alunos (SOARES, 2009). O mapa de itens , assim, um instrumento que permite posicionar os itens e suas descries em uma escala de proficincia,

permitindo visualizar o gradiente de complexidade apresentado pelos diferentes itens ao longo da escala. Assim, so descritos itens em diferentes pontos da escala, de modo a permitir a visualizao das habilidades que os participantes do teste provavelmente j desenvolveram e daquelas que eles ainda no desenvolveram, observando-se o ponto na escala em que se localiza sua proficincia. Dessa forma, o ponto no qual o item se posiciona na escala indica uma possvel linha divisora: os participantes com proficincia acima dessa posio possuem maior probabilidade de respond-lo corretamente e aqueles com proficincia abaixo dessa posio tm menor probabilidade de respond-lo corretamente. Em outras palavras: abaixo do ponto em que se localiza a proficincia do participante situam-se os itens com maior probabilidade de acerto, e acima desse ponto, os itens com menor probabilidade de acerto. A incluso de itens no mapa A descrio dos itens foi obtida nos diversos eventos realizados contando com a colaborao dos especialistas convidados. Na ltima oficina de interpretao pedaggica das escalas do Enem, os especialistas se organizaram por rea de conhecimento para descrever conjuntos de itens, validar descries anteriores e emitir um julgamento pedaggico sobre estes, indicando aqueles prioritrios para apresentao no mapa. Cada item foi analisado por dois grupos menores, que consideraram tambm as descries de oficinas anteriores e, ao final dessa etapa, uma sesso de debate aberto dentro de cada rea definiu um consenso sobre a redao final das descries dos itens para a interpretao. Posteriormente, os pesquisadores do Inep selecionaram os itens para exibio no mapa, com vistas a contemplar o espectro avaliado pelo Enem, baseados na indicao do seu grau de prioridade de incluso, segundo critrios pedaggicos acordados entre os especialistas. O resultado final do evento foi consolidado pela equipe da Coordenao Geral de Exames para Certificao da Daeb e traduz-se nos mapas de itens apresentados. As habilidades das matrizes de referncia das diferentes reas so materializadas nos itens que compem os instrumentos de avaliao. Os itens foram descritos de forma a apresentar caractersticas pedaggicas com uma redao que indicasse trs elementos ou componentes do item: operao cognitiva, objeto do conhecimento e contexto. Dessa maneira, cabe dizer que cada item avalia determinada habilidade, que expressa na descrio construda para ele. De outra forma, significa dizer que as habilidades da matriz de referncia no se encerram em si mesmas, havendo uma srie de possibilidades de desdobramento em diferentes itens para uma dada habilidade da matriz. Segundo a Fundamentao Terico-Metodolgica do Enem (BRASIL, 2005), a diferena entre competncia e habilidade depende do recorte: A competncia uma habilidade de ordem geral, enquanto a habilidade uma competncia de ordem particular, especfica. Nessa materializao das habilidades, o item se caracteriza, ento, por requerer uma ao em um nvel ainda mais particular do que prev o texto da habilidade. Detalhamos em seguida as caractersticas de cada item: 1) A operao cognitiva deve traduzir as aes requeridas ao respondente para que ele resolva a situao-problema proposta pelo item. A operao cognitiva deve, ento, explicitar o que foi realizado em termos cognitivos, da ordem do pensamento,

considerando o uso do conhecimento efetivado pelo participante por meio da demonstrao de sua autonomia de julgamento e de ao, de atitudes, valores e procedimentos diante de situaes-problema que se aproximem, o mximo possvel, das condies reais de convvio social e de trabalho individual e coletivo (BRASIL, 2009); 2) O objeto do conhecimento, outro componente da descrio do item, refere-se aos conhecimentos escolares que esto sendo solicitados ou mobilizados no item para que o respondente execute a operao cognitiva visando a sua resoluo. Pressupe a identificao e o domnio dos contedos das diversas reas do conhecimento presentes nas propostas curriculares e busca se aproximar do que os educadores tm desenvolvido em sala de aula, nas escolas brasileiras; 3) Por sua vez, o contexto refere-se situao para a qual o item transporta o respondente para que ele resolva o que est sendo proposto. O contexto pode ser entendido como a situao criada ou forjada para estabelecer relaes entre os conhecimentos tradicionalmente veiculados na escola e a vida dos estudantes (BRASIL, 2011), exigindo uma operao mental para sua soluo. O contexto, portanto, considera as situaes envolvidas no problema construdo pelo item, empregando elementos que emprestam sentido situao-problema mais amplos do que o conhecimento, e representa uma possibilidade de aplicao desse conhecimento ao solicitar uma operao mental. Na elaborao das descries dos itens, foram considerados contextos relativos a cada uma das quatro reas de conhecimento, entendendo que cada uma delas, na produo dos itens que compem as provas do Enem, estabelecem relaes com conhecimentos e situaes variadas. Para confeccionar o mapa, foram utilizados os itens aplicados nas edies do Enem a partir de 2009 que atenderam a determinados critrios psicomtricos (parmetros de discriminao e de chance de acerto ao acaso considerados satisfatrios). A posio que cada item ocupa no mapa representa a menor proficincia com a qual pelo menos 65% dos participantes o acertaram. Ou seja, trata-se de um ponto que indica a dificuldade emprica do item, obtida aps sua aplicao. Assim, podemos afirmar que pelo menos 65% dos participantes com determinada proficincia acertaram um item posicionado no mapa, no ponto de dificuldade equivalente a essa proficincia. Portanto, a dificuldade emprica do item, que a indicada no mapa, difere da dificuldade terica, que a calculada por meio da TRI e utilizada no clculo da proficincia do participante do teste. Por ser um modelo probabilstico, a proficincia estimada no determina que um participante do teste acertar ou errar um item. Por maior que seja a proficincia estimada, sempre haver chance do participante errar o item, por menor que seja sua dificuldade. E, ao contrrio, por menor que seja a proficincia estimada, sempre haver chance desse participante acertar o item, por maior que seja sua dificuldade. Com isso, possvel que o participante tenha acertado itens com a dificuldade maior que sua proficincia e errado itens com a dificuldade menor que sua proficincia. Alm disso, por conta da metodologia adotada, no Mapa de itens apresentado, a dificuldade de cada item maior que sua dificuldade terica, utilizada para o clculo das proficincias dos participantes. Desse modo, possvel que nesse mapa o participante tenha

acertado alguns itens com dificuldade maior do que a sua proficincia estimada. Por mais que parea uma contradio, isso traz uma confiana maior, uma vez que cerca de dois teros dos participantes acertam os itens com dificuldade equivalente sua proficincia. Consideraes finais Como vimos, para a composio dos mapas de itens, as sentenas descritoras dos itens envolveram trs componentes: operao cognitiva, objeto do conhecimento e contexto. Dessa maneira, o ponto da escala em que cada item se encontra, ou seja, sua dificuldade, no determinada por somente um dos componentes, mas considera a interao de todos eles. Assim, possvel observar o mesmo objeto do conhecimento em pontos distintos da escala, bem como a mesma operao cognitiva ou o mesmo contexto. Neste trabalho, optamos por um recorte que focou a anlise desses trs componentes, por entendermos que isso pode trazer sentidos pedaggicos para a comunidade educacional. Por isso, e por ser utilizada a TRI, que permite comparabilidade entre as diferentes edies, entendemos tambm que a interpretao pedaggica das escalas do Enem no se encerra neste estudo, pois o mapa pode receber continuamente novas descries que contribuem para ilumin-lo. Do mesmo modo que as matrizes de referncia no se confundem com o currculo, que muito mais amplo, a interpretao pedaggica das escalas representa um recorte que tomou por base um conjunto de itens aplicados no Enem. Esses itens foram elaborados tendo como ponto de partida as matrizes de referncia e no esgotam as possibilidades de abordagens de suas habilidades. Ainda assim, a interpretao pedaggica das escalas sinaliza, a partir das sentenas descritoras dos itens, aspectos importantes para o planejamento do ensino nessa etapa da educao, na medida em que apontam possveis articulaes entre situaes vivenciadas e valorizadas no contexto em que se originam para aproximar os conhecimentos escolares da realidade extraescolar. Alm disso, quando o participante do exame visualiza a posio de sua proficincia na mesma escala em que se localizam as sentenas descritoras dos itens, ele tem a informao sobre as habilidades que ele j desenvolveu e sobre as que esto em construo. importante ressaltar que a interpretao pedaggica no se encerra neste trabalho. Ao contrrio, est em permanente atualizao e representa uma referncia, tanto para aqueles que iro participar do teste, aumentando a transparncia do processo e lhes auxiliando no planejamento de seus estudos, como para aqueles que desejarem realizar estudos a partir de anlises dos resultados do teste. Agradecimentos O Inep refora o agradecimento aos especialistas convidados que auxiliaram o corpo tcnico do rgo na interpretao pedaggica das escalas, incluindo as reflexes sobre as metodologias utilizadas. Referncias Bibliogrficas

BRASIL. Conselho Nacional de Educao. Cmara de Educao Bsica. Diretrizes Curriculares Nacionais para o Ensino Mdio. Parecer n 05, de 04 de maio de 2011. Relator: Jos Fernandes de Lima. Disponvel em: <http://portal.mec.gov.br/index.php?option=com_docman&task=doc_download&gid=8016&Itemid >. Acesso em: 30 ago. 2012. ______. INEP Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. Exame Nacional do Ensino Mdio (Enem): fundamentao terico-metodolgica. Braslia: MEC/Inep, 2005. ______. INEP Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. Relatrio Pedaggico: Enem 2008. Braslia: MEC/Inep, 2009. SOARES, F. J. ndice de desenvolvimento da Educao de So Paulo IDESP: bases metodolgicas. So Paulo em Perspectiva, v. 23, n. 1, p. 29-41, jan./fev./mar./abr./maio/jun. 2009.