Campus Universitrio Darcy Ribeiro | Sede do Cespe/UnB Braslia/DF | CEP: 70904-970

Ano 5 n 23 - abril, maio e junho de 2013

INOVAO

A aplicao de provas em computador

Pgs. 6, 7 e 8

is robusta para rodar a plataforma tecnolgica ma O Cespe/UnB desenvolveu um la em ingls CAT, tiva Computadorizada a sig pta Ada em tag Tes de re twa o sof ala nacional provas em computador em esc de o ica apl a a par o inh abrindo cam Item (TRI). uso da Teoria de Resposta ao e para o aperfeioamento do

pg.

A execuo desses exames abrange um conjunto de metodologias desenvolvidas pelo Cespe/UnB e adotadas desde a elaborao das questes at a avaliao dos resultados.

Avaliaes educacionais

)) COMO

FUNCIONA I

pg.

12

Aps passar por etapas de provas objetivas e discursivas, muitos candidatos tambm precisam demonstrar que esto preparados para desempenhar funes que exigem esforo fsico.

Testes de capacidade fsica

)) COMO

FUNCIONA II

O uso de papel em avaliaes educacionais pode estar perto do fim. Com a ajuda da tecnologia, algumas provas j comearam a ser realizadas em computadores. A inovao vem sendo estudada pela equipe do Cespe/UnB h quase trs anos e j foi testada em diferentes edies do processo de Certificao de Lnguas da Universidade de Braslia (UnB). Por meio do software de Testagem Adaptativa Computadorizada (CAT, da sigla em ingls), possvel avaliar o candidato de forma dinmica, apresentando-lhe as questes mais adequadas ao seu nvel de conhecimento. Na prtica, significa que medida que o participante consegue acertar os itens, outros mais difceis lhes so apresentados. O contrrio tambm acontece. A ocorrncia de erros faz com que a plataforma apresente questes mais fceis. Ao final, a proficincia do candidato calculada por meio da Teoria de Resposta ao Item (TRI). Os benefcios do uso dessa metodologia vo desde a agilidade no clculo da nota que apresentada logo no final da prova at a economia de papel, impresso e transporte, entre outros. O funcionamento da ferramenta, que est sendo preparada pelo Cespe/UnB para ser usada

PRESENTAO
em larga escala nos prximos anos, pode ser conhecido na reportagem de capa desta edio, nas pginas de 6 a 8. As avaliaes educacionais, importantes instrumentos de orientao de polticas pblicas voltadas melhoria da qualidade do ensino no Pas, aparecem tambm na matria das pginas 4 e 5, com foco em seu processo de execuo. Testes de aprendizagem j foram aplicados pelo Cespe/UnB em todas as regies brasileiras, por meio de parcerias com governos municipais, estaduais e federal, alm de redes particulares de ensino. A edio traz ainda matrias sobre como funciona o pedido de iseno de taxa de inscrio em selees pblicas por meio do Cadnico do Governo Federal (pgina 10) e sobre os testes de aptido fsica, cobrados em concursos cujos cargos exigem esforo fsico (pgina 12). Na seo Curtas, pgina 9, possvel tambm conhecer iniciativas como a revista PASSEI, lanada pela Gerncia de Interao Educacional do Cespe/UnB com o intuito de ajudar os estudantes que participam do Programa de Avaliao Seriada (PAS/UnB) a conhecer os padres de respostas aceitos nas questes discursivas e na prova de redao da seleo.

Toledo Camargo Vice-Reitora

Ivan Marques de Snia Bo

Reitor

Foto da edio

Paulo Henrique Portela Maria Osmarina do E. S. Oliveira

Diretor-Geral

Diretora-Executiva Endereo:

de Carvalho

Campus Universitrio Edifcio Sede do Cespe/UnB Telefone: (61) 3448 0100 Fax: (61) 3448 0110 70904-970 Braslia/DF Caixa Postal 04488 Darcy Ribeiro

Assessoria de Comunicao Editora

E-mail: sac@cespe.unb.br Graziella Nunes

Site: www.cespe.unb.br

Mara Andrade e Wilton Castro. Diagramao e Ilustraes e Marcos Barreiros. Projeto Grfico e Rui de Paula Reviso Naiara Caldas Fotografia

Carolina de Oliveira,

Reportagem

Andr Tirols, Luciana Bastos Andr Tirols, Gabriela Alves

Professores do ensino mdio de escolas pblicas e particulares do Distrito Federal e cidades do entorno participaram das provas do 2 para que esses profissionais possam resolver as questes e avaliar o nvel das provas.

Flvia Christina Rocha e Ronlia Souza. Grfica Sud 15 mil exemplares Tiragem Impresso

Vestibular de 2012 da Universidade de Braslia, aplicadas nos dias 2 e 3 de junho. Trata-se da Sala dos Professores, evento organizado
Caso voc queira fazer crticas ou enviar sugestes ao Jornal do Cespe/UnB, escreva para:

Confira as ltimas notcias sobre novos concursos, inscries e datas de provas no nosso site:

imprensa@cespe.unb.br www.cespe.unb.br

n 23

AVALIAO

Antonio Augusto Alves Mateus Filho

Formado em Letras pela Universidade do

A avaliao da Rede Municipal do Rio de Janeiro

Estado da Guanabara (UEG, hoje UERJ) e

professor concursado de Lngua Portuguesa

na Rede Pblica Municipal de Ensino do Rio de Janeiro h 39 anos. Atualmente, Assistente Municipal de Ensino do Rio de Janeiro, da Coordenadoria de Educao da Secretaria trabalhando com avaliao escolar h 17 anos.

Avaliar uma atividade humana comum. Avalia-se at, quase que instintivamente, quando se v uma pessoa pela primeira vez. Quem j no ouviu a expresso: O meu santo no cruzou com o dele! Avalia-se para tomar decises, mesmo as aparentemente simples. Quando se vai, por exemplo, sair de casa, traa-se mentalmente o caminho a seguir, tendo por base onde se quer chegar e que ruas seguir, conforme os problemas que podem acontecer nesse trajeto, como um engarrafamento. Em Educao, a avaliao vem recebendo muita nfase nos tempos atuais. Tem-se, porm, de ter clareza de que a avaliao no o astro principal do fazer pedaggico; o essencial o processo ensino-aprendizagem. A avaliao, quando bem feita, contribui decisivamente para o xito desse processo. preciso tambm no confundir avaliar com medir. Este acontece quando nos limitamos a periodicamente aplicar instrumentos de avaliao, corrigi-los e dar uma nota ou meno; aquele, o avaliar, vai muito alm: faz isso e analisa esses resultados, identifica onde esto os problemas, reflete sobre as possibilidades de acerto e programa novas aes para suprir o que no foi atingido. Nos tempos atuais, quando avaliar considerado fundamental para o desenvolvimento do trabalho pedaggico, vm adquirindo papel de destaque as avaliaes externas de rede de ensino que tm por funo bsica monitorar a qualidade do ensino ministrado e permitir ao gestor refletir sobre a eficincia do trabalho realizado e decidir as mudanas para aprimorlo. Essas avaliaes visam ao resultado do trabalho pedaggico e tm por foco a instituio (a escola e o sistema). A Secretaria Municipal de Educao do Rio de Janeiro, por perceber a ampla gama de possibilidades de gesto das escolas a partir dessas avaliaes, vem investindo em sua realizao. Alm de participar da Prova Brasil e de aplicar a Provinha Brasil, realiza, anualmente, a Alfabetiza Rio e a Prova Rio.

A Prova Rio, iniciada em 2009 e realizada em parceria com o Cespe/UnB, avalia o 3, 4, 7 e 8 anos do ensino fundamental. A matriz de referncia teve por base as Orientaes Curriculares da Rede, observada tambm a matriz de referncia da Prova Brasil. Os testes utilizam itens pr-testados, elaborados segundo metodologia prpria a esse tipo de avaliao. Os resultados so colocados na escala de proficincia do Sistema Nacional de Avaliao da Educao Bsica (SAEB) que indica o que sabem os alunos que alcanaram determinado nvel. Alm dos testes, h a aplicao de questionrios que coletam informaes dos alunos, os professores e os diretores sobre temas relacionados, direta ou indiretamente, s questes pedaggicas. Ao final de todo o processo, realizam-se seminrios de divulgao e discusso dos resultados. E as escolas so orientadas a discutir seus resultados e, sendo necessrio, rever seus rumos. Os resultados demonstram o acerto em optar pelas avaliaes de rede: os ndices de aprovao vm subindo ano a ano, a evaso vem diminuindo paulatinamente, as aprendizagens vm se solidificando e as escolas vm percebendo a necessidade de ter metas a atingir.

Contribuiu para esse quadro positivo um conjunto de medidas concomitantes, das quais destacam-se: a reviso das Orientaes Curriculares que estabelecem as competncias e habilidades a serem trabalhadas a cada bimestre; a elaborao de Cadernos de Apoio Pedaggico, que proporcionam atividades a serem desenvolvidas em sala de aula pelos professores que recebem tambm um caderno de orientao, o Caderno do Professor; a realizao de provas bimestrais de Lngua Portuguesa (leitura e escrita), Matemtica e Cincias; o Projeto Rio Cidade de Leitores, que distribui livros de literatura aos professores e oferece a leitura de, no mnimo, um livro por bimestre aos alunos; a implementao de projetos estratgicos de Realfabetizao e de Acelerao de Estudos; a criao de atividades de reforo escolar que contam com o apoio de voluntrios e de estagirios; e o Prmio Anual de Desempenho, atribudo s escolas que atingem as metas propostas para o ndice de Desenvolvimento da Educao no Municpio do Rio de Janeiro (IDERIO) e para o ndice de Desenvolvimento da Educao Bsica (IDEB).

Avaliaes de desempenho orientam aes de ensino-aprendizagem

EDUCAO BSICA

As avaliaes medem aprendizagem de alunos e ajudam a resolver problemas na educao. Cespe/UnB desenvolve metodologias nessa rea h 12 anos.

[Carolina Oliveira] Da Assessoria Tcnica de Comunicao

A avaliao de aprendizagem uma ferramenta importante na descoberta de possveis deficincias de ensino nas salas de aula de todo o Pas. ela que fornece dados para que os governos locais possam criar polticas que melhorem a eficincia do sistema de ensino e para que os professores e gestores possam aprimorar o processo de ensino-aprendizagem. A prtica de conhecer o desenvolvimento e deficincias nas escolas brasileiras se intensificou na dcada de 1990, segundo o Coordenador Acadmico do Cespe/UnB, professor Marcus Vincius Arajo Soares, e a partir do ano 2000 o Cespe/UnB, que at ento tinha como foco a realizao de vestibulares da Universidade de Braslia (UnB) e de concursos pblicos, iniciou seus estudos nessa rea. Foi quando comeamos a nos especializar em avaliaes educacionais. Nesse inicio, a preocupao maior era compor a equipe, que inclua estatsticos, psiclogos e pedagogos. O professor tambm explica que o Cespe/UnB teve que aprender algumas das metodologias especficas de avaliao educacional, como a Teoria de Resposta do Item (TRI), que utiliza medidas psicomtricas para avaliar habilidades e conhecimentos. (veja boxes abaixo). Essa teoria muito utilizada nas avaliaes educacionais por permitir comparar os resultados de um ano para outro, comenta o professor Marcus Vincius.

Execuo das avaliaes: passo a passo

A realizao de avaliaes envolve um conjunto de metodologias desenvolvido pelo Cespe/UnB, que vo desde a elaborao das questes at a avaliao dos resultados. Em linhas gerais tendo em vista que existem outros instrumentos de coleta de dados, como questionrios e entrevistas , o processo ocorre em sete etapas.
A primeira etapa a construo de uma matriz de referncia, que a definio do que deve ser avaliado. Para ilustrar, a matriz de Lngua Portuguesa da Prova Brasil est organizada em seis tpicos, a cada um dos quais esto associados descritores. Localizar informaes explcitas em um texto o primeiro descritor do tpico Procedimentos de Leitura, por exemplo, explica o professor Marcus Vincius Soares. te a confeco de diferentes cadernos de provas para que os alunos no tenham que fazer provas grandes e cansativas. A distribuio dos itens de acordo com essa metodologia procura garantir que cada questo seja submetida a aproximadamente o mesmo nmero de respondentes, conta o professor.

1 etapa

2 etapa

A Teoria de Resposta ao Item (TRI) um painel estatstico que usa medidas psicomtricas para criar um modelo de avaliao de conhecimentos. Por meio dessa teoria, possvel identificar, na hora de elaborar uma prova, quais questes sero mais eficientes para medir o conhecimento dos examinandos. Tambm caracterstica da TRI a atribuio de peso diferenciado para cada item da prova. O valor de cada questo agregado ao seu grau de dificuldade. Assim, ter maior pontuao a pessoa que acertar o maior nmero de itens considerados difceis. Grandes avaliaes nacionais, como SAEB e Enem, adotam a TRI.

O que Teoria de Resposta ao Item?

J a segunda etapa a elaborao da prova propriamente dita. Os itens so elaborados por especialistas com base na matriz de referncia estabelecida na etapa anterior. No caso de provas do Senai (realizadas em 2009 e 2010), por exemplo, foram cobradas questes referentes ao trabalho de pedreiro. Ento, nesse caso, tivemos que buscar um especialista na rea para elaborar as questes, explica Soares. Geralmente as provas so objetivas. Provas escritas ou prticas acontecem com menor frequncia devido ao grande nmero de alunos que normalmente participam de uma avaliao. Para se ter uma medida do grau de desenvolvimento de cada descritor constante da matriz de referncia so necessrios, no mnimo, trs itens, explica o professor. Outro ponto importante nessa etapa a definio do nmero de itens de cada caderno de prova. Esse quantitativo vai variar dependendo do tamanho da matriz. Aps a definio do nmero de itens, eles so distribudos em diferentes cadernos que so encaminhados para aplicao. Em situaes em que h muitos itens, a metodologia de Blocos Internos Balanceados (BIB) permi-

3 etapa
Na terceira etapa, o Cespe/UnB se encarrega de realizar um pr-teste dos itens elaborados e revisados com uma populao respondente semelhante populao alvo da avaliao. Aps a realizao do pr-teste, os parmetros dos itens so calculados com base na Teoria Clssica dos Testes (TCT) e na Teoria de Resposta ao Item (TRI).
n 23

A partir dos dados obtidos na sexta etapa, possvel construir uma escala de proficincia e repassar para a rede de ensino um diagnstico contemplando os aspectos positivos verificados, alm das orientaes relativas a aspectos que devem ser priorizados pela rede. A divulgao dos resultados pode ser feita por meio de um relatrio, com a divulgao do boletim de desempenho (que pode ser por aluno ou por escola), ou por meio de um seminrio promovido pelo Cespe/UnB, no qual professores e diretores se apropriam dos resultados e discutem os aspectos mais significativos apontados pela avaliao.

7 etapa

Para evitar fraudes durante as avaliaes, o Cespe/UnB adota procedimentos de segurana durante o pr-teste e durante a aplicao das provas, que em alguns casos duram at uma semana. Por exemplo, durante as aplicaes expressamente proibido tirar cpias dos cadernos de prova e os funcionrios do colgio so proibidos de participar do processo.

6 etapa

Aps a aplicao dos testes nas escolas, so calculados os parmetros definitivos dos itens de prova e do nvel de proficincia de cada aluno.

5 etapa

Escolhidos os itens que vo compor a prova, passa-se para as fases de diagramao final, impresso e aplicao dos exames.

4 etapa

Aps o pr-teste, a equipe do Cespe/UnB entra na quarta etapa, na qual, por meio de anlises estatsticas, psicomtricas e pedaggicas dos itens pr-testados, verifica-se quais so os mais adequados a compor efetivamente a prova. Se ns precisamos de 100 itens para a aplicao do exame, sero enviados para o pr-teste cerca de 150 itens, de modo que a perda natural inerente ao processo de pr-teste no comprometa a aplicao da avaliao, disse o coordenador, lembrando que tem havido significativos avanos nas metodologias de reviso dos itens de modo a minimizar a perda na fase de pr-teste.

Por meio de parcerias com governos municipais, estaduais e federal, alm de redes particulares de ensino, o Cespe/UnB j aplicou avaliaes educacionais em todas as regies do Pas. Uma dessas parcerias com a Secretaria Municipal de Educao do Rio de Janeiro que realiza, desde 2009, a avaliao da rede pblica de ensino, denominada Prova Rio. Em 2012, foram avaliados cerca de 244 mil estudantes do ensino fundamental de 970 escolas do municpio. Os resultados foram entregues pelo Cespe/UnB em maro. Para o representante do Setor de Avaliao da Secretaria do municpio do Rio de Janeiro, Antnio Mateus Filho, a avaliao escolar fundamental para o xito tanto do processo ensino-aprendizagem dentro da escola quanto para o das polticas pblicas da Rede Municipal. No caso das avaliaes externas, como a Prova Rio, os resultados so discutidos internamente e subsidiam as tomadas de deciso quanto s aes e projetos que desenvolvemos, conta o coordenador. A Prova Rio geralmente analisa os resultados por meio de seminrio. a forma que encontramos para que os nossos educadores aprendam a ler os resultados e, principalmente, como a trabalhar a partir deles, para que seus alunos aprendam mais e melhor, de forma a atingirem patamares mais elevados em termos de proficincia, disse Filho. Ao longo de sua trajetria, o Cespe/ UnB j realizou avaliaes como Enem, Prova Brasil, Enade, Prova Rio, Prova So Paulo, Sistema de Avaliao do Desempenho Educacional do Amazonas (Sadeam), alm de exames em Escolas Americanas, SESI, SENAI, avaliao de docentes da Secretaria de Educao da Bahia, entre outras.

Parceria

Nova plataforma tecnolgica construda pelo Cespe/UnB foi idealizada para permitir a execuo de avaliaes on-line em todo o territrio nacional.

A era da aplicao de provas em computador

TECNOLOGIA
[Wilton Castro] Da Assessoria Tcnica de Comunicao do Cespe/UnB

Durante as eleies municipais de 1996, os brasileiros comearam a conhecer as urnas eletrnicas, processo de automao das votaes eleitorais que evoluiu e atualmente ocorre em praticamente todo o territrio nacional. Situao semelhante pode acontecer com exames e selees, pois uma tecnologia inovadora est sendo desenvolvida pelo Cespe/UnB e permitir a aplicao de provas por meio de computadores. A ferramenta capaz de viabilizar essa transformao o CAT (Computerized Adaptive Testing), software criado para gerar provas em computador, que est sendo estruturado em uma plataforma que permita sua utilizao em avaliaes de grande porte. O programa avalia o participante de forma dinmica, calculando sua proficincia a partir das respostas s questes que lhe so oferecidas por meio da Teoria da Resposta ao Item (TRI). A utilizao do CAT em larga escala vem sendo projetada pelos especialistas do Cespe/UnB h quase trs anos.

Alunos da UnB participaram do teste de proficincia em Ingls Instrumental I e II, aplicado no perodo de 21 de janeiro a 1 de fevereiro de 2013.

Inicialmente, profissionais das reas de Estatstica e de Tecnologia da informao da Coordenadoria de Pesquisa em Avaliao do Centro adequaram a tecnologia, j conhecida no meio acadmico, s provas de proficincia para aproveitamento de crditos nas disciplinas de Ingls Instrumental I e II da Universidade de Braslia (UnB). A primeira utilizao de um prottipo dessa ferramenta foi em julho de 2010, quando os alunos da Universidade puderam responder s questes dessa avaliao em computadores da Escola de Informtica da Universidade. Desde ento, os estudos para ampliar a capacidade do software apontaram novas possibilidades de uso. A expectativa da Direo-Geral do Cespe/UnB que, a mdio prazo, o CAT seja aplicado em avaliaes educacionais, certificaes de proficincia em reas profissionais e, tambm, em concursos pblicos. O investimento em tecnologia de avaliao uma das nossas prioridades. J estamos trabalhando para que o amadurecimento dessa ferramenta ocorra o mais rapidamente possvel, ressalta Paulo Portela, Diretor-Geral do Cespe/UnB. De acordo com ele, o desenvolvimento de um sistema mais robusto j est em curso e vai possibilitar que o CAT seja utilizado em larga escala. Paulo Portela lembra ainda que a adoo de provas em computador em larga escala ainda precisa de alguns estudos, principalmente, para adaptar aspectos relacionados logstica. O pr-teste dos itens, as caractersticas e a quantidade de cargos e vagas oferecidos pela avaliao ou seleo tambm devem ser considerados para que o processo de informatizao das provas seja vivel.

n 23

Como o CAT funciona? Um algoritmo criado para sequenciar as questes administra o teste conforme as respostas marcadas. Se o participante acertar a primeira questo, em geral de nvel mdio de dificuldade, um item que exige maior nvel de proficincia, ou seja, mais difcil, ser apresentado a ele. No caso de erro, um item de nvel mais baixo ser apresentado. A estimao interativa da proficincia do respondente, de acordo com a resposta dada a cada questo, permite o ajuste da dificuldade das questes para o mais prximo possvel da proficincia do participante. As questes so mantidas em um banco de itens.

Dificuldade

Q1

Questes

Q2

Q3

Q4

Q5

Q6

Q7

Q8

Q9

A possibilidade de expandir a utilizao do sistema para avaliaes de grande porte e, ainda, certificaes e outras selees cuja aplicao seja por meio de provas objetivas se sustenta em uma nova plataforma tecnolgica e em boas prticas de segurana. O Coordenador de Tecnologia do Cespe/UnB, Jorge Amorim, explica que essa inovao vai permitir ao participante responder prova em computador conectado via internet com o Centro, em Braslia, onde as questes sero geradas. Tudo que ir trafegar na internet ser criptografado. Estamos adotando tecnologias avanadas para garantir a inviolabilidade da prova, assegura ele, acrescentando que a segurana do sistema est sendo homologada por especialistas da UnB. O modelo de avaliao on-line possibilitar, por exemplo, a aplicao de provas em laboratrios de informtica localizados nas 26 capitais dos estados e no Distrito Federal e at em polos estaduais. Em funo dos estudos e testes j realizados com a nova plataforma, a metodologia de processamento do CAT abrange apenas a realizao de provas objetivas. Segundo Jorge Amorim, o software pode contar, alm dos textos, com recursos de imagem, fotografia, udio e vdeo. O programa j est preparado e aperfeioado para o uso desses recursos, garante Amorim. Ele prev, ainda, que a partir da consolidao do CAT nessa nova proposta haver o desenvolvimento de novas plataformas tecnolgicas e ser possvel realizar a aplicao de provas objetivas e provas discursivas em um mesmo computador. um desafio para o Pas em termos de avano tecnolgico e o Cespe/UnB pretende ser pioneiro nessa rea, aposta ele.

Quais so as caractersticas da aplicao de provas por meio do CAT? Como no h prova em papel, no h custos de transporte e impresso. A eliminao de papel tambm contribui com a preservao do meio ambiente. A participao na prova continua a ser presencial, embora seja possvel realiz-la em datas diferenciadas, devido TRI, que assegura a comparabilidade da proficincia dos participantes. O clculo da proficincia informado ao participante aps o encerramento da prova, o que reduz o cronograma de divulgao dos resultados. A adaptao das questes proficincia do participante de acordo com as respostas permite que, em dado momento de uma aplicao, os participantes que esto fazendo prova em um mesmo laboratrio estejam trabalhando em questes distintas. Normalmente, o participante chega a responder 50% das questes que responderia em um teste convencional para que o CAT finalize o clculo de sua proficincia, o que tambm reduz o tempo da prova. O participante pode responder a todas as questes da prova caso sua proficincia no se estabilize e a prova tambm pode ser encerrada quando a durao definida para o exame se esgotar. O algoritmo tem de ser capaz de apresentar questes com diferentes nveis de dificuldade, de acordo com o clculo da proficincia de quem responde. As respostas podem chegar a um nvel estvel de proficincia, e as questes com o mesmo grau de dificuldade nunca so repetidas. Assim, o banco de itens precisa ser bastante robusto, principalmente no caso de aplicaes regulares de uma avaliao ou seleo. Em funo da caracterstica do sistema de calcular a proficincia do participante com base na sequncia de respostas, no possvel voltar s questes anteriores. No entanto, existe a possibilidade de se desenhar o CAT para efetuar o clculo da proficincia do participante a cada bloco de questes, permitindo a mudana de respostas apenas neste bloco.

O dia da aplicao
A aplicao de provas utilizando computadores no to diferente do modelo convencional. No entanto, existem vantagens como, por exemplo, a possibilidade de aplicao em vrios dias, considerando que a TRI permite a comparabilidade de resultados de diferentes edies, alm de economia de papel, o que um fator ambiental positivo. As equipes de coordenadores, fiscais e chefes de sala permanecem com suas funes. A preparao das salas e das mquinas que segue uma sistemtica visando segurana de todo o processo. Confira como :
Local de prova

O que necessrio para o funcionamento do CAT?

Questes calibradas

A aplicao do CAT necessita de itens calibrados, ou seja, itens que tenham trs parmetros conhecidos: 1. discriminao, capacidade do item de diferenciar alunos de alta proficincia daqueles de baixa proficincia;

2. dificuldade, ndice que indica o grau de dificuldade do item, normalmente compreendido em uma escala de -3 a 3, considerando-se as casas decimais; 3. probabilidade de acerto ao acaso, parmetro que indica a chance que os respondentes de baixa proficincia tm de acertar o item.
Pr-teste das questes

Para a aplicao de provas em computador, necessrio que o local de prova, preferencialmente um laboratrio de informtica, tenha conexo de internet de banda larga. O nmero de mquinas depender do total de inscritos no exame e o perodo de aplicao. As garantias de manuteno da rede eltrica tambm so fundamentais para o bom andamento da prova.
8

Autenticao

Os computadores recebem um aplicativo que vai rodar o CAT e outro que faz a autenticao da mquina que ser utilizada na prova. Essa tecnologia semelhante aos aplicativos de homebanking para acesso a contas bancrias em computadores pessoais. A necessidade desta operao se deve ao processo de reconhecimento pelos computadoresservidores do Cespe/UnB, das mquinas que exclusivamente participam da aplicao e o prazo de uso para este fim. Aps a aplicao, os computadores perdem essa autenticao.
Identificao

Para conhecer os parmetros dos itens, o Cespe/UnB realiza o pr-teste de todos os itens em populaes semelhantes a que ser avaliada. Quanto maior o nmero de participantes no pr-teste, maior o grau de preciso da determinao dos parmetros dos itens. Uma calibragem definitiva de itens necessita de cerca de 1.500 participantes no pr-teste. Existem formas de se evitar que um item colocado em uma avaliao seja reapresentado a um participante que j tenha tido contato com aquele item em algum pr-teste anterior. A formao de um banco de itens para aplicao de provas na metodologia CAT requer necessariamente a realizao de pr-testes. O banco composto somente de itens com calibragem definitiva. Para cada nvel de dificuldade, o banco tem de ter diversos itens, explica Marcus Vincius Soares, Coordenador Acadmico do Cespe/UnB. Soares defende uma estratgia que se contrape a provveis denncias de divulgao antecipada dos itens. O banco de itens suficientemente robusto pode ser pblico, explica.

Banco de itens

Os participantes se apresentam no local de prova munidos da carteira de identidade original. Com os dados conferidos e a lista de presena assinada, ele recebe um cdigo ID e uma senha para acessar a prova no computador indicado. Com a confirmao dessas credenciais, o computador est apto a rodar a prova, que est, na verdade, sendo apresentada a partir de um computador-servidor do Cespe/UnB. Nenhuma resposta ou cpia das questes fica na memria da mquina usada pelo participante.

Exemplo de uso do CAT

J existem, no exterior, alguns testes em que a metodologia do CAT utilizada. O que tem maior destaque o TOEFL (Test of English as a Foreign Language), por meio do qual os estudantes, cuja lngua materna no o Ingls, tm sua proficincia avaliada. O TOEFL obrigatrio para admisso em programas de ps-graduao em pases de Lngua Inglesa. Os participantes so convocados a realizar as provas em centros de aplicao credenciados localizados em mais de 165 pases.

n 23

Curtas
PAS/UnB Revista mostra padro de resposta das questes discursivas e da redao
O padro de resposta das questes discursivas e da redao do Programa de Avaliao Seriada da UnB (PAS/UnB) agora pode ser conhecido pela internet. A Gerncia de Interao (GIE) do Cespe/UnB disponibilizou o material para consulta na revista eletrnica PASSEI, que pode ser acessada pelo link www.revistapassei.cespe.unb.br. O primeiro nmero da publicao traz questes das provas do PAS de 2011 (primeira etapa do Subprograma 2011; segunda etapa do Subprograma 2010 e terceira etapa do Subprograma 2009). Para a produo da

Educao

Cespe/UnB completa 20 anos em 2013

No dia 14 de dezembro de 2013, o Cespe/UnB vai comemorar 20 anos de servios prestados comunidade acadmica da Universidade de Braslia e aos rgos pblicos que, por meio do Centro, selecionam profissionais capacitados para a composio dos seus quadros. A importncia do Cespe/ UnB na rea de seleo de profissionais para o servio pblico e nas avaliaes dos sistemas educacionais vem sendo construda h 20 anos. Dcadas nas quais todo o aparato de tecnologia, criao de instrumentos de avaliao e desenvolvimento de procedimentos de segurana e logstica colocaram o Centro em destaque nacional, ressalta Paulo Portela, Diretor-Geral do Cespe/ UnB. A cerimnia de abertura das comemoraes aconteceu no dia 15 de maro, nas dependncias do Centro, em Braslia, e contou com a presena do Reitor Ivan Camargo, da Vice-Reitora Snia Bo, do ex-Reitor Lauro Morhy, alm dos Diretores do Cespe/UnB, autoridades da Universidade, colaboradores do Centro e convidados.

revista, especialistas da GIE e da Coordenadoria de Pesquisa em Avaliao do Cespe/UnB, alm de doutores em todas as reas de conhecimento contempladas pelo PAS, participaram dessa edio.

Consrcio Enem 2012 aplicado com sucesso para 4,1 milhes de participantes
A tranquilidade e a organizao marcaram a aplicao do Exame Nacional do Ensino Mdio (Enem) de 2012. As provas foram aplicadas nos dias 3 e 4 de novembro para 4,1 milhes de participantes. A aplicao foi realizada em todo o Pas pelo Consrcio Cespe/UnB-Cesgranrio. Nos 14 estados em que foi responsvel pela aplicao, o Cespe/UnB contou com o empenho de aproximadamente 270 mil colaboradores, nas funes de coordenador, chefe de sala, aplicador, segurana, porteiros e equipes de apoio. Alm da responsabilidade de aplicar o exame, o Consrcio tambm exerceu atribuies no encaminhamento e no emalotamento dos materiais adminstrativo e de aplicao. J a impresso das provas foi feita em grfica contratada pelo Ministrio da Educao e a distribuio dos malotes, pelos Correios.

REDAES As redaes dos participantes foram avaliadas por cerca de 6.000 especialistas em Lngua Portuguesa. O processo foi coordenado pelo Cespe/ UnB, desde a capacitao de dois meses fornecida aos profissionais definio das notas das redaes, que passaram por at seis avaliaes, nos casos em que houve discrepncias. O Centro tambm treinou e certificou os colaboradores que atuaram nas funes de transcritor e ledor do servio de atendimento especial solicitado pelos participantes com deficincia.

Interao Objetos de Avaliao do PAS passam por reviso

A reviso das obras que compem os Objetos de Conhecimento do Programa de Avaliao Seriada da Universidade de Braslia (PAS/UnB), como livros, filmes, obras de arte e peas teatrais, uma atividade realizada todos os anos pela Gerncia de Interao Educacional do Cespe/UnB, com a proposta de aperfeioar a Matriz de Avaliao do Programa. Em 2012, foram revistas as obras que faro parte do Subprograma 2013-2015. Educadores e sociedade puderam participar de forma interativa do processo por meio de debates em ambiente virtual e encontros presenciais. A Gerncia realizou ainda a seleo e a capacitao a distncia de professores das redes pblica e privada de educao do Distrito Federal e do entorno para a composio do Grupo de Sistematizao e Redao Final do Programa. O documento final com a insero das obras nos Objetos de Avaliao j est divulgado no site www.gie.cespe.unb.br. REVISO COMPLETA Entre os meses de outubro e novembro de 2012, um curso de Reviso da Matriz de Avaliao do PAS tambm foi realizado com professores do ensino mdio com o objetivo de, a mdio prazo, aprofundar o debate sobre a seleo e realizar uma reforma completa da Matriz de Avaliao do PAS.

Parceria Teste em computador diagnostica opinio sobre tema polmico

A aplicao de um teste que faz o diagnstico sobre como as pessoas se posicionam em relao a temas delicados foi um dos projetos que contou com a participao do Cespe/UnB em 2012. O Teste de Associao Implcita (TAI) gerado em computador a partir de um software programado para avaliar o grau de tendncia que o respondente possui quanto a um tema especfico. O clculo desse resultado baseia-se no tempo de resposta, que medido em milsimos de segundos. O prottipo do TAI foi testado em colaboradores do Cespe/UnB por especialistas do Instituto de Psicologia da Universidade de Braslia (UnB), que lidera o projeto.

A metodologia pioneira no Brasil e ser aplicada a cerca de 70 mil professores da rede pblica escolar nos estados, por meio do Programa de Estudos e Ateno s Dependncias Qumicas da Secretaria Nacional de Polticas sobre Drogas do Ministrio da Justia. O tema da aplicao ser o uso de drogas. A montagem do teste compreende a associao de imagens e palavras que so apresentadas na tela do computador. A depender dos acertos e do tempo de resposta, a tendncia em relao ao tema proposto pode ser leve ou forte.

Cadastro nico garante iseno de taxa

CONCURSOS

A ferramenta que favorece a incluso social em processos seletivos pblicos realizados por rgos do Executivo Federal.

[Mara Andrade] Da Assessoria Tcnica de Comunicao

10

A iseno de taxa em concursos e selees para candidatos sem condies financeiras para arcar com os custos das inscries um direito garantido por lei. As possibilidades para solicitao do benefcio variam de acordo com a legislao de cada estado brasileiro, mas uma em especial chama ateno por sua abrangncia nacional, o Cadastro nico para Programas Sociais do Governo Federal (Cadnico). Esse utilizado como meio de comprovao de hipossuficincia financeira para concesso de iseno de taxa em concursos do Executivo Federal desde 2008 (veja box ao lado). Regulamentado pelo Decreto n 6.135/2007, o Cadastro nico identifica quais so as famlias com renda mensal de at meio salrio mnimo por pessoa ou de at trs salrios mnimos por famlia. Atualmente, o sistema possui mais de 21,5 milhes de famlias inscritas. O Cespe/UnB adota essa modalidade para iseno porque, alm de respeitarmos um decreto legislativo, tambm consideramos um processo justo, afirma Daniel Santos, Assessor Tcnico da Direo-Geral do Cespe/UnB. O estudante Shelldon Gabriel Souza Linhares, 20 anos, aprovado no 2 Vestibular de 2012 da Universidade de Braslia para o curso de Administrao, conseguiu a iseno de taxa para a seleo por meio do Cadastro nico. Natural da Bahia, Shelldon mora em Braslia h quase dois anos e j conquistou outros objetivos. Ele conta que, por meio do Cadastro nico, tambm conseguiu a iseno de taxa de inscrio do concurso em que foi recm-aprovado. Os valores de inscrio costumam ser expressivos e, sem a possibilidade de iseno, minha famlia teria que se sacrificar para arcar com as despesas na participao, afirma. A utilizao do Cadastro nico para concesso de iseno de taxa, apesar de obrigatrio somente para selees no mbito do Executivo Federal, tem ocorrido tambm em eventos do Legislativo e do Judicirio Federal organizados pelo Cespe/UnB, sempre respeitando as diretrizes do rgo realizador do evento. O mesmo pode acontecer tambm em concursos pblicos da esfera estadual. De acordo com Eduardo Alpio

O uso do Cadastro nico em selees pblicas regulamentado pelo Decreto n 6.593/2008. A legislao prev que as organizadoras de processos seletivos devero incluir nos editais de selees realizadas no mbito do Poder Executivo Federal a possibilidade de iseno de taxa de inscrio para o candidato que estiver inscrito nesse sistema ou for membro de famlia de baixa renda, conforme disposto no Decreto 6.135/2007.

Como funciona o cadastramento

O cadastro no sistema do Ministrio do Desenvolvimento Social e Combate Fome (MDS) deve ser feito em nome do Responsvel Familiar, que deve ser a pessoa maior de dezesseis anos, preferencialmente mulher, que ser responsvel por receber os benefcios do governo. O registro feito com o Cadastro de Pessoa Fsica (CPF) ou com o ttulo de eleitor. Para os demais membros da famlia, documentos de identificao, como carteira de trabalho, CPF, ttulo de eleitor, certido de casamento ou nascimento, so vlidos para o cadastramento. O registro vinculado tambm ao domiclio. No ato do cadastramento, gerado automaticamente o Nmero de Identificao Social (NIS), que individual para cada membro da famlia. As informaes constantes no cadastro unificado tero validade de dois anos, sendo necessria, aps este perodo, a sua atualizao, na forma definida pelo MDS.
Fonte: MDS

Maia, responsvel pelos contratos da Coordenadoria de Planejamento do Cespe/UnB, em selees do Executivo Federal somente so aceitas isenes via Cadastro nico, mas nos estados essa questo varivel, dependendo de legislao local. Outras formas de iseno tambm so contempladas nos concursos cujo alcance estadual, como por exemplo, a iseno para doadores de sangue e pessoas desempregadas. Cabe destacar ainda que a taxa de inscrio tem natureza de receita pblica, dessa forma, pelo princpio da legalidade, todos os atos da Administrao Pblica devem ser respaldados por lei, ressalta.

Iseno em selees pblicas

Para solicitar a iseno por meio do Cadastro nico, o candidato dever preencher requerimento disponvel na pgina eletrnica do concurso que deseja participar, localizada no site do Cespe/UnB, indicando o Nmero de Identificao Social (NIS), atribudo pelo Cadastro nico, e apresentando declarao eletrnica de que membro de famlia de baixa renda, conforme o Decreto n 6.135/2007. Aps o encerramento do prazo estabelecido em edital para solicitao do benefcio, o Cespe/ UnB entra em contato com o Ministrio do Desenvolvimento Social e Combate Fome (MDS), rgo gestor do Cadastro nico, para confirmar a regularidade dos dados informados. Caso o MDS identifique algum erro e o pedido de iseno seja indeferido, o candidato poder utilizar o tempo de recurso previsto no edital da seleo para regularizar sua situao e solicitar reviso do indeferimento. Se ainda assim o pedido no for deferido, ele dever pagar o valor da taxa para participar do certame.

Eventos Nacionais e Estaduais

n 23

?
Fique por dentro
Pretendo prestar o vestibular para o curso de Arquitetura e Urbanismo da Universidade de Braslia e soube que os alunos que optam por cursos que exigem prova de habilidades especficas podem escolher uma segunda opo caso no sejam aprovados no exame de aptido. Gostaria de saber se essa informao verdadeira. Tambm gostaria de saber se existe um banco de provas de habilidades especficas de Arquitetura e Urbanismo para que eu possa me preparar.
Vincius Bazan So Paulo (SP)

A pergunta

Saiba mais

Como divulgado um
edital de resultado?

Pablo Jos de Pinho Silva

Gerente de Editais Cespe/UnB

Sim. De acordo com o edital do vestibular, o candidato que no momento da inscrio ainda no possua a Certificao de Habilidade Especfica para o curso desejado dever indicar uma segunda opo de curso que no exija prova de habilidade especfica, ou que a exija, desde que o candidato possua aprovao anterior na mesma prova, homologada pelo Cespe/UnB, dentro do prazo de validade previsto. importante ressaltar que o candidato somente concorrer segunda opo de curso em caso de inaptido na prova de habilidade especfica. Sobre o segundo questionamento, no existe um banco de provas j aplicadas para a certificao.
Voc tambm pode encaminhar suas dvidas! Nosso e-mail: sac@cespe.unb.br

03 de junho

Agenda

Existem dois tipos de resultados: o provisrio e o final. De modo geral, todas as fases de uma seleo tm esses dois resultados divulgados. Contudo, h uma diferena quando se trata da prova objetiva, j que primeiro so divulgados os gabaritos oficiais preliminares e, aps anlise dos recursos, o resultado final. Nos editais de resultados provisrios, sempre so informados a forma e o prazo para que seja feita a interposio de recurso, assim como as datas provveis de divulgao das respostas aos recursos e do resultado final da fase, a previso da prxima fase ou a homologao do concurso, quando for o caso. Tanto no edital de resultado provisrio como no edital de resultado final, necessrio observar como ocorrem a organizao das fases e como sero ordenados os candidatos ao longo dessas fases. O edital de abertura indica como dever ser a ordenao dos candidatos, especialmente no tpico da nota final no concurso, que deve estar coerente com o quadro de vagas

oferecidas no concurso. Os exemplos de organizao dos resultados so cargo/rea ou cargo/ rea/especialidade ou cargo/rea/especialidade/ localidade de vaga. As situaes de candidatos que se declararam com deficincia e eventuais sub judice so dispostas em subitens separados. Por fim, cabe esclarecer que o termo resultado (provisrio ou final) usado quando h divulgao de nota (exemplos: objetiva, discursiva, ttulos, prova oral, prova prtica). J o termo relao (provisria ou final) dos candidatos aptos/recomendados usado quando no h divulgao de nota (exemplos: capacidade fsica, avaliao psicolgica, exames mdicos). Todavia, no caput do edital utiliza-se o termo resultado.

11

Resultado final da anlise curricular e convocao para percia mdica dos candidatos que se declararam com deficincia para cargos de nveis superior e mdio do concurso do Ministrio de Minas e Energia (MME).

06 de junho

19 de junho

Resultado final da avaliao de ttulos e do concurso pblico para o cargo de Juiz Substituto do Tribunal de Justia do Estado do Acre (TJ/AC).

Resultado final da prova oral e resultado provisrio da avaliao de ttulos para o cargo de Juiz de Direito Substituto do Tribunal de Justia do Estado da Bahia (TJ/BA).

21 de junho

Resultado final da percia mdica dos candidatos que se declararam com deficincia e resultado final do concurso pblico para o cargo de Defensor Pblico da Defensoria Pblica do Estado de Sergipe (DPE/SE).

07 de junho

Resultado final da percia mdica dos candidatos que se declararam com deficincia e convocao para o Curso de Formao para os cargos de nveis mdio e superior do concurso pblico do Tribunal de Justia do Estado de Alagoas (TJ/AL).

07 de junho

21 de junho

Resultado final da percia mdica dos candidatos que se declararam com deficincia e resultado final do concurso pblico para os cargos de Analista Judicirio e Tcnico Judicirio do Tribunal de Justia do Distrito Federal e dos Territrios (TJDFT).

12 de junho

Resultado final da percia mdica dos candidatos que se declararam com deficincia e resultado final do concurso pblico para os cargos de Analista e Tcnico do Servio Federal de Processamento de Dados (SERPRO).

24 de junho

Resultado final da prova de Tribuna, da avaliao de ttulos e da convocao para a percia mdica dos candidatos que se declararam com deficincia para o cargo de Promotor de Justia Substituto do Ministrio Pblico do Estado de Roraima (MPE/RR).

Resultado final da prova oral e resultado provisrio da avaliao de ttulos para o cargo de Procurador do Ministrio Pblico junto ao Tribunal de Contas do Distrito Federal (TCDF).

24 de junho

Resultado final da avaliao de ttulos e convocao para a percia mdica dos candidatos que se declararam com deficincia para o cargo de Defensor Pblico Substituto da Defensoria Pblica do Estado de Roraima (DPE/RR).

* As datas so provveis. Informaes no site do Cespe/UnB: www.cespe.unb.br

Como so realizados os testes fsicos

CONCURSO

Somente em 2012 o Cespe/UnB realizou exames para mais de 3,5 mil candidatos em cinco concursos pblicos.

[Carolina de Oliveira] Da Assessoria Tcnica de Comunicao

12

Aps a classificao em provas objetivas e outras etapas, muitas vezes os candidatos de concursos pblicos precisam suar a camisa com os exames de aptido fsica. As provas geralmente so aplicadas para cargos cujo exerccio requer esforo fsico, como os ligados s atividades policiais, bombeiros, guardas, carteiros, estivadores, garis, entre outros. No caso dos bombeiros, por exemplo, o Major do Corpo de Bombeiros Militar do Distrito Federal (CBMDF), Carlos Ney, explica que as atividades no batalho exigem esforo fsico. Por isso, importante buscar profissionais que estejam bem preparados. O bombeiro sempre precisa carregar, puxar e levantar materiais pesados. Ter condicionamento fsico essencial para a profisso. Ns no cobramos que o candidato seja atleta, mas ele precisa estar preparado, esclarece. De acordo com o Coordenador de Provas Prticas do Cespe/UnB, Luiz Mrio Marques Couto, em geral, so realizadas trs modalidades de exerccios: barra fixa, flexo abdominal e corrida, dependendo do concurso. s vezes o rgo que abre a seleo pede natao, ou impulso, por exemplo, que o exerccio em que o candidato precisa pular uma certa distncia a partir de um ponto fixo sem se movimentar previamente, explica Couto. O professor responsvel pela etapa de provas de capacidade fsica do Cespe/UnB, Paulo Henrique Azevdo, acrescenta ainda que a escolha dos exerccios que sero aplicados leva em considerao as qualidades fsicas que so necessrias para o pleno desempenho do cargo. Por exemplo, quais so os movimentos ou necessidades fsicas mais exigidas para o cumprimento do cargo, relata. O professor acrescenta ainda que, a partir dessa anlise inicial, so relacionados os principais testes que avaliam essas qualidades fsicas e, por fim, so selecionados os testes que so os melhores indicadores de desempenho dessas qualidades fsicas.

Testes

Foto: Arquivo Pessoal

A preparao para a realizao dos testes fsicos comea a partir da publicao do edital de abertura do certame. Geralmente, o nmero de candidatos convocados para os exames de duas a trs vezes a quantidade de vagas disponveis no rgo, mas h concursos em que todos os candidatos classificados nas provas objetivas passam pelos exames fsicos. Assim que o nmero de candidatos estipulado, a Coordenao de Logstica do Cespe/UnB inicia o estudo dos locais mais adequados a atender a todos nas modalidades de exerccios definidas no edital do concurso. Para que todo o processo ocorra sem problemas, o Cespe/UnB monta uma grande equipe de aplicao. Os colaboradores da Gerncia de Avaliao de Ttulos e Provas Prticas so os responsveis pelo planejamento da prova e pela indicao das bancas. A aplicao de provas prticas demanda a contratao de um Coordenador Administrativo, que o responsvel pela execuo da logstica da prova, um Coordenador de Banca, Chefes de Sala, Fiscais, seguranas, porteiro, auxiliares de limpeza, alm da Banca Avaliadora. A Banca, por sua vez, composta por professores com graduao em Educao Fsica e experincia na rea de avaliao. Para acompanhar e orientar o andamento do exame, o Cespe/UnB tambm envia para os locais de prova um Coordenador Tcnico da Universidade de Braslia com formao em Educao Fsica e registro no conselho regional da profisso. Alm disso, uma ambulncia e mdicos ficam de prontido durante todo o exame. Em 2012, o Cespe/UnB realizou testes fsicos para mais de 4,5 mil candidatos, todos classificados em fases anteriores dos concursos para Agente e Papiloscopista da Polcia Federal, Soldado da Polcia Militar do Cear, Inspetor da Polcia Civil do Cear, Mdico Perito, Perito Criminal, Perito Legista e Auxiliar de Percia da Percia Forense do Estado do Cear e para os cargos de Soldado Combatente, Condutor, Msico e Oficiais do Corpo de Bombeiros Militar do Distrito Federal.

Organizao

Os limites mnimos para aprovao nos exames de aptido fsica variam entre os sexos. De acordo com o professor Paulo Henrique Azevdo, essa diferenciao deve ser feita devido s diferenas biolgicas. Os indivduos, independentemente de seu sexo, possuem individualidade biolgica, que os fazem diferentes entre si, tambm no desempenho fsico. Ocorre que, entre indivduos do sexo masculino e feminino, essa individualidade possui diferenas to significativas que exigem adequao; quando pessoas de ambos os sexos realizam provas fsicas, disputando as mesmas vagas, explica. Na prova para Combatente do Corpo de Bombeiros do ano passado, por exemplo, os testes de barra fixa, natao e corrida tinham especificaes diferentes para homens e mulheres. No teste de corrida, ambos teriam que correr 12 minutos, sendo a distncia mnima percorrida pelas mulheres de 2.200 metros e a distncia mnima estipulada para os homens de 2.400 metros. J no teste de natao, o candidato do sexo masculino deveria percorrer 50 metros em nado livre, no tempo mximo de um minuto, e a candidata teve um perodo de um minuto e cinco segundos para o mesmo percurso.

Diferenas entre homens e mulheres

Para a realizao dos exames de aptido fsica, importante:

chegar ao local de prova com 1 (uma) hora de antecedncia; apresentar atestado mdico; fazer uma leitura atenta do edital;

iniciar o treinamento fsico com antecedncia. Esperar o resultado das etapas que antecedem ao teste fsico pode comprometer o desempenho do candidato, principalmente para aqueles que no esto acostumados a realizar atividade fsica rotineiramente, alerta o professor Paulo Henrique Azevdo.

levar dentro de uma bolsa traje esportivo, como camiseta, calo ou bermuda, tnis e traje para banho, caso haja teste de natao;

n 23