Conselho editorial Regina Silvia Pacheco presidente Vera Lcia Petrucci Maurcio Muniz Barretto de Carvalho Isabella Pessa

a de Azevedo Madeira
Colaboradores (pareceristas ativos): Antonio Augusto Junho Anastasia; Caio Mrcio Marini Ferreira; Carlos Manuel Pedroso Neves Cristo; Eli Diniz; Fernando Abrucio; Henrique Flvio Rodrigues Silveira; Jos Geraldo Piquet Carneiro; Jos Carlos Vaz; Jos Lus Pagnusat; Jos Mendes; Lvia Barbosa; Marcel Burzstyn; Marco Antonio de Castilhos Acco; Marco Aurlio Nogueira; Marcus Andr Melo; Maria das Graas Rua; Nilson do Rosrio Costa; Paulo Henrique Ellery Lustosa da Costa; Paulo Modesto; Pedro Cesar Lima de Farias; Srgio Azevedo; Zairo Cheibub.
Editora Vera Lcia Petrucci Coordenao editorial Livino Silva Neto Supervisor de produo grfica Rodrigo Luiz Rodrigues Galletti Reviso Cleidiana Cardoso Nazareno Ferreira Galber Jos Oliveira Maciel Marluce Moreira Salgado Projeto grfico Francisco Incio Homem de Melo Editorao eletrnica Danae Carmen Saldanha de Oliveira Maria Marta da Rocha Vasconcelos ENAP Fundao Escola Nacional de Administrao Pblica SAIS rea 2-A 70610-900 Braslia DF Telefone: (61) 445 7096 / 445 7102 Fax: (61) 445 7178 ENAP, 2001 Tiragem: 1.500 exemplares Assinatura anual: R$ 40,00 (quatro nmeros) Exemplar avulso: R$ 12,00 Revista do Servio Pblico/Fundao Escola Nacional de Administrao Pblica v.1, n.1 (nov. 1937) Ano 52, n.4 (Out-Dez/2001). Braslia: ENAP, 1937. trimestral ISSN:0034/9240 De 1937 a 1974, periodicidade irregular, editada pelo DASP e publicada no Rio de Janeiro at 1959. Interrompida de 1975 a 1981. Publicada trimestralmente de 1981 a 1988. Periodicidade quadrimestral em 1989. Interrompida de 1989 a 1993. 1. Administrao pblica Peridicos. I. Escola Nacional de Administrao Pblica. CDD: 350.005

RSP

Sumrio

RSP

Gobernando para obtener resultados en un mundo globalizado y localizado Anwar Shah Auditoria de gesto e estratgia no setor pblico Carlos Alberto Sampaio de Freitas O desafio da efetividade na gesto de servios urbanos Moema Miranda de Siqueira e Vera L. Canado Avaliao educacional e polticas pblicas: a experincia do Sistema Nacional de Avaliao da Educao Bsica (Saeb) Tereza Cristina Cotta Los Modelos de Orientacin Estratgica (MOEs): una adaptacin del enfoque estratgico para el rediseo organizativo en las administraciones pblicas Carles Rami y Miquel Salvador

05

57

71

89

113

Avaliao educacional e polticas pblicas: a experincia do Sistema Nacional de Avaliao da Educao Bsica (Saeb)
Tereza Cristina Cotta

RSP
Revista do Servio Pblico Ano 52 Nmero 4 Out-Dez 2001

Introduo
A implantao de um sistema de informaes educacionais, abrangendo todos os nveis de escolaridade, foi um acontecimento marcante no cenrio da educao brasileira. H poucos anos, a situao era bem diferente. O principal levantamento estatstico da rea, o Censo Escolar, no era realizado desde 1986. Os poucos dados disponveis provinham do Censo Populacional do Instituto Brasileiro de Geografia e Estatstica (IBGE), que, por no ter a finalidade especfica de coletar dados sobre educao, continha muitas lacunas. Esta insuficincia na oferta de estatsticas educacionais, que so fundamentais para o gerenciamento do sistema em todos os seus nveis, gerou uma demanda reprimida por dados censitrios na rea de educao. O quadro era ainda pior no que se refere avaliao: no havia nem oferta nem demanda por esse tipo de informao. A demanda por informaes de avaliao tem que ser criada, uma vez que depende, por um lado, da importncia atribuda questo da qualidade do ensino, e, por outro, da percepo de que tais informaes podem ser teis para a tomada de decises pelos gestores educacionais. No Brasil, durante dcadas, a avaliao foi encarada com extrema desconfiana pela comunidade acadmica. Pedagogos e educadores no aceitavam a legitimidade e a validade da avaliao em larga escala,1 freqentemente interpretada como uma tentativa de controle. Alm disso, durante muitos anos as faculdades de educao baniram, por questo de princpio, as abordagens de cunho quantitativo, argumentando que elas impunham uma padronizao indevida a contextos plurais e multifacetados.
Tereza Cristina Cotta mestre em Cincia Poltica pela Universidade Federal de Minas Gerais (UFMG) e membro da carreira de Especialista em Polticas Pblicas e Gesto Governamental (EPPGG). Contato: tereza.cotta@ enap.gov.br

89

Tambm na esfera do governo, o tema da avaliao despertava pouco interesse. At fins da dcada de 70, as polticas educacionais estavam voltadas para a expanso do atendimento e a promoo do acesso ao sistema educacional. A avaliao no fazia parte da agenda pblica brasileira, porque a qualidade do ensino ainda no havia emergido como uma questo relevante. Esta conjuntura no era propcia implantao de sistemas de avaliao em larga escala, que, via de regra, se caraterizam por sua extrema complexidade tcnica e por requerer grandes investimentos em pessoal e recursos. A partir dos anos 80, porm, a crescente preocupao dos organismos internacionais com a questo da qualidade do ensino e a implantao de sistemas de avaliao em larga escala em diversos pases latino-americanos criaram condies para que o tema adquirisse maior visibilidade no Brasil. A conjuntura econmica e poltica tambm favoreceu, direta ou indiretamente, a rea de avaliao. A crise fiscal aumentou a presso social por mais eficincia e transparncia no uso dos recursos pblicos. Com o retorno democracia, a sociedade passou a exigir informaes sobre o que e quanto os alunos estavam realmente aprendendo. Finalmente, a descentralizao promovida pelas reformas educacionais, por meio da transferncia de competncias e recursos para instncias intermedirias, levou o governo federal a adotar mecanismos mais flexveis de controle, voltados para os produtos do sistema educacional e no para seus processos. Mesmo assim, alguns anos ainda se passariam antes da implantao de sistemas de avaliao em todos os nveis de ensino. De fato, at 1995, no havia um sistema de avaliao do ensino superior, pelo menos no que se refere dimenso da qualidade dos servios educacionais ofertados por instituies pblicas e privadas. Tambm no se avaliava o perfil de sada dos alunos e egressos do ensino mdio, o que s comeou a ser feito em 1999. O Sistema Nacional de Avaliao da Educao Bsica (Saeb), implantado em 1990, uma exceo regra. Por meio desta iniciativa pioneira do Ministrio da Educao, so coletados, a cada dois anos, dados sobre o desempenho dos alunos brasileiros do ensino fundamental e mdio, visando fornecer um diagnstico dos resultados produzidos pelo sistema educacional. Somente na segunda metade dos anos 90, quando cresce a demanda por informaes de avaliao, foram definidos os arranjos institucionais que viabilizaram a implantao de um sistema de informaes educacionais no governo federal, abrangendo duas vertentes: a coleta de dados censitrios e de dados de avaliao. Cabe indagar, entretanto, se estas informaes esto sendo efetivamente utilizadas no processo de formulao de polticas pblicas.

RSP

90

O objetivo deste paper investigar em que medida os dados de avaliao e, em particular, os dados coletados pelo Saeb, tm sido transformados em informaes teis para subsidiar decises conducentes melhoria da qualidade da educao brasileira. Buscando responder a esta indagao, este artigo analisa os fatores que, de acordo com a literatura especializada, determinam a utilizao dos resultados da avaliao.

RSP

A avaliao de resultados educacionais: conceitos e experincias

Conforme mencionado anteriormente, um sistema de informaes educacionais abrange duas vertentes: a coleta de dados censitrios e a coleta de dados de avaliao. Os dados censitrios se referem ao contexto social e demogrfico da populao estudantil, s condies de oferta dos servios educacionais, aos indicadores de acesso e participao e aos indicadores de eficincia e rendimento escolar. Os sistemas de avaliao, por sua vez, produzem diversos tipos de dados, dependendo dos objetivos definidos na etapa de desenho da pesquisa. H vrias modalidades de avaliao e cada uma tem caractersticas que definem o uso dado s informaes produzidas. As tipologias mais utilizadas pela literatura especializada classificam a avaliao em funo do seu timing (antes, durante ou depois da implementao da poltica ou programa), 2 da posio do avaliador em relao ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados). O objetivo deste paper discutir a avaliao dos resultados educacionais e suas possibilidades de utilizao no processo decisrio. A avaliao dos resultados educacionais abrange diferentes objetos de investigao. Seu foco pode recair sobre o aluno, as instituies de ensino ou o sistema educacional como um todo. No primeiro caso, a avaliao situa o desempenho do aluno em relao a um padro previamente estabelecido, fornecendo um diagnstico dos conhecimentos, competncias e habilidades adquiridos por meio da escola.3 No segundo caso, o desempenho de todos os alunos de determinada instituio permite aferir a qualidade dos servios educacionais por ela oferecidos.4 E, finalmente, quando o objetivo avaliar os resultados substantivos produzidos pelo sistema educacional em seus diversos nveis, necessrio utilizar procedimentos estandardizados de avaliao, capazes de fornecer informaes pertinentes a todo o universo avaliado. Portanto, para saber o que e quanto os alunos brasileiros aprenderam e quais os fatores associados ao rendimento escolar, preciso recorrer a um tipo de avaliao consideravelmente mais complexo, do

91

ponto de vista tcnico, do que uma avaliao informal realizada em sala de aula, por exemplo. A partir de pesquisas empricas sofisticadas, baseadas em procedimentos padronizados de construo dos instrumentos de medida, levantamento e processamento de dados, so produzidos indicadores quantitativos e qualitativos que permitem traar um panorama dos resultados produzidos pelo sistema educacional, por intermdio da anlise do desempenho alcanado por seus alunos. Estes indicadores fornecem informaes importantes para o gerenciamento da rede e a formulao, reformulao e avaliao de polticas pblicas. Os sistemas de avaliao criados pelo governo federal a partir de 1995 exemplificam as categorias apresentadas acima. Ainda que cada um deles tenha objetivos, finalidades e caractersticas distintas, todos podem ser classificados como avaliaes em larga escala, tanto em termos de abrangncia quanto de rigor tcnico e metodolgico. O Exame Nacional de Cursos (ENC), conhecido como Provo, visa subsidiar os processos de deciso e de formulao de polticas de melhoria dos cursos de graduao. A inteno do Ministrio da Educao constituir um sistema de avaliao do ensino superior, formado pela avaliao das condies de oferta, pela avaliao da ps-graduao, realizada pela Fundao Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes), e pelo prprio ENC. As provas, realizadas anualmente, so elaboradas por comisses de cursos, compostas por especialistas de notrio saber, atuantes em cada uma das reas avaliadas. O Saeb avalia a qualidade do ensino por meio de testes de desempenho aplicados a uma amostra representativa de alunos das 4a e 8a sries do ensino fundamental e da 3a srie do ensino mdio. O Saeb aplica tambm questionrios socioeconmicos que permitem a investigao sobre os fatores associados ao rendimento escolar. O objetivo fornecer indicadores que orientem a elaborao e a reviso de polticas federais e estaduais voltadas para a melhoria da qualidade de ensino. Finalmente, cabe citar o Exame Nacional do Ensino Mdio (Enem), institudo em 1999. O Enem avalia as competncias e habilidades desenvolvidas pelo aluno ao final da educao bsica, que compreende o ensino fundamental e o ensino mdio. O objetivo informar se ele est preparado para enfrentar os desafios da vida moderna como cidado autnomo, capaz de decidir, propor e fazer, seja na universidade, seja no mercado de trabalho. Assim como o ENC e o Saeb, o Enem utiliza procedimentos padronizados de construo dos instrumentos de medida, levantamento e processamento de dados, o que o inscreve na categoria da avaliao em larga escala. Todavia, o propsito deste exame fornecer feedback aos alunos e egressos do ensino mdio sobre seus conhecimentos e habilidades. Ao contrrio do ENC e do Saeb, o Enem no foi concebido para servir

RSP

92

como instrumento de formulao de polticas pblicas. Prova disso a impossibilidade de fazer generalizaes sobre o universo de alunos do ensino mdio a partir dos dados do Enem. Como o exame voluntrio, no h uma amostra aleatria e representativa da populao-alvo e sim uma amostra autosselecionada de examinandos. O Enem pode ser definido, portanto, como uma prestao de servios ao cidado, uma vez que o resultado do exame permite ao indivduo avaliar o valor agregado pela escolarizao sua bagagem cultural e intelectual e, com base nestas informaes, planejar a sua trajetria profissional e a continuidade de seus estudos. At o momento, porm, o Enem tem sido utilizado principalmente como mecanismo de acesso ao ensino superior, conjugado ao tradicional concurso vestibular. Dados os limites deste trabalho, no seria possvel analisar em profundidade todos os sistemas de avaliao em larga escala, recentemente implantados pelo governo federal na rea de educao. Por isso, apenas um desses sistemas, o Saeb, ser submetido a um exame mais minucioso. O objetivo principal estabelecer uma relao entre as principais caractersticas deste sistema e suas possibilidades de influenciar a elaborao de polticas educacionais voltadas para a melhoria da qualidade da educao.

RSP

Determinantes da utilizao dos resultados da avaliao

A questo da utilizao dos resultados de avaliao A avaliao um dos mais importantes mecanismos para gerar informaes que auxiliem os gestores educacionais a tomar decises.5 O problema que, de maneira geral, parte-se do pressuposto de que tais informaes so automaticamente incorporadas ao processo decisrio. Nesta linha de raciocnio, a existncia de um sistema de avaliao implicaria, por si mesma, a melhoria da qualidade das polticas do setor. Entretanto, a literatura especializada mostra exatamente o contrrio: via de regra, h muitos fatores que dificultam a utilizao efetiva dos resultados de avaliao: Making use of the findings of evaluations in not an easy task. The history of evaluation may be characterized as one of unfulfilled promises. Therefore, it is only natural that doubts are raised about its overall usefulness. Some see evaluation as a new management fad that creates bureaucracy but delivers

93

few results. It is sometimes seen as inherently too theoretical to work in practice and having an effect on issues of marginal significance rather than on major policy choices. Others fear increased control or do not wish to be held accountable. Those primarily interested in the continuation of programmes may feel threatened by evaluation. Finally, questions can be raised about the value of evaluation in an environment where performance is continuously measured and even contracted for. (OECD, 1999: 9). O trecho acima mostra por que o simples fato de realizar uma avaliao no significa, de forma alguma, que as informaes produzidas sero utilizadas. Em primeiro lugar, por uma questo de falta de consenso entre os atores envolvidos. Quase sempre eles relutam em reconhecer a legitimidade e a utilidade da avaliao, seja porque se sentem ameaados por seus resultados, seja porque no foram envolvidos na definio das regras do jogo. Em segundo lugar, por uma questo de probabilidade: os casos em que a avaliao simplesmente ignorada so muito mais freqentes do que aqueles em que a avaliao cumpre sua finalidade. O principal motivo pelo qual a avaliao geralmente no corresponde s expectativas que gera a presuno de que as condies para o aproveitamento deste tipo de informao esto dadas. Ocorre justamente o contrrio: a avaliao uma atividade que, por suas prprias caractersticas, exige que estas condies sejam intencional e meticulosamente criadas, sob pena de comprometer todo o esforo despendido. A avaliao envolve, necessariamente, um componente de conflito. Avaliar significa formar um juzo de valor com base na comparao entre uma situao emprica e uma situao ideal. 6 natural que aqueles que tm interesses afetados por este tipo de investigao ofeream resistncia. Alm disso, h uma srie de requisitos que determinam o potencial da avaliao como fonte de informaes teis e confiveis. Estes requisitos devem ser cumpridos em todas as etapas do processo, desde as definies bsicas do desenho da investigao (estabelecimento dos objetivos, metodologia, principais participantes), passando pela estratgia de implementao at a interpretao e divulgao dos resultados. O carter aplicado da avaliao Evaluation is not knowledge for its own sake, but knowledge for action. It is important that evaluation material be used in decision-making. If not, the administration will soon loose interest and evaluation will become an empty exercise. (OECD, 1999: 9).

RSP

94

A avaliao , por definio, pesquisa social aplicada. Seu maior desafio buscar um equilbrio entre o rigor metodolgico e tcnico de uma investigao social e o pragmatismo e flexibilidade necessrios a um instrumento de apoio ao processo decisrio. Na prtica, porm, difcil alcanar este equilbrio. H uma tenso entre a busca de rigor metodolgico e a produo de informaes prontamente utilizveis por aqueles que decidem pela implantao, continuidade ou at mesmo abandono de determinada poltica ou programa. Os avaliadores vivem, freqentemente, um dilema: por um lado, eles tm a responsabilidade de garantir a qualidade dos dados de avaliao, o que s possvel quando se utiliza um desenho de investigao rigoroso do ponto de vista tcnico e metodolgico; por outro lado, eles precisam produzir, a partir dos dados coletados, informaes teis e compreensveis, de maneira tempestiva e a um custo razovel. O problema que quanto mais a investigao se aproxima do mtodo cientfico, mais complexas e hermticas se tornam as informaes produzidas e mais difceis se tornam para o leigo interpret-las. fundamental que o avaliador seja capaz de traduzir estas informaes para os seus clientes, os gestores educacionais, que geralmente tm pouca ou nenhuma familiaridade com o jargo tcnico. Saber comunicar os resultados e concluses da avaliao para o seu pblico-alvo imprescindvel. Rudos e falhas de comunicao podem fazer que uma investigao rigorosa do ponto vista tcnico e metodolgico seja solenemente ignorada. Esta situao representa o pior dos mundos: a avaliao no agrega valor ao processo decisrio, fazendo que as decises continuem a ser tomadas com base em critrios histricos, conjunturais, subjetivos e at mesmo aleatrios; os recursos pblicos investidos na avaliao no oferecem o retorno desejado; e a prpria avaliao cai em descrdito, passando a ser vista como uma atividade muito exigente em termos de recursos, mas que oferece poucos benefcios concretos. Vrios so os requisitos para que os resultados de avaliao sejam efetivamente utilizados. Deve haver uma oferta regular e de boa qualidade, de forma a garantir a validade e acuidade das informaes produzidas; deve haver demanda por estas informaes, o que depende da existncia de uma cultura de avaliao e do grau de transparncia do processo de formulao de polticas pblicas; e, finalmente, devem haver, no mercado, profissionais capazes de vender as informaes produzidas no apenas para seus clientes diretos como tambm para o pblico em geral. O objetivo das prximas sees analisar o caso do Saeb luz das categorias acima, procurando identificar que aspectos do lado da oferta e da demanda e do funcionamento do mercado de avaliao educacional facilitam ou dificultam a utilizao das informaes geradas por esse sistema na formulao e reformulao de polticas pblicas.

RSP

95

O Sistema Nacional de Avaliao da Educao Bsica (Saeb)

Histrico No final da dcada de 80, a melhoria da qualidade do ensino e o aumento da eficincia do sistema educacional se tornaram objetivos prioritrios, suplantando a questo do acesso escola, principal preocupao do perodo anterior. neste contexto que surge o Saeb, um projeto ambicioso em termos da sua concepo e de seus objetivos. O Saeb foi delineado a partir de dois pressupostos bsicos: a) o rendimento dos alunos reflete a qualidade do ensino ministrado; e b) nenhum fator determina, isoladamente, a qualidade do ensino. Presume-se que a escolarizao formal deva promover a aquisio de um certo conjunto de conhecimentos e habilidades pelos alunos, e que este aprendizado ocorre devido interao entre diversos fatores. Nesta linha de raciocnio, fica claro que a qualidade da educao tem a ver com o contexto, os insumos e os processos do ensino e aprendizagem. As iniciativas que no atacam simultaneamente estes flancos estariam, portanto, fadadas ao fracasso. Esta viso influenciou profundamente o desenho do Saeb. Desde o primeiro ciclo de avaliao, em 1990, j havia a preocupao de conjugar os testes de desempenho com questionrios socioeconmicos e contextuais. Isto faz sentido quando se considera que os principais usurios das informaes coletadas so as unidades gestoras do sistema educacional (Secretarias de Estado do MEC, Secretarias Estaduais e Municipais de Educao). As polticas, programas e projetos governamentais no incidem diretamente sobre o desempenho do aluno, mas atuam sobre as variveis de contexto, os insumos e os processos. Portanto, fundamental vincular estas variveis aos resultados escolares. Ainda que o simples cruzamento destas informaes no seja suficiente para que se estabeleam relaes de causalidade, a descoberta dos fatores mais fortemente correlacionados com o desempenho sinaliza as reas nas quais os gestores educacionais devem intervir para promover melhorias na qualidade do ensino. Outro aspecto importante a concepo de sistema de avaliao. J em 1990, quando o Saeb ainda se chamava Sistema de Avaliao do Ensino Pblico de 1o Grau (Saep), a idia era desencadear um processo de avaliao por meio de levantamentos peridicos de dados, visando captar a evoluo do quadro educacional brasileiro. Este conceito est em sintonia com as tendncias mais recentes em avaliao, que reconhecem que os processos de mudana social tm um perodo de maturao relativamente longo, o mesmo se aplicando s intervenes na rea de educao. O Saeb se caracteriza tambm pela sua abrangncia e alcance. No primeiro e no segundo ciclos, registrou-se a participao de 25 e de 26

RSP

96

unidades da Federao, respectivamente. A partir de 1995, o Saeb passou a contar com a adeso de todos os Estados brasileiros. Isto demonstra a preocupao em estabelecer uma relao de parceria entre o governo federal, os Estados e os municpios, os quais, junto aos demais atores do processo educativo (administradores, diretores, professores, alunos, pais, comunidade etc.), partilham a responsabilidade pela qualidade da educao brasileira. Ao longo de seus dez anos de existncia, o Saeb passou por diversas modificaes. As maiores mudanas ocorreram a partir de 1995, com a elaborao das Matrizes Curriculares de Referncia para o Saeb7 e a utilizao de novas tcnicas para a aferio do desempenho dos alunos, como a amostragem matricial de contedos e a Teoria da Resposta ao Item (TRI). A seo seguinte discute as principais caractersticas do Saeb a partir deste perodo. As principais caractersticas do Saeb O objetivo geral do Saeb monitorar as polticas voltadas para a melhoria da qualidade, eqidade e eficincia do sistema educacional brasileiro no mbito da educao bsica. A cada dois anos, so aplicados testes de rendimento a alunos da 4a e 8a sries do ensino fundamental e da 3a srie do ensino mdio, nas vrias disciplinas que integram as propostas curriculares das 27 unidades da Federao. Tais testes visam aferir o que o aluno sabe e capaz de fazer, isto , o conhecimento, o nvel de desenvolvimento cognitivo e as habilidades instrumentais adquiridas pelo aluno na sua passagem pela escola. O foco do Saeb o sistema educacional, e no o aluno individualmente considerado. O Saeb conta com dois instrumentos de avaliao, os testes de rendimento, com base nos quais se estima a proficincia dos examinandos, 8 e os questionrios socioeconmicos, que investigam fatores contextuais que incidem sobre o processo de ensino e aprendizagem. Estes fatores aparecem agrupados em quatro reas de observao: escola, gesto escolar, professor e aluno. O questionrio da escola indaga sobre os equipamentos disponveis e as caractersticas fsicas das escolas; o questionrio do diretor identifica o modelo de gesto escolar; o questionrio do professor descreve o perfil do corpo docente e as prticas pedaggicas e o questionrio do aluno enfoca as caractersticas socioeconmicas e culturais do aluno, bem como seus hbitos de estudo. Desde o primeiro levantamento de dados, o Saeb avalia alunos em Matemtica e Lngua Portuguesa. No Saeb 97, a rea de Cincias foi incorporada desmembrada, na 3a srie do Ensino Mdio, em Fsica, Qumica e Biologia. No Saeb 99, foram aplicadas tambm provas de Histria e Geografia. A divulgao do Saeb 99 privilegiou os resultados

RSP

97

em Matemtica e Lngua Portuguesa, disciplinas que constituem uma srie histrica que mostra a evoluo do sistema ao longo dos ltimos anos. O Saeb 2001 testou o rendimento dos alunos apenas em Lngua Portuguesa e Matemtica, consolidando a tendncia de focar o exame apenas nessas duas disciplinas. A populao de referncia do Saeb o universo de alunos brasileiros matriculados na 4a e 8a sries do ensino fundamental e na 3a srie do ensino mdio. Devido magnitude deste contingente de alunos, a cada levantamento de dados avalia-se uma amostra nacionalmente representativa em todas as unidades da Federao. O plano amostral define os nveis de agregao dos dados, de modo a garantir a preciso desejada para os resultados, que pode ser calculada em funo de uma ou mais variveis. Para cada valor da mdia de proficincia calcula-se uma medida da preciso desta estimativa, que o erro padro. A metodologia de amostragem do Saeb tem variado sensivelmente de um ciclo de levantamento de dados para outro. Em 1997, por exemplo, a amostra foi estratificada por Zona (rural ou urbana), Localizao (capital ou interior) e Dependncia Administrativa (estadual, municipal e particular). No fizeram parte da populao pesquisada a zona rural da Regio Norte, as escolas federais, os alunos de cursos profissionalizantes do ensino mdio e os alunos de turmas multisseriadas no ensino fundamental. At 1997, o plano amostral impunha uma importante limitao interpretao dos resultados do Saeb. Como a amostra era representativa apenas da populao de alunos, as inferncias sobre as escolas e professores sempre se referiam a esta unidade de anlise. Por exemplo, os dados sobre as condies das bibliotecas das escolas includas na amostra tinham que ser interpretados da seguinte maneira: 38,71% dos alunos da 4a srie do Ensino Fundamental estudam em escolas com biblioteca em bom estado de conservao. Portanto, na prtica, no havia como utilizar adequadamente os dados coletados por meio dos questionrios contextuais. Para solucionar este tipo de problema, o plano amostral do Saeb 1999 foi aperfeioado em trs sentidos. Em primeiro lugar, houve uma expressiva ampliao do nmero de alunos e escolas participantes da avaliao, garantindo maior preciso dos resultados. Em segundo lugar, passou a ser possvel a anlise dos dados em trs nveis alunos, diretores e escolas, ainda que, devido ao desenho da pesquisa, no seja possvel fazer inferncias individuais sobre os elementos do universo avaliado. Isto representou um grande avano, tendo em vista que possibilitou uma melhoria na caracterizao do sistema educacional e na elaborao de perfis dos alunos avaliados e das escolas que freqentam. Finalmente, na maioria das unidades da Federao, os dados de desempenho foram divulgados por estratos de interesse Dependncia Administrativa (estadual, municipal, particular) e Localizao (urbana e rural).

RSP

98

O desenho amostral do Saeb 1999 prev a excluso dos alunos das escolas rurais da 8a srie do ensino fundamental e da 3a srie do ensino mdio, tendo em vista o tamanho reduzido do universo excludo e o pequeno impacto de tal excluso nas mdias de desempenho das populaes de interesse. Apenas no caso da 4a srie do ensino fundamental, nos Estados onde a matrcula nas escolas da zona rural representa uma parcela significativa da matrcula total, estes alunos foram includos na amostra.9 O plano amostral do Saeb 2001 manteve as mesmas excluses dos levantamentos anteriores. A divulgao do Saeb A divulgao do Saeb 1999 foi cercada de grande expectativa. Pela primeira vez, dispor-se-ia de uma srie histrica de resultados, permitindo a identificao das principais tendncias de evoluo da Educao Bsica no perodo 1995/1999. A anlise de tais tendncias possibilitaria aos gestores educacionais, em suas diferentes esferas de atuao, definir aes voltadas para a correo das distores identificadas em seus sistemas de ensino. Em virtude destas expectativas e da experincia com os ciclos anteriores de avaliao, buscou-se em 1999 aprimorar a estratgia de divulgao em dois aspectos: a adequao dos produtos s necessidades de diversas audincias e a busca de um maior envolvimento das instncias e atores relevantes na definio da estratgia de divulgao. Em vez de concentrar em um nico documento toda a informao pertinente aos aspectos descritivos, analticos, tcnicos e metodolgicos da pesquisa, optou-se pela elaborao de trs tipos de produtos: os informes de resultados, a Sinopse Estatstica do Saeb 1999 e os relatrios metodolgicos. O envolvimento dos diversos atores do sistema educacional afetados pelos resultados do Saeb na definio da estratgia de divulgao condio fundamental para a legitimao do sistema e a utilizao das informaes produzidas. O reconhecimento deste fato fez que se buscasse estabelecer parcerias com os principais interlocutores do governo federal, por meio da criao de fruns de discusso,10 mecanismos e estratgias que permitissem a esses atores expressar suas preocupaes e receber um tratamento diferenciado em termos do acesso e do nvel de detalhamento das informaes fornecidas.

RSP

O potencial de utilizao dos resultados do Saeb

A utilizao dos resultados da avaliao no acontece de maneira automtica. Ao contrrio, ela depende de uma conjuno favorvel de fatores relacionados com o lado da oferta e da demanda e com a prpria dinmica do mercado de avaliao.

99

A anlise da experincia do Saeb corrobora estas afirmaes. Em seus dez anos de existncia, o sistema avanou sob diversos aspectos. Aps seis levantamentos de dados, uma iniciativa consolidada, que mobiliza todo o sistema, contribuindo para a criao de uma cultura de avaliao no pas. Alm disso, a partir de 1995, o sistema passou a utilizar tcnicas sofisticadas de mensurao do rendimento dos alunos, equiparando-se aos melhores sistemas de avaliao internacionais. Porm, os desafios a serem enfrentados pelo Saeb talvez sejam to grandes quanto suas realizaes. O primeiro garantir a efetividade no atendimento s demandas de informao do sistema educacional. Para superar este desafio, o Saeb precisa identificar quem so seus usurios preferenciais e se manter permanentemente focado em seus interesses e necessidades. Isto nos leva ao segundo desafio, que o de construir e institucionalizar relaes de parceria entre os governos federal, estadual e municipal, envolvendo ativamente estes atores em todas as etapas da avaliao, desde as decises estratgicas sobre os rumos do sistema at a sua implementao. O Saeb s conseguir dar um salto de qualidade, entretanto, quando as razes que levaram a este estado de coisas forem melhor investigadas. Por que um sistema de avaliao que foi objeto de tamanhos investimentos em recursos materiais e humanos ainda no foi institucionalmente incorporado ao processo decisrio da rea? O componente poltico e institucional do sistema est sendo adequadamente equacionado? A metfora do mercado de avaliao educacional pode ajudar a encontrar respostas para algumas destas indagaes. Quais so os principais problemas apresentados pelo Saeb sob a tica da oferta e da demanda de informaes de avaliao? No lado da oferta, destacam-se as seguintes questes: arranjos institucionais favorveis s atividades de avaliao; envolvimento dos stakeholders no processo; definio dos objetivos de avaliao; adequao do desenho da avaliao; implementao da avaliao e estratgia de divulgao dos resultados. No lado da demanda, h de se considerar a cultura de avaliao e a qualidade da demanda. O lado da oferta Arranjos institucionais Como enfatiza a literatura especializada, a forma de organizao das atividades de avaliao influencia o seu papel no processo decisrio: It is often claimed that a certain level of institucionalization has to occur before evaluations can play a genuine role in the management of government organizations. Institutionalization

RSP

100

aims at creating conditions for a high-quality supply of evaluations, the utilization of the evaluation findings, and organizational learning. (OECD, 1999: 26) Neste sentido, a avaliao educacional brasileira se encontra em uma situao privilegiada. A reestruturao do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), em 1997, foi decisiva para a implantao de um sistema de informaes educacionais que abrangesse a coleta de dados censitrios e de avaliao. Na qualidade de autarquia vinculada ao Ministrio da Educao, o Inep goza de autonomia administrativa e financeira, condio fundamental para a mobilizao dos recursos materiais e humanos necessrios implantao de sistemas de avaliao de ponta. O Saeb foi institudo no final da dcada de 80, bem antes, portanto, da reformulao do Inep. No obstante, o arranjo institucional acima mencionado foi decisivo para a consolidao do sistema. Foram as reformulaes tcnicas e metodolgicas feitas a partir de 1995 que imprimiriam, ao sistema, a feio que ele hoje ostenta. A literatura aponta, tambm, a relao entre o tipo de arranjo institucional e o grau de sistematizao dos mecanismos de monitoramento de desempenho. No caso em questo, a existncia de uma instituio especificamente voltada para a produo e disseminao de informaes educacionais moldou um sistema de avaliao com as seguintes caractersticas: a) formal, isto , de carter compulsrio 11 e periodicidade regular; b) centralizado, do ponto de vista da responsabilidade pela sua concepo e implementao; e c) externo, sob a perspectiva da posio do avaliador em relao ao objeto investigado.12 Porm, esta forma de organizao das atividades de avaliao tambm apresenta desvantagens. Por um lado, o relativo insulamento da instituio responsvel pelo sistema diante dos demais atores do sistema educacional garante o acesso aos recursos materiais e de poder necessrios implementao de um projeto desta envergadura. Por outro lado, este mesmo insulamento dificulta a articulao com atores relevantes, o que afeta a legitimidade da avaliao e as chances de uso efetivo das informaes produzidas. Envolvimento dos atores relevantes lugar comum dizer que os atores que tm seus interesses afetados pelo sistema de avaliao devem participar ativamente de todas as etapas do processo. Entretanto, este preceito no facilmente transportado para a prtica. Um dos maiores desafios do Saeb ainda criar mecanismos que efetivamente garantam a representao dos atores relevantes na definio das principais caractersticas da investigao.

RSP

101

O primeiro passo identificar quem so os atores relevantes. Podese dizer, utilizando o conceito de forma abrangente, que estes atores no so apenas aqueles diretamente atingidos pela divulgao dos resultados da avaliao, os gestores educacionais. Os atores mobilizados durante a implementao do sistema, como, por exemplo, a equipe tcnica das Secretarias Estaduais de Educao, tambm deveriam ser alados condio de interlocutores privilegiados, mesmo porque o apoio desta equipe fundamental nas etapas de amostragem e de levantamento de campo. O caso dos municpios e das escolas tambm mereceria ateno especial. Como o desenho da amostra no permite que se faam inferncias individuais nestes nveis de agregao, cria-se uma situao muito peculiar. A cada dois anos municpios, escolas e alunos includos na amostra so mobilizados para aplicar as provas do Saeb. Porm, em funo das caractersticas da avaliao, focada no sistema educacional, eles nunca se reconhecem nos resultados divulgados, que se referem aos Estados e ao Brasil. Mesmo no que diz respeito aos atores tradicionalmente reconhecidos, os Secretrios Estaduais de Educao, ainda no se alcanou a situao desejada. O papel de instncias como o Comit Consultivo do Saeb (Comsaeb) poderia ser ampliado, de forma a dar mais transparncia e legitimidade s decises sobre caractersticas estratgicas do sistema. Deve-se considerar, inclusive, a possibilidade de criar foros deliberativos, instituindo um modelo de gesto compartilhada do sistema. A despeito da dificuldade de equilibrar interesses dspares, e, muitas vezes contraditrios, fundamental adotar uma abordagem participativa no gerenciamento de sistemas de avaliao desta envergadura. O estabelecimento de parcerias com os atores-chave essencial para a efetiva utilizao das informaes produzidas. Caso contrrio, o sistema fica reduzido sua dimenso formal, e a tendncia que seja encarado com indiferena ou at mesmo com hostilidade. A consulta e o envolvimento dos atores relevantes condio sine qua non para a legitimidade e a efetividade dos sistemas de avaliao. Definio dos objetivos de avaliao A definio dos objetivos da avaliao uma etapa de fundamental importncia. Dela depende o desenho da populao-alvo, a seleo das metodologias a serem utilizadas, a elaborao do plano de anlise dos dados e a estratgia de disseminao dos resultados. Problemas nesta etapa geram um vcio de origem que dificilmente pode ser contornado nas etapas posteriores do processo avaliativo. Definir o que se quer avaliar uma tarefa difcil, particularmente na ausncia de uma cultura de avaliao consolidada. De modo geral, no

RSP

102

se sabe que tipo de informao a avaliao fornece nem como ela pode ser utilizada na melhoria do sistema educacional. Mesmo nestas condies desfavorveis, imprescindvel ouvir os usurios diretos e potenciais das informaes quando da definio do objeto e do propsito da avaliao. Os interesses e necessidades desses atores devem ser levados em conta, caso se queira aumentar a efetividade do sistema. Aps dez anos de existncia, possvel que o Saeb no esteja mais atendendo s demandas de informao de seus principais usurios. As profundas mudanas que transformaram o cenrio educacional brasileiro nos ltimos anos certamente alteraram as prioridades dos gestores do sistema, bem como o seu entendimento da questo da qualidade da educao. Neste contexto, seria necessrio estabelecer um novo pacto com os atores relevantes, por meio da instituio de mecanismos de consulta e da criao de foros permanentes de participao. Desta forma, se garantiria a ligao do Saeb com o processo decisrio, permitindo que o sistema cumprisse o seu objetivo primordial. Adequao do desenho da avaliao Definidos o objeto e o propsito da avaliao, elabora-se um plano de investigao que viabilize a coleta de dados de boa qualidade, que serviro como base para a produo de informaes relevantes, acuradas, vlidas e confiveis. O desenho da avaliao se refere s caractersticas tcnicas e metodolgicas da investigao, materializadas no plano amostral, na elaborao dos instrumentos de coleta de dados, nos procedimentos para construo e interpretao das escalas de desempenho e na anlise das variveis includas nos questionrios contextuais. A metodologia de amostragem do Saeb tem variado sensivelmente de um ciclo de levantamento de dados para outro. Ainda que os planos amostrais tenham sido sucessivamente aprimorados, essas variaes limitam as possibilidades de anlise da srie histrica de resultados, fazendo que as expectativas dos usurios no possam ser plenamente atendidas. Entretanto, o principal problema do desenho do Saeb a ausncia de um referencial terico para a interpretao das estimativas de desempenho. Avaliar , por definio, comparar a situao real com a situao ideal, o que s pode ser feito se houver um padro mnimo de desempenho considerado desejvel. Segundo a literatura especializada, uma boa avaliao deve ter critrios relevantes, apresentar evidncias adequadas e produzir concluses confiveis e claras. A experincia internacional mostra que a definio de standards de desempenho no , de forma alguma, uma questo trivial. Trata-se de um tema politicamente sensvel, capaz de gerar controvrsias que ultrapassam as fronteiras do sistema educacional. No Brasil, esta discusso

RSP

103

ainda mais difcil, devido inexistncia de um currculo nacionalmente vlido. Com a Lei de Diretrizes e Bases da Educao Nacional (LDB), de 1996, Estados, municpios e at mesmo estabelecimentos de ensino passaram a ter autonomia para definir suas propostas curriculares. Neste contexto, natural que haja dificuldade em criar consenso sobre os conhecimentos e habilidades que os alunos brasileiros devem demonstrar em determinados estgios do ensino fundamental e mdio. A soluo encontrada pelo Saeb foi buscar o que havia de comum nas propostas curriculares estaduais e, com base neste referencial, definir o que seria avaliado nos testes de desempenho. Surgiram assim as Matrizes Curriculares de Referncia , documento cuja elaborao iniciou-se em 1996, por meio de uma ampla consulta nacional sobre contedos praticados nas escolas brasileiras de ensino fundamental e mdio e a reflexo de professores, pesquisadores e especialistas sobre a produo cientfica em cada rea que se torna objeto de conhecimento escolar. (Pestana et al., Inep, 1999) As matrizes, entretanto, no conseguem suprir a falta de um modelo de ensino e aprendizagem e de padres de desempenho claramente estabelecidos. Devido grande distncia entre o que consta das propostas curriculares estaduais, o que efetivamente ensinado em sala de aula e o que os alunos realmente aprendem fica difcil de dizer com que rgua se deve medir o desempenho dos alunos, ainda mais considerando a grande heterogeneidade que caracteriza o sistema educacional brasileiro. Pode-se dizer que o Saeb ainda carece de critrios de avaliao propriamente ditos, o que compromete seriamente as perspectivas de efetiva utilizao dos resultados. Sem padres de avaliao, a interpretao das estimativas de desempenho acaba se restringindo a comparaes entre diferentes segmentos da populao de alunos, como os rankings que ordenam os Estados por ordem decrescente de desempenho. Na falta de um referencial terico, uma avaliao referida a critrio, que tem funo diagnstica, indevidamente transformada em uma avaliao referida norma, que tem funo de discriminar os grupos de alto e baixo desempenho. A questo dos standards de avaliao s ser adequadamente enfrentada por meio de um amplo processo de discusso. tarefa de toda a sociedade definir os conhecimentos, habilidades e competncias que o sistema educacional deve desenvolver nos alunos, para promover sua insero no mercado de trabalho e criar condies para o exerccio pleno da cidadania. A questo da implementao A avaliao educacional em larga escala supe a padronizao dos procedimentos de coleta e processamento dos dados. Portanto, a forma

RSP

104

como o sistema de avaliao implementado influencia a qualidade e a disponibilidade de informaes. Falhas operacionais podem ocasionar problemas srios como um nmero muito alto de respostas faltantes (missing), inviabilizando inferncias sobre determinados estratos da amostra. Equvocos na administrao dos testes levam ao expurgo dos dados incorretos e podem chegar a comprometer completamente as estimativas de desempenho. Por estes motivos, a logstica das operaes de campo merece especial ateno. Em um sistema de abrangncia nacional como o Saeb, a capacidade de planejamento um fator crtico para o sucesso da avaliao. A participao das equipes tcnicas das Secretarias Estaduais de Educao, nesta etapa, fundamental, no apenas devido sua maior proximidade das escolas amostradas, mas tambm como uma forma de envolv-las ativamente no processo, o que no acontece quando elas se limitam a cumprir orientaes emitidas pelo rgo central. Alm disso, como via de regra as operaes de campo so terceirizadas, importante definir pormenorizadamente especificaes para todas as etapas operacionais, com especial nfase no treinamento das equipes responsveis pela preparao e aplicao dos testes. E, para evitar problemas futuros, deve-se acompanhar passo a passo a execuo dessas etapas. A adoo de mecanismos independentes de controle de qualidade sempre uma medida recomendvel. A divulgao dos resultados O calcanhar-de-aquiles do Saeb , sem dvida, a estratgia de divulgao dos resultados. Neste campo, h problemas de todos os tipos: a) dificuldade em identificar os principais usurios; b) inadequao dos produtos de divulgao para as audincias visadas; c) problemas no timing da divulgao; d) problemas de articulao com os atores do sistema educacional; e e) dificuldade de adequar as informaes para a linguagem da mdia. De certa forma, a falta de efetividade na comunicao das evidncias do Saeb tem a ver com o tipo de informao produzida. A divulgao das estatsticas do Censo Escolar, por exemplo, uma tarefa muito mais simples. Os dados censitrios, como o prprio termo indica, referem-se a todos os elementos do universo considerado (escolas, professores, populao estudantil). Por isso, o que se divulga so estatsticas descritivas, diretamente interpretveis, no requerendo do leitor habilidades alm da leitura de quadros e tabelas. Os dados gerados por sistemas de avaliao, por sua vez, geralmente so pouco amigveis, exigindo o manejo de conceitos sofisticados relacionados com a amostragem (amostra aleatria e representativa, estratos, erro amostral) e com o entendimento das escalas de desempenho (noo de escala, anlise de tendncias etc.).

RSP

105

Por outro lado, os problemas de comunicao se devem dificuldade de interpretao dos resultados. As razes para isso vo desde a j mencionada falta de critrios claros e consensuais para contrastar o emprico com o ideal at contradies mais profundas do modelo de avaliao. O objetivo do Saeb fornecer um diagnstico da qualidade do ensino ministrado em todo sistema educacional. Porm, a forma como o sistema est estruturado, tendo em vista a autonomia poltica e administrativa de Estados e municpios e a superposio de competncias entre as diferentes esferas de governo, dificulta a interpretao dos resultados nesse nvel de agregao. Por exemplo: ao analisar o desempenho dos alunos de determinado Estado, como separar a influncia das polticas estaduais, as iniciativas dos gestores municipais e as aes no mbito da escola? evidente que o gestor estadual no tem governabilidade sobre todas as aes que incidem sobre a qualidade do ensino ministrado. Esta situao paradoxal faz que os usurios das informaes de avaliao no se reconheam nos resultados obtidos, alm de dificultar a responsabilizao dos gestores pblicos perante a sociedade. At o ciclo de 1997, por limitaes da amostra do Saeb, os secretrios estaduais no tinham elementos para estabelecer um nexo entre sua atuao diante das Secretarias de Educao e os resultados alcanados no exame. A partir de 1999, o desenho amostral passou a permitir estimativas de desempenho por rede (estadual e municipal) em quase todas as unidades da Federao, apesar de continuarem no fornecendo resultados por escola e por turma. Este foi um importante avano, o qual deveria ser mantido nos prximos ciclos de avaliao. Mesmo sabendo que a educao , por definio, um fenmeno social influenciado por mltiplos fatores, internos ou externos escola e ao sistema educacional, deve-se admitir que, em nveis mais altos de agregao, quase impossvel explicar o desempenho sem lanar mo de procedimentos estatsticos sofisticados. Este fato torna a interpretao dos resultados de avaliaes como o Saeb um exerccio analtico complexo, dado que no h uma explicao nica para as estimativas e as tendncias de evoluo do desempenho. Por tudo o que foi exposto, fcil compreender por que, aps dez anos de existncia, o Saeb ainda enfrenta dificuldades em produzir informaes oportunas, pertinentes, significativas e acessveis ao grande pblico. Como este um desafio comum a todas as iniciativas de avaliao educacional, fundamental buscar nas experincias internacionais subsdios para aprimorar continuamente nossa capacidade de comunicar os resultados da avaliao, condio fundamental para a sua plena utilizao.

RSP

106

O lado da demanda A cultura de avaliao Por mais que se tenha avanado, nos ltimos anos, na rea de avaliao educacional, ainda no se pode dizer que h uma cultura de avaliao no Brasil. De fato, mesmo em pases que tm tradio na rea, so necessrios muitos anos antes para que a cultura de avaliao esteja verdadeiramente consolidada. Pode-se dizer que isto aconteceu com: a) apoio avaliao por parte de atores que ocupam posieschave no governo ou em outras esferas do sistema educacional; b) demanda regular pelas informaes de avaliao em todos os nveis do sistema; c) registro de experincias bem-sucedidas de utilizao das informaes de avaliao para subsidiar o processo decisrio; d) profissionalizao das atividades de avaliao nas esferas pblica e privada; e e) consolidao da avaliao educacional como campo de investigao acadmica. A criao de uma cultura de avaliao depende, portanto, de um processo de aprendizado coletivo que, no Brasil, foi recentemente iniciado. Para garantir a sua continuidade, essencial continuar investindo no aprimoramento dos sistemas existentes no tocante interpretao e divulgao de seus resultados. S assim ficar patente para a sociedade o valor da avaliao como mecanismo de apoio ao processo decisrio. A qualidade da demanda importante incrementar a demanda por avaliao no apenas do ponto de vista quantitativo, mas tambm qualitativo. A qualidade da demanda depende da disseminao do conhecimento sobre o que e para que serve a avaliao. Este conhecimento permite a definio, de forma participativa, de objetivos claros para o sistema, criando condies favorveis utilizao das informaes produzidas. Cria-se assim um crculo virtuoso que impulsiona a expanso das atividades de avaliao. Devido falta de interlocutores na academia, no Brasil a qualificao da demanda tem freqentemente ocorrido na prtica por meio de cooperao tcnica vertical e horizontal, ou por meio de eventos nos quais as experincias de avaliao educacional so compartilhadas e submetidas ao escrutnio de especialistas e gestores de projetos na rea. Entretanto, apenas a criao de centros de pesquisa em avaliao educacional e a capacitao contnua de recursos humanos em avaliao propiciar a formao da massa crtica necessria ao aprimoramento dos sistemas de avaliao existentes.

RSP

107

As expectativas dos stakeholders As expectativas dos principais usurios so determinantes para o aproveitamento das informaes de avaliao no processo decisrio. preciso que eles saibam exatamente para que serve um estudo desta natureza e que estejam conscientes das limitaes impostas pelo desenho da investigao. No caso do Saeb, por exemplo, o desenho da amostra impede que sejam feitas inferncias sobre municpios, escolas e turmas. Tambm h restries na interpretao da srie histrica de resultados. E, principalmente, deve-se ter clareza de que o propsito do SAEB fornecer um diagnstico do desempenho dos alunos brasileiros, e no propriamente explicar os resultados. Como foi mencionado anteriormente, o estabelecimento de nexos de causalidade requer o uso de metodologias estatsticas sofisticadas, como os modelos hierrquicos. O que pode e deve ser feito planejar a incluso deste tipo de estudo no plano de disseminao dos resultados.

RSP

Consideraes finais
O impacto da avaliao no processo decisrio depende da capacidade de avaliar e da disposio em utilizar os resultados da avaliao. A anlise da experincia do Saeb mostra que no basta cuidar da qualidade tcnica e metodolgica do estudo; necessrio um esforo deliberado para promover a incorporao das informaes de avaliao no ciclo de polticas pblicas. Isto especialmente verdadeiro na ausncia de uma cultura de avaliao consolidada. Os gestores educacionais geralmente desconhecem o potencial da avaliao como instrumento para o desenho e a reviso de polticas. Alm disso, a lgica do processo decisrio na administrao pblica brasileira torna-o, at certo ponto, impermevel a informaes objetivas. A formulao de polticas tende a acontecer em um ambiente de baixa racionalidade, em que critrios histricos de alocao de recursos e clculos polticos ainda tm peso considervel. Contudo, importante saber reconhecer os tipos de deciso nos quais as informaes de avaliao podem ser teis. Variveis como o timing do processo decisrio, a existncia de cursos alternativos de ao disponveis e o grau de transparncia das decises devem ser consideradas. De maneira geral, o impacto das informaes de avaliao cumulativo, ou seja, tais informaes nem sempre provocam mudanas imediatas em polticas e programas, mas elas servem, via de regra, para aumentar o conhecimento acumulado sobre uma dada situao ou forma de interveno na realidade social.

108

Para que a avaliao efetivamente direcione o processo decisrio, portanto, necessrio que trs condies sejam cumpridas: disponibilidade de informaes de boa qualidade (relevantes, acuradas, vlidas e confiveis); estabelecimento de canais de comunicao permanente com os principais usurios; e capacidade de adaptao ao ambiente poltico e burocrtico.

RSP

Notas

7 8

10

11

A avaliao em larga escala se caracteriza pela estandardizao dos procedimentos de coleta e de processamento de dados. A literatura distingue tambm a avaliao formativa, utilizada para monitorar o processo de aprendizagem durante a instruo, e a avaliao somativa, realizada ao final de um curso ou unidade de instruo, para determinar a extenso em que os objetivos foram alcanados ou para verificar se os alunos dominaram aspectos especficos do aprendizado. Esta definio de uma avaliao referida a critrio, em que os resultados so interpretados em funo do domnio delimitado de competncias a que se refere a avaliao e da existncia de um nvel de desempenho previamente definido como satisfatrio ou insatisfatrio. Em contrapartida, a avaliao referida norma interpreta os resultados com base em normas obtidas em amostras representativas de indivduos (Pasquali, 1999). A avaliao institucional abrange outras dimenses como a infra-estrutura das instituies escolares, os processos de gesto, formao, qualificao e produtividade dos recursos humanos, entre outros. H vrios outros mecanismos para obteno de feedback sobre polticas e programas pblicos, como os sistema de auditoria, monitoramento do desempenho e anlise poltica (OECD, 1999). Avaliao e mensurao so conceitos distintos, ainda que intimamente relacionados. Avaliao um termo mais abrangente e inclusivo do que mensurao, que estritamente quantitativo e no envolve julgamentos de valor. Ver seo. Definio dos objetivos de avaliao. O Saeb se baseia em um modelo analtico que tem a proficincia como varivel dependente (conjunto de habilidades, apresentado em uma escala contnua, evidenciadas pelo desempenho dos alunos nas disciplinas especficas: o que sabem, compreendem e so capazes de fazer.). Ver: Saeb/95: Relatrio Final. Braslia, Inep, 1998. Informaes detalhadas sobre o desenho e o comportamento da amostra podero ser obtidas no Relatrio Metodolgico da Amostra do Saeb, 1999. Como o Comit Consultivo do Saeb Comsaeb, formado por representantes do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), por Secretrios Estaduais indicados pelo Conselho Nacional de Secretrios de Educao (Consed), pelos titulares das secretarias finalsticas do MEC e por membros da Unio Nacional dos Dirigentes Municipais de Educao (Undime). O termo compulsrio deve ser utilizado com cautela neste contexto, uma vez que a adeso das unidades da Federao ao Saeb voluntria.

109

12

Em contrapartida, o Saeb apresenta uma caracterstica tpica de sistemas informais de avaliao, o foco no processo decisrio do poder executivo e no na prestao de contas ao Poder Legislativo (OECD, 1999: 26).

RSP

Referncias bibliogrficas

AGUILLAR, M.J. e ANDER-EGG, E. (1994), Avaliao de servios e programas sociais. Petrpolis, RJ: Vozes. CHEIBUB FIGUEIREDO, A. e FIGUEIREDO, M. (1986), Avaliao poltica e avaliao de polticas: um quadro de referncia terica. Anlise e Conjuntura , Belo Horizonte: Fundao Joo Pinheiro, v. 1, no 3, set/dez., p. 107-127. COHEN, E. e FRANCO, R. (1993), Avaliao de projetos sociais. Petrpolis, RJ: Vozes. EBAP/FGV. (1992), Projeto: avaliao de programas pblicos (Sntese do documento produzido pelo General Accounting Office GAO/PMED, 10.1.2, march 1992. The Evaluation Synthesis, Rio de Janeiro). GODFREY, M. (1987), Monitoring the utilization of educated manpower, in Monitoring Labour Markets, International Labour Organization. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS. (1999), Estudo Comparativo dos Resultados do SAEB 1995 e 1997. . (1998), SAEB 95: Relatrio final. Braslia. . (1998), SAEB 97: Primeiros resultados. Braslia. OECD. (1999), Improving evaluation practices: best practices guideline for evaluation and background paper. PUMA/PAC (99)1, Paris. ONU, Grupo do CAC. (1984), Seguimiento y evaluacin. Pautas bsicas para el desarrolo rural. Roma: FAO. PASQUALI , L. (ed.) (1999), Instrumentos psicolgicos: manual prtico de elaborao. LabPAM/IBAPP, Braslia. PESTANA , M. I. G. et. al. (1999), Matrizes curriculares de referncia para o SAEB. 2a ed. rev. ampl. Braslia: Instituto Nacional de Estudos e Pesquisas Educacionais. POSAVAC, E.J. e CAREY, R.G. (1992), Program evaluation: methods and case studies. Englewood Cliffs, New Jersey: Prentice Hall, 4a ed. ROSSI, P. e FREEMAN, H. (1989), Evaluacin: un enfoque sistematico. Sage Publications Inc., caps. IV e V. SECRETARIA DE DESENVOLVIMENTO, INOV AO E AV ALIAO EDUCACIONAL/MINISTRIO DA EDUCAO E DO DESPORTO. (1995), Relatrio do 2o ciclo do Sistema Nacional de Avaliao da Educao Bsica (SAEB) 1993. Braslia. SECRETARIA NACIONAL DE AVALIAO DA EDUCAO BSICA /MINISTRIO DA EDUCAO. (1991), Relatrio preliminar dos Sistema de Avaliao do Ensino Pblico de Primeiro Grau Ciclo de 1990. Braslia. SULBRANDT, J. (1993), La evaluacon de los programas sociales: una perspectiva crtica de los modelos usuales. CLAD. VIANA , A.L. (1996), Abordagens metodolgicas em polticas pblicas. RAP, v.3, no 2, mar/abr., p. 5-43.

110

Resumo Resumen Abstract

RSP
Revista do Servio Pblico Ano 52 Nmero 4 Out-Dez 2001

Avaliao educacional e polticas pblicas: a experincia do Sistema Nacional de Avaliao da Educao Bsica (Saeb)
Tereza Cristina Cotta O objetivo do paper investigar em que medida os dados de avaliao e, em particular, os dados coletados pelo Sistema Nacional de Avaliao da Educao Bsica (Saeb), tm sido transformados em informaes teis para subsidiar decises conducentes melhoria da qualidade da educao brasileira. Buscando responder a esta indagao, este artigo analisa os fatores que, de acordo com a literatura especializada, determinam a utilizao dos resultados da avaliao.

Evaluacin educacional y polticas pblicas: la experiencia del Sistema Nacional de Evaluacin de la Educacin Bsica Saeb
Tereza Cristina Cotta El objetivo del paper es investigar en qu medida los datos de evaluacin y, en particular, los datos recolectados por el Sistema Nacional de Evaluacin de la Educacin Bsica (Saeb), han sido transformados en informaciones tiles para subsidiar decisiones que conduzcan a la mejora de la calidad de la educacin brasilea. Buscando responder a esta indagacin, este artculo analiza los factores que, de acuerdo con la literatura especializada, determinan la utilizacin de los resultados de la evaluacin.
Tereza Cristina Cotta mestre em Cincia Poltica pela Universidade Federal de Minas Gerais (UFMG) e membro da carreira de Especialista em Polticas Pblicas e Gesto Governamental (EPPGG). Contato: tereza.cotta@ enap.gov.br

Educational evaluation and public policies: the National System of Basic Education Evaluation experience
Tereza Cristina Cotta The objective of this paper is to investigate to what extent the evaluative data and, particularly, the data collected by the National System of Basic Education Evaluation have been used to inform decisions aiming to improve the quality of Brazilian education. Trying to answer this question, this paper analyses the factors that, according to the specialized literature, determine the utilization of the evaluation results in the decision making process.

111