O LABORATRIO LATINO-AMERICANO DE AVALIAO DA QUALIDADE DA EDUCAO: um mecanismo de integrao poltico-social Maria Helena Guimares de Castro* Maria Ins Gomes

de S Pestana** Maria Alejandra Schulmeyer Marte***

do desempenho dos sistemas escolares, originando o desenvolvimento de diversas modalidades de avaliao dos sistemas de ensino, em um grande nmero de pases. Assim, nos Estados Unidos, praticamente todos os estados esto desenvolvendo ou reformulando profundamente seus sistemas prprios de avaliao do desempenho escolar. Da mesma maneira, diversos pases europeus tm includo os sistemas de ensino e sua avaliao nas pautas de negociao de acordos que do sustentao ao processo de unificao e de reorganizao poltica e econmica, estabelecendo acordos de cooperao mtua na rea. Na Amrica Latina, os sistemas nacionais de avaliao da qualidade da educao comearam a se desenvolver no Brasil e no Chile, a partir de 1988. Os demais pases tomaram iniciativas nessa direo somente na dcada de 90, com a exceo de Cuba, que desenvolve trabalhos nessa rea desde 1975. Na verdade, h ainda um baixo nvel de experincias acumuladas na regio, no campo da avaliao do rendimento escolar, uma vez que as avaliaes existentes eram limitadas e especficas, sendo utilizadas basicamente para a promoo e o acesso a nveis educacionais superiores. No Brasil, pode-se constatar que a ampliao do interesse e das atividades na rea de avaliao sistemtica do sistema educacional, em todos os nveis de ensino e esferas de governo, vem destacando a avaliao sobretudo como uma atividade poltica e administrativa. Nesse sentido, o Ministrio da Educao e do Desporto (MEC), assumindo a responsabilidade que lhe cabe, vem estruturando um processo de avaliao da educao bsica, em escala nacional, o Sistema Nacional de Avaliao da Educao Bsica (Saeb), a fim de fornecer subsdios para apoiar a formu-

Introduo Nos anos 80, as mudanas nas condies de competio no mercado mundial tornaram mais evidentes as vantagens comparativas das sociedades que haviam elevado a qualidade educativa de seus trabalhadores e dirigentes. O enfrentamento dos novos desafios colocados pelas mudanas em curso afetou intensamente a agenda de reformas e a redefinio das polticas educacionais. Temas como a eficincia do funcionamento das escolas, de modo a maximizar os resultados de alocao dos recursos disponveis e, sobretudo, a qualidade dos resultados ganharam destaque. Ampliaram-se e aprofundaram-se as anlises de eficincia da administrao escolar, com nfase nas mensuraes de ganhos de aprendizagens e de eficcia dos currculos e, mais recentemente, as de aquisio e domnio de competncias e habilidades cognitivas. Em conseqncia, esta ltima dcada se caracterizou pela enorme importncia atribuda aos processos e procedimentos de avaliao
* Secretria de Avaliao e Informao Educacional. ** Diretora do Departamento de Avaliao da Educao Bsica. ***Consultora do Projeto MEC/Sediae/Pnud.

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

lao, a reformulao e o monitoramento de polticas voltadas para a melhoria da qualidade da educao no Brasil.

As despesas seriam demasiadamente elevadas, para as quais no haveria fontes de financiamento. Por isso, to necessria a realizao das reformas educacionais que cada pas, a seu modo, vem promovendo nos ltimos anos. O documento Recomendao para a Execuo do Projeto Principal de Educao na Amrica Latina e o Caribe (Unesco), para o perodo 1993-1996, analisa as possveis causas do baixo grau de sucesso das reformas educativas na Amrica Latina. Assinala que os resultados esperados no vm sendo alcanados em razo da instabilidade das polticas educativas, de sua descontinuidade e da forte dependncia de sucessivas autoridades governamentais. Indica, tambm, as limitaes relativas informao disponvel para desenhar estas reformas. Finalmente, aponta para a dificuldade em fazer com que as medidas adotadas realmente produzam efeitos na sala de aula. Diante da situao descrita, o documento citado sugere algumas alternativas de soluo. Em relao descontinuidade das polticas, sugere a necessidade de estabelecer consensos e acordos bsicos na formulao das mesmas. Quanto s limitaes da informao, recomenda a implantao de sistemas adequados para a sua coleta e processamento. Finalmente, quanto ao impacto das polticas na sala de aula, na ponta do sistema, recomenda que o desenho da reforma incorpore um componente de conduo e acompanhamento sistemtico da aplicao e dos efeitos das medidas. Detectada a necessidade, surgiu depois a possibilidade, por meio dos programas promovidos pela Unesco/Orealc, de desenvolvimento de ferramentas teis para promover uma gesto educativa

A reforma dos sistemas educativos nacionais da Amrica Latina e do Caribe O Projeto Principal de Educao na Amrica Latina e o Caribe atua na regio por meio de diferentes programas, tentando unificar critrios com vistas concretizao de seus trs objetivos principais: Promover a escolarizao de todas as crianas em idade escolar e garantir a educao bsica. Oferecer aos alfabetizao. adultos os servios educativos para sua

Promover e impulsionar a qualidade e a eficincia dos sistemas educativos. Sem dvida, a consecuo desses fins e a necessidade de superao da defasagem entre as caractersticas dos sistemas educativos e os requerimentos individuais e sociais sempre foram motivo de preocupao de todos os pases. Porm, dificilmente poder-se-ia pensar que cada pas atingiria essas metas, em um lapso de tempo relativamente curto, tendo que, ao mesmo tempo, financiar a implantao de um novo sistema, manter o sistema vigente e executar polticas especiais.

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

moderna e responsvel por seus produtos, tema que est adquirindo crescente relevncia nos pases da regio. Nesse novo estilo de gesto, preciso incorporar, como parte integrante dos planos e programas, os nveis de proficincia e os indicadores de qualidade do aprendizado escolar. Conseqentemente, ser necessrio aplicar procedimentos de medio e avaliao dos resultados obtidos em cada programa. Alm disso, indispensvel definir os indicadores que devero retroalimentar permanentemente o sistema de gesto para aperfeio-lo, uma vez que a melhoria dos nveis e da qualidade do aprendizado pode ser alcanada atravs de dois eixos de ao: o institucional e o pedaggico. Em relao ao eixo institucional, interessa ressaltar o papel fundamental que corresponde aos Ministrios da Educao dos respectivos pases na determinao de padres nacionais cada vez mais exigentes para a escolarizao da populao. Esses padres devem estar voltados para o desenvolvimento de aprendizados mais complexos, tais como o pensamento lgico e as competncias e habilidades para a resoluo de problemas. Outra responsabilidade de um sistema moderno de gesto escolar a incorporao de sistemas de medio e avaliao dos produtos do sistema educacional, visto que um sistema educativo, que pretenda antecipar-se s demandas futuras, dever desenvolver uma poltica de fomento s inovaes que permita incentivar, conduzir, avaliar, sistematizar e divulgar, apropriadamente, seus produtos. Em relao ao eixo pedaggico, o aprendizado da leitura, da escrita e da matemtica parecem ser os indicadores fundamen-

tais da qualidade da educao bsica, principalmente para o ciclo formado pelos trs ou quatro primeiros anos de escolarizao. Esses aprendizados facilitam o acesso cultura e ao desenvolvimento pessoal, por seu carter formativo, base para um aprendizado contnuo, necessrio formao de cidados competentes, aptos a participar plenamente da vida democrtica e do mundo do trabalho.

O Laboratrio Latino-Americano de Avaliao da Qualidade da Educao Dando seguimento s recomendaes da PROMEDLAC V, realizada em Santiago do Chile, em 8 de julho de 1993, que indicava a necessidade de ser criada uma instncia que pudesse unificar critrios em relao s polticas educativas para a Amrica Latina e o Caribe, na VI Reunio Tcnica da Rede Regional de Planificao e Gesto Educativa (Replad), realizada de 16 a 20 de maio de 1994, em Campinas, Brasil, foi aprovada a idia da criao do Laboratrio Latino-Americano de Avaliao da Qualidade da Educao.

O que o Laboratrio O Laboratrio um recurso tcnico que a Unesco coloca disposio dos pases latino-americanos, constituindo-se um mbito tcnicopoltico de discusso da problemtica do aprendizado e de suas variveis relacionadas. O Laboratrio foi criado oficialmente no dia 10 de novembro de 1994, na Cidade do Mxico, onde foi estabelecida uma estrutura

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

de coordenadores nacionais e uma secretaria executiva junto Oficina Regional de Educao para Amrica Latina e o Caribe (Orealc), sediada em Santiago do Chile, contando com a participao dos seguintes pases: Argentina, Bolvia, Brasil, Chile, Colmbia, Costa Rica, Cuba, El Salvador, Honduras, Mxico, Paraguai, Peru, Repblica Dominicana e Venezuela. Um trabalho da abrangncia do Laboratrio requer muitos insumos, tanto tcnicos e polticos quanto econmicos. O financiamento das atividades propostas para os prximos dois anos (1997 e 1998) ser feito pelo Banco Interamericano de Desenvolvimento (BID), pelos governos brasileiro e chileno, com a utilizao dos Fundos de Operaes Especiais (FOE), do BID destes dois pases. Contar, tambm, com a contribuio da Unesco/Orealc, da Fundao Ford e, ainda, com o aporte de recursos dos demais pases integrantes do Laboratrio.

O fomento s mudanas educativas que permitam alcanar tais padres. Aformao de recursos humanos que possibilitem as mudanas. Para a consecuo dos fins propostos, o projeto desenvolve cinco componentes principais: Redesenhar, elaborar e colocar em prtica um sistema de avaliao da qualidade dos aprendizados em Lngua e em Matemtica, nos nveis de educao bsica dos pases da regio. Estabelecer um sistema de acompanhamento, monitorao e disseminao dos resultados da avaliao, de modo a motivar e a capacitar os dirigentes educacionais na utilizao desses resultados, na tomada de decises sobre reformas e polticas educativas. Desenvolver um programa de investigaes sobre os fatores associados qualidade da educao bsica. Fortalecer a capacidade tcnica dos Ministrios da Educao, na rea de avaliao da qualidade. Fortalecer o Laboratrio Latino-Americano de Avaliao da Qualidade da Educao como instncia de execuo do projeto, de coordenao dos pases participantes e de prestao de assistncia tcnica aos mesmos.

Objetivos do Laboratrio O Laboratrio, como um projeto de cooperao regional, tem por objetivo a promoo de processos de gesto educacional comprometidos com a melhoria de resultados e do nvel de proficincia dos alunos, o que dever resultar na elevao dos padres de qualidade dos sistemas de ensino dos 14 pases envolvidos. So objetivos primordiais: A identificao e a avaliao dos padres do aprendizado escolar para a regio.

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

Benefcios esperados Para a regio: Conhecimento do nvel de aprendizado alcanado pelos alunos. Obteno de dados comparativos entre os paises, tal como acontece na sia, na Comunidade Europia e na OCDE. O Laboratrio ser a ferramenta para a obteno desses resultados, uma vez que a regio carece de um sistema de avaliao que os proporcione. Desenvolvimento de instrumentos atualizados e confiveis para a definio de polticas educacionais com os quais os governos podero contar. Destinao de recursos quelas reas que, eventualmente, tenham um maior impacto na melhoria da qualidade da educao nos pases latino-americanos. Estabelecimento de um centro de capacitao e assessoria permanente aos pases que recentemente comearam a desenhar um sistema de avaliao. Consolidao do Laboratrio como uma ferramenta que pode orientar os pases no uso mais produtivo dos recursos disponveis, incluindo os recursos humanos.

Ampliao do debate sobre padres nacionais de qualidade da educao. Disseminao e fortalecimento dos processos de avaliao no interior do sistema educacional. Comparao do sistema educacional do Brasil com os sistemas educacionais dos demais membros integrantes do Mercosul (com exceo do Uruguai) e da Amrica Latina. Desenvolvimento e transferncia de tecnologia na rea de avaliao.

O marco terico do Laboratrio O sistema de indicadores, proposto pelo Laboratrio para ser representativo do nvel de qualidade da educao, foi construdo levando em conta os objetivos do Laboratrio, os estudos internacionais sobre as variveis incidentais que tiveram um potencial explicativo sobre os resultados do processo educativo e a viabilidade de serem estimados de forma ampla. O esquema interpretativo proposto abrange seis reas (e suas variveis) relacionadas ao aprendizado escolar, com dois tipos de incidncia de insumo e de processo. As seis reas de variveis incidentais so: a poltica scio-educacional, a famlia do aluno, a escola, o aluno, o currculo e o professor. Considera os nveis e a qualidade do aprendizado escolar como um conjunto de variveis indicativas do produto do sistema de educao formal

Para o Brasil: Apoio inovao, ao intercmbio de experincias e gerao de capacidades para a avaliao da qualidade da educao no Pas.

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

e procura analisar os diferentes indicadores de forma relacional e complementar: insumos-processos, processos-produtos, produtosinsumos. Os estudos internacionais comparados, como o que est realizando o Laboratrio, incluem milhares de estudantes que se submetem a provas padronizadas, previamente validadas, baseadas em seus programas de ensino ou adaptadas a outras necessidades intra e extra-escolares. As provas tm por objetivo avaliar o rendimento do aluno, de forma tal que seja possvel quantific-lo e compar-lo com os de outros pases. Por vezes, as provas so tambm utilizadas para correlacionar seus resultados com outros indicadores, tais como: a estrutura dos planos e programas de ensino, a idoneidade dos professores, as tecnologias do ensino e os recursos escolares, entre outros. A finalidade desses estudos oferecer um modelo amplo onde seja possvel apreciar os efeitos globais do ensino sobre o aprendizado. Os estudos em andamento Dentro das aes do Laboratrio, e em conformidade com os acordos firmados na Reunio de Coordenadores de Caracas, realizada em setembro de 1995, determinou-se a realizao de um estudo de medio transversal, avaliando a aprendizagem acumulada at a 3a srie do ensino bsico. Esse estudo tem sua durao estimada em dois anos. A deciso de realizar uma medio do rendimento do aluno ao final do primeiro ciclo de alfabetizao baseia-se na concepo

de que os efeitos da educao so eminentemente acumulativos e hierrquicos, razo pela qual, ao avaliar um determinado nvel, se est avaliando tambm os nveis anteriores. O projeto de estudo constitui-se de duas baterias de medio, compostas por provas e questionrios diversos, sendo que a bateria inicial de medio Aplicao Experimental servir de insumo para a Aplicao Definitiva, a ser realizada em 1997. Os resultados globais da regio sero analisados por especialistas do Laboratrio, discutidos e publicados. Os resultados nacionais sero analisados pelos Ministrios da Educao de cada pas e constituiro um banco de dados que ser objeto de estudos e pesquisas diversificados. No ms de fevereiro de 1998, o processo ter sido completado e ser editado um relatrio com as informaes e recomendaes que serviro de insumo para as tomadas de decises no interior dos pases. A edio do relatrio est prevista para o ms de julho de 1998.

As Aes Preparatrias Entre as aes preparatrias, realizou-se, no ano de 1995, uma pesquisa para conhecer o real estado dos sistemas nacionais de medio ou avaliao existentes na regio. O carter inovador das informaes resultantes permitiu apresentar um panorama claro das avaliaes realizadas e das tomadas de decises em nvel regional, contemplando as experincias dos pases. Entre as principais concluses, destacam-se:

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

As medies na Amrica Latina baseiam-se, preferencialmente, em amostras da populao e, dependendo dos objetivos dos estudos, tm sido estendidas ao pas como um todo ou a estados especficos. A grande maioria dos sistemas de avaliao utiliza provas referidas a critrios ou a provas que combinam critrios e normas. Isto permite, de certa forma, a comparao dos resultados dos diferentes pases, j que a avaliao realizada em funo de objetivos de proficincia que podem ser equivalentes nos diferentes pases. Em geral, observa-se a tendncia a utilizar formas mecnicas e computacionais para assegurar a confiabilidade das provas. Em vrios pases so usados leitores ticos para a correo, o que economiza tempo e pessoal, reduz a margem de erro na correo e na tabulao dos dados e resultados e facilita o processamento da informao. Os resultados expressam-se, comumente, em forma de percentual de acerto, indicando o grau de dificuldade dos alunos. A utilizao de percentuais de acerto no ajuda na comparao dos resultados nos diferentes pases, j que, como estes se expressam de forma diferente, preciso interpret-los tambm de forma diferente. Ainda no foi includa a medio inicial dos perodos anuais (avaliao diagnostica) nos sistemas nacionais da Amrica Latina. E interessante atuar nesse sentido, pois esse tipo de avaliao produz a evidncia inicial necessria para estimar o

grau em que o aprendizado ocorre durante o perodo letivo estudado, visto que este muda atravs do tempo.

A Aplicao Experimental A Aplicao Experimental, realizada em 1996 por todos os pases, aconteceu no Brasil em maio ltimo, contando com a colaborao da Secretaria de Educao do Estado do Paran e da Secretaria de Educao do Estado de Pernambuco, sob a coordenao do MEC/Secretaria de Avaliao e Informao Educacional (Sediae). A amostra da Aplicao Experimental foi composta por 770 alunos de 12 escolas, distribudos em quatro estratos, predeterminados pelos tcnicos do Laboratrio. Os alunos responderam aos testes de Portugus e Matemtica e a questionrio especfico para alunos. Tambm responderam a questionrios diferenciados 13 diretores e 39 professores das 12 escolas selecionadas, bem como 407 mes de alunos. Neste momento, a equipe tcnica do Laboratrio e da Orealc trabalha na anlise dos resultados obtidos e no planejamento da Aplicao Definitiva, a ser realizada em outubro/novembro de 1997. A participao do Brasil no estudo deve-se importncia que o governo federal tem dado avaliao como instrumento de melhoria da qualidade e de aperfeioamento da educao. Neste caso especfico, relaciona-se tambm procura de novas tcnicas de anlise dos sistemas de avaliao para aperfeioar a experincia dos diversos ciclos do Saeb, que j busca medir e

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

avaliar o aproveitamento curricular e a proficincia cognitiva dos alunos brasileiros.

tambm pelos graus de especificao dos objetivos e tarefas a eles associados. Ciente de todas essas dificuldades, o Laboratrio trabalha, paralelamente, na construo de Padres Regionais em Educao. Por esse motivo, foi realizado, no ms de maio ltimo, em Fortaleza, um Seminrio Internacional sobre Medidas e Padres, organizado pela Sediae/MEC, contando com a participao de especialistas internacionais e nacionais e a assistncia de representantes das Secretarias Estaduais de Educao. O interesse demonstrado pelos assistentes que compareceram ao evento foi altssimo, indicando que chegou a hora da ampliao do debate sobre o tema.

Os padres em educao Tambm na PROMEDLAC V, os ministros da Educao recomendaram que, em cada pas, fossem determinados padres nacionais, visando estabelecer um referencial que possa ser utilizado na formulao de juzos acerca da qualidade. A discusso dos padres recente, e no h ainda consenso acerca de como devem ser. Na prtica, coexistem interpretaes diversas que correspondem a vises distintas, porm todas elas esto associadas a dois temas principais: os objetivos pedaggicos e a avaliao. Os padres vinculados aos objetivos pedaggicos pretendem formular assertivas relacionadas a uma rea do conhecimento ou do "fazer". Referem-se a conceitos-chave, contedos especficos e habilidades. O segundo tipo de padro, vinculado avaliao, pode traduzir-se em tarefas que demonstrem nveis de proficincia e est representado na expresso numrica do nvel alcanado ou desejado, dentro de uma determinada rea do conhecimento ou do "fazer". Contudo, no fcil distinguir entre um tipo de padro e outro. Eles diferenciam-se entre si pelo nvel genrico das assertivas e

Concluses A criao de sistemas nacionais de avaliao recente, sendo de fundamental importncia produzir uma capacitao na rea, porque somente recursos humanos qualificados podero assegurar a qualidade do processo e dos produtos. A avaliao responsvel deve examinar o quanto e como foi administrado o programa de estudos, isto , a oportunidade de aprendizado. Esse tipo de avaliao no foi incorporado, ainda, aos sistemas nacionais, porm o Laboratrio o incluiu como um de seus objetivos ao enfatizar no s a medio dos produtos como tambm dos processos educacionais. A avaliao deve fornecer s autoridades apropriadas a informao adequada, da forma mais clara e til possvel. Tendo em

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995

vista os objetivos dos sistemas de avaliao e a grande quantidade de conhecimentos que acumulam, somente a disseminao da informao, de maneira competente, permitir que os resultados sejam, efetivamente, instrumentos que permitam o desenvolvimento de polticas educativas orientadas para a melhoria da qualidade da educao na regio. Nem mesmo os melhores sistemas nacionais de avaliao podem garantir melhorias no aprendizado dos alunos, porque, para isto, imprescindvel que os dirigentes locais e nacionais, docentes e diretores de escola, se comprometam com os resultados

da avaliao e modifiquem as prticas escolares e as polticas do setor, de acordo com as informaes e anlises resultantes das avaliaes da educao, em nvel nacional e internacional. Por fim, deve-se ressaltar que iniciativas como a do Laboratrio LatinoAmericano de Avaliao da Qualidade Educacional tm o mrito de, ao apresentar um panorama claro do sistema educativo, contribuir para deflagrar um processo mais organizado de trabalho, baseado em indicadores claros da qualidade do ensino, podendo viabilizar o atendimento s exigncias que o novo milnio impe ao imenso contingente de crianas e jovens latino-americanos.

Em Aberto, Braslia, ano 15, n.68, out./dez. 1995