O Uso dos Indicadores Educacionais pelos Supervisores de Ensino

Reynaldo Fernandes Universidade de So Paulo

I.

Introduo

Em textos anteriores, apresentamos e discutimos os principais indicadores de resultados educacionais e analisamos a importncia de se fixarem metas em educao. Uma primeira questo que poderia surgir dessa discusso seria: qual o uso que os supervisores de ensino podem fazer dos indicadores e metas educacionais existentes? Tendo em vista o que foi discutido anteriormente, a resposta s poderia ser uma: avaliar as escolas sob sua superviso. Vimos que avaliar uma escola significa expressar uma concluso normativa sobre a qualidade (ou sucesso) dessa escola, enquanto indicadores de resultados educacionais tm um carter mais descritivo. Eles resumem informaes sobre o acmulo de conhecimentos e habilidades adquiridos pelos estudantes da escola, bem como sobre a eficincia com que eles fazem isso. Entretanto, uma das principais funes desses indicadores justamente fornecer informaes relevantes para quem necessita realizar tais avaliaes. O mesmo pode ser aplicado ao cumprimento, ou no, das metas educacionais estipuladas. Se o que os supervisores de ensino podem fazer com esses indicadores e metas utiliz-los na avaliao das escolas sob sua superviso, ento, surge uma segunda: qual a importncia de o supervisor de ensino ter uma avaliao dessas escolas? A resposta a essa pergunta depende totalmente do papel que se espera que os supervisores de ensino desempenhem. Se a atuao dos supervisores for considerada apenas como o dever de fiscalizar as escolas quanto observncia das normais legais vigentes, ento, avaliar a qualidade das escolas ter pouco a contribuir para o bom exerccio da atividade de superviso. Entretanto, se a expectativa a de que os supervisores contribuam para a melhoria da qualidade das escolas sob sua superviso, a avaliao da qualidade das escolas passa a ser fundamental. Ao analisar as atribuies dos supervisores de ensino definidas pela Secretaria da Educao do Estado de So Paulo, verificamos que a grande maioria delas est relacionada a uma atuao de carter mais pedaggico. papel do supervisor de ensino contribuir com a

escola no processo de identificao e superao de problemas relacionados a aprendizagem. Ento, avaliar as escolas sob sua superviso atividade essencial do supervisor de ensino. Formar um juzo sobre a qualidade da escola um elemento fundamental, mas esperase mais dos supervisores de ensino. A expectativa a de que eles interajam com a escola num processo de avaliao formativa, onde a avaliao da qualidade da escola apenas o primeiro passo. Alm do diagnstico da qualidade, preciso identificar os pontos fracos e fortes das escolas e apontar caminhos para a superao dos problemas. A avaliao formativa ou institucional, por vezes, se confunde com planejamento escolar, onde as principais fases so: i) Diagnstico da qualidade da escola; ii) Identificao das razes dessa qualidade e dos meios para a superao dos problemas; iii) Definio de metas e/ou anlise das metas determinadas externamente; iv) Execuo e monitoramento das aes planejadas e verificao do cumprimento das metas. Cada uma das fases acima ser objeto de anlise nas sees seguintes do presente texto. Entretanto, no nossa inteno elaborar um texto sobre planejamento escolar. A nfase ser dada ao uso de indicadores e metas educacionais, ou seja, como os indicadores e metas educacionais podem ser teis no processo de planejamento. E, mais, qual seria o papel do supervisor de ensino nesse processo.

II.

O Diagnstico da Qualidade da Escola

Ter um diagnstico da qualidade das escolas sob sua superviso o ponto de partida para que o supervisor possa atuar no sentido de promover a melhoria da qualidade do ensino nessas escolas. Sem esse diagnstico, o trabalho do supervisor se assemelharia a um vo s cegas. nessa fase que os indicadores de resultados educacionais tm sua funo mais importante. Se o principal objetivo da escola proporcionar aos seus estudantes um conjunto de conhecimentos e habilidades considerados importantes, ento, essencial analisar os indicadores relacionados aquisio desses conhecimentos e habilidades (estoque de conhecimentos e habilidades adquiridos e tempo necessrio para o acmulo). No entanto, preciso analisar esses indicadores com certo cuidado. Os indicadores de resultados educacionais no so medidas perfeitas do que se pretende mensura e, em vista da diversidade de objetivos da escola, eles so incompletos. Por fim, eles no do uma medida direta do
2

trabalho das escolas. Os resultados obtidos pelos estudantes dependem tambm das suas prprias caractersticas (condio socioeconmica, bagagem cultural, habilidades inatas etc.) e do contexto onde a escola est inserida (se a comunidade interage com a escola, se a regio violenta etc.). Ainda assim, os indicadores de resultados educacionais do uma base mais slida para o supervisor formular seu juzo sobre a qualidade das escolas sob sua superviso. Certamente, ensinar matemtica e lngua portuguesa no esgota as atribuies da escola, mas seria difcil encontrar um exemplo de bom ensino que no apresente bons resultados nas avaliaes dessas disciplinas. Ento, analisar os resultados dos seus alunos em lngua portuguesa e matemtica consiste no primeiro passo para se obter uma avaliao da qualidade da escola. importante analisar os indicadores de mais de um ano e, no caso do estado de So Paulo, analisar os resultados do Saresp e da Prova Brasil. Sabe-se que os resultados de provas so medidas imperfeitas do conhecimento e habilidades que se busca aferir. Alm dos conhecimentos e habilidades, os resultados de provas so influenciados por diversos outros fatores como, por exemplo, a motivao e o esforo dos estudantes para fazer a prova; preparao especfica para o exame; condies de aplicao; sorte etc. Ento, por exemplo, um problema ocasional no dia do exame (erro do aplicador, excesso de barulho, algum fator externo que tenha abalado emocionalmente os alunos etc.) poderia levar a um resultado abaixo do que se esperava. Isso, no entanto, poderia ser detectado analisando-se a srie de avaliaes ao longo do tempo e o resultado de outras avaliaes similares. No apenas os resultados das avaliaes importam, mas tambm o fluxo. Assim, preciso observar as taxas de repetncia ou, em resumo, o Ideb e o Idesp. De posse de uma avaliao dos resultados obtidos pelos alunos, o passo seguinte procurar identificar o quanto desses resultados depende da escola. Nesse caso, preciso ter uma referncia. A melhor referncia que se pode ter so as escolas cujo perfil de alunos semelhante. No adianta comparar os resultados de determinada escola com o resultado mdio de todas as escolas, uma vez que varia o pblico entre elas. Assim, diferenas de resultados podem estar expressando diferenas nas caractersticas dos alunos. Por outro lado, se os resultados obtidos por determinada escola so melhores do que os da maioria das escolas com pblico similar, ento, isso um sinal de que a escola sob avaliao tem boa qualidade. Assim, um ponto-chave na avaliao de uma escola encontrar um conjunto de escolas que sirvam de comparao para ela. As outras escolas sob superviso do mesmo supervisor so, sem dvida, uma opo natural. Entretanto, preciso certificar-se de que elas recebem um pblico similar ao da escola sob avaliao. Por outro lado, elas podem ser insuficientes: um pequeno nmero de escolas de comparao aumenta a chance de uma
3

avaliao enviesada. possvel escolher trs ou quatro escolas que, coincidentemente, sejam melhores ou piores que a mdia das escolas que servem a um pblico similar. Quanto maior o nmero de escolas de comparao, menor ser a chance de ocorrer um vis. importante que as escolas de comparao sejam escolhidas apenas com base nas caractersticas dos alunos. Aspectos como infraestrutura, experincia do corpo docente e razo aluno-professor podem ser utilizados para explicar a causa de uma escola ter mais qualidade do que outra e, portanto, no devem ser levados em conta na definio das escolas de comparao. A utilizao de indicadores socioeconmicos do pblico da escola ou da regio onde a escola est localizada til para esse propsito. Os indicadores de resultados da escola sob avaliao e das escolas de comparao do base para se obter uma primeira avaliao sobre a qualidade da escola. De posse dessa avaliao preliminar, importante que o supervisor discuta suas concluses com a escola. possvel que o diretor apresente argumentos e novas evidncias que faam o supervisor rever alguma de suas concluses avaliativas. S aps essa interao com a escola, o supervisor deve concluir a fase de avaliao da qualidade da escola. Seria importante que as concluses fossem partilhadas pela escola. A existncia de uma grande discrepncia entre a avaliao do supervisor e a avaliao que a prpria escola faz dela dificultar as fases seguintes do processo de avaliao institucional. Portanto, fundamental a busca de um acordo, entre a escola e o supervisor, sobre a qualidade da escola. Novamente, o uso de indicadores de resultados pode ter um papel central nesse processo. Os indicadores trazem mais objetividade s discusses. Mostrar, por exemplo, que escolas vizinhas com perfil de aluno parecido obtm melhores resultados um argumento extremamente convincente de que algo no est bem na escola. Por fim, importante que, em todo esse processo (na etapa de avaliao e nas subsequentes), a escola enxergue o supervisor como um parceiro: no como um membro da equipe, mas um parceiro, algum cujo objetivo colaborar com a escola para que ela melhore. Caso o supervisor seja visto como um fiscal da qualidade da escola, cujo objetivo identificar os pontos frgeis para reportar Secretaria, o trabalho poder ser muito dificultado, pois, nesse caso, a escola tender a ser reativa e procurar omitir informaes que possam ser utilizadas contra ela. Uma coisa fiscalizar a observncia das normas legais vigentes, outra fiscalizar a qualidade. A primeira uma tarefa da qual o supervisor no se pode eximir. No entanto, a escola pode obedecer a todas as normais legais e, ainda assim, apresentar um desempenho fraco. Nesse caso, ou o supervisor se apresenta como algum que est l para ajudar a escola a
4

superar suas deficincias ou se apresenta como fiscal, que busca identificar os problemas para report-los aos seus superiores. No possvel exercer bem os dois papis simultaneamente. Esse problema mais grave na fase seguinte, a de identificar e buscar superar as deficincias da escola.

III.

Os Determinantes da Qualidade e os Meios para superar os Problemas

Tendo realizado uma avaliao da qualidade da escola, o passo seguinte identificar os motivos que levam a escola a apresentar tal resultado. importante que essa anlise seja feita para todas as escolas: tanto para aquelas que apresentam um bom desempenho como para as que tm resultados mais deficientes. Identificar os motivos que fazem uma escola ter boa qualidade importante para a difuso de boas prticas. E, mais, mesmo escolas com bom desempenho tm, muito provavelmente, seus pontos fracos e, portanto, podem melhorar. Mas a nfase deve ser dada, evidentemente, quelas escolas que apresentam piores resultados. Essa talvez seja a etapa mais difcil de todo o processo. Pode no ser fcil para algum de fora da escola identificar os motivos pelos quais a escola apresenta um desempenho insuficiente. A literatura educacional apresenta um nmero enorme de estudos que buscam associar determinados insumos e processos qualidade da escola. No entanto, esses estudos, de modo geral, encontram uma fraca correlao (condicionada nas caractersticas observveis dos estudantes) entre as variveis de insumos e processos e o desempenho dos estudantes em exames padronizados. Parece que os determinantes do sucesso das escolas em fazer com que seus alunos aprendam so mais complexos e sutis do que as variveis consideradas nesses estudos como, por exemplo, escolaridade dos professores e diretores, tamanho de sala e a relao custo-aluno. Alguns educadores tm enfatizado que preciso considerar a atmosfera ou a cultura da escola. No h dvida de que uma pessoa com experincia em visitar escolas pode identificar uma boa escola em uma visita de poucos dias, ainda que ela desconhea os indicadores de resultados dessa escola. Ela pode chegar a essa concluso observando aspectos como o estado de conservao das instalaes, o processo de interao entre os professores e entre professores e alunos. O problema aqui saber o que determina a cultura e a atmosfera da escola, se ela causa da qualidade ou consequncia daquilo que, de fato, determina a qualidade da escola. Boas escolas apresentam, em geral, bom estado de conservao das instalaes. Mas isso no significa que uma poltica de restaurao das instalaes das escolas

levaria a uma melhora de qualidade. O importante identificar causas que sejam passveis de interveno, ainda que a interveno no seja da esfera da escola. A abordagem mais utilizada no mundo inteiro para conduzir avaliaes formativas de instituies educacionais deixar que os membros da prpria instituio identifiquem os pontos fortes e as deficincias, ou seja, a autoavaliao. Afinal, ningum conhece melhor os problemas da escola do que aqueles que nela trabalham. A autoavaliao tem sido a base das chamadas avaliaes institucionais. No entanto, ela no suficiente. Os resultados da autoavaliao precisam ser submetidos ao olhar externo. Uma viso externa escola pode corrigir eventuais erros de percepo produzidos pelos agentes internos, e atuar como um instrumento crtico e organizador do processo. O supervisor poderia (ou deveria) exercer o papel do agente externo envolvido no processo de avaliao formativa da escola. O que se pede escola que ela analise e exponha ao supervisor o que considera os seus pontos fortes e, tambm, as suas deficincias. Ela no far isso, a no ser que veja no supervisor um parceiro nesse processo, isto , algum que tem como objetivo auxiliar a escola em superar suas dificuldades. Assim, um dos trabalhos do supervisor o de persuadir as escolas a se engajarem seriamente nesse processo. A autoavaliao no dar certo se as escolas no estiverem seriamente interessadas em se autoavaliar. Muitas das avaliaes institucionais falham justamente nessa etapa. Se as escolas no se interessarem pelo processo, e se forem obrigadas a realiz-lo, tendem a fazer uma autoavaliao burocrtica, cujos resultados sero de pouca utilidade. Se a resistncia da escola ao processo for muito grande, no h muito que o supervisor possa fazer, a no ser reportar o fato a seus superiores. No entanto, provvel que muitas escolas decidam se envolver. Mesmo que a escola esteja interessada no processo, a anlise crtica do supervisor importante. H uma tendncia natural de a escola minimizar suas deficincias ou, quando elas so evidentes, atribu-las a fatores externos. Aqui, novamente, importante estar embasado nos indicadores de resultados educacionais. A escola pode alegar que falta apoio da secretaria, que os salrios no motivam os professores etc. Ainda que esses fatores possam ser verdadeiros, o supervisor pode mostrar, por exemplo, que eles no so exclusivos daquela escola em particular e que outras escolas, em situao similar, conseguem melhores resultados. Nesse processo, importante destacar todos os elementos que talvez expliquem o pior (ou melhor) desempenho da escola, quando comparada com outras escolas que recebem
6

pblico similar. importante destacar, inclusive, fatores que no esto sob o controle da escola. Por exemplo, pode-se chegar concluso de que a escola conta com um corpo docente muito inexperiente, mas o diretor no tem nenhum controle sobre o critrio de alocao de professores s escolas . Ainda assim, importante identific-lo. Problemas que afetam determinada escola, mas cuja soluo no est ao seu alcance, precisam chegar s instncias superiores. No entanto, a nfase deve ser dada aos problemas que podem ser resolvidos no mbito da escola. Identificados os problemas que podem ser superados pela ao da prpria escola, o passo seguinte planejar as mudanas.

IV.

Anlise das Metas Fixadas

Neste ponto, a tarefa de planejamento requer a elaborao do plano de melhorias e fixao de metas. Acontece que, na educao, j existem metas fixadas externamente, que so as metas do Ideb e do Idesp. Ento, seria necessrio avali-las. Como j foi discutido em outro texto, as metas do Ideb e do Idesp foram atribudas s escolas, com base em uma metodologia geral, a partir do esforo necessrio para que o estado e/ou o pas atinja as metas estipuladas. A metodologia no envolve uma anlise particular de cada escola. Ento, provvel que, para algumas escolas, as metas sejam muito fceis ou muito difceis. Por exemplo, uma escola pode ter apresentado, no ano da fixao das metas, notas da Prova Brasil (ou do Saresp) excepcionalmente baixas, em virtude de algum problema na aplicao. Isso far com que as metas fixadas para a escola sejam relativamente frouxas. Por outro lado, se as notas eram excepcionalmente altas, as metas foram fixadas em nveis muito elevados. Ento, necessrio avaliar as metas fixadas para a escola. Caso as metas sejam consideradas frouxas, a escola pode trabalhar, internamente, com metas mais duras. O mesmo vale para o caso em que as metas sejam consideradas muito duras. Neste caso, no entanto, no basta trabalhar com metas internas mais realistas. preciso levar o fato s esferas superiores. preciso mostrar que as notas consideradas para a fixao das metas foram excepcionalmente altas. Isso pode ter ocorrido, por exemplo, em virtude de apenas poucos alunos da escola terem realizado os exames. Se o problema ocorreu no Saresp, pode-se mostrar o ocorrido comparando os resultados com as provas do Saresp de anos anteriores e com os resultados da Prova Brasil.

A anlise das metas importante para interiorizar na escola as metas estipuladas externamente. O pblico da escola precisa considerar as metas factveis e justas. Isso facilitaria a mobilizao da escola para alcan-las. O supervisor pode ter um papel importante nesse momento, funcionando como o olhar externo, to fundamental para o sucesso das avaliaes formativas.

V.

Execuo e Monitoramento das Aes para Melhoria e Verificao do Cumprimento das Metas

Terminada a fase de planejamento, preciso pr em prtica as aes planejadas para promover as melhorias. Bons planos podem falhar se a implementao no for bem realizada. Ento, importante que o supervisor acompanhe a execuo das medidas propostas. Por fim, preciso acompanhar os indicadores de resultados educacionais para ver se as mudanas adotadas esto surtindo efeito. necessrio ter em mente que mudanas educacionais podem precisar de algum tempo para serem sentidas nos indicadores, e mais provvel que os resultados apaream nas geraes mais novas. Uma melhora na qualidade da escola tende a se manifestar primeiro nos alunos mais novos (3 e 5 anos do ensino fundamental). Caso as mudanas propostas tenham sido bem implementadas, mas os resultados no aparecem nos indicadores, sinal de que o planejamento precisa ser reavaliado.

VI.

Concluso

Neste texto, vimos que a principal funo dos indicadores de resultados educacionais para os supervisores de ensino a de servir de instrumento para a avaliao das escolas sob sua superviso. Se for papel do supervisor de ensino contribuir com a escola no processo de identificao e superao de problemas relacionados a aprendizagem , ento, essencial avaliar as escolas sob sua superviso. Nesse caso, espera-se que o supervisor interaja com a escola num processo de avaliao formativa, onde a avaliao da qualidade da escola apenas o primeiro passo. Alm do diagnstico da qualidade, preciso identificar os pontos fracos e fortes das escolas e apontar caminhos para a superao dos problemas. As experincias em avaliao formativa em instituies educacionais mostram que esse processo pode ser muito enriquecedor e apresentar resultados muito positivos.
8

Entretanto, essas experincias mostram tambm que a tarefa pode no ser simples. fundamental o envolvimento da escola no processo e isso nem sempre fcil de se obter. O papel do supervisor, nesse processo, deve ser o do olhar externo, o de servir como elemento crtico. exatamente nesse ponto que importante dispor de indicadores de resultados educacionais. Os indicadores, ainda que imperfeitos, do mais objetividade avaliao. Se, por um lado, os indicadores no podem servir como veredito final sobre a qualidade da escola, por outro lado, difcil encontrar um exemplo de boa educao que no apresente bons indicadores.