Avaliao de Programas e Avaliao da Aprendizagem

Lia Depresbiteris A finalidade deste ensaio no a de esgotar quantitativamente os estudos de avaliao realizados atravs dos tempos. Fosse essa a inteno, seria necessrio traar um perfil histrico desde as pocas mais remotas, quando j era possvel detectar algumas atividades avaliativas formais. Alguns mil anos atrs, os chineses j administravam testes para a admisso ao servio civil; tambm so frequentes os relatos sobre o emprego de exames pelos professores,na Grcia e Roma antigas. O que ser apresentado o caminho percorrido pela avaliao, desde uma perspectiva de medida, voltada exclusivamente para os resultados de aprendizagem dos alunos, at uma perspectiva mais ampla, atravs da qual a avaliao visa ao programa como um todo, expandindo-se aos propsitos educacionais, aos currculos e incluindo relaes com outros sistemas: social, econmico e poltico. A avaliao, nesta ltima perspectiva, visa os projetos em larga escala, particulamente os que assumem o carter de projetos nacionais, redonais ou estaduais e , no a avaliao tal como concebida e praticada no contexto restrito de um aluno, uma sala ou uma s escola. A. AVALIAO DA APRENDIZAGEM As primeiras idias sobre avaliao da aprendizagem estavam ligadas i idia de medir. O uso da avaliao como medida vem de longa data. Atravs de Ebel, temse o relato de Kuo sobre a presena de exames, j em 2205 A.C. Nessa poca, o Grande Shun, impe. rador chins, examinava seus oficiais a cada trs anos, com o fm de os promover ou demitir. O regime competitivo nos exames na China antiga tinha ento como propsito principal prover o Estado com homens capacitados (Ebel e Damrin, 1960). Avanando na histria, Ebel relata que no sculo XIX, nos Estados Unidos da Amrica, Horace Mann criou um sistema de testagem, sendo um dos pioneiros nesta rea. Uma controvrsia entre Mann e os comits das escolas americanas sobre a qualidade da educa-

Da Equipe de Avaliao, & Divisio de Currculos e Progamas, da Diretoria de Tecnologia Educacional, da Coordenadaria de Educao do Departamento Regional do Senai So Paulo. Doutara em Educao.
~

o, fez com que ele propusesse a experimentao de um sistema uniforme de exames, em uma amostra selecionada de estudantes das escolas pblicas de Boston. Os resultados dessa experincia reforaram muitas das criticas feitas por Mann com relao i qualidade da educao e indicou a possibilidade de testar os programas em larga escala, com a finalidade de sugerir mehorias nos padres educacionais. As principais sugestes de Mann foram: (a) substituir os exames orais pelos escritos, (b) utilizar, ao invs de poucas questes gerais, uma quantidade maior de questes especificas, e (c) buscar padres mais objetivos do alcance escolar. Ebel destaca, tambm, a contribuio de J.M. Rice, que desenvolveu os primeiros testes objetivos para uso em pesquisas de alcance escolar. Seus estudos eram basicamente relacionados: (1) i construo, ao uso e i correo de testes objetivos, (2). i construo, ao uso e i correo de testes dissertativos e (3) i busca de diferenas entre esses dois tipos de teste, na funo de medir, avaliar, predizer e classificar. O desenvolvimento de testes objetivos tornou possvel o estabelecimento de programas de exames estaduais e regionais. Nos E U A . criaram-se associaes, comits, bureaus para o desenvolvimento de testes padronizados. O Conselho Americano de Educao apoiou, atravs do Servio Cooperativo de Testes, a produo de testes de rendimento escolar para a escola secundria e universidades. Estabeleceram-se o sistema de testagem para medir competncias dos professores e o Bureau de Arquivos Educacionais para prover programas de testagem para escolas pblicas. Uma reviso histrica mais especfica, em pases como a Frana e Portugal, aponta para o desenvolvimento de uma cincia chamada Docimologia. A docimologia vem do grego dokim, que quer dizer nota. 0, segundo De Landshere (1976), a cincia do estudo sistemtico dos exames, em particular do sistema de atribuio de notas e dos comportamentos dos examinadores e examinados. Tomando por base as obras de Piern (1969), Bmboir, D Landshere (1976) e e Miranda (1982) verifica-se que a investigao docimolgica teve incio com os estudos de Fiern e Laugier, que evidenciavam a instabilidade das avaliaes, no tocante s diferenas inter e intra-individuais e i preciso dos testes. Os primeiros estudos desses autores basearam-se na aplicao de seis testes de aptido em alunos de escolaridade primria. Os resultados dos alunos, nesses testes, foram comparados com classificaes escolares realizadas ao longo e ao final do ano letivo e mostraram estar discrepantes, entre si, levando os autores a colocar em discusso o papel do exame comq fator eliminatrio decisivo para a classificao do aluno. A docimologia surgiu como critica i extrema confiana nos mtodos tradicionais utilizados, com fins de seleo, nos exames e nos concursos. Prosseguindo em seu trabalho, Piern realizou estudos que buscavam analisar as diversas variveis que influem no ato de medir os conhecimentos, provando, atrays deles, a fragilidade de mtodos considerados infalveis. Esses estudos, compilados no EMdes docmiologiques sur Ie perfectionnement des w m e n s et des concours e publicados em 1935, mostram que a docimologia pautou-se por duas grandes linhas mestras: docimologia clssica, tambm chamada de negativa, e docimologia experimental, tambm chamada de positiva. A docimologia clssica punha nfase no aperfeioamento das tcnicas de construo dos instrumentos de avaliao e de andise de resultados. A docimologia experimental centravae na avaliao como um comportamento, procurando determinar, experimentalmente, os mecanismos intervenientes na deciso avaliativa, tais como: reao dos aplicadores, reao dos submetidos aos exames, discrepncias entre situaes de exame e entre cntrios de apiicadores. Nos Estados Unidos, a docimologia pasou a ter seu lugar de destaque em 1931, auando a Cameeie Comoration o& i disvosio do Instituto Internacional de Educaco do Teachers Coege d Universidade de Fol&bia (New York) fundos necessrios a realizao de um inqurito subordinado ao tema As concepes, os mtodos, a tcnica e o alcance pedag6gico e social dos exames e concursos.
6

Uma primeira conferncia foi realizada em Eastboume, reunindo diversas comisses nacionais (norte-americana, inglesa, escocesa, francesa, alem, finlandesa e sua). A essa conferncia seguiramse duas outras em Folkstone (em 1935) e em Dinard (em 1938), sendo que nesta ltima foi criada uma comisso permanente para o estudo das questes levantadas. Dentre as publicaes mais importantes deste empreendimento esto: T h e aamination of aaminutions (Londres, 1935) e Lu correction des epreuves cntes duns les eramens Enquete aperimentale sur le baccalatrut(Paris, 1936). Como se pode verificar, durante as primeiras dcadas do sculo XX, a maior parte da atividade que pode ser caracterizada como avaliao educacional fomal estava associada i aplicao de testes, o que imprimia um carter instrumental ao processo avatiativo. Para quebrar um pouco essa idda especfica de mensurao, surgiram nos Estados Unidos da Amrica, por volta de 1950, os escritos de Ralph Tyler. Esse autor provocou um grande impacto na IiteraNra com seu Estudo dos oito anos, realizado com Smith, no qual defendia a incluso de uma variedade de procedimentos avaliativos, tais como: testes, escalas de atitude, inventrios, questionrios, fichas de registro de comportamento e outras formas de coletar evidncias sobre o rendimento dos alunos em uma perspectiva longitudinal, com relao consecuo de objetivos curnculares (Tyler, 1949). Segundo. Tyler (1982), muitas pessoas consideram a avaliao comosinnimo de aplicao de testes de lpis e papel. Apesar de ach-los extremamente importantes, pois permitem determinar a habilidade dos alnnos em alguns assuntos, o autor mostra que existem outros objetivos, como o de ajustamento pessoal, que so avaliveis atravs de obseivao das crianas emsituaes nas quais estejam envolvidas, por exemplo, em interaes sociais. Outros objetivos .relacionados a habilidades psicomotoras devem, igualmente, ser avaliados atravs de obsenraes, de entrevistas, de registros sistemticos. Assim, de acordo com Tyler, h muitos meios de conseguir evidncias sobre mudanas comportamentais. Quando se pensa em avaliao, est se falando em qualquer meio capaz de assegurar evidncias vlidassobre os comportamentos em seus diferentes nveis e manifestaes. Tyler defende, tambm, a idia de que o processo avaliarivo consiste basicamente na determinao de quanto os objetivos educacionais esto sendo atingidos por programas instrucionais. Ele diz que esta concepo de avaliao tem dois aspectos importantes. Em primeiro lugar, implica que a avaliao deve julgar o comportamento dos alunos, pois o que se pretende em educao justamente modificar comportamentos. Em segund o lugar, pressupe que a avaliao deve envolver mais do que um nico julgamento, em determinada ocasio, e logo outros mais, em instantes subseqentes, para identificar mudanas que podem estar ocorrendo. Tyler ainda chama ateno para trs variveis bsicas no estudo da avaliao: o estudante, a sociedade e a rea de contedo a ser desenvolvida, de acordo com os principios da psicoloaa da aprendizagem e de uma filosofia de educao bem definida. Na verdade, o autor j defendia a idia de elaborao e avaliao de curriculos, atravs do modelo reproduzido na figura 1. A tinha tracejada, partindo da avaliao, indica que, para o autor, avaliar estabelecer uma comparao entre os desempenhos e os objetivas previamente determinados. Os objetivos, para serem definidos, tm como fonte o aluno, a sociedade e os especialistas e, como filtros, a Filosofia e a Psicologia de Educao. De acordo com Vianna (1982a), Tyler criou um modelo de avaliao composto dos seguintes passos: ( i ) formulao e classificao dos objetivos, segundo nveis de generalidade e especificidade , (2) definio de cada objetivo em t e m a s comportamentais, (3) identificao de situaes que demonstrem os comportamentos estabelecidos nos objetivos, (4) seleo e experimentao de mtodos e instrumentos adequados, ou construo de novas instrumentos,para a coleta de informaes sobre cada objetivo,
~

.upejasap I a q u o u sepez!pai m 1 0 3 mpeiadsa sag5e SE as mu -!uuqap ered seppaur se 03s s o u ~ i u a a a z p a i o u n p o anb eradsa as anb o 05s S G Q ~ Ese so :sag5e sens nnpar ered eiuoo ounp u swnb so uroa soiuaurala so 05s sagSpuoa sv up -ueq@jno ossaans opuai yisa o u n p o anb ura qaaiap aiuaqear anb o&g~m eurn I!i!uuad ered soJ!aydxa sou?iua so a s a g b se sag5rpuoa se rquoa anap ongajqo o p o (p) ~ uassessederiln no urasse5ueap som@so anb epjasap as anb saoiped sop sao$rasap 9 OJSI sopeFaqe sopeilnsar ap sag5uosap 03s songajqo (a) .opeSueap i o j oeu oerped wn p n b oladonpour o raaarepsa e es!n anb o op -unas o opeSueap pj ogiped um as mu!uualap e R ~ anb apnbe Q ui!aurud 0 oagVu2ep A ap a oe5eSeaguan ap sua?! u r q ~ x g .oyuadurasap uru ap uo einpuog ap e r t s o w eurn p ai -sqap urajr urn wgsjrqaerea epeguuaiap eurn r p a m ap ossaaord urn 9 aisai urn (9) .oehreduroa visa aiqos ojuaure8lnjurn rq!ura ap a oerped mn u103 eplpaur eurn nreduroo ap oie o ivlpnv .eossad ewn e nu oialqu urn e aiuaouairad eags~ialaerea eurn ap oesuaixa e reupuaiap ap ossword urn rppayy (e) :(LL61 r a % V )SP!u E -mar p s s e ias uiapod segp! s-dpuud serna ra8qq toj U E S E ~ ep u s o p i s a orino I O ~ A ap soquaw8pj uarroauoa uraqurei lenb o ered oogyuats!s a onujiuoa ossaaord urn e EI-?~WII!A mas soagajqo ap aaueap ap @ug apeppqe ouro3 o & ~ N ? e IeiapTsuoa rod eneoad ra[LJ ap wa8Eproqe e setroqaur urasseniaja as anb ered ,ymqpaa&, ap e!?p! e raiuoa iod a oehqene e u songajqo soe e p u g m d p r a l Q ap maepruqe e n n q q e rod emda eu EIO~~AOU! epuIy anb sopeilnsar ap oe5eiaidiay e eied s o u ~ ap oykroqe[a (s) p

O conceito de avaliao foi igualmente enriquecido por Cronbach que, em meados de 1963, foi o primeiro a vincular as atividades de avaliao ao processo de tomada de deciso. De acordo com Vianna (1982b), Cronbach indicou os seguintes objetivos para a avaliao: (a) determinar se os mtodos de ensino e o material instmcional utilizado no desenvolvimento de um programa so realmente eficientes, com a finalidade bsica de aperfeioar currculos; (b)identificar as necessidades dos alunos para possibilitar o planejamento da instruo e julgar o mrito dos estudantes, de modo que estes possam ser incentivados em seus sucessos e auxiliados em suas deficincias; (c) julgar a eficihcia do sistema de ensino e dos professores, de forma a subsidiar decises de natureza administrativa. Na linha de tomada de deciso, Cronbach apresenta a idia de que um teste de aprendizagem deve ser apropriado i deciso a ser tomada e que, para isso, antes de tudo, deve haver definio precisa do propsito do sistema de testagem. Outra contribuio importante foi a de Bloom, cujas principais idias a propsito da aprendizagem para o domnio e de uma taxonomia que pemitisse um sistema cceren. te de ensino e avaliao, ganharam ampla divulgao. Com sua nfase na aprendizagem para o domnio, Bloom (1963) defende a idia de que cada vez mais necessria uma educao contnua, durante toda a vida do indivduo. Cabe i Escola esforarse para assegurar experincias de aprendizagem bem sucedidas, n o campo das idias e do auto-desenvolvimento; a todos os estudantes. Para isso, deve passar por mudanas, primordialmente relacionadas a atitudes dos estudantes, professores e administradores; mudanas que devem ser realizadas, tambm, nas estrataas de ensino e no papel da avaliao. Uma das mudanas pregadas por Bloom e a do descondicionamento da idia de curva normal, pois se o professor eficaz em sua instruo, a distribuio do rendimento dos alunos deve ser muito diferente daquela apresentada por uma curva normal. De fato, deverseia at considerar que os esforos educacionais fracassam na medida em que a distribuio de rendimento se aproxima desta curva. Diferenas individuais nos estudantes um fato que pode ser demonstrado de muitas maneiras. O papel da educao o de descobrir estratgas que levem essas diferenas em considerao, mas que o faa n o sentido de promover, ao mximo, o desenvolvimento do indivduo. Bloom pressupe que o domnio da aprendizagem teoricamente disponvel para todos se houver possibilidade de encontrar os meios de ajudar cada estudante. Uma fundamentao para este ponto de vista pode ser encontrada nas normas de avaliao de muitos testes padronizados de rendimento. As aplicaes sucessivas demonstram que critrios selecionados, atingidos pelos melhores estudantes em um ano, so atingidos pela maioria dos estudantes em perodo posterior. Outra fundamentao mais profunda pode ser encontrada em estudos que dizem que os estudantes so capazes de aprender em seu pr6prio ritmo. Esses estudos mostram que, embora a maioria dos estudantes eventualmente chegue a dominar cada tarefa de aprendizagem, alguns desses estudantes atingem esse domnio muito mais cedo do que outros. Ligado a este fato, diz Bloom que o grande desafio da aprendizagem para o domnio encontrar meio de reduzir o tempo requerido pelos estudantes mais lentos, de modo que a tarefa se torne menos longa e cansativa. Para isso, ele defende a idia de que e necessrio utilizar estratgas de instmo muito diferentes para atingir o domnio,pois elas so tentativas de aperfeioar a qualidade dainstruo em relao i cada habilidade do estudante. Um dos fatores mais fundamentais na aprendizagem para G domnio de Bloom o do tempo gasto para aprender. A premissa bsica a de que a aptido determina o ritmo de aprendizagem e que a maioria dos estudantes pode atingir o domnio, se dispuser da quantidade de tempo requerida para aprender.
9

CLASSES .Avaliao

TOPICOS

.Sntese
.Anlise

* juizos em termos de critrios externos juizos em termos de evidncia externa

derivao de um conjunto de relaes abstratas produo de um plano ou conjunto de relaes abstratas produo de uma comunicao singular

de princpios de organizao de relaes * de elementos

* aplicao
* extrapolao

1 .Aplicao
*Compreenso .Conhecimentos

interpretao * traduo

de princpios-universais e das formulaes abstratas de um campo

* das formas e meios de trabalhar com elementos especficos

* de elementos especficos

10

Em 1957, Bloom e colaboradores criaram a Taxonomia de objetivos para O domnio afetivo. Esta taxonomia compreende nveis, sendo o nvel mais elementar o de acohimento, conforme se pode observar no quadro 2.

QUADRO 2
TAXONOMIA DO DOM-NO AFETIVO, SEGUNDO BMOM (Fonte:Bloom, 1977)

NIVEIS
Caracterizao por um valor ou complexo de valores Organizao

I
.

T6PICOS
* caracterizao

direo generalizada conceituacio de um valor compromisso

* de um sistema de valores

Valorizao

um valor * aceitao de um valor

* preferncia por

Resposta

* satisfao na resposta * disposio para responder aqiescncia ou consentimento na resposta

Acolhimento

* ateno controlada ou seletiva * disposio para receber

percepao Igualmente relevante foi a contribuio de outro estudioso, Glaser, que estabeleceu as hferens entre testes referentes a normas e testes referentes a critrio. O quadro 3 apresenta uma sntese de suas idias, feita por Depresbiteris (1976). Outros estudiosos poderiam ser citados, porm para finalizar interessante lembrar dois autores brasileiros comumente citados na literatura da rea, Vianna e Medeiros. Devemos a Vianna uma vasta produo de artigos de avaliao voltados para a seleo de alunos. Seu livro Testes em educao (1982b) apresenta uma sntese de idias sobre testes de rendimento escolar, voltados mais diretamente a norma. Algumas idias principais deste livro sa apresentadas a seguir: (1) A medida do desempenho escolar fundamental para uma educao eficiente. (2) O emprego de instrumentos de medida facilita as obsewaes que o professor faz de seus estudantes. (3) O processo de medida educacionai considera diferentes elementos: um conjunto de situaes a responder, as respostas Bs situaes e a classificao dos indivduos segundo as respostas apresentadas. (4) A construo de um teste no deve ficar sujeita aos azares da informao: exige um planejamento cuidadoso. (5) Qualquer que seja o teste, seu propsito e sua filosofia, a sua construo se baseia num sistema de valores humanos. (6) O planejamento de um teste exige que se considerem as diferentes variveis que afetam o desempenho do estudante: extensio, tempo, tipo de item e o grau de dificuldade. (7) Um teste no uma simples seqncia de itens - exige, para sua montagem, a combinao de diversos critrios.
11

'soso~qa~ap soluaurnrisu! rod sopgqo saio3sa sop apep!mb e eioqaw o p oopsflnsa o]uamBi] 0 .sos!said saIo3sa ap urapuadap seiixa sag6eiaidialuI (6) 'senga3e a s p o p u r a Sao5pU03 :o[duiaxa iod ouro3 onpjnrpu! epeg aiqos aluaural -uara3rp d e anb zah eurn aIorluoa ~ 3 j 3 r p 0 1 s 'sepenuaie ias tuarapod ap resade 'seqno ap :ou!sua ap sopolpw a squa!qure sa@puoa :ouro3 s.1 sepe[oiiu03 ias urapod s!anF!reA ses -sap su 'stanypn sesianrp iod opepuangur 9 opeurmxa op oquadurasap 0 (8) e mn

s?ni!aauoa se5uarajIa

(10) O escore de um teste no um valor absoluto, mas uma estimativa sujeita a

erro.

(11) Quanto mais importante forem as decises a tomar, maior deve ser a fidedignidade do instrumento de medida, para que essas decises no tenham conseqncias prejudiciais a vida do estudante. Medeiros tambm dedicou-se i avaliao como medida. Seu livro Trovas objetivas: tcnicas de constnio (1977a) ressalta as seguintes idias: (1) A medida faz parte da vida diria. A necessidade de medir surgiu to cedo na vida do homem, que ele foi buscar no prprio corpo as primeiras unidades de comparao - o cbito (comprimento do cotovelo 2 ponta do dedo mdio esticado), o palmo, o p e o dgito. Com o correr do tempo, cuidou de refinar o processo, criando instrumentos especiais de mensurao. ( 2 )A educao um processo intencional que implica a verificao de resultados. Na escola, o professor tambm tem interesse na medida. Ele sabe como importante manter os alunos informados do xito dos prprios esforos e prestar igual conta do seu avano a outros interessados, como pais e administradores. Para isto, recorre s provas e lana mo de outros recursos de verificao. (3) A eficincia do trabaiho educativo est intimamente presa a observao sistemtica dos resultados alcanados. Na comprovao peridica das mudanas conseguidas nos educandos que o educador encontra no s uma base realista para a apreciao crtica do prprio trabalho, mas tambm pontos de referncia para a reviso de sua conduta. Esse controle constante das modificaes do comportamento dos indivduos permite ao educador julgar a eficcia e a eficincia da sua atuao; d-lhe guias para o reexame do que convm ensinar (ou do contedo) e da maneira de faz-lo (ou do mtodo). Constitui, por conseguinte, tarefa bsica da atividade docente. J que a educao sempre se dirige para fins determinados; faz-la sem verificaes peridicas e freqentes seria o mesmo que treinar tiro-ao-alvo no escuro.

B. AVALIAO DE PROGRAMAS
A avaliao de programas tambm chamada de pesquisa de avaliao. Segundo Seiitiz et al (1987), a avaliao de programas um tipo especial de pesquisa aplicada, elaborada para avaliar programas, geralmente programas sociais de melhoramentos, tais como: educao remediatria, reformas no bem estar social, mtodos de ensino inovadores, sistemas de distribuio de sewios de sade, programas de treinamento de pessoal e afins. Os resultados desse tipo de pesquisa no se destinam a incrementar nosso corpo de conhecimentos ou a de desenvolver teorias. Eles so usados, muitas vezes imediatamente, para decidir se os programas devem parar ou continuar, se as verbas devem ser aumentadas ou diminudas, se 6 preciso contratar ou despedir pessoas - tudo isso com base no atendimento do programa aquilo para que fora destinado. Talmage (1982) diz que a avaliao de programas ou pesquisa de avaliao comeou a ganhar corpo j em 1950, quando um grupo de crticos passou a exigir que fossem reaiizadas avaliaes mais amplas, envolvendo inmeras variveis de um programa educacional. Essa solicitao, aliada ao incentivo governamental, incrementou os estudos sobre desenvolvimento de currculos e sobre programas de interveno social. Com relao a esse assunto, Popham (1983) diz que a iniciativa governamental para a avaliao de currculos teve origem quando o primeiro satlite (Sputnik) foi lanado s pela Unio Sovitica em 1957 e no pelos Estados Unidos da Amrica. O ataques i escola, neste ltimo pas, tomaram-se enfticos, responsabilizando-a pela derrota na corrida espacial, o que resultou num investimento de milhes de dlares em uma srie de iniciativas educacionais e, concomitantemente, na sua avaliao.
13

Retomando a Talmage (1982) tem-se que os estudos sobre o desenvolvimento de currculos, a partir dessa poca, serviram para modernizar os contedos e mtodos de ensino na rea de Cincias e Matemtica, com a fmalidade de tornar os estudantes os melhores em tecnologia. Quanto aos estudos avaliativos sobre programas de interveno social, esse autor diz que eles emanaram de uma poltica denominada Guerra ? Pobreza (1960-1970) e que i tinham por finalidade desenvolver estratgias para concretizar propsitos sociais igualitrios. Os avaliadores de currculo eram oriundos, principalmente, da Pesquisa e Psicologia educacionais, trazendo para a avaliao toda a experincia adquirida nestas disciplinas. Os avaliadores de programas de interveno social, oriundos das Cincias Polticas e Sociologia, reconheceram de imediato algumas limitaes frente as novas exigncias avaliativas, como: levantar questes avaliativas pertinentes, desenraizar-se dos designs de controle amplamente usados na pesquisa experimental, engajar-se na vida do aluno em sala de aula, enfm, aplicar as teorias no campo naturalstico. Contudo, a integrao das mltiplas experincias desses avaliadores possibilitou a melhoria e a inovao de metodologias nessa rea. Talmage apresenta uma distribuio dos avaliadores segundo o domnio de diferentes linhas metodolgicas, conforme sntese apresentada no quadro 4. Aprofundando as idias apresentadas no quadro 4, sempre com base em Talmage, pode-se verificar o seguinte: (a) Com relqo a basefilosofica Os experimentalistas baseiam-se em idias positivistas, ou seja, de relao causa e efeito. As hipteses so dedutivas; o pesquisador comea com um referencial terico, formula uma hiptese e deduz logicamente quais devem ser os resultados do teste da mesma, se ela for correta. Os eclticos baseiam-se numa filosofia pragmtica. Reconhecem o valor do mtodo cientfico em transportar novos conhecimentos e estabelecer a verdade (at que ela seja negada e outra verdade provada), mas mostram a importncia concernente s mltiplas percepes e seus efeitos sobre os dados. Os descritivas rejeitam as premissas positivistas e o pragmatismo dos eclticos e defendem uma filosofia fenomenolgica que se baseia numa linha humanstica ao invs de comportamental, mais qualitativa que quantitativa, mais univeaalista que particularista, mais naturalista do que experimental. Os analisadores de custo-benefcio baseiam-se no utilitarismo, pelo qual o programa 6 julgado pela sua eficincia em atingir o mximo de estudantes, com maior qualidade. (b) Focos da metodologiz e variheis A principal preocupao dos experimentalistas a identificao de relaes causais e, para isso, baseiam-se em delineamentos experimentais e quase experimentais. As variveis so predeterminadas para o estudo. Os eclticos no rejeitam os delineamentos experimentais, mas tambm acham importante analisar o processo e o contexto dos programas educacionais. Defendem a idia de estudos de caso e descries abrangendo no apenas as variveis predeterminadas, mas tambm as emergentes da prpria situao. Neste ponto, Talmage cita Bryk, para o qual uma sntese da posio dos eclticos traduzida nesta frase: ns deveramos atentar para traar os pontos fortes de cada abordagem - a objetividade trazida pelos dados quantitativos e a riqueza da informao qualitativa - para criar uma viso integrada do programa & impacto. Os descritivos defendem o emprego de estudo de caso e observao participante, com descries do programa no contexto e atravs do testemunho dos participantes. As variveis no so pr-selecionadas, mas emergem no processo de descrever a operao do programa no contexto naturalstico. Os analisadores de custobenefcio baseiam-se em abordagens experimentalistas para fundamentar suas anlises vol- tadas para aspectos econmicos dos programas. Estudos de custo-benefcio so delineados para determinar como antecipar custos e alternativas de benefcio. A metodologia, inspirada no campo econmico, prov um caminho de converter valores sociais em custc-benefcio.
14

-adooa ~ p e p a~I eO P ~ arlua oj5eIai e 'sos!i?pa so end 'emlnord aisap OIU no apep ~ V -!nu!guo3 ap sagsyap erpFsqns anb oiuauiala ouioa opueuopuy 'eurelord op aiuapuadapu! [aded uin uia) 'zan em iod ' r o p e p e 0 .saiuapuodsai owoa ureuo~auiysala ' O A ~ E oeu w p - e I p e sop [aded o 'opgauaq-o)sn~ saropmpue so ered a seis!piuauqradxa so end ap opmlnnn a i o p m l ~ oy5u.iawr (a) n~

sspepouioav

rativa, buscando juntos interpretar e recomendar melhorias no programa. Para os descritivos, a relao interativa e os avaliados, que so chamados de participantes, podem inclusive reagir as observaes. Prosseguindo em sua anlise, Talmage apresenta a idia de modelos de avaliao de programas, os quais se constituem em quadros referenciais que embasam o planejamento da avaliao. O autor diferencia entre os modelos que no explicitam as orientaes tericas sobre as quais se baseiam, tais c a n o o modelo de Stufflebeam e Guba e o modelo de discrepncias de Provus; e os modelos que explicitam pressupostos tais como: interao entre avaliador e cliente, modos de facilitar decises, formas de estabelecer relaes causais, pressupostos encontrados no modelo de avaliao transacional de Rippey, modelo de avaliao responsiva de Stake e o modelo de avaliao duminativa de Parlett e Hamilton. Talmage cita Ross e Cronbach que, em uma crtica ao Handbook of evoluation research , dividem os modelos em duas categorias: modelos cujas atividades so orientadas pelo avaliador e modelos em que ambos, avaliador e participantes, desempenham papis ativos no processo avaliativo. De modo similar, Guba usa duas categorias para diferenciar entre os modelos: forma de inqurito convencional e forma de inqurito naturalstico. A primeira baseada na epistemologia lgica-positivista (causa e efeito) e a segunda na epistemologia fenomenolgica. Outro estudioso citado por Talmage Popham, que sugere trs classificaes de modelos: ( i ) modelos de alcance de objetivos como, por exemplo, os de Tyler e MetfesselMichael; ( 2 ) modelos de julgamentos intrnsecos e extrnsecos, tendo como exemplo do primeiro o estabelecido pelo Wational Study of School Evahtation e como exemplos do ltimo os modelos de Scriven e Stake; (3) modelas facilitadores de deciso, dentre os quais os de Stufflebeam e Guba;Stufflebeam, Aikin e Provus. Ainda nessa perspectiva de diferenciar modelos, Tahnage menciona Stufflebeam e Webster, que os classificam em trs abordagens: estudos orientados politicamente, que os autores chamam de pseudo-avaliaes; estudos orientados para questes chamados quaseavaliaes e estudos orientados para valor ou chamados verdadeiras avaliaes. Para os autores, somente os estudos que permitem julgamento de valor entram na categoria de avaiiao verdadeira, que no pode ser confundida com experimentos verdadeiros, como os de Campbell e Stanley. Certamente, apresentar todos os modelos de avaliao seria uma tarefa invivel neste ensaio, porm necessrio relatar alguns deles, em virtude de sua freqente citao na literatura da rea. Esses modelas so sintetizados a seguir. Modelos de Stake - Stake props inicialmente um modelo racional de avaliao, descrevendo todos os passos que um avaliador deveria executar para poder julgar os resultados obtidos. Depois de alguns anos, Stake apresentou um outro modelo, caracterizado como avaliao responsiva que aquela que se orientamais em direo s atividades de um programa educacional do que para suas intenes. A sntese apresentada aqui baseia-se num artigo de Stake (1977) e no quadro traado por Guba e Lincoln (em Werthein et al., 1985). No modelo mais racional de Stake, a avaliao um processo de descrever programas educacionais, atravs de investigao formal. Formal, porque esse tipo de avaliao pressupe bases cientficas, objetivas e precisas, possibilitando informaes imediatas para a tomada de deciso. Contrape-se a investigao informal, isto , investigao baseadaem observao casual, que implica metas implcitas, em normas intuitivas, em julgamentos subjetivos. O autor prope duas matrizes bsicas, conforme se verificana figura 2. A matriz de descrio tem como entrada as intenes e as observaes; a matriz de j u l w e n t o , os padres e os julgamentos. As intenes envolvem o planejamento das condies ambientais da especificao dos objetivos, enfim, de tudo o que pode acontecer n o programa educacional. As observaes so relativas s atividades que realmente acontecem no decorrer do programa. Os padres so nveis de julgamento de duas ordens: relativos e absolutos. Os padres relativos so aqueles que se referem a outros programas; os absolu.
16

Matriz de dcscrio

Matriz de julgamento

Antecedcntcs

Transaes
Resultados

Figura 2 -Matrizes do modelo de Stake. (Fonte:Bellack e Kiebard, 1977)

tos so os padres referentes aos objetivos do programa que est sendo julgado. Os julgamentos so atribuies de peso, devendo prover uma resposta imediata para a tomada de deciso. Os antecedentes so todas as condies anteriores ao programa e que se relacionam com os resultados, tais como: interesses, recursos e experincias anteriores. As transaes so todas as atividades realizadas para o alcance dos objetivas, incluindo relao e interaes entre aluno e professor. Os resultados so os produtos da aprendizagem e que podem ser identificados como habilidades, realizaes, atitudes, expectativas cumpridas, transferncia de aprendizagem. Atravs da matriz de descrio, o avaliador descreve intenes e observaes. A descrio pode ser feita direta e pessoalmente, ou atravs douso de instrumentos adequados a cada situao. No modelo de Stake existem duas maneiras de processar os dados obtidos pela matriz de descrio: contingncia e congruncia. A figura 3 apresenta o processamento por contingncia.

Intenes

Observaes antecedentes

antecdentes

contingncia lgica

transaes

contigencia lgica

I I

contingncia ernprica

contingncia emprica

multados

reailtados

Figura 3 -Processamento dos dados damatriz de descrio de Stake, por contingncia. (Fonte:Bellack e Kiebard, 1977)
17

O processamento dos dados descritivos pode ocorrer por contingncia que se refere

i ligao vertical entre antecedentes, transaes e resultados, isto , procura verificar at

que ponto os resultados foram produtos das transaes e dos antecedentes. Na avaliao das intenes, o critrio de contingncia lgico, isto , baseado em experincias prvias, pesquisas, julgamentos de outros especialistas, entre outros. O critrio de contingncia na avaliao das obseivaes emprico, isto , depende da evidncia emprica dos fatos. Como j mencionado, o processamento dos dados descritiva pode ocorrer tambm por congruncia, conforme se v na figura 4.

Intenpiw
antecedcntcs transaes

conpuncia

I
Observaes

antecedentes

uuigruncia

transaes

I resultados
conguncia

resultados

Figura 4 - Processamento dos dados da matriz de descrio de Stake, por congnincia (Fonte:Bellacke Klebard, 1977)

A congruncia existe quando o que pretendido ocorre realmente, ou seja, quando no h discrepncia entre antecedentes, transaes e resultados pretendidos e obseivados. O processamento de dados de julgamento pode ser feito atravs da comparao relativa ou absoluta. A comparao relativa envolve padres retirados das descries de outros programas, isto , programas altemativca, conforme se v na figura 5 .

Dados descritivos
de um programa

Dados descritivos de outro programa

Figura 5 - Comparao relativa no modelo de Stake (Fonte:Bellacke Klebard, 1977)

18

Por comparao absoluta entende-se o conjunto de padres pelos quais se pode julgar um programa (padres de excelncia). Existem conjuntos de padres porque h vrios grupos de referncia ou de pontos de vista (julgamentos pessoais). A figura 6 apresenta a idia de comparao absoluta.

comparao
Padres de excelncia

Figura 6 - Comparao absoluta n o modelo de Stake (Fonte: Bellack e Kiebard, 1977)

O julgamento do programa feito atravs dessas duas comparaes relativa e absoluta, comomostra a figura 7.

Dados descritivos
de outro programa

Figura 7 -Julgamento do programa n o modelo de Stake. (Fonte: Bellack e Kiebard, 1977) Atravs da proposio deste modelo de avaliao racional, Stake quer demonstrar que: (a) o trabalho do avaliador deve ser objetivo ou seja, para descrever e julgar os prugramas o avaliador deve se basear sempre em procedimentos cientficos; (b) as matrizes de descrio e.julgamenfo podem ser aplicadas na sala de aula e (c) os resultados de avaliao devem ser tornados pblicos.
19

O modelo de avaliao responsiva de Stake mostra a idia de resposta contnua i audincia, numa interao com o avaliador. A avaliao responsiva B aquela que se orienta m i s em direo s atividades de um programa educacional de que para suas intenes. Para melhor compreender as caractersticas da avaliao sensvel de Stake, obseivese o quadro 5 , no qual ela comparada com a avaliao tradicional.
QUADRO 5 COMPARAO ENTRE AVALIAhO TRADICIONAL E AVALIAO SENSIVEL DE STAKE. (Fonte: Cuba e Lincoln, 1981 (Trad. por Werthein et a1 1985) 1 Tipos de Avaliao

I
Orientao valorao
FOmial

Tradicional

I
Informal

Responsiva*

Singular; consensual.
Intcner do programa, objetivos, motas, hipteses, idias do avaliador sobre coiias como desempenha, domnio, habilidadc, aptido, resultados rnensurveis, os valores instrumentais da educado.
Na inicia da avaliao.

Pluralstica; admite a possibitidsde de conflito.

Bases d a "design"

As preocupaes so as questes
da audincia, atividades do p r ~ grama e de pessoas envolvidas no progtama.

Prazo para o "design"

No h - em contnua evolua

Mtodos Comunicao "Fcedback" Forma de "fcedback"

0bjetivos:"passar na prova".

Formal: relatrios, tipicamente unidirecionais. discretos, em geral apenas

informal; dcsaies (portrayals) geralmente multidirccional. informal, evoluindo c o n t i n w mentc com as necessidades Descrio do tipo narrativo, muitas vezes oral (se a audincia o prefere), gerando imagens do que o programa, possibilitando experincias simuladas. Antropologia, Jornalismo, P a e sia.

um,ao trmino
Relatrio escrita, identificando variveis e dexrevendo as rclapes entre elas, interpretaqo simblica.

Paradigma

Psioloaa experimental.

Modelo de Scriven. As idias de Scriven apresentadas a seguir foram recolhidas em Anderson (1981) e Scriven (1978). Para o autor, a avaliao a determinao sistemtica e objetiva do mrito ou vaiar de alguma coisa. A nfase est no aspecto comparativo da avaliao, uma vez que avaliar s tem sentido se evidenciar quo bem ou quo mal se saiu o objeto de anlise. Scriven divide o processo de avaliao em duas grandes etapas: (a) julgamento dos instrumentos de coleta de dados, da atribuio de pesos aos objetivos e da seleo de critrios e padres;
20

(b) julgamento do valor ~1 do mrito de um programa educacional com base na coleta sistemitica de dados de desempenho, na combinao desses dados com um conjunto de metas valoradas e na anlise dessa informao. Scriven estabelece uma distino marcante enire o objetivo e as funes da avaliao. Para o autor! o objetivo da avaliao julgar o mrito de alguma coisa. As funes da avaliao so de duas ordens: formativa e somativa. A avaliao fornativa consiste no fornecimento de infomiaes a serem utilizadas na mehoria de um programa em suas partes ou em seu todo. A avaliao somativa consiste no fomecimento de informaes sobre o valor final de um programa instmcional. Scriven ainda relaciona essas funes a dois tipos de julgamento: intrnseco (relativo ao contedo, materiais, currculo) e extrnseco (efeitos do programa). O quadro 6 mostra essa relao. QUADRO 6

RELAAO ENTRE AVALIAAO FORMATIVA E SOMATNA E JULGAMENTOS

INTRINSECO E EXTRINSECO, NO MODELO DE SCRIVEN (Fonte: Worthen e Sandea, 1973)

I
Formativa Somativa

Intrnseco Julgamento da estrutura e dos contedos do programa educacional. Julgamento final dos materiaiS.

I
~

Extrnseco Julgamento dos efeitos intermedianos do programa com a fmalidade de fornecer realimentao. Julgamento final dos efeitos dos materiais em alunos, professores, administradores e outros.

21

fornecer organizar e agrupar as informaes em sistemas que possam melhor seivir aos propsitos da avaliao; informao - dados descritivos e interpretativos sobre os programas, alunos e maieriais instrucionais e seu relacionamento em funo de algum propsito; reis as informaes devem ser teis para satisfazer a certos critrios cientficos, tais como: validade, confiabilidade e importncia; alternativas de deciso - aes diferentes entre si, que podem ser tomadas em resposta a umasituao que necessita de alterao.
~ ~

A nfase que Stufflebeam d ao processo de julgamento e de tomada de deciso encontra-se refletida na relao entre avaliao, deciso e fases de um projeto, estabelecidas conformemostraafigura8.

estruturao

de contexto

de entrada

de processo

de produto

Fipra 8 - Representao do modelo de Stufflebeam (Fonte: Stufflebeam, 1974)

Conforme diz o autor, a avaliao de contexto o tipo bsico de avaliao, cujo propsito o de delinear, obter e fornecer informaes teis para a determinao dos objetivos de um programa educacional. Atravs da avaliao de contexto, o ambiente, as condies desejadas e existentes so descritos e so detectadas as necessidades do programa. Esse diagnstico propicia as decises de planejamento, atravs das quais so especificadas as mudanas a serem introduzidas no sistema, caso sejam necessrias. Dessas decises surge, como conseqncia, 'um prejulgamento com a descrio do que est ocorrendo e do que deveria ocorrer. A avaliao de entrada deve prover informaes para determinar como utilizar recursos no sentido do alcance dos objetivos estabelecidos. O produto dessa avaliao uma anlise de planos de procedimentos em termar de estratgias e custos. As decises envolvidas nesse tipo de avaliao so as de estruturao que especificam os mtodos, o contedo, a organizao, o pessoal e as facilidades. Essas decises permitem o planejamento final da ao. A avaliao de processo, cujo objetivo fornecer informaes peridicas sobre os procedimentos em ao, relaes entre os membros da equipe responsvel pelo programa, inadequao de recursos, discordncia entre meios e fins, permite aos decisores tomar as devi-

22

das providncias durante o processo, evitando o acmulo de erros futuros. As decises envolvidas nessa avaliao so as de implementao, tomadas sempre no desenrolar do plano de ao. Essas decises permitem o estabelecimento da estrutura do programa, a definio de responsabilidades e outros aspectos importantes.

A avaliao de produto mede o alcance dos objetivos estabelecidos pelo programa, no somente ao f i de um ciclo, mas sempre, quando necessrio, durante o desenrolar das aes. Esse tipo de avaliao tem, assim como a avaliao de processo, a funo de controle do programa, alm da funo de explicao de seus resultados. A avaliao de processo enfoca os procedimentos, Verificando se estes esto sendo efetivados conforme o pretendido; a avaliao de produto enfoca os resultados, ou seja, investiga em que medida os objetivos foram alcanados. As decises envolvidas nessa ltima so de reciclagem que determinam a continuao, a modificao ou o trmino das atividades do programa. Essas condies embasam a fase de execuo onde o programa testado e instalado.

Modelo de Parlett e Hamilton. As idias desses autores aqui apresentadas baseiam-se em Hamilton e Parlett (1982). Parlett e Hamilton advogaram em 1971-72 total reviso dos fundamentos e das tcnicas de avaliao de programas. Propuseram a avaliao ilnminativa, cujo objetivo estudar intensamente o programa educacional inovador, tal como este funciona: como influenciado pelas diversas situaes nas quais aplicado; quais so suas operaes, vantagens e dificuldades, na opinio de seus principais interessados; quais as condies que mais afetam as tarefas intelectuais e a experincia acadmica dos alunos.
Os autores salientam a importncia de se considerar uma nova concepo de sistema de ensino e de meio de aprendizagem. Por este enfoque, o sistema de ensino no pode ser encarado como um conjunto de manuais preestabelecidos a partir de pressupostos pedaggicos formais, com a definio de tcnicas e estratgias das quais os docentes extraem propsitos, objetivos e resultados, verificando se foi uu no conseguido o que era esperado. A avaliao iluminativa pressupe que um sistema de ensino quando adotado sofre modificaes quase sempre muito importantes. O sistema de ensino assume diferentes formas em situaes concretas, tendo seus elementos diminudos ou ampliados, de acordo com as diferentes interpretaes que cada situao exige. A formulao Ydeal deixa no apenas de ser precisa, como tambm de ser importante. Passa-se, ento, de uma discusso tcnica para uma discusso crtica, o que exige uma nova postura dos envolvidos no processo ensinoaprendizagem.
Nessa discusso, ganha nfase o meio de aprendizagem, que os autores definem como o contexto sciopsicol@co e material em que docente e alunos trabaiham juntos. Reconhecer a diversidade e complexidade dos meios um pr-requisito essencial para um estudo srio de programas educacionais. O autores afirmam que qualquer meio de aprendizagem s to complexo que no se pode lidar com ele atravs de modelos quantitativa apnorstiCOS. Os avaliadores devem introduzir-se no meio de aprendizagem, experiment-lo e estud10, atravs de um processo de focalizao progressiva no qual observadores humanos exploram, julgam, i n v e s t i w e interpretam, iluminando as perspectivas, muitas vezes conflitantes, dos vrios participantes envolvidos. Em termos de tcnicas, os autores pregam a diversidade e enfatizani a necessidade de diferentes cruzamentos de dados, sempre levando em conta a amplitude e complexidade das situaes. Uma frase desses autores resume bem a idia metodolgica deste tipo de abordagem: A avaliao iluminativa no um pacote metodolgico, mas uma estratgia geral de pesquisa. Ela visa a ser gil e ecltica. Assim, o que fica patente a escolha de tticas de pesquisa baseada nas decises tomadas em cada caso: o problema dita a utilizao de certos mtodos, sendo que o inverso no verdadeiro.

23

A connibuio de Goldbg
No Brasil, Goldberg apresenta uma contribuio bastante significativa na rea de avaliao de programas. Uma contribuio especfica apresentada em seu artigo %Avaliao e plonejamento educacional: problemas conceimais e metodologias(1973) que, em sntese, discute os vrios aspectos referidos a seguir. (1) Um programa educacional uma estrutura de decises. A mais fundamental delas diz respeito a objetivos educacionais, porque quando se fala em planejamento, refere-se, por excelncia, i racionalizao da conduta humana. (2)A avaliao ser sempre uma avaliao de objetivos educacionais, isto 6, das funes do processo de ensino. A avaliao funciona como controle de qualidade do prprio processo de planejamento educacional. (3) O controle de qualidade do processo de planejamento educacional feito verificando-se sua eficcia e eficincia. (4) A eficcia diz respeito a utilizao, pela sociedade, do aluno formado pelo programa educacional. Ela ser tanto maior quanto mais alta for a probabilidade de aceitao do aluno formado. Em sntese, a eficcia diz respeito ao valor e 2 viabilidade dos objetivos educacionais de uma programao. A eficincia diz respeito ao julgamento sobre o impacto de um programa educacional. ( 5 ) Existem quatro tipos de avaliao: (1) diagnstica, feita antes do planejamento; (2) ex-ante posterior ao plano de trabaiho,mas antes de sua aprovao;(3) inprocessu, que acompanha a execuo do plano e (4) ex-post, posterior & obteno dos resultados. (6) A avaliao diagnstica e a avaliao ex-ante permitem analisar a eficcia das decises relativas aos objetivos educacionais. A avaliao inprocessu e avaliao ex-post so duas formas de avaliar a eficincia dos objetivos educacionais. (7) A eficcia diz respeito ao valor (utilidade social), i viabilidade (julgamento do dimensionamento de recursos humanos). Pela eficcia pode-se determinar se os objetivos educacionais esto sendo ou foram atingidos pela maioria dos alunos, da melhor maneira possvel. A eficincia diz respeito i produtividade (rapidez, mnimo esforo, baixo custo) e ao rendimento (resultados esperados). (8) A avaliao diagnstica oferece ao planejamento critrios pelos quais pode fundamentar suas decises sobre metas e estratgias educacionais. A avaliao ex-ante permite verificar a existncia ou no de uma adequao entre objetivos e estratgias e as variveis relacionadas ao professor e aos alunos. A avaliao inprocessu determina se a execuo est se processando conforme o planejado, se est havendo produtividade na operao do programa. A avaliao ex-post determina se os objetivos foram alcanados, se houve rendimento, se este foi aceitvel e se pode ser considerado como tendo sido produzido pelo programa. (9) Em termos de variveis, existem trs grandes classes que permeiam o processo ensino-aprenduagem: as variveis antecedentes, as variveis processuais e as variveis produto. As variveis antecedentes abrangem todas as condies que preexistem i interao professor-aluno. Dentre as variveis do professor, destacam-se as que se relacionam a ele enquanto profissional, tais como: conhecimentos e habilidades especficas e cursos de formao. Dentre as variveis do aluno, incluem-se conhecimentos, habilidades, atitudes e interesses, entre outras. Existem ainda as variveis contextuais, que representam as condies externas, ts como condies scioeconmicas e politicas; interao professor e a i aluno. As variveis processuais abrangem todas as interaes professor-aluno e todas as form s pelas quais o aluno tem que lidar com material didtico e de entrar em interao com a os demais,elementos do grupo instrucional. As variveis produto compreendem as mudanas comportamentais produzidas no aluno. Essas mudanas podem refletir modificaes em conhecimentos, habilidades, interesses e atitudes. A figura 9 mostra a inter-relao dessas variveis.
24

Figura 9 - Variveis do processo ensinoaprendizagem, segundo Goldberg.

(Fonte: Goldberg, 1973).

Embora no pertenam estritamente ao histrico da avaliao aqui apresentado, duas linhas tericas de pesquisa, que vm ganhando crescente divulgao entre ns, em anos recentes, sero mencionadas a seguir, porque ambas se ajustam aos propsitosmais amplos de avaliao de programas ou de todo um sistema ou organizao complexos. Trata-se da pesquisaao e da observao participante.

Pesquisaao A pesquisa-ao descende, em linha direta, das contribuies de Lewin (1890-1947). Conforme assinala Bickman, na introduo que escreveu para Mtodos de pesquisa nas relaes socbis (Selltiz, 1987), "interessado nos assuntos sociais da poca, Lewin traduziu suas preocupaes em pesquisas sobre tpicos, tais como conflito intergmpal, produtividade d o trabaihador e liderana. Ele n a esses projetos como pesquisa-ao, combinaes de experimentos e aplicaes. iewin sentia que sua pesquisa poderia beneficiar a sociedade, bem como aprimorar o conhecimento cientfico".
25

Com relao s bases tericas, Mitchell(l977) assinala que boa parte da cincia social decorre do desejo de alterar e melhorar urna situao social, ou ajudar pessoas que necessitam de auxilio. A pesquisaao uma investigao cuja natureza se orienta para essas finalidades, nas quais o objetivo no apenas coletar informaes e chegar a uma melhor compreenso, mas fazer algo prtico. As vezes os expoentes da pesquisa-ao lanam dvidas sobre a possibilidade de realizar estudos frios ou neutros e cientificos de assuntos humanos. Eles argumentam, por exemplo, que no h como impedir que um investigador deixe de influenciar o comportamento das pessoas que est estudando, que a experimentao extremamente difcil, se no impossivel, nas cincias sociais, que h intermediao do instrumento humano na medida e que tudo isso prejudica o %tatuscientifico da pesquisa social. Mitchell prossegue registrando que Argyle, no livro The scieniific study of social behavior (1957), criticou, de modo incisivo, a pesquisa;io, argumentando que nela a descoberta de resultados cientficos sempre secundana ou de pouca importncia, podendose, pois, duvidar de sua contribuio para o progresso da cincia. English (1958) diz que, de modo geral, a pesquisa-ao feita por alguns dos prprios participantes no programa de ao. As atividades so realizadas com a esperana de alcanar certos resultados de carter utilitrio ou prtico, e a pesquisa planejada a fim de efetivar um progresso no processo em curso e no meramente em algum processo futuro. No experimento puro, de modo contrastante, as atividades so prescritas primariamente para a obteno de dados que podero ser analisados para fins de generalizao cientfica ou tecnoigica. No contexto educacional, a pesquisa-ao ganhou o interesse dos especialistas a partir dos anos cinqenta, segundo Fleming (1970). De acordo com Schubert (19821, a pesquisaao, em termos de curriculo, foi implementada de modo prtico, no inicio da ddcada de oitenta, por Stenhouse. Este ltimo autor (1980) v a pesquisa de curriculo como um processo graas ao qual pesquisadoresconsultores interagem como professores nos seus ambientes, encorajando a reflexo cooperativa a respeito de situaes especificas e o estudo cooperativo dessas situaes; o objetivo melhorar o ensino com a fuso do investigador com o professor. Em todas essas manifestaes de pesquisa-ao em contextos psicolgicos e educacionais, perceptvel a influncia lewiniana e de seus discipulos. Um destes continuadores da obra de Lewin, Lippitt (1984), escreveu que o termo pesquisa-ao tem trs diferentes significados que precisam ser distinguidos. Primeiro, pode-se tratar de uma pesquisa de diagnstico sobre algum aspecto em marcha de um processo de ao, como anomia comunitria, moral, organizacional ou produtividade de grupo: neste sentido pesquisa com foco na ao. Segundo, designa um procedimento de coleta de dados por participante de algum sistema de p p o , e a seguir a previso de um feedback sobre o que se encontrou nos dados, como uma inteiveno destinada a influenciar, pssumivelmente de algum modo l, o processo de ao em andamento do grupo. Terceiro, um procedimento no qual os participantes em algum sistema social so envolvidos no processo de coleta de dados sobre si mesmos, e utilizam a seguir os dados gerados para rever os fatos sobre si prprios, a fim de realizar uma ao remediativa ou de desenvolvimento. Lippitt diz que o terceiro tipo de pesquisa-ao o melhor sucedido para assegurar uma ligao efetiva entre a busca de fatos e sua utilizao. O autor confesa que em relao ao primeiro tipo de pesquisa-ao, a histria desapontadora no que diz respeito s consequncias prticas. Diz o autor: usualmente os volumosos relatrios tm sido ignorados ou sucumbem diante da resistncia daqueles que o recebem, ou, ainda, so lidos atentamente, mas sem que se use os resultados de modo significativo. Quanto aos outros dois tipos de pesquisa-ao, Lippitt lembra que Lewin e colaboradores os conceituaram e operacionalizaram, aps a fundao de Resenrch Centerfor Grmp Dynumics no Massachussets Institute of Technology (MIT), em 1945. A aplicao inicial
26

deu-se em relao a problemas de preconceitos e mudana de atitudes em relaes intergrupais comunitnas (Lewin envolveu-se ativamente nisto, como parte do seu trabaiho junto i Comisso de Inter-relaes do Congresso judico norte-americano). Ainda na dcada de quarenta, os trabalhos de Cook (1976) trouxeram contribuies relevantes para a pesquisa-ao, sob a forma de levantamento de atitudes na comunidade, seguidos de feedback dos habitantes e discusso com estes, das implicaes dos resultados e desenvolvimento de planos de ao. Tratava-se, nestes casos, de interveno deliberadamente planejada para influenciar a mudana de atitudes, por meio de feedback de informao. Durante este perodo, outro desenvolvimento importante em matria de pesquisa-ao. nesta perspectiva, foi o grupo T ou grupo de treinamento, por Lewin e colaboradores. Proporcionava-se ao grupo um observador dos processos nele realizados, com a responsabilidade de fornecer dados aos grupos sobre si mesmos, i medida do transcorrer do traba!ho em reas como liderana, tomada de deciso, capacidade de lidar com agendas ocultas, abrir linhas de comunicao, melhorar a fixao de aivos e outros fenmenos similares. Um desdobramento posterior foi o programa de intervenes e estudos de feedback organizacional na Universidade de Michigan, a que estiveram associados os nomes de Floyd Mann e Rensis Likert. Lippitt acrescenta que os pesquisadores sociais, mais interessados em criar condies para mudana pessoal e mudana social em virtude da coleta de dados e feedback, descobriram trs vantagens no envolvimento dos grupos nesse processo: ( I ) quanto mais as pessoas se envolvem no planejamento e coleta de dados, tanto mais adquirem uma propriedade psicolgica dos dados (sentemse donas deles) e aceitam sua credibilidade e relevncia como interveno para mudana, (2) a coleta de dados por membros do grupo voluntrio muito mais econmica, (3) o treinamento de membros para conduzir suas prprias indagaes, que continua sempre como um recurso i disposio do grupo.

ObservaToparticipante
A observao participante faz parte de um conjunto mais vasto conhecido como metodologia qualitativa. D acordo com Tliines e Lempereur (1984), a origem da e observaZo participante como mtodo de pesquisa est na Antropologia e consiste em partiihar, to intimamente quanto possvel, a vida cotidiana do gnipo estudado, durante um perodo suficientemente longo para cobrir o conjunto da vida e perceber progressiva. mente os seus elementos, e suas estruturaes e significaes. Observem os autores citados que, se a identificao do antroplogo com o grupo estudado talvez seja prejudicial ao estudo cientfico dos fenmenos, a observao objetiva no basta, por si, para alcanar os objetivos procurados. Situada, de incio, no quadro de referncia antropolgica, a observao participante logo passou a integrar as outras cincias sociais, particularmente a Sociologia. A literatura acumulada a este respeito extensa e inclui contribuies de Gnaule, Vruyn, Williams, McCall e Simons, Filstead e Habenstein, Lofland, Bogden, Delfenchal e, particularmente, Renzin, que rene vrios artigos ilustrativos do mtodo de observao participante. Um sumdrio de diversas pesquisas nas quais a obseivao participante foi usada encontrase em Kidder (1987). O princpio norteador da observao participante, segundo Selltiz (1987) 6 o de que os ambientes exercem grande influncia sobre as pessoas e, conseqentemente, a pesquisa deve comear em situaes reais e no em circunstncias arranjadas ou simuladas. Para os observadores participantes, a maneira pela qual as pessoas vem e explicam seus ambientes o ncleo da pesquisa, mas esta deve ocorrer no prdprio ambiente. Selltiz cita Bogden, ao dizer que a observao participante tem sido definida como um perodo de intensa inierao social entre pesquisadores e sujeitos, no ambiente desses ltimos, durante o qual se coletam dados, na forma de notas de campo, de uma maneira sistemtica e no reativa.
27

O autor tambm afirma que em contraste com as abordagens que utilizam sistemas de categorias, a observao participante envolve procedimentos menos formalizados, embora haja alguns passos em comum. Esses incluem: (i) selecionar um ambiente de pesquisa, (2) obter acesso e desempenhar um papel, (3) tomar notar e (4) formular uma anlise.Na observao participante, iniciase com algumas hipteses, porm elas no so consideradas como algo definitivo, sendo revisadas i medida que transcorre a pesquisa, atravs da anlise de casos negativos. Essa substitui a anlise estatstica e permite que o pesquisador procure dados que reflitam a hiptese. Assim, quando um nico caso negativo encontrado, o obseflador participante rev a hiptese de forma que esta passa abarcar o cas0.A anlise de casos negativos, com sua reviso e reteste contnuo de hipteses, semelhante ao que os experimentalistas fazem quando planejam estudos subseqentes. O observador participante faz, na reaiidade, uma srie de estudos consecutivos, mas os realiza todos na mesma pesquisa, poisno h regra que diga que ele IMOpcde mudar as hipteses ou.quest&s no decorrer da pesquisa. Alm das hipteses e questes, o observador participante revisa, muitas vezes, o seu tema de estudo. No Brasil, a pesquisa-ao e observao participante tm encontrado numerosos adeptos e propugnadores. Em seu livro Metodologia da pesquimao: Thiollent (1985) diz que o principal objetivo deste tipo de pesquisa oferecer ao pesquisador melhores condies e compreenso das situaes analisadas. Resume, tambm, as principais caractersticas da pesquisa-ao: (a) ampla e explcita interao entre pesquisadores e pessoas da situao estudada; (b) ordem de prioridade feita em conjunto: pesquisador e participantes da pesquisa; (c) constante acompanhamento da ao; (d) buscamaior de esclarecimento dos problemas, do que de sua resoluo; (e)busca do aumento de conhecimento dos pesquisadores e do nvel de conscincia das pessoas e dos gnipos. Thiollent ainda cita Zuniga, mostrando que a pesquisa-ao inovadora do ponto de vista cientfico, somente quando inovadora do ponto de vista scio-poltico, isto , q u k do tenta colocar o controle do saber nas mos dos grupos que expressam uma aprendizagem coletiva, tanto na sua tomada de conscincia comono seu comprometimento com uma ao grUPd. Com relao ao contraste entre a pesquisa-ao e a pesquisa convencional, o autor citado estabelece as comparaes apresentadas no quadro 7. Thiollent indica alguns cuidados que devem ser tomados quanto d pesquisa-ao. Lembra que deve ser preservado um equilibrio entre conhecimento e participao; aim disso, diz ele, preciso evitar, de um lado, o tecnocratismo e o academicismo e , de outro, o popul i m o ingnuo e preciso, ainda, estar atento para o risco de manipulao das objetivos da pesquisa. No que respeita observao participante, h no Brasil notcia de algumas experincias em termos mais amplos de pesquisa participante. Demo (1984) dedicou-se ao estudo deste tipo de pesquisa e refere-se a vrios tpicos importantes como os seguintes: (a)Na pesquisa participante, o problema se origina na comunidade ou no prprio local de trabalho, A finalidade visada, na pesquisa, a melhona de vida dos envolvidos. fundamentalmente uma experincia educativa de carter coletivo. (b) A metodologia da pesquisa participante indica trs fases principais: (18) expiorao geral do problema pela populao envolvida, (2?) identificao das necesidades bBsicas da populao e (3s) elaborao de uma estratgia educativa para a resoluo do problema. (c) A tnica bsica do ponto de vista metodolgico a unio entre o conhecimento e a ao. (d) Os pesquisadores participam no apenas da discusso dos resultados da pesquisa, mas sobretudo do processo desta.
28

QUADRO 7

DIFERENAS ENTRE PESQUISA-AOE PESQUISA CONVENCIONAL

(Fonte:Thiollent, 1985) Pesquisa-ao
~

Pesquisaionvencional
~

-Participao ativa do pesquisador junto b pessoas buscando um trabalho conjunto.

No h participao total do pesquisador junto s pessoas da situao observada.

~A ao imediata.

- H uma grande distncia entre

os resultados de uma pesquisa e as possveis decises ou aes decorrentes.

- 0 usurio participa como elemento fundamental de informao e execuo.

- 0 usurio , ao nvel da pesquisa, um meio informante ao nvel da ao, mero executor.

-So considerados tanto os aspectos individuais quanto 06 aspectas globais, que podem ser captados por questionrios, mas devem ser enriquecidos com informaes trazidas pelo pesquisador.
- A dinmica dos problemas, conflitos e aes um dos principais focos da pesquisa.
~ 0 pesquisadores afastamse das preocus

-So privilegiados os aspectos individuais, tais como opinies, atitudes, motivaes, comportamentos. Esses aspectos, geralmente captados por meio de questionrios, no permitem uma viso dinmica da situao.

- A dinmica de transformao de uma situao em outra desejada no o enfoque principal.

-0s pesquisadores valorizam as estruturas de raciocnio e os critrios estatsticos.
- A pesquisa realizada numa situao criada, na qual o pesquisador no interV h .

paes metodolgicas relacionadas 2 formaiizao, lgica, s regras estatsticas.

- A pesquisa realizada numa situao natural, na quai o pesquisador intervm comcientemente.

(e) A escolha dos problemas a serem estudados no se efeua a partir de um conjunto de hipteses previamente estabelecidas pelos pesquisadores, mas tem sua origem nas situaes sociais concretas que os elementos que participam do processo de pesquisa querem estudar e resolver. Pelo que se pode observar, inmeras so as abordagens em termos da avaliao de programas e da aprendizagem. Cabe ao avaliador a difcil tarefa de conhecer possibilidades de cada uma delas, verificando sua adequao para a realidade na qual no trabalha. Um fator porm parece ser imprescindvel de ser considerado: o fator poltico. A essa altura, convm lembrar Weiss (1982), que explicitou bem a necessidade de considerar esse fator na avaliao e especificamente na pesquisa de avaliao. Ela afirma que as consideraes polticas nos programas de formao profissional se insinuam de trs formas principais e o avaliador que falhar no reconhecimento disso, amsca-se a uma srie de choques e conseqentes frustraes. A primeira diz que os programas educacionais
29

tratados pela avaliao so oriundos de decises polticas. Eles foram propostos, &batidos, aprovados e financiados atravs de processos polticos e, durante sua implementao, permanecem sujeitos a presses, tanto de apoio quanto de hostilidade, provenientes do jogo poltico. A segunda diz que a avaliao realizada com a finalidade de alimentar a tomada de deciso. Seus relatrios inserem-se no contexto poltico. Assim, a evidncia avaliativa acerca dos resultados de um programa tem que disputar ateno com cutros fatores que pesam no processo poltico. A terceira diz que a avaliao tem um posicionamento poitico. Por sua prpria naiureza, ela faz afirmaoes polticas implcitas sobre temas tais como a natureza problemtica de alguns programas, a legitimidade dos objetivos e at mesmo sobre o papel que convm ao cientista social na formao de polticas e programas. Cabe, portanto, ao avaliador, a difcil tarefa de imprimir ao seu trabalho princpios cientficos que produzam resultados vlidos e fidedignos e, principalmente, assumir uma postura clara e definida com relao ao seu papel no programa educacional do qual participa.

REFERENUAS BIBLIOGRFICAS ANDERSON, S.B. et al. (1981). Encyclopediu of educucional evalvatwn. San Francisco, Jossey-Bass. BELLACK, A.A. & KLIEBARD, H.M. ed. (1977) Clm'kulum Evahation. Berkeley, McCutchan. BLOOM, B.S. (1963) Learning for mastering.Evaluation Comment, 1 , 2 . (1972). Tationomia de objetivos educacionais; I, Domnio cognitivo. Porto Alegre, Globo. (1977). Tmionomia de objetivos educacionais; 2, Dominio afetivo. Podo Alegre, Globo. BONBOIR, A. (1976) Como avaliar os alunos. Lisboa, Seara Nova. COOK, S.W.et al(1976). Resarch methods in socialrelations. New York, Holt, Rinehart & Winston. DE LANDSHERE, G. (1976). A V Q ~ ~ e~ a m eO ; noes de docimobgia. Coimbra, ~ s Almedina. DEMO, P. (1984). Pesquisu participante; mito e realidade. Rio de Janeiro, SENAC/DN. DEPRESBITERIS, L. (1976). Um esiudo de generalizabiliade dos instrumentos do projeto SACI/EXEYW So Jos dos Campos, INPE(tese de mestrado). EBEL, R.L. & DAMRIN, D.E. (1960). Tests and examinations. In: HARRIS, C.W. ed. Encyclopediu of educational research. 36 ed. New York, MacmiUan, pp. 15021514. ENGLiSH, H.B. (1958). A comprehensive dictionary of psycholo@cal and psychoanalyticul terms New York, Longman. FLEMING, R.S., org. (1970). Currculo. Rio. Braslia, Lidador. GOLDBERG, M.A.A. (1973). Avaliao e planejamento educacional; problemas conceituais e metodologias. Cadernos depesquiso, (7): 63-72. HAMILTON, D. & PARLETT, M. (1982). Avaliao iluminativa uma nova abordagem no estudo de programas inovadores. In: GOLDBERG, M.A.A. 8r SOUZA, C.P. orgs. Avaliao de progrmas educacionais; vicissiiudes, confroversias e desnfos. So Paulo, EPU, pp. 3845. KIDDER, L.H. org. (1987). Mtodos de pesquisa nas relnes sociais. So Paulo, EPU. LIPPITT, R. (1984). Action research. In: CORSINI, R.J., ed. Encyclopedia ofpsycho1 0 0 . New York, Wiley, vol. 1 , pp. 11-13, MAGER, R.F. (1977). Medindo os objetivos educacionais. Porto Alegre, Globo.

30

MEDEIROS, E.B. (1977). novas objetivas, tcnicas de construo. Rio de Janeiro, Fundao Getlio Vargas. MIRANDA, M.J. (1982). A docimologia em . . perspectiva. Revista da Faculdade de Edu. cuo. (USP), 8, (1): 3969. MITCHELL, G.D.(1977). Actioo research. In: MITCHELL, G.D. ed. A dictionaty of Sociology. London, Routledge e Kegan Paul. PIERN, H. (1969) Examens et docimologie. Paris, Preases Universitaires de France. POPHAM, W.J. (1983). Avalizo educacional. Porto Alegre, Globo. SAUL, A.M. (1985). Avaliao emancipatrin: uma proposta democratica para reform u k o de um curso de ps-gramtao. So Paulo, PUC. (Tese de doutorado). SCHUBERT, W.H. (1982). Curriculum research. In: MITZEL, H.E. ed., Encyclopedia of educationulresearch. New York, Macmilian, pp. 420-43 1 . SCKIVEN, M. (1978). Perspectivas e procedimentos de avaliao. In: BASTOS, L. &PAIXO, L., orgs. Avaliao Educacional I1 Petrpolis, Vozes. SELLTIZ, C. et al. (1987). Introduo. In: Kidder, L.H., org. Mtodos de Pesquisn nus Relaes Sociais. So Paulo, EPU. Vol. 1. et al (1987). Obsewao participante. In: Kidder, L.H., org., Mtodos de Pesquisa nasRelaes Sociais. So Paulo, EPU. Vol. 1 . STAKE, R.E. (1977). 'he countenance of educational evaluation. In:BELLACK, AA. & KLEBARD, H.M. ed. Currintlum and evaluation.Berkeley, Mc-Cutchan STUFFLEBEAM, D. et al. (1974). Educational evaluation and decision makiflg. Itaska, Peacock. TALMAGE, H. (1982). Evaluation of programs. In: MITZEL, H.E. ed., Encyclopedia ofeducationul research. New York, Macmiilan, pp. 592-61 1 . THINES, G. Sr LEMPEREUR, A. (1984). Observao participante. In: Dicioflhio geral das cincias humanus. Lisboa, Setenta, p. 653. THIOLLENT, M. (1985). Metodobgh da pesquisa-ao, So Paulo, Cortez. TYLER, R.W. (1949). Basic principles of curriculum and insmction. Chicago, University of Chicago Press. (1982). Avaliando experincias de aprendizagem. In: GOLBERG, M A A & SOUZA, C.P. orgs. Avalioo de programas educacionais; vicissitudes, conirovrsias e demfios. So Paulo, EPU, pp. 35-37. VIANNA, H.M. (1982a.) Avaliao educacional; algumas idias precursoras. Educqo eSeleo, (6): 61-70. (1982b.) Testes em educao. So Paulo, Ibrasa. WEISS, C. (1982). Pesquisa avaliativa no contexto poltico. In: GOLDBERG, M.A.A. & SOUZA, C.P., orgs. Avaliao de programas educacionuis; vicissiudes. controvrsias e desafios. So Paulo, EPU, pp. 23-27. WERTHEIN, J. et al (1985). Avaliao educacional: tendncias na direo de enfoques mais participativos. In: WERTHEIN, J. & ARGUMEDO, M., orgs. Educafo ei'arficipuo. Rio de Janeiro,PMobiblion. WORTHEN, B .R. (1982). Viso geral do masaico formado pela avaliao e controles educacionais. In: GOLDBERG, M.A.A. & SOUZA, C.P., orgs. Aval&o deprogramas educacionais;vicissitudes,controvrsias e desafios. So Paulo, EPU, pp. 4-9. WORTHEN, B.R. & SANDERS, J.R. (1973).E&cational evaluation;theoty andpractice. Worthington, Charles A. Jones.

31