ESUD 2011 VIII Congresso Brasileiro de Ensino Superior a Distncia Ouro Preto, 3 5 de outubro de 2011 UNIREDE

AVALIAO INTERNA DE UM CURSO DE LICENCIATURA DE MATEMTICA - MODALIDADE A DISTNCIA

Maria Izabel Lage Martins Gomes1, Maria do Carmo Vila2
1

Universidade Federal de Ouro Preto /CEAD/milmg.cead@yahoo.com.br

2

Universidade Federal de Ouro Preto/CEAD/mcvila@cead.ufop.br

Resumo - Este trabalho apresenta um relato de pesquisa em andamento com foco na autoavaliao de cursos a distncia. Tem como objetivo avaliar um Curso de Licenciatura de Matemtica, modalidade a distncia, segundo as percepes de seu corpo discente, corpo docente, corpo tutorial e corpo tcnico-administrativo. Mais especificamente, pretende-se: determinar o Grau de Desempenho do Curso, segundo os diferentes nveis do modelo de avaliao (classificao por itens, classificao por dimenso e classificao global); identificar os itens que representam potencialidades/fragilidades do Curso, segundo a percepo dos avaliadores; identificar os itens crticos que devem ter aes corretivas/preventivas priorizadas; determinar as coerncias/discordncias entre os julgamentos emitidos pelos quatro segmentos de avaliadores. Neste relato, so apresentadas as dimenses e os indicadores que norteiam a autoavaliao e que serviram de base para a elaborao dos instrumentos de coleta de dados, que no momento j foram prtestados, bem como os procedimentos para a anlise dos dados. Considerando-se que o Curso de Licenciatura de Matemtica encontra-se em andamento, no se constituindo, portanto, em um produto acabado, a presente investigao est propondo a realizao de uma avaliao do tipo formativa, que possa contribuir para a sua melhoria e autoregulao. Alm disso, espera-se contribuir para a discusso e implementao da avaliao de cursos de graduao na modalidade a distncia, haja vista que grande parte das instituies brasileiras de ensino superior ainda encontram dificuldades nessa tarefa. Palavras-chave: Educao a Distncia, Avaliao de cursos, Licenciatura de matemtica Abstract - This paper presents an account of ongoing research focusing on selfassessment of distance learning courses. It aims to evaluate a Degree Course in Mathematics, the distance learning mode, in the perception of its student body, faculty, tutorial body and technical and administrative staff. More specifically, it aims: to determine the Performance Level of the Course, according to the different levels of the evaluation model (classification by items, classification by size and overall classification), identify the items that represent potential/weaknesses of the course as perceived by the evaluators, to identify critical items that should have prioritized corrective/preventive actions and determine the coherence/disagreements between the judgments issued by the four segments of evaluators. This paper reports the dimensions and indicators that guide the self-assessment and were the basis for the development of instruments for data collection, which currently have been pretested, as well as the procedures for data analysis. Considering the Degree Course in Mathematics is in progress, and therefore it is not a finished product, this research is proposing to carry out a formative evaluation of the type that can contribute to its improvement and self-regulation. Moreover, it is expected to contribute to the discussion and implementation of the evaluation of undergraduate
1

distance learning courses, given that most Brazilian institutions of higher education still face difficulties in this task. Keywords: Distance education, evaluation of courses, degree in mathematics

1. Introduo
Na ltima dcada, a Educao a Distncia no Brasil (EAD) tem vivenciado um processo acelerado de expanso, caracterizado pelo crescente nmero de cursos ofertados pelas Instituies de Ensino Superior (IES). De acordo com o Censo da Educao Superior do Ministrio da Educao (Educacenso/INEP, 2007), no perodo de 2003 a 2006, houve um aumento de 571% em nmero de cursos ofertados nessa modalidade (passando de 52 cursos em 203 para 349 cursos em 2006) e de 315% no nmero de matrculas. Nesse mesmo perodo, os cursos presenciais tiveram aumento de 8,3% em nmero de cursos e de 34,3% em nmero de matrculas. Considerando tal expanso, em 2007, o Ministrio da Educao, por meio de sua ento Secretaria de Educao a Distncia, elaborou o documento Referenciais de Qualidade para a Educao Superior a Distncia, que atualiza o primeiro texto oficial do Ministrio da Educao e Cultura (MEC) visando orientar as instituies a criar e ofertar cursos a distncia com qualidade. Contudo, o fato de seguir tais orientaes no garante por si s, um curso de qualidade. Uma vez implementado, necessrio que um curso seja monitorado e avaliado para garantir que ele esteja atendendo aos padres fixados. Atualmente, no Brasil, as questes de avaliao da Educao Superior so tratadas no mbito do Sistema Nacional de Avaliao da Educao Superior (SINAES), institudo em 2004. Dentre as normas por ele estabelecidas, encontra-se a obrigatoriedade de toda IES realizar um processo contnuo de autoavaliao institucional. A avaliao de curso, seja ele presencial ou a distncia, uma das vertentes desse processo. De um modo geral, as instituies tm procurado desenvolver procedimentos avaliativos para seus cursos presenciais. Bem menos tem sido feito com relao aos cursos a distncia, pois h dificuldades de se construir instrumentos avaliativos capazes de desvendar as realidades e particularidades desses cursos. Com o intuito de contribuir para essa questo, este artigo apresenta um estudo em andamento sobre a avaliao de um curso de Licenciatura de Matemtica, modalidade a distncia. De forma sucinta, ele est estruturado da seguinte forma: a seo 2 apresenta um breve histrico da avaliao de programas; a seo 3 trata da avaliao da educao superior brasileira; a seo 4 destaca a questo da autoavaliao institucional e de curso; a seo 5 apresenta o curso de licenciatura que ser objeto de avaliao; a seo 6 descreve os objetivos e metodologia da pesquisa; e, finalmente, a seo 7 apresenta algumas possibilidades para a anlise dos dados.

2. Avaliao de Programas e Cursos

A avaliao de programas um mtodo sistemtico para coletar, analisar e utilizar informaes para responder a questionamentos sobre os projetos, polticas e programas, nomeadamente sobre a sua eficcia e eficincia. Nos setores pblicos e privados, os interessados querem saber se os programas esto funcionando de maneira satisfatria, atendendo aos objetivos propostos e se realmente tm o efeito pretendido. Para responder a essa pergunta precisam do trabalho de um avaliador.
2

O processo de avaliao de programas, sistemas, cursos, considerado um fenmeno relativamente recente surgindo, de forma sistemtica, a partir da aplicao de mtodos de pesquisa cientfica aos problemas sociais. Segundo Rossi e Freeman (1993), as primeiras avaliaes foram realizadas nos Estados Unidos no perodo que antecedeu a primeira Guerra Mundial, quando se tentou avaliar os programas de alfabetizao e treinamento profissionalizante, os programas de reduo da mortalidade e da morbidade, causadas por doenas infecciosas (Calmon, 1999). Posteriormente, os programas de avaliao foram estendidos a outras reas, surgindo novas tcnicas de pesquisa aplicadas na avaliao de programas sociais. As pesquisas nessa rea ganharam um impulso vigoroso no perodo ps-guerra, com o desenvolvimento de mtodos estatsticos e de pesquisa aplicveis ao estudo dos problemas sociais, dos processos sociais e das relaes interpessoais. Na dcada de 60, a avaliao de programas sofreu um novo impulso nos Estados Unidos, motivado pelo conjunto de programas nacionais, propostos ou decretados pelo presidente Lyndon B. Johnson. Eles tinham como objetivo a eliminao da pobreza e da injustia social Outro fator que contribuiu para o crescimento da avaliao de programas foi a criao de novas formas de ajuda aos pases em desenvolvimento, por meio de projetos econmicos e programas sociais, pois a preocupao com os resultados da aplicao de bilhes de dlares nesses programas gerou uma grande demanda por avaliao destes programas. Segundo Shadish, Cook e Levinton (1955), foi ao longo da dcada de 60 que surgiu o primeiro estgio da evoluo da teoria de avaliao de programas. Nessa fase, destacam-se os trabalhos de Scriven (1967, 1969) e os de Campbell e Stanley (1963). Os trabalhos desses dois ltimos avaliadores exerceram influncia marcante no que se refere ao uso de mtodos e tcnicas quantitativas de pesquisa cientfica. Scriven considera que a avaliao a determinao sistemtica e objetiva do mrito ou valor de alguma coisa. Os avaliadores devem avaliar os resultados dos programas, julgar os objetivos dos mesmos e tirar concluses sobre o valor global desses programas. Nesse modelo de avaliao, no se considera somente o aspecto tcnico de um programa ou projeto, mas tambm seus efeitos sociais. Scriven faz distino entre o objetivo e as funes da avaliao. Para o autor, o objetivo da avaliao julgar o mrito de alguma coisa e as funes da avaliao so de dois tipos: formativa e somativa. A avaliao formativa fornece informaes a serem utilizadas na melhoria de um programa no seu todo ou em suas partes. Ela prov uma contnua retroalimentao que auxilia o desenvolvimento de um produto medida que questiona a validade do contedo, a sua possibilidade de uso, a adequao dos meios, a eficincia, entre outros. A avaliao somativa fornece informaes sobre o valor final de um programa educacional. Ela pode proporcionar subsdios aos gestores para decidir se um programa acabado apresenta vantagens significativas que justifiquem sua adoo ou sua continuidade. O avaliador somativo, aps coletar e analisar informaes, julga os mritos de uma ao educativa de tal modo que decises possam ser tomadas com vistas a mant-la ou abandon-la. Em seu modelo de avaliao, Scriven (1978) relaciona as avaliaes formativa e somativa com dois tipos de julgamento: intrnseco e extrnseco. O autor se refere-se ao julgamento intrnseco como aquele que aprecia as qualidades de um instrumento de ensino, independentemente de seus efeitos, estimando fatores como contedo, objetivos, currculo, materiais, atitudes do professor. Os critrios intrnsecos referem-se aos critrios de processo.
3

O julgamento extrnseco, por sua vez, trata dos efeitos do programa a ser julgado. Os critrios extrnsecos so critrios de produto. O foco dos trabalhos desse primeiro estgio da avaliao de programas a busca do rigor cientfico. Nele, manifesta-se a preocupao com a ambigidade na interpretao dos experimentos e a validade dos instrumentos de pesquisa. Em outras palavras, os avaliadores buscam aplicar o mtodo cientfico de forma rigorosa. , tambm, nessa fase, que a avaliao passa a ser considerada como um importante instrumento de feedback e se considera que seus resultados devam ser utilizados pelos decididores, gestores e formuladores de poltica. O segundo estgio da evoluo da teoria da avaliao de programas teve incio na dcada de 70. Caracterizou-se pela nfase na utilizao dos resultados das pesquisas e no pragmatismo. Para Shadish et alii (1995), os tericos mais importantes dessa fase so Carol Weis, Joseph Wholey e Robert Stak. Os estudos desses avaliadores resultaram da constatao de que nem sempre as informaes geradas pelas avaliaes eram utilizadas pelos decididores. Logo, elas no estavam atingindo seu objetivo final: a melhoria dos programas avaliados. Os pesquisadores identificaram duas situaes que deveriam ser levadas em conta. De um lado, estavam gestores que usavam resultados provenientes de trabalhos sem muito rigor cientfico. Do outro, as informaes no estavam disponveis a tempo de subsidiar a tomada de decises. Isto resultava do fato de que, em vrias situaes, o processo avaliativo demandava muito mais tempo do que aquele que os gestores dispunham para tomar decises. Portanto, a preocupao central desta fase consistiu na questo prtica da utilizao dos resultados das pesquisas de avaliao por aqueles que eram responsveis pelas decises sobre um dado programa. A discusso sobre tcnicas quantitativas versus qualitativas na avaliao de programas surgiu na segunda fase. Os trabalhos de Stake (1975, 1981), por exemplo, so considerados inovadores na utilizao de mtodos qualitativos, como o de estudo de casos. Eles influenciaram importantes tericos da avaliao qualitativa, tais como: Lincoln (1981), Patton (1978) e Guba (1989). Para Guba e Lincoln (1989), a avaliao deve ir alm de simples aplicao dos mtodos de pesquisa cientfica. Ela deve, tambm, considerar os diversos aspectos humanos, polticos sociais, culturais e contextuais que envolvem todo o seu processo. No terceiro estgio da avaliao de programas, estabeleceu-se um consenso de que a poltica afeta os programas. Admite-se que estes se apresentam no escopo de uma diversidade epistemolgica e metodolgica e que possuem diferentes e mltiplas prioridades. Assim, Rossi e Cronbach propem que sejam usados, sempre que possvel, mltiplos mtodos de pesquisa como, por exemplo, a combinao de mtodos quantitativos e qualitativos. Para Rossi e Freeman (1993, p.5), a avaliao a aplicao sistemtica de procedimentos de pesquisa cientfica para verificar a conceituao, design, implementao e utilidade dos programas de interveno social. Os estudos sobre a avaliao de programas mostram a diversidade de definies, de mtodos e tcnicas de pesquisa adotados na rea. No presente estudo, a avaliao de curso ser considerada como caso particular de avaliao de programa educacional que, por sua vez, se insere no mbito da avaliao de programa. Por outro lado, considerando que o Curso de Licenciatura de Matemtica, modalidade a distncia da Universidade Federal de Ouro Preto (UFOP), encontra-se em
4

andamento e, portanto, no um produto acabado. A presente investigao est propondo a realizao de uma avaliao formativa. Espera-se que com ela sejam obtidas informaes que possam contribuir para a melhoria da eficincia e da eficcia do curso em questo. A avaliao aqui proposta envolver oito dimenses: Infraestrutura do Polo, Infraestrutura do Cead, Ambiente Virtual, Webconferncia e Videoconferncia, Videoaulas, Disciplinas do Curso, Desempenho dos Tutores, Autoavaliao Discente.

3. Avaliao da Educao Superior Brasileira

No Brasil, Goldeberg (1973, 1980) prestou uma contribuio significativa na rea de avaliao de programas e, em particular, de programas educacionais. O autor considera que a avaliao funciona como controle de qualidade do prprio processo de planejamento educacional, atravs da verificao de sua eficcia e eficincia. Segundo o autor, eficcia refere-se utilizao do egresso do programa educacional. Ela diz respeito utilidade social e viabilidade de execuo, permitindo determinar se os objetivos educacionais propostos foram atingidos pela maioria dos alunos, A eficincia, por sua vez, diz respeito produtividade e ao rendimento, isto , ao julgamento sobre o impacto de um programa educacional. Na dcada de 80, a necessidade de avaliao comea a se fazer presente no mbito das instituies brasileiras de ensino superior (IES). De modo mais sistemtico, a partir da segunda metade da dcada de 80, quando a Comisso Nacional de Reformulao do Ensino Superior props a instituio da autonomia plena das universidades brasileiras, acompanhada de um sistema permanente de avaliao e acompanhamento de seu desempenho. A partir da dcada de 1990, o Brasil aprofunda sua participao na economia mundial, apoiada nas foras do mercado. Nesse perodo, intensificou-se o processo de liberalizao da economia, forada pelo grande capital internacional e avalizado pelos governos e elites nacionais. Com isso, ampliaram-se as privatizaes, promoveram-se reformas nas reas sociais, administrativas, educacionais, previdenciria e trabalhista. Nesse contexto de reformas, a educao passou por constantes reformulaes para adequar-se s novas perspectivas econmicas. Entre estas reformas, surge, em 1993, o Programa de Avaliao Institucional das Universidades Brasileiras (PAIUB), que era um programa do Ministrio da Educao e Cultura (MEC), coordenado por sua Secretaria de Educao Superior (SESu). O programa solicitava s universidades que criassem sistemas internos de avaliao, que posteriormente seriam checados pelos tcnicos do Ministrio da Educao e Cultura. O objetivo era que tais sistemas pudessem auxiliar no processo contnuo de aperfeioamento do desempenho acadmico e de prestao de contas da Universidade sociedade. O PAIUB estabelecia trs fases centrais para o processo a ser desenvolvido em cada universidade: avaliao interna, avaliao externa e reavaliao. Contava com o apoio de entidades representativas como a Associao Nacional dos Dirigentes das Instituies de Ensino Superior (ANDIFES) e o Frum de Pr-Reitores de Graduao (FORGRAD). Em 2003, o PAIUB foi substitudo pelo Sistema Nacional de Avaliao da Educao Superior (SINAES), institudo pela Lei n.o 10.861, de 14 de abril de 2004, com os objetivos de promover a melhoria da qualidade da educao superior, a orientao de expanso da sua oferta, o aumento permanente da sua eficcia institucional, de efetividade acadmica e social e, principalmente, dos seus compromissos e responsabilidades sociais. Por ser permanente, o SINAES tem finalidade construtiva e formativa, alm de criar e desenvolver a cultura de avaliao nas Instituies de Ensino Superior e no prprio sistema de educao. Nesse
5

sentido, o SINAES recupera as finalidades essenciais da avaliao, valoriza a solidariedade e a cooperao, aprofunda a ideia de responsabilidade social da educao superior, no que se refere ao avano da cincia, formao da cidadania e ao aprofundamento dos valores democrticos, fundamentado em um processo de construo, com a participao da comunidade acadmica e da prpria sociedade. O SINAES um sistema de avaliao global e integrada das atividades acadmicas, composta por trs processos diferenciados, a saber: Avaliao das Instituies de Educao Superior (AVALIES), composta de duas etapas: Avaliao dos Cursos de Graduao (ACG): visitas in loco de comisses externas. Exame Nacional de Desempenho dos Estudantes (ENADE): para iniciantes e concluintes, em amostras, com definio anual das reas participantes. O processo de Avaliao das Instituies de Ensino Superior (AVALIES) est apoiado em princpios fundamentais e dimenses que esto apresentadas no documento Diretrizes para Avaliao das Instituies de Ensino Superior, elaborado pela Comisso Nacional de Avaliao da Educao Superior (CONAES). Ele se compe de duas modalidades: Avaliao Interna ou Autoavaliao - Coordenada pela Comisso Prpria de Avaliao (CPA) de cada instituio e orientada pelas diretrizes e pelo roteiro da autoavaliao institucional da CONAES. Avaliao Externa Realizada por comisses designadas pelo Inep, a avaliao externa tem como referncia os padres de qualidade para a Educao Superior Em conjunto, os processos avaliativos devem constituir um sistema que permita a integrao das diversas dimenses da realidade avaliada, assegurando as coerncias conceitual, epistemolgica e prtica, bem como o alcance dos objetivos dos diversos instrumentos e modalidades. Neste projeto, a avaliao pensada enquanto oportunidade de desenvolvimento dos cursos na modalidade a distncia. Mais do que apenas prestar contas a agentes externos (e sem questionar a legitimidade de faz-lo), processos de avaliao so oportunidades para questionar a prpria prtica e a partir dessa reflexo, gerar novas informaes, novas vises e at uma nova prtica.

4. Avaliao Interna ou Autoavaliao

De acordo com o SINAES (2004), a avaliao interna ou autoavaliao um instrumento bsico obrigatrio e imprescindvel para todos os atos de regulao, cuja execuo prerrogativa do Estado. Por meio dela, as instituies conhecem melhor a prpria realidade e podem tomar decises que sejam necessrias para cumprir com mais qualidade e pertinncia os objetivos e misses. A autoavaliao deve ser permanente e deve ter carter educativo, de melhora e de autorregulao. O Sinaes recomenda que cada instituio constitua uma Comisso Central de Avaliao (CCA), vinculada ao conselho ou rgo colegiado superior, com a misso de represent-la em matria de avaliao. Considerando que universidades e centros universitrios podem apresentar atividades acadmicas e cientficas mais complexas em determinadas reas do conhecimento, apresenta-se a possibilidade a formao de comisses setoriais, que serviro de ligao entre o CCA e as comunidades setoriais. A autoavaliao, no mbito do Sinaes, tem duas vertentes propriamente ditas: a autoavaliao institucional e a avaliao de cursos superiores. Com a primeira, busca-se
6

avaliar a instituio como um todo, identificando as potencialidades e fragilidades existentes em seus diversos setores e cursos. A segunda vertente, procura captar a realidade de cada curso, em consonncia com as condies de oferta presentes na unidade acadmica onde ele ofertado (laboratrio, salas de aula, equipamentos, biblioteca etc.). A avaliao de curso contribui de forma significativa para a avaliao macro da IES. A autoavaliao de cursos se refere tanto aos cursos presenciais quanto aos cursos ofertados na modalidade a distncia. Com relao aos primeiros, grande parte das IES j possuem instrumentos de coleta de dados e os aplicam semestralmente ou anualmente, tendo em vista a avaliao deles. O mesmo no acontece com relao aos cursos a distncia. H instituies que avaliam ambas modalidades de curso da mesma forma, mas esto conscientes de que a modalidade a distncia possui especificidades que no so captadas pela avaliao praticada nos cursos presenciais. Outras ainda estudam meios de avaliar os cursos a distncia. Ciente de que a avaliao de cursos um dos componentes da autoavaliao institucional, a UFOP, sob a coordenao de sua Comisso Prpria de Avaliao (CPA), tem realizado de forma contnua, a avaliao de seus cursos presenciais. Contudo, at o momento, reconhecendo as especificidades dos cursos a distncia, a CPA ainda no estabeleceu normas para a avaliao dos cursos ofertados na modalidade a distncia. nesse contexto que o presente projeto tem por objetivo propor a realizao de uma avaliao formativa para o Curso de Licenciatura de Matemtica da UFOP, modalidade a distncia, do ponto de vista de uma possvel contribuio para uma autoavaliao de curso implementada pela CPA. 5. Licenciatura de Matemtica Modalidade a Distncia

Oferecido pelo Centro de Educao Aberta e a Distncia CEAD/UFOP desde 2007, o Curso de Licenciatura de Matemtica a distncia ofertado no mbito do Sistema Universidade Aberta do Brasil (UAB) da CAPES/MEC. Est estruturado em nove semestres, totalizando 3 090 horas, distribudas em disciplinas do seguinte modo: 38 % de Matemtica pura, 4% de Fsica, 22% de Educao, 23 % de Estgio e 13% de outras. Conta, hoje, com 21 turmas, estando seis no 9. perodo, nove no 5. e seis no 3., nos polos de apoio presencial de Alterosa, Araua, Araguari, Baro de Cocais, Conselheiro Lafaiete, Ipatinga, Joo Monlevade, Lagamar, Salinas, em Minas Gerais, e nos polos de Jales e So Jos do Campos, no Estado de So Paulo. 5.1. Polos de apoio presencial O curso de Licenciatura de Matemtica, na modalidade a distncia, ofertado em polos regionais de apoio presencial da UAB. Tais Polos possuem infraestrutura e organizao de servios que permitem o desenvolvimento das atividades de cunho administrativo e acadmico exigidas por um curso universitrio a distncia. Para atender a clientela, o polo de apoio presencial conta com: espaos que permitam o desenvolvimento das orientaes acadmicas, os encontros presenciais, a realizao dos seminrios temticos, os servios de apoio pedaggico ao estudante, dentre eles: biblioteca, salas de videoconferncia e webconferncia e laboratrio de informtica que possibilita ao licenciando conectar-se com o CEAD/UFOP e com os colegas de curso; secretaria geral que: a) realize a distribuio de material didtico aos alunos; b) desempenhe todas as funes relativas ao recebimento, expedio e arquivo de correspondncias; c) faa circular as informaes necessrias ao andamento do curso; d)
7

execute todo servio de apoio ao desenvolvimento dos momentos presenciais do curso; e) execute o arquivamento adequado das informaes relativas ao Curso; e) disponibilize os servios de comunicao ao licenciando: telefone, fax, acesso plataforma virtual de ensino, webconferncia e videoconferncia, entre outros. 5.2. Sistema de Comunicao e Interatividade Neder (2001) afirma que, paradoxalmente, a educao a distncia s pode se desenvolver se no houver distncia entre os sujeitos da prtica educativa. Isto significa que embora tais sujeitos no ocupem o mesmo espao fsico em um tempo real, deve-se cuidar para que o processo de interlocuo e o dilogo permanente ocorram entre eles. Isto implica na organizao de um sistema que possibilite a comunicao entre os sujeitos do processo educativo. Moore e Kearsley (1996) afirmam que o conceito fundamental de Educao a Distncia simples: alunos e professores esto separados pela distncia e algumas vezes tambm pelo tempo. Partindo desta premissa, pode-se afirmar que a EAD est vinculada mdia, ao meio de comunicao, por meio de diferentes tecnologias e mdias que podem ser utilizadas em um ambiente de aprendizado computacional. O Curso de Licenciatura de Matemtica da UFOP ressalta as tecnologias e mdias usando: Internet, ambiente virtual (Moodle), chat, e-mail, frum, fax, softwares diversos, vdeoconferncias, webconferncias, videoaulas, material impresso e vdeos. 5.3. Sistema de Tutoria A tutoria tem um papel importante na EAD, visto que, atravs dela, se promove a mediao entre o estudante e o material didtico, se estabelece um processo dialgico efetivo que possibilita ao estudante no se sentir s e superar a ausncia do professor. Alm disso, o tutor atua como animador e facilitador da aprendizagem, possibilitando ao estudante administrar seu prprio tempo de estudo uma vez que o espao de estudo deixa de se restringir sala de aula convencional. No modelo de educao a distncia, proposto pela UFOP para a oferta do Curso de Licenciatura de Matemtica, a tutoria atualmente realizada por duas equipes de profissionais: tutores a distncia e tutores presenciais.Os tutores tm como funes: mediar a comunicao de contedos entre o professor e os cursistas; acompanhar as atividades discentes, conforme o cronograma do curso;
apoiar o professor da disciplina no desenvolvimento das atividades docentes; manter regularidade de acesso ao AVA e dar retorno s solicitaes do cursista no prazo mximo de 24 horas; estabelecer contato permanente com os alunos e mediar as atividades discentes; colaborar com a coordenao do curso na avaliao dos estudantes; participar das atividades de capacitao e de atualizao promovidas pela Instituio de Ensino; elaborar relatrios mensais de acompanhamento dos alunos e encaminhar coordenao de tutoria; participar do processo de avaliao da disciplina sob orientao do professor responsvel; apoiar operacionalmente a coordenao do curso nas atividades presenciais nos polos.

Os tutores so professores com licenciatura plena em Matemtica ou especialistas em reas afins das regies que compem os polos envolvidos no projeto, ambos com pelo menos
8

um ano de experincia na Escola Bsica, ou alunos de ps-graduao. So escolhidos por meio de processo seletivo preparado pelo CEAD. Para atender demanda de alunos que esto ingressando no ensino a distncia e atingir a meta proposta at este ano, a UFOP tem promovido o curso de Tutoria em Educao a Distncia, que tem por objetivo qualificar profissionais para o exerccio da EAD, visando apropriao de competncias e conhecimentos necessrios ao exerccio da tutoria. 5.4. Sistema de Gesto Acadmica-Administrativa A oferta de um curso na modalidade a distncia, da mesma forma que na modalidade presencial, exige a execuo do projeto pedaggico em que deve ser explicitada a opo por uma matriz epistemolgica, a seleo de contedos, os procedimentos avaliativos etc. Entretanto, no primeiro caso, desafios adicionais devem ser encarados e equacionados, dentre os quais podem ser citados: a) escolha de estratgias para quebrar o isolamento do aluno e criar condies para que interaja com os tutores, colegas e material didtico; b) produo antecipada de material didtico; c) formas adequadas de apresentao desse material, de modo a promover a interpretao da informao e a sua conexo com o conhecimento do aluno; d) disponibilidade de recursos humanos e interativos que possam ajudar o aluno a superar suas dificuldades. Os desafios exigem a participao de equipe para planejamento e desenvolvimento dos cursos, pessoal administrativo capacitado, docentes da instituio e equipe de colaboradores dos polos. Isso faz com que a gesto de um projeto de EAD, e em particular a gesto do curso de Licenciatura de Matemtica da UFOP, deva se assentar sobre o alicerce do trabalho colaborativo e de apoio entre colegiado do curso e equipe de profissionais do CEAD/UFOP e dos Polos de Apoio Presencial. Trata-se, pois, de uma ao colegiada em que as atividades de todos tenham como foco o desenvolvimento do projeto poltico-pedaggico do Curso. Ela dever promover a participao dos diferentes segmentos do Curso (colegiado, tutores, tcnicos administrativos, coordenadores de polo) na identificao e resoluo dos problemas, na formulao de propostas, nas deliberaes, visando o bom desenvolvimento do Curso e a melhoria de sua qualidade. O Colegiado o responsvel pela execuo poltica e didticopedaggica do Curso. Suas funes e atribuies esto expressas nos artigos 23 a 25, do ttulo VI do Estatuto da UFOP. A equipe do CEAD exerce funes que possibilitam a implantao e funcionamento dos sistemas de tutoria, de comunicao, de elaborao e distribuio do material didtico aos polos, de avaliao e de monitoramento do Curso. As equipes dos Centros de Apoio dos polos so responsveis pelo funcionamento da tutoria local, dos servios de apoio aos estudantes (secretaria, biblioteca, videoteca, midiateca, comunicao com a UFOP), da difuso das informaes provenientes da UFOP, da distribuio dos materiais didticos aos alunos, do laboratrio de computao. Com a implantao de um sistema de avaliao contnua, a gesto dos cursos a distncia do CEAD, e em particular do Curso de Licenciatura de Matemtica, poder ser subsidiada pelos dados e resultados obtidos, tornando-o mais eficiente quanto ao cumprimento de metas e de objetivos. 5.5. Sistema de Avaliao e Monitoramento

No Projeto Pedaggico do Curso de Licenciatura de Matemtica, modalidade a distncia, da UFOP, a avaliao no considerada como sendo um processo meramente tcnico; ela implica em um posicionamento poltico e inclui valores e princpios. entendida como atividade poltica que tem por funo bsica subsidiar tomadas de deciso. Nesse sentido, o
9

processo de avaliao pressupe no s anlises e reflexes sobre o desempenho do licenciando, mas tambm sobre as dimenses estruturais e organizacionais do curso e os aspectos polticos do processo de formao de educadores matemticos. No processo avaliativo em questo, duas vertentes so contempladas: avaliao da aprendizagem e avaliao do curso. Com relao avaliao da aprendizagem, considera-se que o estudante atua efetivamente como agente de seu prprio conhecimento, construindo significados e definindo o sentido e a representao da realidade, a partir de suas experincias e vivncias em diferentes contextos de interao com outras pessoas. Esse processo propicia o desenvolvimento da autonomia, condio indispensvel para a atuao em cursos a distncia. Nessa perspectiva, os processos de ensino/aprendizagem e de avaliao constituem-se em articulaes indissociveis. A funo da avaliao deixa de ser a de aprovar ou reprovar alunos, passando a ser vista em um contexto scio-cultural mais amplo, historicamente situada, transformadora e emancipadora. Nessa viso, a avaliao proposta no Projeto Pedaggico do Curso pretende diagnosticar a situao do aprendiz em relao aos objetivos propostos e identificar as dificuldades de aprendizagem. Ao mesmo tempo, ela busca propiciar ao educador a reviso de seus procedimentos a at mesmo o questionamento de prpria maneira de analisar a cincia e encarar o mundo. Ela se torna, portanto, um meio de identificar causas de sucesso ou fracasso do processo pedaggico, possibilitando sua transformao, seu aprimoramento. Isto porque a avaliao fornece informaes que possibilitam aos agentes escolares decidir sobre as escolhas de alternativas subsequentes. No Projeto Pedaggico, tambm consta a avaliao do Curso, considerando as caractersticas que lhe so prprias. Afirma que ela ter como avaliadores a populao diretamente envolvida em sua implementao e desenvolvimento: estudantes, tutores, professores, coordenadores e gestores. Contudo, reconhecidas as dificuldades de se implementar avaliaes de curso a distncia, essa ao ainda no foi concretizada. Com o presente estudo espera-se contribuir para o cumprimento desse propsito.

6. Objetivos e Metodologia
A presente investigao tem como objetivo avaliar o Curso de Licenciatura de Matemtica, modalidade a distncia, da Universidade Federal de Ouro Preto, segundo as percepes de seu corpo discente, corpo docente, corpo tutorial e corpo tcnico-administrativo. Em relao a este objetivo, procuraremos responder s questes seguintes: 1) Qual o Grau de Desempenho do Curso luz de cada um dos itens estabelecidos nos instrumentos? 2) Qual o Grau de desempenho do Curso luz de cada dimenso de avaliao? 3) Qual o Grau Geral de Desempenho do Curso luz de todos os itens de avaliao considerados? 4) Quais itens representam potencialidades/fragilidades do Curso, segundo a percepo dos avaliadores? 5) Quais itens crticos devem ter aes corretivas/preventivas priorizadas? 6) Quais so as coerncias/discordncias entre os julgamentos emitidos pelos estudantes, professores, tutores e funcionrios tcnico-administrativos?

10

6.1.

Definio da Amostra

Na presente investigao, proposta uma autoavaliao do Curso de Licenciatura de Matemtica, modalidade a distncia, segundo a percepo de quatro importantes segmentos: corpo discente, corpo docente, corpo tutorial, corpo tcnico administrativo. O primeiro segmento constitudo pelos licenciandos que estaro cursando o 5. perodo do curso de Licenciatura de Matemtica, modalidade a distncia, no 2. semestre de 2011. A escolha de licenciandos do 5. perodo justifica-se pelo fato de que estes estudantes j se encontram na metade do curso, possuindo, portanto, uma compreenso mais clara da estrutura do curso e dos recursos utilizados para sua implementao. O segundo segmento constitudo pelos professores responsveis pelas disciplinas do Curso. So profissionais com formao em nvel de mestrado e/ou doutorado e atuam junto aos tutores, orientando-os no desempenho de suas funes. Para esse grupo, alm de questionrios estruturados, prev-se, tambm, a aplicao de grupo focal por meio de entrevista semiestruturada. O terceiro segmento de sujeitos constitudo pelos tutores que atuam ou atuaram junto aos licenciandos do 5. perodo. So professores das redes de ensino ou alunos de mestrado ou doutorado e possuem curso de graduao na rea de licenciatura de matemtica ou reas afins. Eles foram selecionados e foram preparados para exercerem a funo de tutoria atravs de um curso de capacitao. O ltimo segmento de sujeitos constitudo pelos tcnico-administrativos que atuam no Centro de Educao Aberta e a Distncia, unidade acadmica responsvel pela oferta do Curso de Licenciatura de Matemtica. 6.2. Dimenses e Indicadores Considerando a experincia dos pesquisadores, adquirida com a atuao em cursos de licenciatura de Matemtica a distncia, a reviso da literatura efetuada e as discusses com a equipe multidisciplinar do Curso a ser avaliado, foram determinadas oito dimenses e, para cada uma delas, os indicadores que sero considerados na avaliao do Curso. A Tabela 1 apresenta as dimenses, os indicadores e os avaliadores relativos ao processo avaliativo do Curso.
Tabela 1- Dimenses, indicadores e avaliadores relativos ao processo de avaliao do curso de Licenciatura em Matemtica.
DIMENSO 1 Infraestrutura (recursos humanos e instalaes fsicas) do Polo Indicadores 1) Condies fsicas das salas de atividades presenciais 2) Condies de funcionamento da biblioteca 3) Limpeza e manuteno dos ambientes do Polo 4) Condies de acesso aos portadores de necessidades especiais 5) Atendimento na Coordenao do Polo 6) Atendimento na Secretaria 7) Condies de funcionamento do(s) Laboratrio(s) de Informtica 8) Quantidade dos equipamentos disponveis no Polo e condies de uso DIMENSO 2 Infraestrutura (recursos humanos e instalaes fsicas) do Cead Indicadores 1) Condies fsicas das salas de atividades presenciais 2) Condies de funcionamento da biblioteca 3) Limpeza e manuteno dos ambientes do Cead

Avaliadores

Estudantes, Tutores presenciais

Avaliadores Tutores a distncia Professores Tcnicos

11

4) Condies de acesso aos portadores de necessidades especiais 5) Atendimento na Coordenao do Curso 6) Atendimento na Secretaria 7) Condies de funcionamento dos Laboratrios de Informtica 8) Quantidade dos equipamentos disponveis no Cead e condies de uso DIMENSO 3 Ambiente Virtual (Moodle) Indicadores 1) Tempo requerido para se conectar ao ambiente 2) Condies de se navegar no ambiente 3) Acesso s atividades, textos e informaes postadas no ambiente 4) Recursos disponibilizados pelo ambiente para interao entre alunos, tutores e professor (chat, frum, e-mail) 5) Salvamento de cpia de material virtual (dowload) 6) Acesso ao ambiente virtual em computador fora do Polo ou do Cead 7) Possibilidade de realizar trabalhos cooperativos 8) Postagem de atividades DIMENSO 4 Webconferncia e Videoconferncia Indicadores 1) Qualidade das emisses 2) Relevncia e utilidade dos contedos abordados 3) Qualidade cientfica dos contedos abordados 4) Estruturao e sequncia das emisses 5) Adequao da linguagem 6) Durao das emisses 7) Capacidade de motivar dos integrantes das emisses 8) Interao entre os integrantes e os participantes das emisses 9) Suficincia da quantidade da informao DIMENSO 5 Videoaulas Indicadores 1) Qualidade das filmagens (videoaulas) 2) Relevncia e utilidade dos contedos abordados 3) Qualidade cientfica dos contedos abordados 4) Adequao da linguagem 5) Durao das videoaulas 6) Capacidade de motivar dos apresentadores 7) Adequao das videoaulas aos objetivos das disciplinas 8) Clareza e atualizao 9) Suficincia da quantidade da informao DIMENSO 6 Disciplinas do Curso Indicadores 1) Planos de Ensino das disciplinas 2) Carga horria das disciplinas 3) Atendimento aos objetivos propostos nos Planos de Ensino 4) Adequao de situaes de aprendizagem aos objetivos propostos 5) Relevncia e utilidade dos contedos trabalhados nas disciplinas para a formao do professor de Matemtica 6) Quantidade e atualidade dos contedos de leitura 7) Atividades de aprendizagem postadas pelos professores no ambiente virtual 8) Material didtico usado nas disciplinas (Livros, Textos, vdeos) 9) Propostas de discusso apresentadas nos fruns 10) Interao entre alunos, tutores e professores (chats, mensagens, fruns) no desenvolvimento das disciplinas 11) Formas de avaliao adotadas nas disciplinas 12) Apresentao visual (lay out) das disciplinas na plataforma DIMENSO 7 Desempenho dos Tutores Indicadores 1) Relacionamento com os estudantes 2) Atendimento aos alunos em suas dificuldades 3) Capacidade de motivar os estudantes

Administrativos

Avaliadores Estudantes Tutores a distncia Tutores presenciais Professores TcnicoAdministrativos

Avaliadores Estudantes Tutores a distncia Tutores presenciais Professores TcnicoAdministrativos

Avaliadores Estudantes Tutores a distncia Tutores presenciais Professores TcnicoAdministrativos

Avaliadores

Estudantes Tutores a distncia Tutores presenciais

Avaliadores Alunos Professores

12

4) Retorno s solicitaes dos estudantes 5) Apoio aos professores no desenvolvimento das atividades docentes 6) Apoio aos professores no processo de avaliao das disciplinas 7) Estmulo ao uso da biblioteca e da Internet como meio de ampliar a aprendizagem 8) Estmulo formao de grupos de estudo e apoio aos mesmos 9) Conhecimento dos contedos das disciplinas DIMENSO 8 Autoavaliao Discente Indicadores 1) Meu empenho e participao nas disciplinas do Curso 2) Minha aprendizagem nas disciplinas 3) Minha dedicao ao estudo das disciplinas do Curso 4) Minha frequncia de acessos ao ambiente virtual das disciplinas 5) Minha participao nas videoconferncias e webconferncias 6) Meu empenho em pesquisas realizadas na biblioteca e/ou por meio da Internet 7) Minha participao nos encontros presenciais e grupos de estudo 8) Minha participao nas atividades colaborativas 9) Meu empenho na realizao das atividades propostas nas disciplinas 10) Minha utilizao da disponibilidade dos tutores

Avaliadores

Alunos

6.3. Instrumentos de Coleta de Dados Definidas as dimenses e os indicadores para a avaliao do Curso de Licenciatura de Matemtica, foram elaborados questionrios estruturados de coleta de dados que sero respondidos por cada um dos quatro segmentos de avaliadores envolvidos no estudo: corpo discente, corpo docente, corpo tutorial, corpo tcnico administrativo Os questionrios apresentam entre oito e doze questes fechadas, referentes aos indicadores selecionados e, tambm, um espao aberto em que os participantes podem manifestar opinies sobre os indicadores abordados. As questes fechadas so apresentadas em forma de uma escala Likert com quatros opes: MB (muito bom), B (bom), C (regular) e D (insatisfatrio). A tabela 2 ilustra a escala sugerida para captao do desempenho do Curso.
Tabela 2 - Escala para avaliao do Grau de Desempenho do Curso luz de cada item
Muito Bom MB 4 Bom B 3 Regular R 2 Insatisfatrio I 1

6.4. Procedimentos Os questionrios sero disponibilizados eletronicamente, via plataforma Moodle de aprendizagem durante uma semana no 2 semestre letivo de 2011. Grupos focais com os tutores presenciais sero realizados nos Polos de Apoio Presencial. Cada um deles ter a durao mxima de 01 hora. Por sua vez, os grupos focais com os tutores a distncia sero conduzidos no CEAD. Os comentrios sero gravados e registros escritos podero ser produzidos pelos pesquisadores com o consentimento prvio e aprovao dos participantes. A discusso ser implementada atravs de um roteiro semiestruturado, tendo por objetivo estimular os participantes a se expressarem sobre algumas das dimenses da avaliao do Curso. Os grupos focais possibilitaro uma anlise qualitativa sobre determinados componentes do processo avaliativo.

13

6.5. Pr-experimentao A pr-experimentao para validao dos instrumentos de avaliao foi aplicada ao final do 1. semestre de 2011, no Polo de Apoio Presencial de Conselheiro Lafaiete, devido proximidade com o CEAD/UFOP. De fato, ele se encontra a 70 km de Ouro Preto, facilitando o acesso dos pesquisadores, nos momentos de aplicao dos instrumentos. Os estudantes que participaram da pr-experimentao eram alunos do curso de Licenciatura de Matemtica que atualmente cursam o 5. perodo. Os participantes da pr-experimentao no se constituem em sujeitos da experimentao propriamente dita. Os resultados dessa pr-experimentao serviram para melhorar e precisar os instrumentos da pesquisa. Nesse sentido, uma segunda verso dos questionrios e das questes do grupo focal j foi elaborada.

7. Anlise dos Dados

Os dados coletados com a ajuda dos questionrios estruturados recebero tratamento estatstico. Para tanto, eles sero tabulados em planilhas eletrnicas para anlises. Sero utilizados procedimentos de agregao e de classificao, usando como medida a mdia aritmtica, para responder s questes de pesquisa 1, 2 e 3. Para identificar os itens crticos que devam ter aes corretivas/preventivas priorizadas ser usada a Anlise dos Quartis, proposta por Freitas et al., (2006). Para captao do grau de concordncia em relao a um item de avaliao ser utilizada a escala ilustrada na Tabela 3.
Tabela 3 - Escala para avaliao do Grau de Concordncia
Muito Bom MB 4 Bom B 3 Regular R 2 Insatisfatrio I 1

Para obter a classificao do Grau de Desempenho do Curso, segundo os diferentes nveis do modelo de avaliao (classificao por itens, classificao por dimenso e classificao global) e, tambm, segundo as percepes (corpo discente, corpo docente, corpo tutorial, corpo tcnico administrativo), sero utilizados categorias e limites pr-definidos. A Tabela 4, mostra as categorias e limites para a classificao do Grau de Desempenho do Curso - GD(X) - luz dos n itens, segundo as percepes de todos os avaliadores.
Tabela 4- Categorias, limites e conceitos para a classificao do Grau de Desempenho do Curso
Categorias A B C D Limites 3,50 < GD(X) 4,00 3,00 < GD(X) 3,50 2,00 < GD(X) 3,00 1,00 GD(X) 2,00 Conceitos Muito Bom Bom Regular Insatisfatrio

14

Referncias Bibliogrficas
BELLONI, M. L. Educao a Distncia. 4 ed. Campinas: Editora Autores Associados, 2006. BRASIL. Ministrio da Educao. Instituto Nacional de Estudos e Pesquisas. Coordenao Nacional de Avaliao do Ensino superior. Bases para uma nova proposta de avaliao da educao superior. Braslia, 2003. BRASIL. Ministrio da Educao. Comisso Nacional de Avaliao da Educao Superior Conaes. Diretrizes para a auto-avaliao das instituies. Braslia: MEC/Inep, 2004. BRASIL. Decreto N 10.861, DE 14 DE ABRIL DE 2004. Institui o Sistema nacional de Avaliao da Educao Superior- SINAES e d outras Providncias. BRASIL/UAB Sobre educao a Distncia. Disponvel em: http://www.uab.capes.gov.br/. Acesso em: 11/11/2009. CALMON, Ktya Maria Nasiaseni, A Avaliao de Programas e a Dinmica da Aprendizagem Organizacional - Planejamento e Polticas Pblicas, n 19 - Junho de 1999. CAMPBELL, D.T. STANLEY, J.C. Experimental and quasi-experimental designs for research. Chicago: Rand McNally. 1963. GATTI, Bernadete A. Avaliao e qualidade da http://www.pdfqueen.com/html. Acesso em 04/04/2010. educao. Disponvel em:

GARCA ARETIO, Lorenzo. Educacin a Distancia Hoy. Madrid: UNED, 1994. GOLDBERG, M. A., PRADO DE SOUSA, C. Avaliao de programas educacionais: vicissitudes, controvrsias, desafios. So Paulo: EPU, 1982. ____. A prtica da avaliao. So Paulo: Cortez & Moraes, 1979. GUBA, E. G., & LINCOLN, Y. S. Fourth generation evaluation. Newbury Park, CA: Sage, 1989. LOBO NETO, F. J.S. Educao a distncia: referncias e trajetrias. Rio de Janeiro: Associao Brasileira de Tecnologia Educacional; Braslia: Plano Editora, 2001. 143 p. RODRIGUES, R. Modelo de avaliao para cursos no ensino a distncia: estrutura, aplicao e avaliao. Florianpolis, Dissertao (Mestrado em Engenharia de Produo) Universidade Federal de Santa Catarina (UFSC), 1998. ROSSI, P.H.; FREEMAN, H.E. Evaluation. A Systematic Approach, Sage Publications, 1993.
SCRIVEN, M. The methodology of evaluation. In R. W. Tyler, R. M. Gagne, & M. Scriven

(Eds.), Perspectives of curriculum evaluation, p. 39-83. Chicago, IL: Rand McNally, 1967. SCRIVEN, M. An introduction to meta-evaluation. Educational Product Report, 2, 36-38, 1969. SHADISH, W.R., COOK, T.D., & LEVITON, L.C. Foundations of Program Evaluation: Theories of Practice. Newbury Park, California: Sage Publications, 1995. STAKE, R. E. The case study method in social inquiry. Educational Reseacher, 1978, vol. 7(2), p. 5-8. UFOP. Instituto de Cincias Exatas e Biolgicas. Departamento de Matemtica. Projeto Poltico Pedaggico Curso de Licenciatura de Matemtica modalidade EAD. Ouro Preto/MG,2006, 34 p (Mimeog).
15