ANAIS

FERNANDO LVARO OSTUNI GAUTHIER

RENATO CISLAGHI
ROGRIO CID BASTOS
SILVIA MARIA PUENTES BENTANCOURT
Organizadores

CIMGAE

CONGRESSO INTERNACIONAL DE MTODOS

E GESTO EM AVALIAO EDUCACIONAL

UFSC/EGC

FLORIANPOLIS
2015

Comisso Organizadora do Congresso:

Fernando lvaro Ostuni Gauthier Coordenador Geral
Renato Cislaghi Coordenador de Programao
Rogrio Cid Bastos Coordenador do Comit Cientfico
Neiva Aparecida Gasparetto Cornlio Coordenadora Tcnica

Arte da Capa
Adriano H. Hedler Tcnico em Artes Grficas/UFSC
Edio e Diagramao
Silvia Maria Puentes Bentancourt

Catalogao na fonte pela Biblioteca Universitria

da
Universidade Federal de Santa Catarina

C749a Congresso Internacional de Mtodos e Gesto em

Avaliao Educacional (1. : 2014 : Florianpolis,
SC).
[Anais do] I CIMGAE [recurso eletrnico] / I
Congresso Internacional de Mtodos e Gesto em
Avaliao Educacional ; organizadores, Fernando lvaro
Ostuni Gauthier...[et al.]. Florianpolis :
UFSC/EGC, 2015.
152 p., il., graf., tabs.
Modo de acesso: <http://www.cimgae.ufsc.br/>
Inclui bibliografia.
Evento realizado de 13 a 15 de maio de 2015.
ISBN 978-85-61115-10-4
1. Avaliao educacional - indicadores. 2. Educao.
I. Gauthier, Fernando lvaro Ostuni. II. Ttulo.
CDU: 37

Contedo de autoria e responsabilidade dos autores.

Esta obra pode ser distribuda, compartilhada, traduzida ou copiada, na ntegra ou
parcialmente, desde que citada a fonte e para atividades sem fins lucrativos.

EGC
NDC

ARESENTAO
O Brasil, com suas dimenses territoriais continentais e populao aproximada
de 201.032.714 habitantes, sendo que mais da metade dessa populao est em
condies de frequentar algum nvel de educao (crianas e jovens), possui sistemas
educacionais em larga escala. O volume de recursos federais destinados educao quer
seja para oferta de ensino pblico ou como subsdios para viabilizar o acesso ao ensino
privado, de R$ 71,7 bilhes. Para acompanhar, avaliar, embasar a definio de
polticas e apoiar a gesto dos sistemas brasileiros de Ensino Fundamental, Mdio e
Superior existem bancos de dados e de indicadores nacionais, como os mantidos pelo
Instituto Nacional de Pesquisas Educacionais Ansio Teixeira (INEP), e iniciativas
internacionais, como o Programa Internacional de Avaliao de Estudantes (PISA),
desenvolvido e coordenado pela Organizao para Cooperao e Desenvolvimento
Econmico (OCDE).
Percebe-se, mais recentemente, a preocupao em tornar estes acervos de dados
e indicadores mais teis, no s pelo seu aprimoramento para apoiar a melhoria da
qualidade da educao em larga escala, mas principalmente na popularizao da sua real
utilizao pelos rgos responsveis pela conduo do setor nas trs esferas
governamentais, assim como pelas prprias instituies de ensino na ponta.
Os trabalhos cientficos a seguir foram apresentados no I Congresso
Internacional de Mtodos e Gesto em Avaliao Educacional, iniciativa do
Programa de Ps-graduao em Mtodos e Gesto em Avaliao (PPGMGA) da
Universidade Federal de Santa Catarina (UFSC), que na sua primeira edio abordou
questes relacionadas a modelos de avaliao educacional, construo de indicadores,
devoluo de resultados para a sociedade etc. congregando pesquisadores, professores e
alunos do Brasil e ibero-americanos.
Esperamos que a leitura dos textos possa resultar em avanos no conhecimento
sobre a educao no pas.
Prof. Fernando lvaro Ostuni Gauthier, Dr.
Coordenador Geral do I CIMGAE.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

SUMRIO

Estratgias e Aes para o Reconhecimento de um Curso

Superior: um Caso de Sucesso
Marcos Eduardo Servat
Leoni Pentiado Godoy
Edio Polacinski
Nedisson Luis Gessi
...........................
Leandro Dorneles dos Santos

Aspectos da Avaliao da Qualidade da Educao Online

Denise Santin Ebone
Silvia Maria Puentes Bentancourt
...........................
Rogrio Cid Bastos

21

Os Avanos na Educao Profissional Face s Polticas

Pblicas Brasileiras: um Estudo sobre a Gesto do Ensino
Pblico em Pernambuco de 2007 A 2014
Dulce Cristina Arcoverde de Souza Santana
...........................
Fernando Alvaro Ostuni Gauthier

35

Abordagem Sistmica e Gesto em Avaliao da Educao

Lidiane da Silva Cesar Gonalves
Maria Virginia de Moraes Garcia
...........................
Rafael Tezza

47

Sinaes de Alerta: da Concepo aos Resultados da

Avaliao do Ensino Superior Brasileiro
Maristela Denise Coelho
Thiago Henrique Almino Francisco
Marina Keiko Nakayama
Bruno Cesar Antunes
...........................
Izabel Regina de Souza

61

Sistema para Avaliao e Gesto de Cursos EAD

Renato Cislaghi
Silvia Nassar
Beatriz Wilges
...........................
Juliana Leonardi

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

73

Rankings Universitrios: Indicadores Utilizados

Sandra Mara Iesbik Valmorbida
Thuine Lopes Cardoso
...........................
Sandra Rolim Ensslin

87

Uma Reviso sobre a Construo de Indicadores de

Sistemas Educacionais nas Iniciativas de Smart Cities
Vincius Barreto Klein
Luiz Gustavo Moro Senko
...........................
Jos Leomar Todesco

103

As Provas das Quatro reas do Enem Visto como Prova

nica Sob a Teoria da Resposta ao Item
Nara Nbia Vieira
...........................
Pedro Alberto Barbetta

115

Autoavaliao de um Curso na Educao a Distncia: Relato

de um Modelo Terico-Metodolgico
Diego Eller Gomes
Aline Battisti Archer
Maria Luiza Rosa Barbosa
Roberto Moraes Cruz
...........................
Angela Maria Klemann

125

Interoperabilidade Semntica na Elaborao E Reviso de

Itens do Saeb: a Ontologia Ontosaeb
Leonardo Ruas Correia
Ronaldo dos Santos Mello

Lista de Autores

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

...........................

137

...........................

151

125

AUTOAVALIAO DE UM CURSO NA EDUCAO A

DISTNCIA: RELATO DE UM MODELO TERICOMETODOLGICO
Diego Eller Gomes (didoeller@gmail.com)
Aline Battisti Archer (alinearcherr@gmail.com)
Maria Luiza Rosa Barbosa (marialuizarosabarbosa@gmail.com)
Roberto Moraes Cruz (robertocruzdr@gmail.com)
Angela Maria Klemann (angelaklemann76@gmail.com)
Resumo
O processo de autoavaliao de cursos uma estratgia cada vez mais utilizada para incentivar a
crtica reflexiva de alunos, gestores e formuladores de programas voltados formao e capacitao
profissional. No mbito institucional, estratgias de autoavaliao auxiliam no processo de anlise de
resultados formativos, nas polticas de gesto e monitoramento das metas institucionais. O objetivo
deste artigo relatar um modelo terico-metodolgico de autoavaliao que foi proposto para um
curso de formao profissional ofertado na modalidade de Educao a Distncia (EaD). Essa proposta
foi testada em uma experincia de avaliao de um curso ofertado a distncia, a quarenta mil cursistas
de todas as regies do Brasil; com durao de quatro meses e carga horria de 120 horas, teve como
pblico-alvo prioritrio conselheiros municipais e lderes comunitrios. A coleta de dados, lastreada
pela combinao de abordagens qualitativa e quantitativa, foi realizada por meio de procedimentos
estruturados e instrumentos estruturados e abertos. O modelo composto por eixos, dimenses,
subdimenses e indicadores que compem um conjunto de variveis constituintes de cursos de
educao a distncia. Foram delimitados trs grandes focos da autoavaliao: a avaliao da
aprendizagem dos cursistas; a avaliao da percepo dos envolvidos desde o planejamento at a
gesto do curso; e a avaliao dos resultados, no mbito da aprendizagem e da certificao. Para
pesquisas futuras, sugere-se que a matriz seja validada para outros contextos da formao profissional,
seja na modalidade a distncia, seja na presencial, especialmente em estudos longitudinais, no sentido
de aperfeioar modelos de avaliao em gesto de cursos.
Palavras-chave: Autoavaliao. Educao a Distncia. Avaliao Institucional.

Abstract
The process of self-assessment courses is an increasingly used strategy to encourage reflective
critique students, managers and makers of programs involved in training programs and professional
training. At the institutional level, self-assessment strategies help in the analysis process of training
results in the management and monitoring policies of institutional goals. The objective of this paper is
relating a theoretical and methodological model of self-evaluation of vocational training courses,
offered in the form of Distance Education (DE). This proposal was tested in a trial experience of a
course offered distance, forty thousand course participants from all regions of Brazil; lasting four
months and a workload of 120 hours, this course had a priority target audience municipal councilors
and community leaders. Data collection, backed by combining qualitative and quantitative
approaches, was carried out through structured procedures and structured and open instruments. The
model consists of axes, dimensions, sub-dimensions and indicators that make up a set of constituent
variables of education distance learning courses. Three outbreaks of self-assessment were delimited:
the assessment of learning of course participants; the assessment of the perception of those involved
from planning to the management of the course; and the assessment of results in the context of
learning and certification. For future research, it is suggested that the matrix be validated in other

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

126

contexts of vocational training, either in the distance or in the presence, especially in longitudinal
studies, in order to improve assessment models in courses management.
Keywords: Self-assessment. Distance Education. Institutional assessment.

1 INTRODUO
O objetivo deste artigo relatar um modelo terico-metodolgico de autoavaliao
que foi proposto para um curso de formao profissional ofertado, em 2014, na modalidade de
Educao a Distncia (EaD). Ao se pensar em tal proposta, levou-se em considerao o fato
de que essa modalidade educacional reveste-se de um carter multidimensional: (i) separao
espao-temporal entre conteudista e cursista; (ii) comunicao bidirecional mediada por
recursos tecnolgicos; (iii) centralidade no estudante; (iv) apoio de uma organizao de
carter tutorial; e (v) assentada no uso da modalidade escrita da lngua e, consequentemente,
na competncia leitora dos sujeitos (ARETIO, 1987; RUMBLE, 2002; ALLY, 2004;
MOORE; KEARSLEY, 2011; BELLONI, 2006; 2011; DAGA, 2011).
Autoavaliao pode ser conceituada de variadas formas: processos de
autoclassificao, autorreferncia, automonitorao, feedback referenciado ou, ainda,
autoconhecimento (PEAT; FRANKLIN; LEWIS, 2001; POON; McNAUGHT; LAM;
KWAN, 2009). De todo modo, partiu-se do pressuposto de que todo processo de
autoavaliao tem como premissa conhecer a si mesmo e sua correspondente implicao
ter conscincia do conhecimento obtido e suas limitaes.
Em vista disso, pode-se afirmar que, no contexto de uma instituio, particularmente
daquela que oferta cursos na modalidade a distncia, a autoavaliao uma importante
estratgia de feedback acerca da eficcia dos processos de ensino e de aprendizagem, da
percepo dos participantes sobre o seu desempenho e, especialmente, da gesto de polticas e
programas de formao profissional.
Importa salientar que a preciso da autoavaliao pode aumentar ao longo do tempo,
uma vez que os atores envolvidos participam, em seus respectivos papis, das oportunidades
geradas pelo sistema de avaliao (DOCHY et al., 1999). No plano institucional, recorrer a
estratgias de autoavaliao auxilia no processo de anlise de resultados formativos e nas
polticas de gesto e monitoramento das metas institucionais.
fundamental considerar, contudo, que o transcurso de uma autoavaliao de
programas formativos exige reflexo crtica sobre objetivos, processos de aprendizagem e
resultados, assim como um aparato metodolgico que admita, permanentemente, a discusso
de dados e evidncias, independentemente das expectativas de sucesso (DOCHY et al., 1999;
ANDERSON; FREIBERG, 1995; PECKHAM; SUTHERLAND, 2000). Assim,
autoavaliao um processo que, de certa maneira, provoca desconforto, que deve ser
interpretado como uma provocao intelectual ao conhecimento obtido sobre fatos e
situaes, lastreado, claro, por critrios claros e detalhados (PATTERSON et al., 2002).
Em sntese, entende-se que a autoavaliao um aspecto crucial no processo de ensino
e aprendizagem em diferentes campos da educao, que informa sobre prticas reflexivas,
autoestudo e desenvolvimento profissional e institucional contnuo (BLEAKLEY, 2000;
PECKHAM; SUTHERLAND, 2000). Dessa forma, a qualidade dos processos de
autoavaliao pode determinar a qualidade dos produtos educacionais, seja no plano da
aprendizagem, seja no da interveno social/profissional, assim como podem influenciar,
tambm, o grau do atingimento dos objetivos planejados.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

127

2 A EXPERINCIA DE AUTOAVALIAO DE CURSO DE FORMAO

PROFISSIONAL
Executar um projeto de autoavaliao requer que se defina, claramente, a concepo
de avaliao que ancora o fazer dos profissionais envolvidos no planejamento e na execuo
do processo autoavaliativo. Necessrio se faz, igualmente, definir o caminho metodolgico
que oriente toda a dinmica autoavaliativa, especialmente porque nele se incluem no apenas
as tcnicas, mas tambm as concepes tericas da abordagem, articulando teoria e contexto
(MINAYO, 1992).
A proposta de um modelo terico-metodolgico de autoavaliao foi indutor e a
resultante de uma experincia de concepo e implementao de um curso de formao
profissional, cuja oferta na modalidade a distncia viabilizou a participao de quarenta mil
cursistas, de todas as regies do Brasil, no segundo semestre de 2014. Com durao de quatro
meses e carga horria de 120 horas, o curso teve como pblico-alvo prioritrio conselheiros
municipais e lderes comunitrios2, visando capacit-los para atuarem na preveno do uso do
crack, lcool e de outras drogas, por meio do fortalecimento da rede comunitria (DURLI et
al., 2014).
Convm, igualmente, registrar que, para a oferta, a instituio executora do referido
curso implementou diversas aes, tais como a organizao de uma equipe multidisciplinar
para a mediao pedaggica, composta por 480 profissionais 400 tutores, 40 monitores, 40
supervisores e 3 mediadores pedaggicos , alm da equipe de desenvolvimento de materiais,
tecnologia da informao e de avaliao, esta ltima responsvel pela autoavaliao do Curso
(DURLI et al., 2014).
Assim, na seo seguinte, apresentam-se contribuies tericas que lastrearam a
construo de um modelo terico-metodolgico de autoavaliao para o referido curso de
formao profissional, ofertado na modalidade de educao a distncia, no mbito do
contexto da pesquisa e, por fim, detalha-se a proposta terico-metodolgica de autoavaliao
e sua aplicabilidade.

3 PROPOSTA TERICO-METODOLGICA DE AUTOAVALIAO

Ao se optar pela autoavaliao, pretendeu-se avaliar, de modo amplo, o conjunto de
aspectos estruturais e processuais que tiveram implicaes sobre/no curso avaliado, nas suas
mais diversas dimenses, na intencionalidade de identificar as possibilidades de instituir um
processo de ensino e aprendizagem voltado mudana social. Claro est o entendimento de
que a autoavaliao pode e necessita ser realizada em todos os estgios de um programa. Pode
ocorrer antes da sua implantao (avaliao ex-ante) e/ou durante a implementao do
programa, ou, ainda, no seu trmino (avaliao ex-post), conforme destaca Maia (2008).
Assim, a proposta terico-metodolgica de autoavaliao, derivada da experincia do
curso mencionado anteriormente, foi planejada e operacionalizada durante e aps o seu
trmino. Considerando a necessidade de coletar dados multirreferenciais acerca do impacto do
2

Tambm puderam participar do referido curso agentes comunitrios de sade, policiais e demais profissionais
diretamente envolvidos na questo da preveno do uso de drogas no Pas.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

128

curso, da percepo dos participantes e dos resultados dos processos de ensino e de

aprendizagem, organizaram-se duas etapas iniciais de trabalho: (i) a identificao dos eixos,
dimenses e indicadores de qualidade que orientaram a seleo dos procedimentos de
pesquisa para a coleta de dados; e (ii) a definio das abordagens, procedimentos e
instrumentos de pesquisa utilizados, com base nos eixos, dimenses e indicadores de
qualidade identificados (DURLI et al., 2014).
A avaliao de diferentes aspectos do curso teve como pressuposto a discusso e a
elaborao de um modelo terico-metodolgico que incorporasse a definio e a delimitao
das categorias e variveis organizadas inicialmente. O modelo, nesse sentido, pode ser
compreendido como um sistema de relaes entre dimenses, subdimenses e indicadores
organizados em eixos. Em sua formulao, primeiramente se definiram os eixos de
investigao que, por sua vez, foram subdivididos em dimenses e subdimenses. Ademais,
para as distintas subdimenses, foram definidos os indicadores.
Convm pontuar que se entende por eixo uma classe ampla de variveis que podem ser
decompostas em outras, com menor grau de abrangncia Estas, por sua vez, so denominadas
de dimenses, as quais se referem a um conjunto de variveis com amplitude menor do que a
do eixo. As subdimenses so ainda mais especficas e precisas do que as dimenses e se
desdobram em indicadores (BOTOM, 2011 [1977]). Note-se que o indicador representa o
nvel mais molecular do sistema e fornece o valor da varivel: [...] servem para detalhar se os
objetivos de uma proposta esto sendo bem conduzidos (avaliao de processo) ou foram
alcanados (avaliao de resultados) (MINAYO, 2009, p. 84).
Assim, os indicadores referem-se quantidade e qualidade de uma caracterstica,
uma vez que se pretendeu, igualmente, analisar os microprocessos subjacentes s aes
individuais ou grupais. Optou-se, pois, por esse encaminhamento, haja vista o entendimento
de que h inmeros benefcios ao empreg-los simultaneamente, tais como: (i) controlar os
vieses a partir da compreenso de todos os aspectos envolvidos no objeto em anlise; (ii)
identificar variveis especficas com base na viso global dos aspectos subjacentes
autoavaliao; e (iii) dar um tratamento mais robusto aos dados gerados (DUFFY, 1987).
Importa, ainda, lembrar que tanto a concepo quanto a organizao do modelo foram
testadas ao longo do processo de autoavaliao, dado que outras variveis foram acrescidas ou
aperfeioadas na operacionalizao do modelo.
No modelo terico-metodolgico, as relaes entre eixos, dimenses, subdimenses e
indicadores nortearam o processo de autoavaliao. Os eixos foram divididos em: (i)
Planejamento, que compreende todos os processos de trabalho (recursos utilizados, atividades
e produtos) realizados antes do incio do Curso; (ii) Execuo, que se refere aos processos de
trabalho do curso em andamento; (iii) Gesto, com enfoque nos processos de trabalho
referentes ao mbito de gesto de pessoas; e (iv) Resultados, definido como os produtos finais
do curso em relao ao desempenho do cursista. Veja-se a Figura 1 por meio da qual se
mostra a representao do modelo terico-metodolgico concebido e operacionalizado,
destacando-se a relao entre eixos, dimenses, subdimenses e indicadores.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

129

Figura 1 Representao do modelo terico-metodolgico do sistema de relaes entre eixo,

dimenses, subdimenses e indicadores

Fonte: Projeto de Autoavaliao apresentado ao NUTE-UFSC (DURLI et al., 2014).

Note-se que, para o eixo Planejamento do curso, foram definidas as seguintes

dimenses de anlise: Proposta Pedaggica, Plataforma e Sistema de Informao e Recursos
Educacionais. A anlise da dimenso Proposta Pedaggica envolveu elementos atinentes
concepo pedaggica norteadora do curso, os objetivos, a metodologia, o processo
avaliativo, a matriz curricular e os recursos educacionais. Essa dimenso se desdobrou em
subdimenses, como, por exemplo, o contedo proposto para o curso, que, por sua vez, se
desdobrou em indicadores.
A dimenso de anlise Sistema de Informao focalizou os processos de trabalho da
equipe de tecnologia e sistemas de informao, como, por exemplo, a existncia de um Plano
Tecnolgico documentado, o qual foi caracterizado como uma subdimenso. A ltima
dimenso de anlise do eixo Planejamento foram os Recursos Educacionais, ou seja, os
materiais desenvolvidos em diferentes mdias, sejam elas impressas, sejam digitais, com a
finalidade de ensino, aprendizagem e pesquisa. Essa ltima dimenso tambm se desdobrou
em subdimenses de anlise, como o livro-texto que, por sua vez, desdobrou-se em
indicadores que fornecem parmetros mais especficos dessa subdimenso, como a qualidade
de sua apresentao grfica.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

130

As dimenses do eixo Execuo foram: Interao e Interveno Pedaggicas,

Recursos Educacionais, Condies de Estudo e Avaliao. Por meio da dimenso Interao e
Interveno Pedaggicas, procurou-se enfocar as relaes intra e interpessoais estabelecidas,
seja entre integrantes de uma mesma equipe, seja entre equipes distintas. Uma das
subdimenses que se originou dessa dimenso foi o tutor e uma das medidas que forneceram
parmetros para essa subdimenso foi o incentivo do tutor para a participao dos cursistas,
tendo sido caracterizado, portanto, como um indicador.
A dimenso Recursos Educacionais, no eixo Execuo do curso, foi composta das
mesmas caractersticas da dimenso Recursos Educacionais, explicitadas no eixo
Planejamento, com a ressalva de que a primeira refere-se aos Recursos Educacionais
propostos para o curso e a segunda, aos recursos efetivamente implementados e
disponibilizados aos cursistas. Para a dimenso Condies de Estudo, foram definidos
indicadores que forneceram parmetros dessa dimenso, como a quantidade de dias de
estudo semanais, sem haver, portanto, uma varivel com grau de amplitude intermediria,
entre a dimenso e os indicadores. A dimenso de anlise Avaliao teve como foco os
procedimentos relacionados construo do projeto de interveno, utilizado como nico
critrio de avaliao para certificao dos cursistas. Para essa dimenso, foram definidos
indicadores, tais como o perodo de realizao das atividades do projeto de interveno.
Assim como na dimenso Condies de Estudo, na dimenso Avaliao os indicadores
constituram-se como desdobramentos diretos da dimenso, no perpassando subdimenses.
No eixo Gesto do curso, foram definidas as dimenses Interao entre as Equipes,
Constituio da Equipe de Mediao da Aprendizagem (EMA) e Capacitao das Equipes. A
dimenso Interao entre as Equipes visou identificar como se estabeleceram as relaes intra
e interpessoais, especialmente em relao assistncia e comunicao entre as equipes que
foram responsveis pela mediao do processo de ensino e aprendizagem do curso ofertado na
modalidade de educao a distncia. Para exemplificar um dos desdobramentos dessa
dimenso, definiu-se como subdimenso de anlise a Comunicao entre as Equipes,
desdobrando-se, entre outros indicadores, a qualidade da comunicao entre os tutores e
monitores. No que concerne dimenso Constituio das Equipes de Mediao da
Aprendizagem, convm pontuar que esta teve como foco o perfil dos membros que
constituram as Equipes de Mediao da Aprendizagem e a relao entre a quantidade de
determinados membros de uma equipe em funo da quantidade de cursistas e/ou da
quantidade de membros de outra equipe de mediao da aprendizagem. Como exemplo de
indicador dessa dimenso, pode-se citar a quantidade de tutores em relao quantidade de
cursistas. Por meio da dimenso de anlise Capacitao das Equipes, buscou-se identificar
como se efetivou o processo de formao das equipes acerca das atribuies, dos
procedimentos de avaliao, dos recursos educacionais utilizados no curso, entre outros. Com
esse intuito, essa dimenso foi desdobrada em uma subdimenso denominada Formao sobre
os Mdulos e Oficinas, que originou diversos indicadores; dentre eles, a pertinncia dos
temas abordados na capacitao.
Para o eixo Resultados do curso, definiram-se duas dimenses de anlise:
Aprendizagem e Certificao. A dimenso Aprendizagem enfocou o desempenho dos
cursistas nas atividades propostas no curso e desdobrou-se em algumas subdimenses; dentre
elas, a Aprendizagem dos cursistas em curto prazo. Como um dos indicadores da referida
subdimenso, definiu-se o resultado da avaliao da construo do projeto de interveno.
Com relao dimenso de anlise Certificao, foram definidos indicadores que forneceram

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

131

parmetros de medida a essa dimenso; dentre eles, a relao entre a quantidade de

estudantes matriculados e concluintes.
Ao passo que os indicadores forneceram parmetros de qualidade s subdimenses e,
consequentemente, s dimenses de anlise, realizou-se a meta-avaliao dos procedimentos e
processos, ou seja, buscou-se emitir uma avaliao sobre o estudo avaliativo, no sentido de
promover mudanas a partir de problemas e dificuldades identificados no decorrer do
processo de autoavaliao, conforme apontam Galvo, Pereira e Neto (2014).
Cabe lembrar, em vista disso, que o uso de diversas abordagens, procedimentos e
instrumentos de pesquisa para compreender uma realidade se faz necessrio quando esta
composta por mltiplas caractersticas. Ao avaliar uma realidade, os responsveis por esse
processo necessitam definir no s o fenmeno de investigao, mas tambm com que
finalidade esse fenmeno ser estudado, selecionar e elaborar procedimentos de pesquisa para
atender o que foi definido como foco da avaliao (CRUZ, 2002). Para promover a
autoavaliao e, ao considerar a preciso das variveis a serem observadas em funo da
decomposio dos eixos em indicadores, foram utilizadas abordagens, procedimentos e
instrumentos distintos e complementares.
A autoavaliao proposta neste estudo apoiou-se nas abordagens qualitativa e
quantitativa, uma vez que se teve como objetivo produzir conhecimento mais consistente e
relevante em relao a cada eixo e suas derivaes. A escolha pela abordagem quantitativa
resultou, com efeito, da necessidade de aferir a associao entre variveis, em funo do
tamanho da populao (no caso do curso, 40.000 cursistas e 480 profissionais) e da
quantidade de indicadores a serem observados. A pesquisa quantitativa visou descrever e
estabelecer correlaes causais (probabilsticas) entre fatos, e prezou pela compreenso de
fenmenos em grandes grupos, o que garantiu a representatividade estatstica para uma
populao. Como instrumento de coleta de dados, foram utilizados, por exemplo,
questionrios, pr e ps-testes (LAVILLE; DIONNE, 1999; TURATO, 2004; OLIVEIRA,
2007; CRESWELL, 2010).
Para avaliar os indicadores definidos a partir da perspectiva de uma quantidade
expressiva de estudantes, utilizaram-se questionrios, por meio dos quais se indagaram
aspectos subjacentes ao processo formativo do qual participaram esses sujeitos, tais como a
condio de estudo, a percepo quanto aos procedimentos de avaliao utilizados no curso,
quanto aos recursos educacionais e indicadores de outras dimenses/subdimenses. No
mbito da avaliao dos indicadores referentes ao trabalho dos diversos profissionais, tambm
puderam ser aplicados questionrios atinentes s dimenses/subdimenses definidas nos eixos
de Planejamento, Execuo e Gesto do curso. Na avaliao de uma das subdimenses do
eixo Resultados, foram aplicados pr-teste e ps-teste aos cursistas: o pr-teste, com o
objetivo de avaliar os conhecimentos prvios dos cursistas; e o ps-teste, a fim de avaliar os
conhecimentos desenvolvidos durante sua participao no curso.
Importa registrar que os instrumentos de avaliao, aplicados aos cursistas e demais
sujeitos envolvidos nos diferentes eixos, alm de itens fechados, continham perguntas abertas,
no obrigatrias, que objetivaram inferir categorias mais amplas de respostas para elementos
de anlise predefinidos. Assim, por meio da abordagem qualitativa, objetivou-se compreender
em profundidade as particularidades do curso, a partir da atribuio de significados, motivos,
aspiraes, crenas, valores e atitudes (MINAYO, 1992; OLIVEIRA, 2007) de seus atores,
fossem eles cursistas, fossem profissionais. A escolha metodolgica por essa abordagem se
deu pela possibilidade de compreenso em profundidade da realidade, e foram analisados
dados de uma quantidade reduzida de participantes (SIEBRA, 2000). O uso de entrevista

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

132

tambm se caracterizou como um recurso importante de coleta de informaes para

compreenso profunda da realidade (OLABUNAGA; ISPIZUA,1989; MINAYO, 1992;
FLICK, 2009).
Na autoavaliao, tambm se props a realizao de pesquisa documental. A
justificativa procede das observaes de Marconi e Lakatos (2006, p. 106), quando registram
que ela se caracteriza pela coleta de dados em documentos. Assim, o uso do mtodo
documental possibilitou, entre outros aspectos, a caracterizao das mudanas didticopedaggicas realizadas por meio dos antecedentes histricos, referentes dimenso Proposta
Pedaggica, do eixo Planejamento. Foi igualmente possvel, por meio da pesquisa
documental, identificar a quantidade e analisar a qualidade das interaes ocorridas nos
fruns.
Dado o exposto, reitera-se que se optou pela combinao das abordagens qualitativa e
quantitativa (BRYMAN, 1995; MILES; HUBERMAN, 1994; PATTON, 2002;
RICHARDSON, 1999; MARTINS, 2004; DUFFY, 1987; FLICK, 2009) mltiplas
observaes, perspectivas tericas, fontes de dados e mtodos , justamente pela possibilidade
de se coletarem e analisarem dados que permitissem uma avaliao mais efetiva do processo
de concepo e execuo do curso. Assim, as duas abordagens foram associadas na
autoavaliao com a inteno de analisar a interao de diversas variveis que incidiram sobre
os quatro principais eixos elencados para a investigao: (i) Planejamento; (ii) Execuo; (iii)
Gesto; (iv); Resultados, sempre tendo como foco principal a aprendizagem dos cursistas.

4 CONSIDERAES FINAIS
O processo de autoavaliao de cursos ocorre por meio de produo de informaes
sobre a realidade da atuao pessoal e profissional das pessoas. Avaliar as caractersticas
dessa realidade para compreend-la e intervir sobre ela , com efeito, um processo necessrio
para que profissionais responsveis pelos cursos identifiquem lacunas e potencialidades.
Convm pontuar que a definio e a observao das caractersticas que compem essa
realidade so etapas iniciais e fundamentais no processo de autoavaliao.
O artigo teve como objetivo relatar um modelo terico-metodolgico de autoavaliao,
resultado de uma experincia de concepo e operacionalizao de uma proposta de avaliao
para um curso de formao profissional que foi ofertado, em 2014, na modalidade de
educao a distncia (DURLI et al., 2014. Com base nas variveis observadas, foram
enfatizados trs grandes focos da autoavaliao: (i) a avaliao da aprendizagem dos
cursistas; (ii) a avaliao da percepo dos diferentes sujeitos envolvidos desde o
planejamento at a gesto do Curso; e (iii) a avaliao de seus resultados, no mbito da
aprendizagem e da certificao. Em vista disso, a coleta de dados acerca desses aspectos foi
realizada por meio do uso de abordagens, procedimentos, instrumentos diferenciados e com
sujeitos distintos.
Sugere-se que, para futuras pesquisas, o modelo seja validado em outros contextos de
educao a distncia, voltados ou no formao profissional, educao presencial, cursos de
curta e longa durao. Assim, dados complementares e contrastantes auxiliaro no
aprimoramento do modelo terico-metodolgico relatado.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

133

REFERNCIAS
ALLY, M. Foundations of educational theory for online learning. In: ANDERSON, T.;
ELLOUMI, F. Theory and practice of online learning. Athabasca: Creative Commons,
2004. p. 3-31.
ANDERSON, J. B.; FREIBERG, H. J. Using self-assessment as a reflective tool to enhance
the student teaching experience. Teacher Education Quarterly, San Francisco (USA), n. 22,
p. 77-91, 1995.
ARETIO, L. La educacin a distancia: de la teora a la prctica. Barcelona (ES): Editorial
Ariel, 1987.
BELLONI, M. L. Educao a distncia e mdia-educao na formao profissional.
Braslia: [s.n.], 2011. Disponvel em:
<http://www.senado.leg.br/comissoes/ce/ap/AP20111109_Maria_Belloni.pdf>. Acesso em:
18 mar. 2015.
______. Educao a Distncia. 4. ed. Campinas (SP): Editores Associados, 2006.
BLACK, P.; WILIAM, D. Assessment and classroom learning. Assessment in Education,
London (UK), v. 5 n. 1, p. 7-74, 1998.
BLEAKLEY, A. Adrift without a life belt: reflective self-assessment in a postmodern age.
Teaching in Higher Education, London (UK), v. 5, n. 4, p. 405-418, 2000.
BOTOM, S. P. Formulao de objetivos terminais de programa de ensino. In:
CORTEGOSO, A. L.; COSER, D. S. Elaborao de programas de ensino: material
autoinstrutivo. So Carlos (SP): EDUFSCAR, 2011 [1977]. p. 58-78.
BOUD, D.; COHEN, R.; SAMPSON, J. Peer learning and assessment. Assessment and
Evaluation in Higher Education, London (UK), v. 24, n. 4, p. 413-426, 1999.
BOUD, D.; FALCHIKOV, N. Aligning assessment with long-term learning. Assessment and
Evaluation in Higher Education, London (UK), v. 31, n. 4, p. 399-413, 2006.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).
Avaliao interna de instituio. Braslia: INEP, 2008. Disponvel em:
<http://portal.inep.gov.br/c/journal/view_article_content?groupId=10157&articleId=14153&v
ersion=1.0>. Acesso em: 10 jul. 2014.
BRYMAN, A. Quantity and quality in social research. 5th Ed. London (UK): Routledge,
1995.
CRESWELL, J. W. Projeto de pesquisa: mtodos qualitativo, quantitativo e misto. Porto
Alegre: Artmed, 2010.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

134

CRUZ, R. M. O processo de conhecer em avaliao psicolgica. In: CRUZ, R. M.;

ALCHIERI, J. C.; SARD JNIOR, J. J. (Orgs.). Avaliao e medidas psicolgicas:
produo do conhecimento e da interveno profissional. So Paulo: Casa do Psiclogo,
2002. p. 15-24.
DAGA, A. C. Compreenso leitora: o ato de ler e a apropriao de conhecimento na EaD.
2011. 297 p. Dissertao (Mestrado em Lingustica) Programa de Ps-Graduao em
Lingustica, Universidade Federal de Santa Catarina, Florianpolis, 2011.
DOCHY, F. et al. The use of self-, peer and co-assessment in higher education: a review.
Studies in Higher Education, London (UK), v. 24, n. 3, p. 331-50, 1999.
DUFFY, M. E. Methodological triangulation: a vehicle for merging quantitative and
qualitative research methods. Journal of Nursing Scholarship, Chichester (UK), v. 19, n. 3,
p.130-33, 1987.
DURLI, Z.; CRUZ, R.; BARBOSA, M. L. R.; ARCHER, A. B.; GOMES, D. E.; BEDIN, M.;
ZWIEREWICZ, M.; KLEMANN, A. M. Projeto de Autoavaliao Curso de preveno
dos problemas relacionados ao uso de drogas: capacitao para conselheiros e lideranas
comunitrias (6. e 7. Edies). Coordenao de Zenilde Durli, Roberto Cruz e Maria Luiza
Rosa Barbosa. Florianpolis: UFSC; NUTE, 2014.
FLICK, U. Introduo pesquisa qualitativa. Traduo Joice Elias Costa; consultoria,
superviso e reviso tcnica Snia Elisa Caregnato. 3. ed. Porto Alegre: Artmed; Bookman,
2009.
GALVO, M. C. A.; PEREIRA, H.; NETO, L. A. A meta-avaliao como instrumento de
qualificao do processo de autoavaliao em uma Instituio de Ensino Superior no Rio de
Janeiro. In: IV CONGRESSO IBERO-AMERICANO DE POLTICA E ADMINISTRAO
DA EDUCAO, Porto Portugal, 2014. Anais... Porto (PT): ANPAE, 2014.
KIRBY, N. F.; DOWNS, C. T. Self-assessment and the disadvantaged student: potential for
encouraging self-regulated learning? Assessment and Evaluation in Higher Education,
London (UK), v. 32, n. 4, p. 475- 94, 2007.
LAVILLE, C.; DIONNE, J. A construo do saber: manual de metodologia da pesquisa em
Cincias Humanas. Porto Alegre: Artmed, 1999.
MAIA, J. A. F. Metodologia para avaliao ex-post da relevncia social de polticas pblicas.
Sitientibus, Feira de Santana (BA), n. 38, p.35-56, jan./jun. 2008. Disponvel em:
<http://www2.uefs.br/sitientibus/pdf/38/3_metodologia_para_avaliacao_ex_ante_e_ex_post.p
df>. Acesso em: 10 jul. 2014.
MARCONI, M. A.; LAKATOS, E. V. Fundamentos de metodologia cientfica. So Paulo:
Atlas, 2006.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4

135

MARTINS, H. H. T. S. Metodologia qualitativa de pesquisa. Educao e Pesquisa, So

Paulo, v. 30, n. 2, p. 289-300, maio/ago. 2004.
McVARISH, J.; SOLLOWAY, S. Self-evaluation: creating a classroom without unhealthy
competitiveness. Educational Forum Spring, Cincinnati (USA), v. 66, n. 3, p. 253-60, 2002.
MILES, M.; HUBERMAN, M. Qualitative data analysis: a sourcebook of new methods.
London (UK): Sage Publications, 1994.
MINAYO, M. C. S. Construo de indicadores qualitativos para avaliao de mudanas.
Revista Brasileira de Educao Mdica, Rio de Janeiro (RJ), n. 33, supl. 1, p. 83-91, 2009.
______. O desafio do conhecimento-pesquisa qualitativa em sade. 8. ed. So Paulo:
Hucitec, 2004.
______. Pesquisa social: teoria, mtodo e criatividade. 21. ed. Petrpolis (RJ): Vozes, 1992.
MOORE, M. G.; KEARSLEY, G. Distance Education: A Systems View of Online Learning.
3rd Edition. Belmont (USA): Wadsworth; Cengage Learning, 2011.
OLABUNAGA, J. I. R.; ISPIZUA, M. A. La decodificacion de la vida cotidiana: metodos
de investigacion cualitativa. Bilbao, ES: Universidade de Deusto, 1989.
OLIVEIRA. M. M. Como fazer pesquisa qualitativa. Petrpolis (RJ): Vozes, 2007.
PALHARINI, F. A. O estado do PAIUB em universidades federais da regio Sul e
Sudeste: tormento ou paixo. Tese (Doutorado em Educao) Programa de Ps-Graduao
em Educao, Universidade Federal Fluminense, Niteri (RJ), 1999.
PATTERSON, G. et al. Antisocial boys: comportamento anti-social. Santo Andr (SP):
ESETec Editores Associadoa, 2002.
PATTON, M. Q. Qualitative evaluation and research methods. 3. ed. London (UK): Sage
Publications, 2002.
PEAT, M.; FRANKLIN, S; LEWIS, A. A review of the use of on-line self-assessment
modules to enhance student learning outcomes: Are they worth the effort of production?
XVIII Annual Conference of the Australasian Society for Computers in Tertiary Education,
Melbourne, 2001. Proceedings Melbourne: ASCILITE, 2001.
PECKHAM, G.; SUTHERLAND, L. The role of self-assessment in moderating students
expectations. South African Journal of Higher Education, Matieland (ZAF), v. 14, n. 1, p.
75-78, 2000.
POON, W. Y.; McNAUGHT, C.; LAM, P.; KWAN, H. S. Improving Assessment Methods in
University Secience Education with Negotiated Self- and Peer- Assessment. Assessment in
Education: Principles, Policy & Practice, London (UK), n. 16, p. 331-46, 2009.

Florianpolis, 13 a 15 de maio de 2015

ISBN 978-85-61115-10-4