XXV Encontro Nac. de Eng.

de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

Aplicao do mtodo ELECTRE TRI classificao da percepo do desempenho de IES por parte do corpo discente

Tania Aparecida Azeredo da Conceio Ribeiro (UCAM-Campos) tania@ucam-campos.br Helder Gomes Costa (UFF) hgc@vm.uff.br

Resumo Este artigo apresenta uma modelagem para a classificao da percepo do desempenho de Instituies de Ensino Superior (IES) sob a ptica discente. Este texto prope o emprego do Mtodo ELECTRE TRI anlise deste problema. Um estudo de caso de aplicao da abordagem proposta tambm apresentado. Palavras-chave: IES.Qualidade. Multicritrio. 1. Introduo A universidade brasileira vem sofrendo, nas ltimas dcadas, mudanas importantes, tanto em termos de quantidade quanto de qualidade. O crescimento vertiginoso do nmero de cursos superiores, a criao de novos cursos de ps-graduao, o aumento no nmero de alunos e necessidade de melhor qualificao profissional dos professores contribuem para um quadro diversificado em que a rapidez das mudanas dificulta a anlise das Instituies de Ensino Superiores (IES). Pensar qualidade pressupe pensar em avaliao, a qual deve estar relacionada retrica da excelncia, no se devendo falar em avaliao sem essa proposta. Atualmente j no se discute a necessidade da avaliao, mas como a mesma deve ser processada. Para Demo (1994) a qualidade processo de construo e participao coletiva, envolvendo os diferentes segmentos da organizao. A avaliao da IES pelos corpos docente e discente revelam-se como aes recomendveis, tendo em vista a ligao destes com todas as funes que cabem ser cumpridas pela Universidade (BOTH,1998). Esta questo tambm corroborada pelo Programa de Avaliao (PAIUB) e pela Lei de Diretrizes e Bases (LDB). Em funo da importncia que este tema ganhou, torna-se necessrio construir e investigar os mtodos de avaliao de IES. Dentre os diversos ngulos existentes no processo de avaliao institucional, h um destaque na percepo do corpo discente quanto qualidade do servio prestado pela IES. Uma das manifestaes deste problema a classificao das IES em classes de padres pr-estabelecidos. A Figura 1 busca ilustrar este problema: Estabelecida classificao, a instituio poder promover aes para desenvolver suas potencialidades e reduzir seus pontos fracos, constituindo assim em instrumento de gesto, para suporte deciso na busca da melhoria contnua. 1.1 Objetivo Neste trabalho apresenta-se uma proposta de aplicao da anlise multicritrio avaliao de desempenho da IES sob a tica do corpo discente.

ENEGEP 2005

ABEPRO

1607

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

Muito Bom

Bom IES Regular Ruim

Muito Ruim
Figura 1 Classificao da IES em padres pr-estabelecidos.

1.2 Justificativa A avaliao institucional uma anlise valorativa da organizao, do seu funcionamento e dos resultados dos processos acadmicos e administrativos, conforme reportado em Vahl (1991), podendo ser adotada como uma ferramenta auxiliar no processo de gesto das polticas educacionais e na administrao do ensino. A implementao do processo de avaliao compreende duas linhas de atuao. A primeira de inteira responsabilidade da Instituio, concebida pela comunidade acadmica, com finalidade de produzir uma qualidade cada vez melhor e socialmente mais significativa. A segunda um modelo de avaliao de educao nacional, conduzido pelo Estado, onde a transformao, dos objetivos em critrios de avaliao nem sempre so transparentes e consensuais (SGUISSARDI, 1997). A avaliao entendida como um insumo do processo mais amplo de planejamento da organizao, permite obter o diagnstico de necessidades e identificar as aes que se podem fazer na gesto da organizao, permitindo retro-alimentar as mais diversas atividades das instituies. Em sntese, a avaliao alm de verificar se a instituio est atingindo seus objetivos e cumprindo sua misso, deve exercer um papel de direcionador na busca da melhoria contnua. Oliveira et al (1999) afirmam que os motivos que levam a avaliar as instituies de ensino vo desde a melhoria da utilizao dos recursos at a oportunidade de tomar decises relativas s dimenses administrativas e pedaggicas. Avaliaes so mltiplas e devem ser feitas por ngulos diferentes, como se olhasse um cubo, onde cada face oferece uma nova dimenso, uma perspectiva diferente e, ao mesmo tempo, complementar. Desta forma, a avaliao tem um forte componente subjetivo - sobretudo ao se considerar as especificidades regionais. Este contexto motivou a escolha do tema Avaliao Institucional de IES e o emprego de tcnicas de Anlise Multicritrio, capazes de tratar problemas envolvendo mltiplos critrios e a subjetividade inerente ao processo de avaliao e classificao. Este estudo parte de um conjunto de anlises sobre as IES, vistas sob vrios ngulos.Espera-se que, com esta abordagem multicritrio, se possa melhor perceber a realidade multidimensional das universidades brasileiras.
ENEGEP 2005 ABEPRO 1608

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

2. Modelagem do problema Nesta seo descreve-se a abordagem proposta para a avaliao e classificao do desempenho de IES sob a percepo do seu corpo discente. Por tratar-se de problema especfico no qual a subjetividade est fortemente presente, fundamentou-se a proposta aqui apresentada em conceitos de Auxlio Multicritrio Deciso (AMD), que capaz de tratar problemas com esta caracterstica. Mais especificamente utilizou-se o mtodo ELECTRE TRI (YU, 1992 e MOUSSEAU et al, 1999),da famlia ELECTRE. A aplicao desta metodologia um desdobramento do trabalho de Freitas (1997), que de forma pioneira empregou o mtodo ELECTRE III para avaliao da qualidade de servios.A justificativa para a escolha do ELECTRE TRI est relacionada ao fato do trabalho apresentar um problema de classificao ordenada (COSTA, 2002), que envolve mltiplos critrios e avaliao subjetiva. As etapas para a estruturao da metodologia aqui proposta so apresentadas a seguir: a) Identificar a IES cujo grau de qualidade de servios deseja-se avaliar. O desenvolvimento deste estudo teve objeto uma Universidade, da rede particular de ensino, localizada em Campos dos Goytacazes,no Estado do Rio de Janeiro. Esta IES tem uma variedade de cursos de graduao, ps-graduao e de extenso. A avaliao foi realizada mediante aplicao de um questionrio, no qual se coletou julgamentos de valor referentes ao grau de satisfao do corpo discente com a IES, luz de mltiplos critrios. O recorte temporal recai sobre os seguintes perodos letivos: 2000(segundo semestre) e 2001(primeiro e segundo semestres). b) Identificar conjunto de critrios que devem ser considerados na avaliao da IES. Considerando o nmero elevado de alunos desta IES, estabeleceu-se uma comisso discente(CD), para definir o conjunto de critrios. Esta comisso teve um total de 25 membros e era composta: pelo presidente do Diretrio Acadmico; pelo presidente da Empresa Junior; e, por representantes de turmas. Em deciso consensual esta comisso sugeriu um conjunto de critrios de avaliao apresentado no Quadro 1. Este conjunto de critrios foi referendado pelos demais membros do corpo discente, atravs de votao em terminal eletrnico. A CD tambm se reuniu e discutiu a importncia dcada um destes critrios. Aps esse procedimento, a comisso concluiu que para atender as expectativas dos discentes, todos os critrios tinham igual importncia (foram considerados como muito importantes). Os pesos atribudos aos critrios tambm esto ilustrados no Quadro 1.
CRITRIOS 1-Gesto da Direo da Instituio 2 -Gesto da Coordenao Geral de Ensino 3- Gesto da Coordenao Acadmica do curso 4 _Servio da Biblioteca 5- Servio do Xerox 6-Servio da Secretaria 7- Servio da Tesouraria 8- Nvel de ensino 9- Nvel de satisfao em relao ao curso Cdigo Cr1 Cr2 Cr3 Cr4 Cr5 Cr6 Cr7 Cr8 Cr9 Peso 5 5 5 5 5 5 5 5 5

Quadro 1- Conjunto de critrios definidos pelo corpo discente

c) Identificar as classes de equivalncia juntamente com seus respectivos limites (fronteiras). Foram definidas cinco categorias de classificao ou classes (C1, C2, C3, C4 e C5),
ENEGEP 2005 ABEPRO 1609

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

delimitadas por quatro fronteiras (F1, F2, F3 e F4). O Quadro 2 reportado a seguir, ilustra as categorias e fronteiras consideradas nesse experimento. Por exemplo: se a IES receber uma avaliao igual a 4,0, em todos os critrios ,ficar classificada na classe C2 (Desempenho Bom).
Categorias e Fronteiras Limites das Categorias Cr1 C1 F1 C2 F2 C3 F3 C4 F4 C5 CR2 Cr3 CR4 CR5 CR6 4,5 3,5 2,5 1,5 4,5 3,5 2,5 1,5 CR7 CR8 CR9 4,5 3,5 2,5 1,5 4,5 3,5 2,5 1,5 4,5 3,5 2,5 1,5

MUITO BOM 4,5 4,5 4,5 4,5 BOM 3,5 3,5 3,5 3,5 REGULAR 2,5 2,5 2,5 2,5 RUIM 1,5 1,5 1,5 1,5 MUITO RUIM

Quadro 2- Limites das categorias utilizadas no experimento

d) Especificar a escala de julgamentos dos servios prestados pela IES x luz de cada critrio. Recomenda-se o emprego de escalas nominais associadas a uma escala numrica, visto que a metodologia proposta permite contemplar critrios subjetivos na avaliao. A escala definida pela IES, est de acordo com os trabalhos de Likert (1932), Miller (1954), Parducci (1965) e Saaty (1991). A escala adotada apresentada na Tabela 1.
Escala verbal Muito satisfeito Satisfeito Hesitao entre satisfeito e insatisfeito Insatisfeito Muito insatisfeito Valor Numrico 5 4 3 2 1

Tabela 1- Escala de converso para o julgamento dos critrios

e) Definir o conjunto de avaliadores. Definidos os critrios, a implantao da avaliao institucional ocorreu no semestre seguinte, com uma amostra aleatria de alunos matriculados entre o segundo perodo (inclusive) e o ltimo perodo (exclusive).. f) Os avaliadores so constitudos por membros do corpo discente, dos cursos de graduao, matriculados entre o segundo perodo (inclusive) e o ltimo perodo (exclusive), durante o perodo 2000 (segundo semestre) e 2001(primeiro e segundo semestre) que emitiram julgamentos a respeito do Grau de Satisfao com os servios prestados pela IES luz de cada critrio estabelecido pela comisso representativa dos discentes. Estes avaliadores foram definidos de forma aleatria, em amostras constitudas de 975 alunos (conforme tabela 5). Foram desprezados os dados (da amostra e da populao) referentes aos discentes matriculados nos primeiros e nos ltimos perodos.

Perodo

Amostra

Populao

ENEGEP 2005

ABEPRO

1610

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

2000/2 2001/1 2001/2 TOTAL

373 339 263 975

1151 1496 1401 4048

Quadro 4 - Amostra e Populao utilizada na pesquisa

g) Coleta de julgamento de valor. Os dados obtidos da coleta de dados esto apresentados, de forma consolidada, nos quadros5, 6 e 7, apresentados a seguir:
Critrios CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 Mdia 3,68 3,65 3,59 3,25 3,13 3,55 3,37 4,01 4,00 Moda 4 4 4 4 4 4 5 5 4 Coeficiente de Variao 0,255 0,239 0,247 0,349 0,416 0,339 0,364 0,204 0,198

Quadro 5 - Resultados referentes ao ao segundo semestre de 2000 (2000/2). Critrios CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 Mdia 3,8702 3,7729 3,708 3,876 3,118 3,6726 3,729 4,021 4,0236 Moda 4 4 4 5 3 5 5 4 5 Coeficiente de Variao 0,2435 0,2553 0,283 0,282 0,4199 0,3353 0,32 0,24 0,2586

Quadro 5 - Resultados referentes a 2001/1 Critrios CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 Mdia 2,8707 2,6882 2,6312 2,81749 2,5209 2,6539 2,749 2,7034 2,8175 Moda 3 2 2 3 2 2 3 2 3 Coeficiente de Variao 0,3345 0,3428 0,3601 0,3262 0,3698 0,348 0,351 0,3605 0,3262

Quadro 5 - Resultados referentes a 2001/2

h) Estabelecer os limites de preferncia (p) e de indiferena (q), para cada critrio. Estes limites permitem ao ELECTRE TRI trabalhar com as imprecises e incertezas do julgamento. O ideal que estes limites sejam expressos por consenso entre os avaliadores. No entanto, em algumas situaes torna-se proibitivo coletar estas variveis junto aos avaliadores. No problema em tela esta dificuldade ocorre, pois dois motivos: tamanho da
ENEGEP 2005 ABEPRO 1611

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

amostra; e, a falta de conhecimento da comisso sobre o processo de definio destas variveis. Este um problema que surge ao se utilizar os Mtodos da famlia ELECTRE com mltiplos avaliadores e que ainda est em aberto. Em geral nestas situaes, tem sido usual arbitrar valores para p e q. Esse fato ocorre sem que haja grandes prejuzos de aproveitamento dos benefcios da Anlise Multicritrio. No presente trabalho prope-se considerar para p e q o coeficiente de variao da amostra (Quadro 8).Os coeficientes de variao (cv) foram obtidos atravs de tratamento estatsticos de dados referentes aos limites de cada critrio. Este procedimento foi inicialmente proposto em Mansur (2000) e em Mansur e Costa (2001), que busca utilizar uma varivel que represente a incerteza ou disperso da amostra, sob um ponto de vista global. Os coeficientes de variao foram obtidos atravs de tratamento estatsticos de dados. Os valores dos limites de preferncia (p) e indiferena (q) sero adotados como: p = max(cv) ; e , q = min (cv).
p CR 1 CR 2 CR 3 CR 4 CR 5 CR 6 CR 7 CR 8 CR 9 0,3345 0,3428 0,3601 0,349 0,4199 0,348 0,364 0,3605 0,3262 q 0,2435 0,239 0,247 0,282 0,3698 0,3353 0,32 0,204 0,198

Quadro8 - Limites de preferncia (p) e de indiferena (q) para cada critrio

i) executar o algoritmo de classificao do Electre Tri. Nessa etapa foi obtida a classificao da percepo do discente quanto ao desempenho da IES, utilizando procedimentos de classificao do ELECTRE TRI. Essa metodologia permite a classificao das alternativas segundo dois procedimentos: procedimento otimista (menos exigente) e procedimento pessimista (mais exigente). Esse mtodo permite adotar um valor para o limite de corte = (0,5 .) 1 A compreenso dos resultados possvel com a anlise apresentada a seguir. 3. Anlise dos resultados Buscando analisar os resultados obtidos, foram realizados vrios experimentos. Estes experimentos buscaram avaliar ao efeito introduzido pelas seguintes aes: considerar a mdia dos julgamentos como elemento de entrada para os julgamentos de valor; considerar a moda dos julgamentos como elemento de entrada para os julgamentos de valor; considerar pesos dos critrios atribudos pela alta direo da Instituio.

ENEGEP 2005

ABEPRO

1612

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

3.1 Mdia como parmetro de entrada O Quadro 9 apresenta os resultados da classificao da IES sob o ponto de vista do discente, nos recortes de tempo (2000/2, 2001/1, 2001/2), localizando a IES em suas respectivas classes padro de desempenho.Estes resultados foram obtidos ,adotando-se 57,0 = e as mdias dos julgamentos para o desempenho das alternativas.
Alternativas 2000-2 ME 2001-1 ME 2001-2 ME Classificao Pessimista Bom Bom Regular Otimista Bom Bom Regular

Quadro 9 - Resultados obtidos na utilizao pelo ELECTRE TRI utilizando a mdia

Analisando este resultado observa-se que em 2000/2 e 2001/1 os resultados de desempenho da IES tiveram concordncia coma classificao d desmpnho desta instituio na Classe Bo Desempneho. No entanto, em 2001/2 apreecepdo corpodiscente foi de que o desempenho da IES deveria ser classificado na Classe Regular. Foi realizadoumestudo da sensibilidade dos resultadosa variaesno valor do grau de credibilidade (plano de corte) . Os valores acima apresentados permaneceram inalterados para valores de menores ou iguais a 0,97(valor mximo=1,0). Estes resultados mostram uma alta estabilidade do modelo. 3.2 Moda como parmetro de entrada Tambm foi realizado um experimento utilizando a moda como julgamento do desempenho em cada critrio. Neste experimento foram realizados vrios ensaios variando o valor do plano de corte (). Os resultados destes ensaios indicam incomparabilidades para valores de maiores ou iguais a 0,56 (o valor mnimo possvel 0,5). Estes resultados mostram uma baixa estabilidade do modelo ao se utilizar a moda como parmetro de entrada. Os resultados obtidos com = 0,75 esto apresentados no quadro 10. Alternativas 2000- 2 MO 2001-1 MO 2001-2 MO Classificao Pessimista Bom Bom Ruim Otimista Bom Muito Bom Regular

Quadro 10- Resultados obtidos na utilizao pelo ELECTRE TRI utilizando a moda. (=0,75).

4. Concluses Observa-se que ao estabelecer uma comparao de resultados nos diversos mtodos aplicados, utilizando a mdia dos desempenhos na classificao da IES, houve uma homogeneidade de resultados em cada perodo da coleta de dados, ou seja h uma coincidncia de 100% nos resultados das classificaes obtidas para a IES. Percebe-se, entretanto que ao utilizar a moda resultante do julgamento de desempenho da IES, a classificao obtida apresenta resultados heterogneos para os perodos 2001/1 e 2001/2. Este fato indica uma incomparabilidade. Estes resultados indicam uma estabilidade do modelo proposto quanto utilizao da mdia como elemento de avaliao para classificao no ELECTRE TRI. Adicionalmente este

ENEGEP 2005

ABEPRO

1613

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

modelo apesar de apresentar classificao semelhante aquela obtida pela percepo inicial do discente, tambm foi capaz de sinalizar quanto credibilidade da classificao obtida, conforme descrito a seguir. Tambm relevante registrar que o ELECTRE TRI capaz de informar a credibilidade com que se pode afirmar que uma alternativa est em umadesterminada classe. Referncias
ABDEL-AAL, R.E. & AL-GARNI, Z. (1997) - Forecasting Monthly Electric Energy Consumption in eastern Saudi Arabia using Univariate Time-Series Analysis. Energy Vol. 22, n.11, p.1059-1069. BRASIL. (1996) Lei no. 9.394, de 20 de dezembro de 1996. Lei de Diretrizes e Bases da Educao Nacional. DEMO, P. Educao e Qualidade. (1994) - Papiros Editora,3 ed. So Paulo. COSTA, H. G. . (2002). Introduo ao Mtodo de Anlise Hierrquica (AHP). UFF, Niteri, < http://www.professores.uff.br/helder acessado em 20/01/2005> . FREITAS, A.L.P. (1997) Emprego de uma abordagem multicritrio na avaliao e classificao da qualidade de servios. Dissertao( Mestrado em Cincias de Engenharia de Produo), Universidade Estadual do Norte Fluminense, Campos dos Goytacazes, RJ, Brasil. FREITAS, A.L.P., COSTA, H.G. (1998) Uma abordagem multicritrio para avaliao e classificao de servios. Gesto e Produo, vol. 5 (3) , pp. 272 -283. LIKERT, R.A. (1932) Technique for measurement of attitudes. Archives of Psychology, vol. 140 (1), pp. 5-55. MILLER, G.A. (1994) The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information. Psychological Review, 101 (2) 343-352. MANSUR, A. L. F. (2000) Aplicao de Metodologia ELEQUAL para Avaliao da Qualidade de Servios: um estudo de caso. Tese (Mestrado em Cincias de Engenharia de Produo) Universidade Estadual do Norte Fluminense UENF, Campos dos Goytacazes RJ. MANSUR, A. F. U; COSTA, H. G. (2001) Aplicao da metodologia ELEQUAL para avaliao da qualidade em servios: um estudo de caso. Proceeding of the VI ICIE (International Congress of Industial Engineers). Anais do XX ENEGEP (Encontro Nacional de Engenharia de Produo), Salvador: Associao Brasileira de Engenharia de Produo. MOUSSEAU, V., SLOWINSKI, R. & ZIELNIEWICZ, P. (1999). ELECTRE TRI 2.0a Methodological Guide and Users Manual. Cahiers du Lamsade, fevereiro. PAIUB (1996) Programa de Avaliao Institucional das Universidades Brasileiras. Avaliao,Ano 1, n 1 . PARDUCCI, G.A. (1965) Category judgement: a range-frequency model. Psychological Review, vol. 72 (3), pp. 407-418. SAATY, T.L. (1991) Mtodo de Anlise Hierrquica. Ed. McGraw-Hill-Makron, So Paulo SP. Traduzido por Wainer da Silveira e Silva, da 1a. ed. em ingls (1980) The Analytic Hierarquic Process. Pittsburg: RWS Publications.) SGUISSARDI, V. (1996). O desafio da Educao Superior no Brasil: quais so as perspectivas? RAIES. V. 5, no. 2. VAHL, T. (1991) - Algumas Reflexes sobre a Poltica de Ensino Superior no Brasil. In Liderana e Administrao na Universidade. Ed. UFSC, Florianpolis. YU, W., ELECTRE TRI - Aspects Mthodologiques et Guide dutilisation (1992). Cahiers du LAMSADE, abril.

AGRADECIMENTOS Os autores agradecem ao poio institucional de suas respectivasinstituies e aoapoio financeiro do CNPq.

ENEGEP 2005

ABEPRO

1614