Guia da sessão: O Modelo de Auto-Avaliação das Bibliotecas Escolares:

metodologias de operacionalização (Parte I)

ACTIVIDADE

A realizar e colocar no Fórum da Actividade até ao final da Sessão

a) Escolha, em alternativa, um dos seguintes Domínios/Subdomínios:

 A.2. (Promoção das Literacias da Informação, Tecnológica e Digital)

 B. (Leitura e Literacia)

 C.1. (Apoio a Actividades Livres, Extra-Curriculares e de Enriquecimento Curricular)

b) Escolha no Domínio/Subdomínio seleccionado dois Indicadores, um que considere de

Processo e outro que considere de Impacto/Outcome, e analise-os detalhadamente.

c) Estabeleça um Plano de Avaliação em profundidade daqueles dois Indicadores,

recorrendo ao Texto da sessão, às Orientações para a aplicação do Modelo incluídas na
versão actualizada do mesmo, disponível no sítio RBE, e ao texto de leitura
complementar: Basic Guide To Program Evaluation.

A fim de evitar um grande desequilíbrio entre o número de formandos em cada Domínio/Sub-

domínio, solicitamos que procedam no Fórum da Actividade a uma inscrição prévia no
Domínio/Sub-domínio escolhido, abrindo uma linha de conversa e colocando um primeiro post
com o assunto: “Domínio ou Sub-domínio X”.

Atenção: em cada Domínio/Sub-domínio não serão admitidos mais de 12 formandos, por isso
se um deles já tiver esse número de inscritos, terá de escolher outro.

O Plano deve incorporar informação e aspectos retirados dos vários documentos de consulta e
reflectir a natureza e conteúdo do Domínio/Sub-domínio escolhido.

d) Coloque o seu trabalho no fórum criado para o efeito, indicando no assunto do post as
duas referências dos dois Indicadores que escolheu.

Por exemplo:
- A.2.1., A.2.2., A.2.3., A.2.4. ou A.2.5, se escolheu o Subdomínio A.2.
- B.1., B.2. ou B.3, se escolheu o Domínio B
- C.1.1., C.1.2., C.1.3., C.1.4. ou C.1.5., se optou pelo Subdomínio C.1.

Bom trabalho!

As formadoras
 O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologias de 
operacionalização (Parte I) 
 
O texto desta Sessão pretende constituir‐se como uma espécie de guia para a auto‐avaliação 
da biblioteca escolar no âmbito do novo Modelo de Auto‐Avaliação das Bibliotecas Escolares, 
lançado pelo Gabinete RBE em 2008. 
 A sessão tem um carácter eminentemente prático, fazendo especial apelo ao conhecimento e 
experiência dos professores‐bibliotecários já envolvidos ou a envolver na aplicação do modelo. 
 
São objectivos da sessão: 
 
• Compreender  como  é  que  a  auto‐avaliação  pode  ser  concretizada  para  demonstrar  a 
contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola. 
 
• Ganhar  familiaridade  com  o  processo  de  auto‐avaliação  adoptado  pelo  Modelo  de  Auto‐
avaliação RBE e capacitar para a sua aplicação. 
 
• Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser 
usados 
 

A  principal  fonte  de  informação  a  utilizar  será  o  próprio  modelo,  relativamente  ao  qual  se 
solicita uma leitura e análise aprofundada. 
 

There  are  many  tools  and  methods  to  use  to  evaluate  school  library  media  centers.  It’s 
important  to  identify  the  issue  you  want  to  address,  identify  the  data  you  need  to  collect, 
match  the  correct  evaluative  method  to  gather  that  data,  analyze  it,  and  report  it  to  the 
appropriate  people.  By  following  these  steps,  you’ll  realize  many  benefits  and  potential 
improvements to your program. 

Everhart, Nancy. Evaluation of School Library Media Centers: demonstrating quality, Library 
Media Connection, March, 2003 

O Quê? 

É cada vez mais importante que as bibliotecas escolares demonstrem o seu contributo para a 
aprendizagem e o sucesso educativo das crianças e jovens que servem. 

Referindo‐nos à avaliação das bibliotecas em geral, a abordagem mais tradicional tem sido a 
de  avaliar  as  bibliotecas  em  termos  de  inputs  (instalações,  equipamentos,  financiamentos, 
staff,  colecções,  etc.),  processos  (actividades  e  serviços)  e  outputs  (visitas  à  biblioteca, 
empréstimos,  consultas  do  catálogo,  pesquisas  bibliográficas;  respostas  do  serviço  de 
referência, materiais produzidos, etc. …), desenvolvendo formas de avaliação da qualidade dos 
serviços  e  da  sua  performance  de  carácter  eminentemente  quantitativo  e  as  mais  das  vezes 
traduzidas em termos de custos e eficiência. 

  1
Medir  os  outcomes  (Impactos)  significa,  no  entanto,  ir 
Para  a  clarificação  de  conceitos  e 
mais  além,  no  sentido  de  conhecer  o  benefício  para  os 
compreensão  das  diferentes 
utilizadores  da  sua  interacção  com  a  biblioteca.  A 
abordagens  que  a  partir  dos  anos 
qualidade não deriva nesta acepção, da biblioteca em si 
80  foram  forjando  as  diferentes 
mesma  ou  do  seu  peso  intrínseco,  mas  do  valor  tipologias  e  focus  da  avaliação 
atribuído  pelos  utilizadores  a  esse  benefício,  traduzido  (Gestão  da  Qualidade;  Satisfaction 
numa  mudança  de  conhecimento,  competências,  Surveys;  Normas  ISO2789‐
atitudes, valores, níveis de sucesso, bem‐estar, inclusão,  Estatísticas e ISO11620‐Indicadores 
etc.  de  Performance,  Evidence  Based 
Practice, e outros, pode ler o artigo 
INPUTS → PROCESSOS → OUTPUTS →OUTCOMES  de  Luiza  Melo,  Estatísticas  e 
Avaliação  da  Qualidade  e  do 
O  modelo  de  auto‐avaliação  das  bibliotecas  escolares  Desempenho  em  Bibliotecas  e 
procurou  orientar‐se  sobretudo  segundo  uma  filosofia  Serviços de Informação     
de  avaliação  baseada  em  outcomes  e  de  natureza 
essencialmente  qualitativa,  reflectindo  a  tendência 
   Para  obter  conhecimento  sobre 
geral das políticas educativas e de gestão e avaliação das  medidas  de  impacto,  pode 
escolas,  também  elas  fortemente  orientadas  para  os  consultar o artigo de Roswitha Poll 
resultados.  e  Philip  Payne:  Impact  Measures 
for  Libraries  and  Information 
   Services

Que Relação Com Outros Modelos de Avaliação? 
Não existe um modelo institucional 
Numa  fase  em  que  muitos  avanços  têm  sido  realizados  para  a  auto‐avaliação  das  escolas. 
relativamente  à  avaliação  das  escolas,  ganha  todo  o  Boa parte dos estabelecimentos de 
sentido  integrar  nesse  trabalho  a  avaliação  das  ensino  recorreu  ao  Modelo  de 
bibliotecas,  elegendo  a  sua  auto‐avaliação  como  parte  Excelência  da  EFQM  (European 
essencial  da  avaliação  interna  da  escola  e  base  para  a  Foundation  for  Quality 
avaliação  externa  realizada  pela  Inspecção  Geral  de  Management) e à Ferramenta CAF
(Common  Assessement 
Educação,  fazendo  uso  desta  avaliação  externa  como 
Framework),  construída  para 
forma de validação do processo de auto‐avaliação. 
ajudar  os  diferentes  sectores  das 
É, deste modo, conveniente tentar entrosar a avaliação  administrações  públicas  da  UE na 
gestão da qualidade e melhoria de 
da  biblioteca  o  mais  possível  com  o  modelo  de  auto‐
desempenho.  A  sua  estrutura 
avaliação  utilizado  pela  escola  e  com  a  avaliação 
organiza‐se  em  nove  Critérios: 
externa  da  escola,  desenvolvida  segundo  uma  lógica  cinco  Critérios  de  Meios  e  quatro 
própria,  muito  próxima  às  escolas,  à  educação  e  à  Critérios de Resultados. 
investigação em educação.  

Relevando  o  mesmo  tipo  de  preocupação,  também  na 

construção  do  modelo  de  auto‐avaliação  da  BE  se 
utilizou  uma  linguagem  e  ideário  específicos  da 
educação  e  das  escolas,  procurando reflectir as actuais 
tendências na ênfase em torno do sucesso educativo e 
da melhoria de resultados. 

O  modelo  de  auto‐avaliação  das  bibliotecas  escolares 

  2
deve  estar,  deste  modo,  perfeitamente 
O  Modelo  de  Avaliação  Externa  das 
contextualizado  e  ancorado  na  escola  e  no  diálogo 
Escolas  utiliza  um  Quadro  de 
que a biblioteca tem de estabelecer com ela e com a 
Referência baseado  em  cinco 
comunidade,  afastando‐se  de  uma  concepção  mais 
Domínios.  A  Biblioteca  Escolar  é 
fechada ou excessivamente centrada na avaliação de  explicitamente  referida  no  ponto  3.3. 
desempenho  e  da  satisfação  dos  utilizadores,  “Gestão  dos  Recursos  Materiais  e 
embora também faça necessariamente uso de alguns  financeiros”  do  Domínio  3. 
dos seus indicadores.  “Organização  e  Gestão  Escolar”, 
embora  a  sua  avaliação  perpasse 
Esta  relação  da  avaliação  da  biblioteca  com  a  outros  Domínios,  dado  o  actual 
avaliação  da  escola  ganha  ainda  mais  pertinência  se  entendimento da BE não apenas como 
tivermos  em  conta  o  carácter  transversal  e  a  grande  um  espaço  fornecedor  de  recursos 
interacção  que  a  biblioteca  deve  estabelecer  com  mas, sobretudo, como um centro cada 
todos  os  órgãos  da  escola.  Por  exemplo,  se  a  vez  mais  activo  e  interveniente  ao 
biblioteca partilhar um conjunto de objectivos anuais,  nível da aprendizagem e da formação 
dos alunos. Para estabelecer a ligação 
integrantes  do  Plano  Anual  da  Escola,  em  relação 
entre  a  auto‐avaliação  da  escola  e  a 
directa  com  as  prioridades  estabelecidas  pelo 
avaliação  externa,  a  IGE  desenvolveu 
conjunto  da  escola,  a  avaliação  a  realizar  no  final  do 
uma  estrutura  descritiva  comum  de 
ano  deve  necessariamente  integrar  a  biblioteca  apresentação com  seis  campos  de 
enquanto  parte  da  política  e  estratégia  global  análise. 
conduzida  pela  escola  ao  longo  do  ano  e  tomar  em 
conta os seus resultados no processo de planeamento 
do ano seguinte. Isto é certamente válido quando se 
avalia o papel da biblioteca nas actividades de ensino e aprendizagem, mas também se aplica 
a outros domínios como por exemplo, o da literacia da informação, da leitura, ou outros. 

Esta  perspectiva  pode,  por  outro  lado,  ajudar  ainda  a  economizar  esforço  e  tempo, 
designadamente  através  da  aplicação  de  questões  comuns  e  do  tratamento  conjunto  de 
dados relativos a determinados projectos ou actividades.  

Porquê? 

O  propósito  da  auto‐avaliação  é  apoiar  o  desenvolvimento  das  bibliotecas  escolares  e 

demonstrar  a  sua  contribuição  e  impacto  no  ensino  e  aprendizagem,  de  modo  a  que  ela 
responda cada vez mais às necessidades da escola no atingir da sua missão e objectivos.  

A  avaliação  deve  ser  encarada  como  uma  componente  natural  da  actividade  de  gestão  da 
biblioteca, usando os seus resultados para a melhoria contínua, de acordo com um processo 
cíclico de planeamento, execução e avaliação: 

PLANEAMENTO (ESTRATÉGICO/OPERACIONAL) 

↑                                                    ↓  

AVALIAÇÃO  ←  EXECUÇÃO E MONITORIZAÇÃO      
     

  3
Que constrangimentos? 

A  avaliação  de  impactos  das  BE  no  sucesso  educativo  é  A  CILIPS/SLIC  (Escócia) 
particularmente  complexa,  por  não  ser  possível  isolar,  disponibiliza  no  seu  site  alguns 
numa  miríade  de  variáveis  possíveis,  a  contribuição  da  exemplos  de  actividades 
biblioteca,  separarando‐a  de  outras  influências,  pelo  específicas  de  recolha  de 
menos de uma forma directa.  evidências  e  avaliação.  Pode 
consultar  um  desses  exemplos 
Esta  dificuldade  aconselha  a  que  não  se  avaliem  os 
(Start  a  reading  group)  ou  então 
resultados  da  acção  da  biblioteca  de  uma  forma  global, 
experimentar  realizar  o  exercício 
mas  aplicada  a  determinadas  actividades,  serviços  ou 
proposto  (Introduction  to  the 
programas,  e  a  que  se  faça  um  estudo  tanto  quanto 
Internet  and  Effective  search 
possível  longitudinal,  de  modo  a  que  seja  dado  tempo 
Strategies). 
para  que  determinados  resultados  se  possam  tornar 
claros. 

Exemplos: 

• Avaliar se o nível de compreensão leitora melhorou depois de desenvolver um programa 
particular de intervenção da biblioteca na área da formação de leitores. 

• Também  é  possível  restringir  a  avaliação  em  termos  de  públicos‐alvo.  Se  a  biblioteca 
escolar apoiou as actividades de enriquecimento curricular em escolas do 1º ciclo ou em 
determinados  anos  de  escolaridade,  pode  avaliar  este  tópico,  fazendo  incidir  essa 
avaliação nessas escolas do Agrupamento ou nos anos de escolaridade em que esse apoio 
foi desenvolvido. 

• Se  a  biblioteca  escolar  esteve  de  algum  modo,  envolvida  em  algum  projecto  de  parceria 
com  elementos  ou  instituições  da  comunidade,  a  avaliação  a  realizar  sobre  esse  tópico 
incidirá nos anos, turmas, alunos e docentes implicados nesse projecto. 

Em suma, a avaliação da biblioteca não é algo que possa ser concebido em abstracto ou sobre 
o  vazio.  Avaliar  a  biblioteca  significa  avaliar  a  sua  acção  em  determinados  aspectos  e  os 
resultados  obtidos  com  esse  trabalho,  de  acordo  com  os  objectivos  previamente  definidos, 
tendo porventura em consideração o referencial (Indicadores e Factores críticos de sucesso) à 
luz dos quais esses objectivos poderão já ter sido estabelecidos, partindo do princípio que os 
orientam uma ideia geral de melhoria e desenvolvimento de boas práticas.  

A  questão  mais  crítica  comummente  apontada  parece,  pois,  ser  a  da  recolha  de  evidências 
demonstrativas  do  impacto  da  biblioteca,  mas  o  modelo  fornece  uma  estrutura  e  materiais 
que ajudam a orientar este trabalho. 

Concluindo,  os  principais  desafios  colocados  pelo  Modelo  de  Auto‐Avaliação  residem  na 
avaliação dos impactos sobre os utilizadores e derivam da necessidade de, a este respeito:  

• Clarificar adequadamente os objectivos da BE; 

• Esclarecer os objectivos de aprendizagem dos alunos em relação com a biblioteca; 

  4
  

• Estabelecer os Indicadores adequados para essas aprendizagens; 

• Recolher  as  evidências  apropriadas,  lidando  com  dados  de  natureza  quantitativa  e 
qualitativa; 

• Assegurar a realização do processo de recolha, tratamento, análise e comunicação dos 
dados;  

Com quem? 

O modelo  deve adaptar‐se a  diferentes realidades, permitindo  avaliar bibliotecas de escolas 

de diferentes níveis de ensino e bibliotecas servindo quer uma única escola, quer um conjunto 
de escolas ou agrupamento. 

As bibliotecas em causa podem, por outro lado, servir exclusivamente a população escolar ou 
estar  abertas  à  comunidade,  podendo  nesta  situação,  a  sua  avaliação  envolver  outras 
entidades e públicos. 

As BMs/SABEs, por exemplo, podem  desempenhar  um papel particularmente  importante na 

aplicação  do  modelo  nas  escolas  do  1º  Ciclo  e  Pré‐escolar,  derivado  das  responsabilidades 
específicas que têm na sua gestão e acompanhamento. 

O modelo deve ser trabalhado pelo Professor Bibliotecário com o apoio da respectiva Equipa 
e do CE. 

O envolvimento e mobilização dos utilizadores (docentes, alunos, …), a quem é pedida uma 
participação muito activa, é fundamental e tem a sua maior razão de ser no facto da avaliação 
se centrar não apenas na própria biblioteca mas, sobretudo, nos seus utilizadores. Boa parte 
das evidências requisitam a sua disponibilidade e empenho na resposta a inquéritos, cedência 
de materiais, actividades de observação, etc., por isso a sua colaboração, sobretudo a nível dos 
docentes, constitui um aspecto crítico para o sucesso desta avaliação. A avaliação não deve ser 
encarada como uma imposição mas como uma mais‐valia para a melhoria da escola, sendo de 
evitar quaisquer riscos de subversão do seu espírito (avaliação ‐ formulário). 

Finalmente,  também  os  pais/encarregados  de  educação  são  chamados  a  participar  na 
avaliação da biblioteca, particularmente em certos aspectos, como por exemplo, os da leitura 
e utilização da biblioteca pelos seus filhos/educandos. 

A  implicação  de  outras  entidades  na  avaliação  também  pode  ser  útil,  não  apenas  pelo  peso 
que  podem  ter  em  diferentes  parcerias,  mas  também  como  um  auxiliar,  desempenhando  o 
designado  papel  de  “Critical  Friend”  ou  “Devil’s  Advocat”  na  análise  e  interpretação  dos 
resultados e elaboração de conclusões. A BM/SABE, os Grupos de Trabalho Concelhios ou os 
Coordenadores Inter‐concelhios da RBE podem porventura desempenhar este papel.  

  5
Que Etapas? 

A  implementação  da  auto‐avaliação  implica  o  cumprimento  de  alguns  passos  que 

esquematicamente se apresentam: 

• Motivação e compromisso institucional dos órgãos de gestão pedagógica e executiva da 
escola com o processo de auto‐avaliação da BE, formalização de alguns procedimentos no 
sentido de uma co‐responsabilização de todos os intervenientes (apresentação aos colegas 
do propósito e metodologia da auto‐avaliação; participação da BE em reuniões alargadas 
ou  restritas  de  docentes  para  recolha  da  informação;  facilitação  de  documentação; 
disponibilização  de  dados;  formas  de  colaboração  com  os  docentes  na  recolha  de 
evidências sobre os alunos, etc.), aceitação dos resultados e acordo sobre a subsequente 
promoção de um plano de melhoria. 

• Constituição, sob a responsabilidade do Professor Bibliotecário, de um grupo responsável 
ao  nível  da  escola/agrupamento  pela  condução  do  processo  de  auto‐avaliação  da  BE; 
definição e partilha de tarefas entre os elementos do grupo. 

• Elaboração  do  Plano  de  Avaliação:  Problema/Diagnóstico;  Identificação  do  objecto  da 
avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar; 
Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise  e 
comunicação  da  informação;  Limitações,  Levantamento  de  necessidades  (recursos 
humanos, financeiros, materiais,…), etc. 

• Desenvolvimento do processo de avaliação: recolha e tratamento de informação; análise 
dos  dados;  descrição  da  situação;  relação  com  os  standards  de  desempenho  ou 
benchmarks; identificação dos pontos fortes e fracos; definição e priorização de acções de 
melhoria; redacção e divulgação do relatório final de avaliação. 

 
A informação disponibilizada 
Como se Estrutura o Modelo ?  1 neste texto deverá ser 
complementada com a leitura 
O Modelo é constituído por quatro Domínios, divididos em  obrigatória do “capítulo” 
Subdomínios.  Orientações para aplicação – 
  modelo de auto‐avaliação
 
A. Apoio ao Desenvolvimento Curricular 
A.1  Articulação  Curricular  da  BE  com  as  Estruturas  de  Coordenação  Educativa  e  Supervisão 
Pedagógica e os Docentes 
A. 2 Promoção das Literacias da Informação, Tecnológica e Digital 
 
B. Leitura e Literacia 
 
C. Projectos, Parcerias e Actividades Livres e de Abertura à Comunidade 

                                                            
1
 Complementar com a informação constante no modelo – versão integral/final (http://www.rbe.min‐
edu.pt/np4/?newsId=31&fileName=mod_auto_avaliacao.pdf) 

  6
C.1 Apoio a actividades livres, extra‐curriculares e de enriquecimento curricular 
C.2 Projectos e parcerias 
 
D. Gestão da Biblioteca Escolar 
D.1 Articulação da BE com a Escola/ Agrupamento. Acesso e serviços prestados pela BE 
D.2 Condições humanas e materiais para a prestação dos serviços 
D.3 Gestão da colecção/da informação 
 

Dentro  de  cada  Subdomínio  identificam‐se  conjuntos  de  Indicadores  ou  critérios,  os  quais 
apontam  para  os  aspectos  nucleares  de  intervenção  da  BE  inerentes  a  esse  Subdomínio  (v. 
Modelo). 

Os Indicadores desdobram‐se, por sua vez, em diferentes Factores Críticos, que constituem as 
actividades  ou  acções  que  demonstram  sucesso  e  são  valorizadas  na  avaliação  de  cada 
Indicador (v. Modelo) 

O  modelo  é  propositadamente  ambicioso  na  definição  destes  factores,  de  modo  a  ser 
estimulante  e  impedir  que  as  escolas  apenas  reflictam  nele  as  actividades/acções  que 
comummente  já  realizam,  incentivando  ao  desenvolvimento  de  boas  práticas  e  tendo,  nesta 
medida, uma forte componente formativa. 

As  Evidências  mostram  que  essas  actividades/acções  foram  efectivamente  desenvolvidas  e 

sustentam a formulação de juízos de valor sobre os seus resultados. 

Para  cada  Indicador  ou  conjunto  de  Indicadores  foram  identificadas  vários  exemplos  de 
Evidências  (v.  Modelo),  através  das  quais  será  possível  fazer  corresponder  a  que  nível  de 
performance corresponde a prática da biblioteca em relação com aquele/s Indicador/es.  

Na  última  coluna  das  tabelas  (v.  Modelo)  apresentam‐se  para  cada  Indicador,  exemplos  de 
Acções  para  a  melhoria,  ou  seja,  propostas  de  iniciativas  variadas  a  realizar  no  caso  de  ser 
necessário melhorar o desempenho da BE em relação com aquele Indicador. 

Fazem  ainda  parte  do  Modelo,  um  conjunto  de  Perfis  de  Desempenho  (v.  Modelo) 
estabelecidos para os diferentes Subdomínios. Os Perfis ou cenários indicam quatro níveis de 
performance,  sendo  seu  objectivo  ajudar  a  escola  a  identificar  qual  o  nível  que  melhor 
corresponde à situação da biblioteca em cada Subdomínio e perceber, de acordo com o nível 
atingido, o que está em jogo para poder melhorar para o nível seguinte. 

Considera‐se  que  a  BE  se  situa  num  determinado  nível  de  desempenho  se  cumprir,  pelo 
menos,  4  em  5,  5  em  6  ou  6  em  7  descritores,  consoante  o  número  de  descritores  que 
caracterizam os perfis. 
 

Nível  Descrição 

4  A BE é muito forte neste domínio. O trabalho desenvolvido é 
de grande qualidade e com um impacto bastante positivo. 

  7
 3  A BE desenvolve um trabalho de qualidade neste domínio 
mas ainda é possível melhorar alguns aspectos. 
2  A BE começou a desenvolver trabalho neste domínio, sendo 
necessário melhorar o desempenho para que o seu impacto 
seja mais efectivo. 
1  A BE desenvolve pouco ou nenhum trabalho neste domínio, 
o seu impacto é bastante reduzido, sendo necessário intervir 
com urgência. 
 

O  resultado  da  auto‐avaliação  de  cada  Domínio  deverá  ser  registado  na  Tabela  respectiva 
(secção  A  do  relatório),  que  identifica  as  Evidências  recolhidas  em  cada  Subdomínio,  pontos 
fortes e fracos detectados. O produto desta sistematização resulta no preenchimento de um 
quadro  síntese  com:  Domínio/  Subdomínio  e  acções  para  melhoria,  as  quais  constituem  um 
dos objectivos fundamentais da auto‐avaliação. 

 
O  Documento  base  contém  ainda  uma  bateria  de  Instrumentos  de  Recolha  de  Evidências 
(Questionários a professores, a alunos e aos encarregados de educação, Checklists, Grelhas de 
observação  de  competências  e  Grelhas  de  análise  de  trabalhos  escolares),  referenciados  a 
partir  das  tabelas  com  um  código  (QP1/2/3…;  QA1/2/3/4…;  QEE1;  CK1/2;  O1/2;  T1)  –  ver 
instrumentos  de  recolha,  p.77.  A  disponibilização  destes  instrumentos  às  escolas  pode  criar 
alguma uniformidade em termos da informação que vai ser recolhida nas escolas, facilitando a 
possibilidade  de  benchmarking  externo  entre  escolas,  sem  prejuízo  das  necessárias 
adaptações à realidade e necessidades das escolas. 

Como 2 ? 

O  modelo  faz  uso  de  um  conjunto  de  métodos  quantitativos  e  qualitativos,  e  de  técnicas  de 
recolha de informação variada, envolvendo: 

• A recolha documental de registos de planeamento e das actividades da BE 

• A  observação  de  actividades  de  aprendizagem  demonstrativas  da  aquisição  ou 

desenvolvimento de conhecimentos, competências e atitudes (Grelhas de Observação) 

• a auto‐avaliação e inquérito aos utilizadores (ChecKlists; Questionários). 

• O levantamento de dados estatísticos de utilização da biblioteca. 

• A análise de trabalhos de alunos 

                                                            
2
  Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76), 
constantes no Modelo. 

  8
• O  levantamento  de  dados  relativos  à  gestão 
Na  Internet  é  possível  encontrar  muitos 
de  recursos  (financeiros,  materiais,  humanos 
guias e Kits de apoio e ferramentas sobre 
e de informação) da BE 
métodos  e  técnicas  de  recolha  de 
evidências. Deste modo, propomos: 
A  avaliação  de  cada  indicador  ganha  em  fazer  uso 
de instrumentos diversificados, os quais permitem, 
ao  serem  cruzados,  obter  uma  informação  mais  1) A  leitura  atenta  das  Páginas  Basic 
Guide  to  Program  Evaluation  e  The 
consistente e fiável. 
Program  Manager’s  Guide  to 
Em  termos  de  quantidade,  sugere‐se  uma  Evaluation  –  leitura  facultativa  ‐ , 
onde,  entre  outros,  se  incluem 
aplicação dos instrumentos a 20%/30%  do número 
diferentes  tópicos  (Plano  de 
total  de  professores  e  10%  do  número  de  alunos 
Avaliação da BE, tipos de Avaliação, 
em  cada  nível  de  escolaridade,  de  modo  a  obter  Selecção  e  Análise  dos  diferentes 
amostras representativas .  métodos,  Análise  da  informação, 
etc.) e se explicam os conceitos e os 
Simplifique  o  trabalho  de  recolha  de  evidências, 
“O  Quê?”  “Quem?”  “Como?”  e “
cingindo  ao  mínimo  possível  a  informação  de  que  Porquê” da auto‐avaliação. 
comprovadamente necessita para a demonstração 
de determinado tópico. 
2) A  consulta  do  site  eVALUEd:  An 
Seja sistemático na recolha de evidências.  Evaluation  ToolKit  for  E‐library 
Developments e  a  leitura  em 
  particular,  do  seu  Summary  Booklet
(p.  8‐17), sobre  a  utilidade, 
Questionários  vantagens,  desvantagens  e 
aplicação  dos  diferentes  métodos  e 
Os questionários são uma das formas mais vulgares  ferramentas. 
e  expeditas  de  recolher  informação  e  poder 
compará‐la.  Uma  das  vantagens  dos  questionários   
3) Facultativamente,  pode  ainda 
é  que  a  informação  pode  ser  recolhida,  registada, 
experimentar outras tools, como por 
tratada e usada num curto espaço de tempo, além  exemplo, as fornecidas pelo Projecto 
de  permitir  questionar  um  número  elevado  de  IBEC. 
pessoas e obter um número elevado de respostas.  

Grelhas de Observação de competências  As  escolas  portuguesas  recorrem  a  uma 

grande  variedade  de  programas  para 
Embora  complexa,  a  observação  constitui  um  registo,  tratamento  e  análise  dos  seus 
poderoso método de recolha de evidências que os  dados  de  avaliação,  utilizando, 
outros  instrumentos  não  permitem  obter,  por  consoante  os  casos,  Bases  de  dados, 
exemplo,  ao  nível  da  avaliação  da  proficiência,  Folhas  de  Cálculo  ou  Programas  de 
Estatística,  de  que  o  mais  popular  é  o 
comportamentos  e  atitudes  na  execução  de  uma 
SPSS.  A  construção  de  uma  ferramenta 
determinada tarefa.  
online  para  a  aplicação  do  Modelo, 
A  observação  deve  contemplar  alunos  dos  vários  prevista pela RBE, constituirá um grande 
auxiliar das escolas e bibliotecas. 
níveis,  anos  de  escolaridade  mas  é  preciso  ter  em 
conta a idade e capacidade dos alunos. As grelhas 
de  observação  permitem  um  registo  dividido  por 
níveis  de  escolaridade,  necessitando,  contudo,  de 

  9
ser melhor adaptadas, de acordo com os currículos de 
A  observação  de  alunos  no 
competências  inerentes  a  cada  nível  ou  contexto 
Subdomínio  C1  deve  fazer‐se  de 
disciplinar.  No  caso  da  observação  em  contexto  de 
forma  prolongada  e  com  diferentes 
aula  devem,  por  exemplo,  ser  observadas  turmas  em 
alunos  ou  grupos,  uma  vez  que  se 
trabalho no âmbito de diferentes disciplinas.  trata  da  utilização  livre  e  extra‐
curricular da BE, em que não há uma 
Para ser mais eficaz, a observação deve concentrar‐se 
utilização  estruturada  com  turmas  e 
num  número  limitado  de  aspectos.  A  realização  de 
não há uma utilização continuada ou 
várias observações num curto período de tempo pode  sistemática pelos mesmos alunos ou 
fornecer uma visão mais profunda dos aspectos que se  grupos. O período estabelecido pode 
pretendem  observar.  Observações  mais  espaçadas  ao  variar, desde uma ou mais semanas, 
longo  do  ano  mas  regulares  (por  exemplo  uma  por  a  um  ou  mais  períodos  lectivos, 
mês), podem fornecer um quadro mais representativo.  consoante as situações e os aspectos 
em  que  se  pretende  fazer  incidir  a 
Grelhas de análise de trabalhos dos alunos  avaliação.  Imagine‐se,  por  exemplo, 
que  a  biblioteca  passou  a  abrir  à 
A análise de trabalhos de alunos de diferentes anos de  hora  de  almoço  e  se  pretendem 
escolaridade e de diferentes áreas disciplinares é uma  conhecer os padrões e mais‐valias do 
importante  técnica  de  avaliação  das  aprendizagens  uso  da  biblioteca  nesse  período  do 
facilitadas  pela  Biblioteca  Escolar,  por  se  poder  dia.  Ou,  noutro  exemplo,  que 
constituir  como  uma  forma  directa  de  “authentic  começou  a  funcionar  um  clube  de 
assessment”  do  desempenho  dos  alunos,  em  leitura  ou  um  projecto  de  leitura  a 
complemento  de  outros  resultados  (por  exemplo,  par abrangendo alunos mais novos e 
alunos  tutores  mais  velhos,  cujo 
obtidos em testes, exames, etc.). A análise ao longo do 
processo  e  resultados,  durante  o 
tempo  pode  permitir  avaliar  os  progressos  realizados 
período  da  sua  vigência,  se 
ao  longo  de  um  determinado  período  ou  de  um  ano  pretendem  acompanhar.  No 
para o outro.  primeiro caso, podem, por exemplo, 
escolher‐se  3  semanas  típicas,  uma 
Análise documental 
no 1º período, uma no 2º período e 
Documentos  que  podem  testemunhar  a  veracidade  outra no 3º período, para recolher a 
informação necessária à avaliação de 
das  afirmações  feita.  Por  exemplo,  documentos  de 
acordo  com  as  evidências  e 
Política e Gestão da Escola; Planificações; Orçamentos; 
instrumentos  seleccionados  como 
Regulamentos;  Documentação  sobre  Projectos;  Actas;  apropriados  para  avaliar  aquela 
Relatórios,  Planos  Curriculares;  Mapas  de  avaliações,  utilização.  No  segundo  caso,  o 
etc.  processo de avaliação deve decorrer 
em  simultâneo  e  coincidir  com  a 
Dados Estatísticos  duração  e  periodicidade  da 
actividade do clube ou projecto. 
As  estatísticas  podem  incidir  sobre  a  utilização  ou 
funcionamento da biblioteca e trabalhar os inputs (por 
ex:  nº  de  documentos  adquiridos),  os  processos  (por  ex:  nº  de  sessões  de  formação  de 
utilizadores organizadas com as turmas ao longo do ano) ou os outputs (por ex: nº de visitas 
realizadas). 

Os  sistemas  de  gestão  bibliográfica  e  de  rede  permitem  hoje  a  obtenção  de  uma  série  de 
dados  estatísticos  de  utilização  do  sistema  de  informação:  localização  dos  PCs  usados, 

  10
programas e bases de dados acedidos, pesquisas realizadas, tipos de sites consultados, tempos 
de utilização, requisições e empréstimos, etc…  

Outros  Exemplos  de  métodos  e  instrumentos  passíveis  de  serem  utilizados  mas  ainda  não 
contemplados pelo Modelo 

Entrevista 

A  entrevista  (individual  ou  conduzida  em  grupo  –  focus  group)  pode  ser  útil  para  obter 
informação em maior profundidade, explicitar o sentido de certas perguntas e respostas dos 
questionários, etc. A atenção dada ao entrevistado é diferente, mais pessoal e individualizada. 
Pode  ser  aconselhável  no  1º  ciclo  onde  é  mais  fácil  colocar  os  alunos  a  falar  e  responder 
oralmente às perguntas. No entanto é mais exigente de tempo e, por isso, só deve ser utilizada 
com um número restrito de pessoas, e pode ser inibidora em relação a determinado tipo de 
perguntas  que  anonimamente,  num  questionário,  poderiam  ser  respondidas  com  menos 
relutância. 

O focus group consiste numa pequena amostra representativa de pessoas cujas opiniões sobre 
determinado  assunto  ou  questão  se  pretendem  obter.  A  dinâmica  de  grupo  pode  facilitar  a 
expressão  de  atitudes,  opiniões  e  ideias.  Com  jovens  e  crianças,  é  conveniente  que  o  grupo 
seja constituído por elementos que não se conheçam muito bem. 

Informal feedback 

É possível, em função de cada situação particular, identificar outros métodos e instrumentos, 
para além dos sugeridos pelo modelo. Sendo comum, por exemplo, sobretudo em pequenas 
escolas, o contacto regular e informal entre os docentes ou com os pais, pode acontecer que, 
querendo  avaliar  determinado  item,  o  coordenador  da  biblioteca  considere  como  fonte 
importante a recolha de informação obtida através do diálogo e discussão informal desse item 
com alguns docentes ou com um determinado número de pais. 

Quando 3 ? 

A  aplicação  do  modelo  faz‐se  numa  base  anual,  escolhendo  em  cada  ano  um  domínio  onde 
concentrar  o  trabalho  da  auto‐avaliação.  Pretende‐se  que  ao  fim  de  quatro  anos  todos  os 
domínios  tenham  sido  auto‐avaliados,  correspondendo  este  período  ao  ciclo  de  gestão  e 
avaliação global da BE. 

Em termos de operacionalização, a avaliação deve ser entendida como uma actividade regular 
que faz parte do dia‐a‐dia do funcionamento da biblioteca e da escola, integrando as práticas 
e rotinas da BE e da escola e evitando que possa representar uma excessiva carga de trabalho, 
embora consuma necessariamente algum tempo adicional. 

 
                                                            
3
 Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76), 
constantes no Modelo 

  11
Por onde começar? 

O ponto de partida pode derivar de uma primeira avaliação diagnóstica breve, da indicação de 
uma  área  de  interesse  já  identificada  em  processos  de  avaliação  anteriores,  da  selecção  de 
uma  área  de  interesse  ou  considerada  prioritária  face  às  metas  da  própria  escola  e  que  se 
pretende reforçar, do conhecimento geral dos pontos fracos e fortes da biblioteca ou de uma 
recomendação externa (da RBE, da Inspecção, do Grupo de Trabalho Concelhio/SABE, etc). 

Embora  não  seja  impossível  avaliar  num  determinado  ano  um  dado  Subdomínio,  deixando 
para  mais  tarde  o/s  restante/s  Subdomínios  da  mesma  área,  e  também  não  seja  negada  a 
hipótese  de,  nesta  medida,  poder  avaliar  num  mesmo  ano  Subdomínios  de  áreas  diferentes, 
há  vantagem  em  avaliar  em  conjunto  no  mesmo  ano  todas  as  componentes  de  um  dado 
domínio, dada a estreita inter‐relação que existe entre elas e o facto de muitos instrumentos 
de recolha de informação lhes serem comuns, dada a estrutura do próprio Modelo. 

Os resultados obtidos na avaliação de um determinado Subdomínio também podem indicar a 
necessidade de, em seguida, se avançar na avaliação de outro que se julga ter uma importante 
relação com o primeiro, mesmo que pertencente a outro domínio. 

EXEMPLO: 

A  avaliação  da  actividade  de  leitura  lúdica  ou  recreativa  depende,  entre  outros  factores,  da 
quantidade e qualidade das obras disponíveis na biblioteca para este efeito, aspecto este que 
se  relaciona,  por  sua  vez,  com  a  gestão  e  avaliação  da  colecção.  A  melhoria  dos  índices  da 
leitura  por  prazer  pode  desde  modo  passar  por  uma  estratégia  de  avaliação  da  gestão  da 
colecção. 

Embora  seja  desejável  avaliar  um  domínio  de  cada  vez  e  na  sua  totalidade,  a  sua  avaliação 
deve ser encarada de forma flexível, sempre que tal se justifique. 

Como estabelecer comparações? 

A auto‐avaliação pode potenciar, mediante determinadas condições (grupos de escolas com as 
mesmas características; articulação da actividades de avaliação nos mesmos tópicos, aplicação 
dos  mesmos  métodos  e  instrumentos;  etc.)  a  partilha  e  estabelecimento  de  actividades  de 
benchmarking  externo  em  determinados  aspectos,  contribuindo  para  a  identificação  e 
disseminação de boas práticas. 

A Base de Dados da RBE, por seu turno, compila actualmente uma série de dados, sobretudo 
quantitativos, que descrevem e podem suplementar os dados da avaliação realizada por cada 
escola,  fornecendo  uma  imagem  global  das  BEs  e  permitindo  o  benchmarking  externo  numa 
série de tópicos, entre escolas com características similares do país ou de uma dada região. 

  12
Como aplicar o modelo? 

Passos a dar na aplicação do modelo 4 : 

1) Escolher  entre  os  quatro  domínios  um  que  pretenda  avaliar.  Pode  ser  aquele  que  se 
considera mais relevante de acordo com as prioridades da escola e da biblioteca escolar ou 
então  um  que  se  relacione  com  uma  área  de  trabalho  a  necessitar  de  maior 
desenvolvimento. É indispensável envolver o Órgão de Gestão nesta escolha. 

2) Identificar  o  tipo  de  evidências  que  necessita  de  recolher  para  poder  conhecer  e 
fundamentar qual a performance da biblioteca no domínio escolhido. A tabela propõe na 
coluna “recolha de evidências” diferentes tipos de instrumentos que pode utilizar. 

É  importante  que  a  evidência  e  instrumentos  estejam  adaptados  à  biblioteca  e 

necessidades da escola. 

3) Analisar  os  Dados  recolhidos  através  da  utilização  dos  instrumentos  e  desenvolver  uma 
análise  sobre  a  performance  da  biblioteca  no  domínio  escolhido  em  relação  com  os 
standards estabelecidos 

4) Decidir  em  qual  dos  níveis  de  desempenho  se  situa  a  biblioteca  nesse  domínio  ou 
subdomínio,  de  acordo  com  os  perfis  de  desempenho  descritos  na  respectiva  tabela 
(1,2,3,e,4) ‐ Quadro 

5) Registar  na  Tabela  respectiva  (secção  A  do  relatório)  as  Evidências  recolhidas  em  cada 
Subdomínio, pontos fortes e fracos detectados.  

6) Registar  no  Quadro  ‐  Síntese  (secção  A  do  relatório)  o  nível  atingido  e  as  formas  como 
pensa  que  pode  melhorar  o  nível  de  desempenho  –  acções  para  a  melhoria.  As  tabelas 
fornecem  a  este  propósito  uma  série  de  sugestões  de  acções  de  melhoria  para  cada 
indicador. 

7) Registar  os  resultados  da  auto‐avaliação  realizada  no  Relatório  Anual  da  Biblioteca 
Escolar,  de  modo  a  que  possa  ser  utilizado  internamente,  na  auto‐avaliação  da  escola  e 
como fonte de informação para a avaliação externa (secção C do relatório). 

Para quê? 

A auto‐avaliação da BE pode ajudar a melhorar a BE: 

• Identificando pontos fracos, priorizando necessidades, estabelecendo alvos e informando 
o plano de actividades seguinte. 

• identificando  necessidades  de  investimento  a  ter  em  conta  no  plano  orçamental, 
justificando o pedido de reforço de verbas ou de apoios suplementares. 

                                                            
4
 Ver p.75 do Modelo: Síntese – Aplicação do Modelo de Auto‐Avaliação da BE 

  13
• sugerindo  a  mudança  de  certas  práticas  de  trabalho  e  funcionamento.  Por  exemplo,  a 
alteração de horários, a mudança da forma como está estruturado o apoio aos alunos, etc. 

• aconselhando a adopção de outros modos de utilizar os recursos humanos de uma forma 
mais eficiente, mostrando, por exemplo, quando é mais importante a permanência e apoio 
de determinados docentes na BE, quais as necessidades de formação destes docentes para 
um trabalho mais eficaz, etc. 

A auto‐avaliação pode ajudar a encorajar uma melhor utilização da BE: 

• demonstrando  junto  dos  professores,  o  contributo  da  BE  para  a  aprendizagem  e  os 
resultados  escolares,  mostrando‐lhes  as  suas  potencialidades  e  a  forma  como  podem 
utilizá‐la melhor nas suas actividades de planeamento das aulas e de ensino. 

A auto‐avaliação da BE pode ajudar a promover a BE: 

• divulgando  a  sua  acção,  fazendo  tomar  consciência  da  importância  da  biblioteca, 
contribuindo para a sua afirmação e reconhecimento no âmbito das escolas e do sistema 
educativo. 

• ganhando voz e peso institucional a nível local e nacional. 

• reportando  anualmente  junto  da  escola  os  resultados  e  situação  da  biblioteca  e 
disseminando as suas boas práticas 

• viabilizando a obtenção de um quadro geral sobre a situação das bibliotecas escolares em 
Portugal,  fornecendo dados e informação estratégica de suporte à decisão e orientação de 
políticas  e  iniciativas  a  desenvolver  por  parte  dos  organismos  responsáveis  (ME/RBE; 
Autarquias, etc.),  criando condições para o benchmarking e ajudando a preparar a visita 
da Inspecção e a avaliação externa: 

Como relatar os resultados da avaliação? 

A  comunicação  dos  resultados  da  avaliação  empreendida,  a  análise  colectiva  e  reflexão  da 
Escola/Agrupamento  sobre  esses  resultados,  e  a  identificação  das  acções  de  melhoria  dos 
pontos fracos identificados é muito importante, de modo a obter o comprometimento e apoio 
da escola a essas acções. 

O Relatório Final de Avaliação da BE é o instrumento de descrição e análise dos resultados da 
auto‐avaliação, de identificação do conjunto de acções a ter em conta no planeamento futuro 
e de difusão desses resultados e acções junto dos órgãos de gestão e de decisão pedagógica.  

O  Relatório  deve  integrar  o  Relatório  Anual  de  Actividades  da  Escola/Agrupamento,  originar 
uma súmula a incorporar no Relatório de Auto‐Avaliação da Escola/Agrupamento, sempre que 
esta  tiver  lugar,  e  orientar  o  Professor  Bibliotecário  na  possível  entrevista  a  realizar  pela 
Inspecção‐Geral de Educação no âmbito da avaliação externa. 

  14
Apesar de em cada ano ser apenas auto‐avaliado um Domínio através do recurso ao Modelo 
de  Auto‐avaliação  da  RBE,  o  qual  exige  um  investimento  mais  significativo  no  sentido  de 
procurar  aferir,  de  forma  sistemática  e  objectiva,  os  resultados  efectivos  do  trabalho 
desenvolvido nesse Domínio, deve ter‐se em conta que, sendo o trabalho e acção educativa da 
BE  também  incidentes  noutros  Domínios  de  intervenção,  embora  estes  não  sejam  alvo  do 
mesmo tipo de avaliação, não deve deixar de se lhes fazer referência no Relatório Anual da BE.   

Não  é  por  ter  avaliado  o  Domínio  A,  por  exemplo,  que  a  BE  deixou  de  desenvolver  outras 
actividades  no  âmbito  dos  Domínios  B,  C  ou  D.  Embora  não  fazendo  uso  na  apreciação  do 
trabalho desenvolvido nestas áreas, do mesmo tipo de evidências e instrumentos de recolha 
usados  para  avaliar  o  Domínio  A,  a  BE  possui,  apesar  de  tudo,  informação  a  relatar  sobre  o 
trabalho desenvolvido nas restantes áreas de intervenção da BE.  

O  Relatório  deve,  portanto,  dar  uma  visão  holística  do  funcionamento  da  biblioteca  escolar, 
incluindo a informação mais detalhada e fundamentada sobre a aplicação do modelo de auto‐
avaliação  no  Domínio  seleccionado,  e  a  informação  disponível  sobre  os  restantes  Domínios 
que, não tendo sido avaliados por esse processo, não deixaram de ser trabalhados durante o 
ano pelas BEs.  

O Relatório proposto pela RBE encontra‐se, por isso, estruturado em três Secções: 

A Secção A – Destina‐se à apresentação da avaliação do domínio que, no âmbito da aplicação 
do Modelo, foi objecto de avaliação. 

A  Secção  B  –  Destina‐se  a  apresentar  uma  informação  simplificada  acerca  do  perfil  de 
desempenho  da  BE  nos  domínios  que,  não  sendo  objecto  de  avaliação  nesse  ano  lectivo, 
testemunham o seu desempenho nas diferentes áreas de funcionamento da BE. 

A Secção C – Visa um resumo que forneça uma visão global, recorrendo a um quadro síntese 
dos resultados obtidos e das acções a implementar.  

A  estrutura  apresentada  contém  um  layout  onde  todos  os  domínios  estão  presentes  nas 
secções A e B. Cada BE deve adaptar a estrutura à sua situação: 

Na  Secção  A,  preencher  apenas  o  quadro  correspondente  ao  domínio  em  que  aplicou  o 
Modelo de Avaliação. Este domínio não será objecto de referência na Secção B. 

Na Secção B, preencher apenas os quadros gerais correspondentes aos restantes Domínios em 
que  não  aplicou  o  Modelo  e  que,  por  isso,  não  foram  objecto  de  nenhuma  referência  na 
Secção A. 

A  aplicação  informática  online  a  disponibilizar  pela  RBE  às  BEs  para  registo  e  tratamento  de 
dados da auto‐avaliação deverá, em princípio, integrar também uma componente para escrita 
e apresentação do relatório final.  

  15
Basic Guide to Program Evaluation
Written by Carter McNamara, MBA, PhD, Authenticity Consulting, LLC. Copyright 1997-2008.
Adapted from the Field Guide to Nonprofit Program Design, Marketing and Evaluation.
This document provides guidance toward planning and implementing an evaluation process for for-
profit or nonprofit programs -- there are many kinds of evaluations that can be applied to programs,
for example, goals-based, process-based, outcomes-based, etc.
NOTE: Nonprofit organizations are increasingly interested in outcomes-based evaluation. If you are
interested in learning more about outcomes-based evaluation, then see Outcomes-Based Evaluations
in Nonprofit Organizations.
NOTE: Be sure to see Additional Resources and at the end of this document. Also, you might benefit
from review of the Program Planning and Management. Lastly, use the Program Evaluation Planning
Checklist to help you plan evaluations for your programs.

Sections of This Topic Include:

Program Evaluation: carefully getting information to make decisions about programs
Where Program Evaluation is Helpful
Basic Ingredients (you need an organization and program(s))
Planning Program Evaluation (what do you want to learn about, what info is needed)
Major Types of Program Evaluation (evaluating program processes, goals, outcomes, etc.)
Overview of Methods to Collect Information (questionnaires, interviews, focus groups, etc.)
Selecting Which Methods to Use (which methods work best to get needed info from audiences)
Analyzing and Interpreting Information
Reporting Evaluation Results
Who Should Carry Out the Evaluation?
Contents of an Evaluation Plan
Pitfalls to Avoid

A Brief Introduction...

Note that the concept of program evaluation can include a wide variety of methods to evaluate many
aspects of programs in nonprofit or for-profit organizations. There are numerous books and other
materials that provide in-depth analysis of evaluations, their designs, methods, combination of me-
thods and techniques of analysis. However, personnel do not have to be experts in these topics to carry
out a useful program evaluation. The "20-80" rule applies here, that 20% of effort generates 80% of
the needed results. It's better to do what might turn out to be an average effort at evaluation than to do
no evaluation at all. (Besides, if you resort to bringing in an evaluation consultant, you should be a
smart consumer. Far too many program evaluations generate information that is either impractical or
irrelevant -- if the information is understood at all.) This document orients personnel to the nature of
program evaluation and how it can be carried out in a realistic and practical fashion.
Note that much of the information in this section was gleaned from various works of Michael Quinn
Patton.

Program Evaluation
Some Myths About Program Evaluation
1. Many people believe evaluation is a useless activity that generates lots of boring data with useless
conclusions. This was a problem with evaluations in the past when program evaluation methods
were chosen largely on the basis of achieving complete scientific accuracy, reliability and validity. This
approach often generated extensive data from which very carefully chosen conclusions were drawn.
Generalizations and recommendations were avoided. As a result, evaluation reports tended to reite-
rate the obvious and left program administrators disappointed and skeptical about the value of evalua-
tion in general. More recently (especially as a result of Michael Patton's development of utilization-
focused evaluation), evaluation has focused on utility, relevance and practicality at least as much as
scientific validity.

2. Many people believe that evaluation is about proving the success or failure of a program. This myth
assumes that success is implementing the perfect program and never having to hear from employees,
customers or clients again -- the program will now run itself perfectly. This doesn't happen in real life.
Success is remaining open to continuing feedback and adjusting the program accordingly. Evaluation
gives you this continuing feedback.

3. Many believe that evaluation is a highly unique and complex process that occurs at a certain time in
a certain way, and almost always includes the use of outside experts. Many people believe they must
completely understand terms such as validity and reliability. They don't have to. They do have to con-
sider what information they need in order to make current decisions about program issues or needs.
And they have to be willing to commit to understanding what is really going on. Note that many people
regularly undertake some nature of program evaluation -- they just don't do it in a formal fashion so
they don't get the most out of their efforts or they make conclusions that are inaccurate (some evalua-
tors would disagree that this is program evaluation if not done methodically). Consequently, they miss
precious opportunities to make more of difference for their customer and clients, or to get a bigger
bang for their buck.

So What is Program Evaluation?

First, we'll consider "what is a program?" Typically, organizations work from their mission to identify
several overall goals which must be reached to accomplish their mission. In nonprofits, each of these
goals often becomes a program. Nonprofit programs are organized methods to provide certain related
services to constituents, e.g., clients, customers, patients, etc. Programs must be evaluated to decide if
the programs are indeed useful to constituents. In a for-profit, a program is often a one-time effort to
produce a new product or line of products.

So, still, what is program evaluation? Program evaluation is carefully collecting information about a
program or some aspect of a program in order to make necessary decisions about the program. Pro-
gram evaluation can include any or a variety of at least 35 different types of evaluation, such as for
needs assessments, accreditation, cost/benefit analysis, effectiveness, efficiency, formative, summa-
tive, goal-based, process, outcomes, etc. The type of evaluation you undertake to improve your pro-
grams depends on what you want to learn about the program. Don't worry about what type of evalua-
tion you need or are doing -- worry about what you need to know to make the program decisions you
need to make, and worry about how you can accurately collect and understand that information.

Where Program Evaluation is Helpful

Frequent Reasons:

Program evaluation can:

1. Understand, verify or increase the impact of products or services on customers or clients - These
"outcomes" evaluations are increasingly required by nonprofit funders as verification that the non-
profits are indeed helping their constituents. Too often, service providers (for-profit or nonprofit) rely
on their own instincts and passions to conclude what their customers or clients really need and
whether the products or services are providing what is needed. Over time, these organizations find
themselves in a lot of guessing about what would be a good product or service, and trial and error
about how new products or services could be delivered.
2. Improve delivery mechanisms to be more efficient and less costly - Over time, product or service
delivery ends up to be an inefficient collection of activities that are less efficient and more costly than
need be. Evaluations can identify program strengths and weaknesses to improve the program.
3. Verify that you're doing what you think you're doing - Typically, plans about how to deliver services,
end up changing substantially as those plans are put into place. Evaluations can verify if the program is
really running as originally planned.

Other Reasons:

Program evaluation can:

4. Facilitate management's really thinking about what their program is all about, including its goals,
how it meets it goals and how it will know if it has met its goals or not.
5. Produce data or verify results that can be used for public relations and promoting services in the
community.
6. Produce valid comparisons between programs to decide which should be retained, e.g., in the face of
pending budget cuts.
7. Fully examine and describe effective programs for duplication elsewhere.

Basic Ingredients: Organization and Program(s)

You Need An Organization:

This may seem too obvious to discuss, but before an organization embarks on evaluating a program, it
should have well established means to conduct itself as an organization, e.g., (in the case of a nonprof-
it) the board should be in good working order, the organization should be staffed and organized to
conduct activities to work toward the mission of the organization, and there should be no current cri-
sis that is clearly more important to address than evaluating programs.

You Need Program(s):

To effectively conduct program evaluation, you should first have programs. That is, you need a strong
impression of what your customers or clients actually need. (You may have used a needs assessment
to determine these needs -- itself a form of evaluation, but usually the first step in a good marketing
plan). Next, you need some effective methods to meet each of those goals. These methods are usually
in the form of programs.

It often helps to think of your programs in terms of inputs, process, outputs and outcomes. Inputs are
the various resources needed to run the program, e.g., money, facilities, customers, clients, program
staff, etc. The process is how the program is carried out, e.g., customers are served, clients are coun-
seled, children are cared for, art is created, association members are supported, etc. The outputs are
the units of service, e.g., number of customers serviced, number of clients counseled, children cared
for, artistic pieces produced, or members in the association. Outcomes are the impacts on the custom-
ers or on clients receiving services, e.g., increased mental health, safe and secure development, richer
artistic appreciation and perspectives in life, increased effectiveness among members, etc.
Planning Your Program Evaluation
Depends on What Information You Need to Make Your Decisions and On Your
Resources.

Often, management wants to know everything about their products, services or programs. However,
limited resources usually force managers to prioritize what they need to know to make current deci-
sions.

Your program evaluation plans depend on what information you need to collect in order to make ma-
jor decisions. Usually, management is faced with having to make major decisions due to decreased
funding, ongoing complaints, unmet needs among customers and clients, the need to polish service
delivery, etc. For example, do you want to know more about what is actually going on in your pro-
grams, whether your programs are meeting their goals, the impact of your programs on customers,
etc? You may want other information or a combination of these. Ultimately, it's up to you.

But the more focused you are about what you want to examine by the evaluation, the more efficient
you can be in your evaluation, the shorter the time it will take you and ultimately the less it will cost
you (whether in your own time, the time of your employees and/or the time of a consultant).

There are trade offs, too, in the breadth and depth of information you get. The more breadth you want,
usually the less depth you get (unless you have a great deal of resources to carry out the evaluation).
On the other hand, if you want to examine a certain aspect of a program in great detail, you will likely
not get as much information about other aspects of the program.

For those starting out in program evaluation or who have very limited resources, they can use various
methods to get a good mix of breadth and depth of information. They can both understand more about
certain areas of their programs and not go bankrupt doing so.

Key Considerations:

Consider the following key questions when designing a program evaluation.

1. For what purposes is the evaluation being done, i.e., what do you want to be able to decide as a re-
sult of the evaluation?
2. Who are the audiences for the information from the evaluation, e.g., customers, bankers, funders,
board, management, staff, customers, clients, etc.
3. What kinds of information are needed to make the decision you need to make and/or enlighten your
intended audiences, e.g., information to really understand the process of the product or program (its
inputs, activities and outputs), the customers or clients who experience the product or program,
strengths and weaknesses of the product or program, benefits to customers or clients (outcomes), how
the product or program failed and why, etc.
4. From what sources should the information be collected, e.g., employees, customers, clients, groups
of customers or clients and employees together, program documentation, etc.
5. How can that information be collected in a reasonable fashion, e.g., questionnaires, interviews, ex-
amining documentation, observing customers or employees, conducting focus groups among custom-
ers or employees, etc.
6. When is the information needed (so, by when must it be collected)?
7. What resources are available to collect the information?
Some Major Types of Program Evaluation
When designing your evaluation approach, it may be helpful to review the following three types of
evaluations, which are rather common in organizations. Note that you should not design your evalua-
tion approach simply by choosing which of the following three types you will use -- you should design
your evaluation approach by carefully addressing the above key considerations.

Goals-Based Evaluation

Often programs are established to meet one or more specific goals. These goals are often described in
the original program plans.

Goal-based evaluations are evaluating the extent to which programs are meeting predetermined goals
or objectives. Questions to ask yourself when designing an evaluation to see if you reached your goals,
are:

1. How were the program goals (and objectives, is applicable) established? Was the process effective?
2. What is the status of the program's progress toward achieving the goals?
3. Will the goals be achieved according to the timelines specified in the program implementation or
operations plan? If not, then why?
4. Do personnel have adequate resources (money, equipment, facilities, training, etc.) to achieve the
goals?
5. How should priorities be changed to put more focus on achieving the goals? (Depending on the con-
text, this question might be viewed as a program management decision, more than an evaluation ques-
tion.)
6. How should timelines be changed (be careful about making these changes - know why efforts are
behind schedule before timelines are changed)?
7. How should goals be changed (be careful about making these changes - know why efforts are not
achieving the goals before changing the goals)? Should any goals be added or removed? Why?
8. How should goals be established in the future?

Process-Based Evaluations

Process-based evaluations are geared to fully understanding how a program works -- how does it pro-
duce that results that it does. These evaluations are useful if programs are long-standing and have
changed over the years, employees or customers report a large number of complaints about the pro-
gram, there appear to be large inefficiencies in delivering program services and they are also useful for
accurately portraying to outside parties how a program truly operates (e.g., for replication elsewhere).

There are numerous questions that might be addressed in a process evaluation. These questions can
be selected by carefully considering what is important to know about the program. Examples of ques-
tions to ask yourself when designing an evaluation to understand and/or closely examine the
processes in your programs, are:

1. On what basis do employees and/or the customers decide that products or services are needed?
2. What is required of employees in order to deliver the product or services?
3. How are employees trained about how to deliver the product or services?
4. How do customers or clients come into the program?
5. What is required of customers or client?
6. How do employees select which products or services will be provided to the customer or client?
7. What is the general process that customers or clients go through with the product or program?
8. What do customers or clients consider to be strengths of the program?
9. What do staff consider to be strengths of the product or program?
10. What typical complaints are heard from employees and/or customers?
11. What do employees and/or customers recommend to improve the product or program?
12. On what basis do emplyees and/or the customer decide that the product or services are no longer
needed?

Outcomes-Based Evaluation

Program evaluation with an outcomes focus is increasingly important for nonprofits and asked for by
funders.An outcomes-based evaluation facilitates your asking if your organization is really doing the
right program activities to bring about the outcomes you believe (or better yet, you've verified) to be
needed by your clients (rather than just engaging in busy activities which seem reasonable to do at the
time). Outcomes are benefits to clients from participation in the program. Outcomes are usually in
terms of enhanced learning (knowledge, perceptions/attitudes or skills) or conditions, e.g., increased
literacy, self-reliance, etc. Outcomes are often confused with program outputs or units of services, e.g.,
the number of clients who went through a program.

The United Way of America (http://www.unitedway.org/outcomes/) provides an excellent overview

of outcomes-based evaluation, including introduction to outcomes measurement, a program outcome
model, why to measure outcomes, use of program outcome findings by agencies, eight steps to success
for measuring outcomes, examples of outcomes and outcome indicators for various programs and the
resources needed for measuring outcomes. The following information is a top-level summary of in-
formation from this site.

To accomplish an outcomes-based evaluation, you should first pilot, or test, this evaluation approach
on one or two programs at most (before doing all programs).

The general steps to accomplish an outcomes-based evaluation include to:

1. Identify the major outcomes that you want to examine or verify for the program under evaluation.
You might reflect on your mission (the overall purpose of your organization) and ask yourself what
impacts you will have on your clients as you work towards your mission. For example, if your overall
mission is to provide shelter and resources to abused women, then ask yourself what benefits this will
have on those women if you effectively provide them shelter and other services or resources. As a last
resort, you might ask yourself, "What major activities are we doing now?" and then for each activity,
ask "Why are we doing that?" The answer to this "Why?" question is usually an outcome. This "last
resort" approach, though, may just end up justifying ineffective activities you are doing now, rather
than examining what you should be doing in the first place.
2. Choose the outcomes that you want to examine, prioritize the outcomes and, if your time and re-
sources are limited, pick the top two to four most important outcomes to examine for now.
3. For each outcome, specify what observable measures, or indicators, will suggest that you're achiev-
ing that key outcome with your clients. This is often the most important and enlightening step in out-
comes-based evaluation. However, it is often the most challenging and even confusing step, too, be-
cause you're suddenly going from a rather intangible concept, e.g., increased self-reliance, to specific
activities, e.g., supporting clients to get themselves to and from work, staying off drugs and alcohol, etc.
It helps to have a "devil's advocate" during this phase of identifying indicators, i.e., someone who can
question why you can assume that an outcome was reached because certain associated indicators
were present.
4. Specify a "target" goal of clients, i.e., what number or percent of clients you commit to achieving spe-
cific outcomes with, e.g., "increased self-reliance (an outcome) for 70% of adult, African American
women living in the inner city of Minneapolis as evidenced by the following measures (indicators) ..."
5. Identify what information is needed to show these indicators, e.g., you'll need to know how many
clients in the target group went through the program, how many of them reliably undertook their own
transportation to work and stayed off drugs, etc. If your program is new, you may need to evaluate the
process in the program to verify that the program is indeed carried out according to your original
plans. (Michael Patton, prominent researcher, writer and consultant in evaluation, suggests that the
most important type of evaluation to carry out may be this implementation evaluation to verify that
your program ended up to be implemented as you originally planned.)
6. Decide how can that information be efficiently and realistically gathered (see Selecting Which Me-
thods to Use below). Consider program documentation, observation of program personnel and clients
in the program, questionnaires and interviews about clients perceived benefits from the program, case
studies of program failures and successes, etc. You may not need all of the above. (see Overview of
Methods to Collect Information below).
7. Analyze and report the findings (see Analyzing and Interpreting Information below).

Overview of Methods to Collect Information

The following table provides an overview of the major methods used for collecting data during evalua-
tions.
Method Overall Purpose Advantages Challenges
-can complete anonymously -might not get careful feed-
-inexpensive to administer back
when need to quickly -easy to compare and ana- -wording can bias client's
questionnaires,
and/or easily get lots of lyze responses
surveys,
information from people in -administer to many people -are impersonal
checklists
a non threatening way -can get lots of data -in surveys, may need sam-
-many sample question- pling expert
naires already exist - doesn't get full story
-can take much time
when want to fully under- -get full range and depth of
-can be hard to analyze and
stand someone's impres- information
compare
interviews sions or experiences, or -develops relationship with
-can be costly
learn more about their client
-interviewer can bias
answers to questionnaires -can be flexible with client
client's responses
-get comprehensive and his-
-often takes much time
when want impression of torical information
-info may be incomplete
how program operates -doesn't interrupt program
-need to be quite clear
documentation without interrupting the or client's routine in pro-
about what looking for
review program; is from review of gram
-not flexible means to get
applications, finances, -information already exists
data; data restricted to
memos, minutes, etc. -few biases about informa-
what already exists
tion
-can be difficult to interpret
to gather accurate infor- -view operations of a pro- seen behaviors
mation about how a pro- gram as they are actually -can be complex to categor-
observation gram actually operates, occurring ize observations
particularly about -can adapt to events as they -can influence behaviors of
processes occur program participants
-can be expensive
 explore a topic in depth
through group discussion,
e.g., about reactions to an
focus groups experience or suggestion,
understanding common
complaints, etc.; useful in
evaluation and marketing
to fully understand or de-
pict client's experiences in
a program, and conduct
case studies
comprehensive examina-
tion through cross com-
parison of cases
-quickly and reliably get
common impressions
-can be efficient way to get
much range and depth of
information in short time
- can convey key information
about programs
-fully depicts client's expe-
rience in program input,
process and results
-powerful means to portray
program to outsiders
-can be hard to analyze res-
ponses
-need good facilitator for
safety and closure
-difficult to schedule 6-8
people together
-usually quite time consum-
ing to collect, organize and
describe
-represents depth of infor-
mation, rather than breadth

Also see:

Appreciative Inquiry Survey Design

Ethics: Informed Consent from Program Participants

Note that if you plan to include in your evaluation, the focus and reporting on personal information
about customers or clients participating in the evaluation, then you should first gain their consent to
do so. They should understand what you're doing with them in the evaluation and how any informa-
tion associated with them will be reported. You should clearly convey terms of confidentiality regard-
ing access to evaluation results. They should have the right to participate or not. Have participants
review and sign an informed consent form. See the sample informed-consent form.

How to Apply Certain Methods

Purposes and Formats of Questions Developing Questionnaires

Conducting Interviews
Conducting Focus Groups
Developing Case Studies

Selecting Which Methods to Use

Overall Goal in Selecting Methods:

The overall goal in selecting evaluation method(s) is to get the most useful information to key decision
makers in the most cost-effective and realistic fashion. Consider the following questions:
1. What information is needed to make current decisions about a product or program?
2. Of this information, how much can be collected and analyzed in a low-cost and practical manner, e.g.,
using questionnaires, surveys and checklists?
3. How accurate will the information be (reference the above table for disadvantages of methods)?
4. Will the methods get all of the needed information?
5. What additional methods should and could be used if additional information is needed?
6. Will the information appear as credible to decision makers, e.g., to funders or top management?
7. Will the nature of the audience conform to the methods, e.g., will they fill out questionnaires careful-
ly, engage in interviews or focus groups, let you examine their documentations, etc.?
8. Who can administer the methods now or is training required?
9. How can the information be analyzed?
Note that, ideally, the evaluator uses a combination of methods, for example, a questionnaire to quickly
collect a great deal of information from a lot of people, and then interviews to get more in-depth in-
formation from certain respondents to the questionnaires. Perhaps case studies could then be used for
more in-depth analysis of unique and notable cases, e.g., those who benefited or not from the program,
those who quit the program, etc.

Four Levels of Evaluation:

There are four levels of evaluation information that can be gathered from clients, including getting
their:
1. reactions and feelings (feelings are often poor indicators that your service made lasting impact)
2. learning (enhanced attitudes, perceptions or knowledge)
3. changes in skills (applied the learning to enhance behaviors)
4. effectiveness (improved performance because of enhanced behaviors)

Usually, the farther your evaluation information gets down the list, the more useful is your evaluation.
Unfortunately, it is quite difficult to reliably get information about effectiveness. Still, information
about learning and skills is quite useful.

Analyzing and Interpreting Information

Analyzing quantitative and qualitative data is often the topic of advanced research and evaluation me-
thods. There are certain basics which can help to make sense of reams of data.

Always start with your evaluation goals:

When analyzing data (whether from questionnaires, interviews, focus groups, or whatever), always
start from review of your evaluation goals, i.e., the reason you undertook the evaluation in the first
place. This will help you organize your data and focus your analysis. For example, if you wanted to
improve your program by identifying its strengths and weaknesses, you can organize data into pro-
gram strengths, weaknesses and suggestions to improve the program. If you wanted to fully under-
stand how your program works, you could organize data in the chronological order in which clients go
through your program. If you are conducting an outcomes-based evaluation, you can categorize data
according to the indicators for each outcome.

Basic analysis of "quantitative" information (for information other than commentary, e.g., ratings,
rankings, yes's, no's, etc.):

1. Make copies of your data and store the master copy away. Use the copy for making edits, cutting and
pasting, etc.
2. Tabulate the information, i.e., add up the number of ratings, rankings, yes's, no's for each question.
3. For ratings and rankings, consider computing a mean, or average, for each question. For example,
"For question #1, the average ranking was 2.4". This is more meaningful than indicating, e.g., how
many respondents ranked 1, 2, or 3.
4. Consider conveying the range of answers, e.g., 20 people ranked "1", 30 ranked "2", and 20 people
ranked "3".

Basic analysis of "qualitative" information (respondents' verbal answers in interviews, focus

groups, or written commentary on questionnaires):
1. Read through all the data.
2. Organize comments into similar categories, e.g., concerns, suggestions, strengths, weaknesses, simi-
lar experiences, program inputs, recommendations, outputs, outcome indicators, etc.
3. Label the categories or themes, e.g., concerns, suggestions, etc.
4. Attempt to identify patterns, or associations and causal relationships in the themes, e.g., all people
who attended programs in the evening had similar concerns, most people came from the same geo-
graphic area, most people were in the same salary range, what processes or events respondents expe-
rience during the program, etc.
4. Keep all commentary for several years after completion in case needed for future reference.

Interpreting Information:

1. Attempt to put the information in perspective, e.g., compare results to what you expected, promised
results; management or program staff; any common standards for your services; original program
goals (especially if you're conducting a program evaluation); indications of accomplishing outcomes
(especially if you're conducting an outcomes evaluation); description of the program's experiences,
strengths, weaknesses, etc. (especially if you're conducting a process evaluation).
2. Consider recommendations to help program staff improve the program, conclusions about program
operations or meeting goals, etc.
3. Record conclusions and recommendations in a report document, and associate interpretations to
justify your conclusions or recommendations.

Reporting Evaluation Results

1. The level and scope of content depends on to whom the report is intended, e.g., to bankers, funders,
employees, customers, clients, the public, etc.
2. Be sure employees have a chance to carefully review and discuss the report. Translate recommenda-
tions to action plans, including who is going to do what about the program and by when.
3. Bankers or funders will likely require a report that includes an executive summary (this is a sum-
mary of conclusions and recommendations, not a listing of what sections of information are in the re-
port -- that's a table of contents); description of theorganization and the program under evaluation;
explanation of the evaluation goals, methods, and analysis procedures; listing of conclusions and rec-
ommendations; and any relevant attachments, e.g., inclusion of evaluation questionnaires, interview
guides, etc. The banker or funder may want the report to be delivered as a presentation, accompanied
by an overview of the report. Or, the banker or funder may want to review the report alone.
4. Be sure to record the evaluation plans and activities in an evaluation plan which can be referenced
when a similar program evaluation is needed in the future.

Contents of an Evaluation Report -- Example

An example of evaluation report contents is included later on below in this document. Click Contents
of an Evaluation Plan but, don't forget to look at the next section "Who Should Carry Out the Evalua-
tion".

Who Should Carry Out the Evaluation?

Ideally, management decides what the evaluation goals should be. Then an evaluation expert helps the
organization to determine what the evaluation methods should be, and how the resulting data will be
analyzed and reported back to the organization. Most organizations do not have the resources to carry
out the ideal evaluation.
Still, they can do the 20% of effort needed to generate 80% of what they need to know to make a deci-
sion about a program. If they can afford any outside help at all, it should be for identifying the appro-
priate evaluation methods and how the data can be collected. The organization might find a less ex-
pensive resource to apply the methods, e.g., conduct interviews, send out and analyze results of ques-
tionnaires, etc.

If no outside help can be obtained, the organization can still learn a great deal by applying the methods
and analyzing results themselves. However, there is a strong chance that data about the strengths and
weaknesses of a program will not be interpreted fairly if the data are analyzed by the people responsi-
ble for ensuring the program is a good one. Program managers will be "policing" themselves. This cau-
tion is not to fault program managers, but to recognize the strong biases inherent in trying to objec-
tively look at and publicly (at least within the organization) report about their programs. Therefore, if
at all possible, have someone other than the program managers look at and determine evaluation re-
sults.

Contents of an Evaluation Plan

Develop an evaluation plan to ensure your program evaluations are carried out efficiently in the fu-
ture. Note that bankers or funders may want or benefit from a copy of this plan.
Ensure your evaluation plan is documented so you can regularly and efficiently carry out your evalua-
tion activities. Record enough information in the plan so that someone outside of the organization can
understand what you're evaluating and how. Consider the following format for your report:
1. Title Page (name of the organization that is being, or has a product/service/program that is being,
evaluated; date)
2. Table of Contents
3. Executive Summary (one-page, concise overview of findings and recommendations)
4. Purpose of the Report (what type of evaluation(s) was conducted, what decisions are being aided by
the findings of the evaluation, who is making the decision, etc.)
5. Background About Organization and Product/Service/Program that is being evaluated
a) Organization Description/History
b) Product/Service/Program Description (that is being evaluated)
i) Problem Statement (in the case of nonprofits, description of the community need that is being met
by the product/service/program)
ii) Overall Goal(s) of Product/Service/Program
iii) Outcomes (or client/customer impacts) and Performance Measures (that can be measured as indi-
cators toward the outcomes)
iv) Activities/Technologies of the Product/Service/Program (general description of how the prod-
uct/service/program is developed and delivered)
v) Staffing (description of the number of personnel and roles in the organization that are relevant to
developing and delivering the product/service/program)
6) Overall Evaluation Goals (eg, what questions are being answered by the evaluation)
7) Methodology
a) Types of data/information that were collected
b) How data/information were collected (what instruments were used, etc.)
c) How data/information were analyzed
d) Limitations of the evaluation (eg, cautions about findings/conclusions and how to use the find-
ings/conclusions, etc.)
8) Interpretations and Conclusions (from analysis of the data/information)
9) Recommendations (regarding the decisions that must be made about the prod-
uct/service/program)
Appendices: content of the appendices depends on the goals of the evaluation report, eg.:
a) Instruments used to collect data/information
b) Data, eg, in tabular format, etc.
c) Testimonials, comments made by users of the product/service/program
d) Case studies of users of the product/service/program
e) Any related literature

Pitfalls to Avoid
1. Don't balk at evaluation because it seems far too "scientific." It's not. Usually the first 20% of effort
will generate the first 80% of the plan, and this is far better than nothing.
2. There is no "perfect" evaluation design. Don't worry about the plan being perfect. It's far more im-
portant to do something, than to wait until every last detail has been tested.
3. Work hard to include some interviews in your evaluation methods. Questionnaires don't capture
"the story," and the story is usually the most powerful depiction of the benefits of your services.

4. Don't interview just the successes. You'll learn a great deal about the program by understanding its
failures, dropouts, etc.
5. Don't throw away evaluation results once a report has been generated. Results don't take up much
room, and they can provide precious information later when trying to understand changes in the pro-
gram.