CaPtulo 2: Bases metodolgicas

planificacin raciode datos, aI marde cone en el proce-

to temporal, que
te se utilizan
propia de la eva-

z.z. Elprograma

como objeto de evaluacin

ta' en el momento en
de la Administracin

de
qr.i. i....," .r.,
o institucin que

Un programa

decisiones pblicas es
exlstentes' y su aslgnaotros; de ah la enorme
sito sine qua non- Para

que los recursos siempre son escasos Para satl

d.t..-inados b.etiro. implica, en tod
"'ir, "
importancia del anlisis de necesiades como
la elaboracin del programa.
-pri-.ro
por consigui..rt.,
hay que hacer referencia al anlisis de necesidades.

qso de un proceso

lien a la evaluacin
los datos que

se

z.z.t.

Anlisis y eualuacin de necesidades

En los ltimos aos

en un anlisis
e*iones a partir del

se ha teorizado de

for

necesidades que se detectaran bajo sus

se ha desarrollado una sensibilidad cad
dad, y se han llevado ala ptctica esfuerzos
eftcaz aestas necesidades (Altschuld y

\flitki

udadanos son con frecuencia concurrentes

nstituciones privadas..'), hay que definir con
las carencias existentes, aun partiendo de su

orden en la

m hay que olvidar

cden y duracin se

lir

fAoguera, I994a,

mrinado laimpleira en estudios de

Cbriel, Mondeaux,
hinformacin reco-

En la determinacin acerca de qu es una

vante la fijacin de estndares, que frecuente
mnima ilustracin, basta tener presente que

Unidos, Ia Social SecuriryAdministration, qu

car en 1960 nada menos que ciento veinticu
aadirle las caracterlsticas del entorno sociopo
La primera responsabilidad de una co
do colectivo) es conseguir las necesidades
yendo sus comPonentes biolgicos, sociales

menre cambiantes con el tiemplo, pero que p

o no de necesidad (Ciarlo, T".., Shein,que se
abor

n
men

de
crirerios distintos
us:arios, la inforo lta de contex-

e
ins

sistir
las

forma relativa Ia existencia

Ericsson, 1992). Desde el
sobre la conceptualizacin
que resulta oPerativizarla' algo que rara d.t..t"r necesidad para intervenir pos-

teriormente,
Segn Kettner, Moroney y Martin (1990), I
dades, y stas presentan di-rion.. cualitativas y
.it"-..tt. el 'Ltiquetado" de la situacin en func
o
mejorarse. La cuantitativa implicar identificar semejanzas entre personas
47

en necesliere implcionarse o

gruPos que

Eualuaci(-n de programas sociales y sanitarios

sufen los mismos problemas o carencias (para lo cual ser muy importante una identificacin previa de las denominadas poblaciorues de riesgo), categorizarlas, y a partir de aqu trabajar en las tabulaciones que se precisen para planificar las intervenciones, calendarizarlas,
presupuestarlas, etc. Este anlisis identificador de la necesidad puede iniciarse en la propia
comunidad o colectivo en s mismo (por ejemplo, un barrio de una ciudad) o en un Problema especfico (como inmigrantes, o mendicidad).
Existe consenso en caractertzar distintos tipos de necesidad por parte de varios autores
(Bradshaw, 1983; Fernndez-Ballesteros, 1995c; Kettner, MoroneyvMartin, 1990; Moroney, 1977), despus que el Seebohm Report (1968), uno de los documentos ms divulgados
en Europa sobre la naturaleza, organizacin y acceso de Ia poblacin a los Servicios Sociales, mostrase una profunda preocupacin por el concepto de necesidad, y de que se proPusiera una raxonoma en el trabajo pionero de Bradshaw (1972a, 1972b).
Se trata de los cuatro tipos siguientes:
a) Necesidad normdtiall: es aquella que el experto o profesional definen como neces.idad en una situacin determinada, y, por definicin, implica la existencia de estndares o normas; dicho en otros trminos, el especialista establece un nivel "deseable"
de provisin o acceso a determinado servicio iocial o sanitario, y se compara con el
nivel que existe de hecho. Si un individuo o grupo no alcanzan este nivel, se considera que sufren necesidad. As, por ejemplo, el nivel de nutricin establecido por el
Colegio de Mdicos Britnico se utiliza como medida normativa de la suficiencia
de una dieta. Una definicin normativa de Ia necesidad no es absoluta (Rossi r
Berk, 1985), y es posible que no hubiera concordancia con la deteccin de necesidad si se utilizaran otras dimensiones, o se comparara con otro momento temporal,
as, si cotejamos en las administraciones pblicas la construccin de hospitales basndose en ratios de nmero de camas por milln de habitantes ahora y hace veinte aos
b) Necesidad experimentada (o sentida, o percibida):necesidad equivale a carencia subjetiva. Al evalual una determinada necesidad de un servicio se pregunta a los individuos si creen que 1o necesitan, es decir, si Io perciben como tal necesidad. La necesidad experimentada o sentida, en s misma, es una medida inadecuada de la necesidad
real, pues es fluctuante y se ve moduiada por la situacin actual del individuo, tanto por defecto como por exceso.
,) Necesidad exprestldd o demanda: es la propia de las personas que demandan un sen'icio. No se pide algo si no se tiene la necesidad de aquello, pero es posible que se tenga la necesidad y no se exprese la demanda. La necesidad expresada se utiliza a menudo en los servicios sanitarios, donde las listas de espera se utilizan como medida dIas necesidades no satisfechas.

d) Necesidad clmpdratia(t: se establece a partir de la diferencia entre los servicios qu.

existen en un rea y los servicios de otra; se trata de un intento de estandarzar \.
provisin de servicios, aunque ello no tiene por qu corresponder a una necesidad,
Adems, del rea que se toma como punto de referencia no se tiene la seguridad d.
que todas sus necesidades estn satisfechas. Se ha utilizado con frecuencia en el mb:-

48

Captulo 2: Bases metodolgicas

to sanitario con el fin de disponer de listados de caractersticas de pacientes que

requieren atencin especial (O'Brien, Rossi y Tessler, 1982).

EDIE una identifica-

epertir de aqul tracalendarizarlas,

iriase en la propia
o en un Pro-

La figura 2.3 muestra la interrelacin entre los cuatro tipos de necesidad y permite delimitarlas entre s:

de varios autores

in, 1990;Moro-

Necesidad normativa
Necesidad experi mentada:
Necesidad expresada:
Necesidad comparativa:

ms divulgados
he Servicios Sociav de que se propu-

como necest-

aimencia de estno
b

rn nivel "deseable"

Ly*

compara con el
se consipor el
establecido
n
la
de
suficiencia
iva
es absoluta (Rossi y

ese nivel,

Ldeteccin de necesimomento temporal;

ih

Figura 2.3.ktteruelacin entre los cuatro tipos de necesidad.

de hospitales basn:r y hace veinte aos.

ivale a carencia subpregunta a los indiel necesidad. La nece-

de la necesidad

Como consecuencia, pueden identificarse las superficies resultantes de esta interseccin

mltiple (Bradshaw, 1972a, 7972b, 1 983)

del individuo, tan-

a)
demandan un servies posible que se ten-

b)

utiliza a menucomo medida de

se

entre los servicios que

fonento de estandarizar la
a una necesidad.
se tiene la seguridad de
on frecuencia en el mbi-

c)
d)

Todas las definiciones estn de acuerdo. Un individuo est necesitado segn todas
ellas. Por ejemplo, recin nacido encontrado en un portal.
La demanda se ve limitada por dificultades de acceso aI servicio. Aunque el individuo est necesitado segn las dems definiciones no ha querido -o no ha podidoexpresar su necesidad. Como ejemplo, anciano pensionista con dificultades de autonoma personal que no ha solicitado arda domiciliaria ni ingreso en residencia.
La necesidad se ecepta como tal por el experto y se experimenta por el individuo,
pero no hay demanda ni agravio comparativo. Por ejemplo, necesidad de servicios
de podologa para personas de tercera edad.
I-a necesidad no se postula por los expertos, pero es experimentada, expresada y ofrecida.
En el :mbito sanitaio, podran hallarse los tipos menos esenciales de ciruga esttica.

49

Eualuacin de progtdtnds sociales y sanitarios

trata de una necesidad que es postulada, sendda y expresada, aunque no satisfecha comparativa-mente. Son necesidades que representan reas de crecimiento probables en servicios sanitarios y sociales. Por ejemplo, necesidad de apoyo psicolgico gratuito en familias en que se produce un fallecimiento de un menor por accidente
o muerte traumtica.
La necesidad es postulada por los expertos y personas con caracterlsticas semejantes
se beneficia del servicio, pero la necesidad no es experimentada ni expresada por el
individuo. Se podrlan citar como ejemplo, algunas de las tareas encomendadas al
asisrente social que se ocupa de la reinsercin de personas que estuvieron privadas

e) Se

fl

de libertad.
La necesidad slo se postula por los expertos. Como ejemplo, en el mbito de la sanidad pblica serla un ejemplo la inyeccin de determinadas cantidades de fluoruro
en el agua para consumo mucho antes de que fuese sentida, expresada o satisfecha.
h) La necesidad slo aparece a nivel comparativo, sin que la postulen los expertos ni sea
sentida o demandada. En el :mbito educativo, sera la reafizacin de determinadas

actividades extraescolares.
Necesidad no prevista por los expertos ni considerada comparativamente, Pero es
sendda y expresada. Por ejemplo, frecuente solicitud de recetas de material cosmtico para que fuesen subvencionadas por la Seguridad Social.
j) Necesidades sentidas, pero cuya satisfaccin se halla fuera de las posibilidades de
cobertura de un programa. Por ejemplo, la soledad.
k) Necesidad no postulada por los expertos ni demandada, Pero es sentida, y se atiende comparativamenre. Por ejemplo, determinadas actividades de ocio en colectivos
de tercera edad.
Ausencia de necesidad segn todas las previsiones.
Respecto a las etapas en evaluacin de necesidades, se pueden encontrar planteami*
tos complementarios. En este senrido, Snchez Vidal (1991) se refiere a las etapas de qrrc
consta la evaluacin de necesidades (Gupta, 1999), de las que se pueden entresacu las corrcpondientes aI momento en que ya se han detectado y van a evaluarse:

,)

Aplicacin de los instrumentos necesarios para recoger informacin emprica

que tambin se apliquen instrumentos en el anlisis de necesidades).
b) Integracin (estadlstica, lgica, terica, etc.) de la informacin recogida.
t) Valoracin de los datos integrados
d) Comunicacin "de devolucin", y que es la que permite la priorizacin de las
tintas necesidades.
Pineault y Daveluy (1987), al referirse a los programas sanitarios, reflexionan quc
ocasiones se ha confundido la evaluacin de necesidades con el anlisis de necesidadeg
una parte, y con la evaluacin de programas por otra.

5o

Captulo 2: Bases metodolgicas

no satisfe-

Eqmlento Proepovo psicolgipor accidente

semejantes
eryresada por el
mmendadas al

privadas

inbito

de la sanide fluoruro
o satisfecha.

hs *pertos ni

sea

de determinadas

nte, Pero es
de material cosm-

bs posibilidades de
ta.dda, y se atienocio en colectivos

Respecto al anlisis de necesidades la diferencia es clara, pues el estudio de necesidades se reas ds5 tiempos. En el primero se identifican los problemas, mientras que en el segundo se
analiza la significacin que hay que dar a la informacin recogida (kviton y Hughes, 1981; Ken-

liza

rcAy, l9\4;Altschuld, Yoon y Cullen, 1993).Nmenos en el mbito sanitario, el estudio de las

necesidades es una expresin comnmente utilizada que, de hecho, tiene en cuenta primero los
problemas para llegar posteriormente a determina las necesidades. La primera etapa, la identificacin de problemas de salud, se hace con la arda de instrumentos de medida, mientras que
en la segunda, la determinacin de las necesidades, se analiza Ia signficacin que hay que

darli a
h informacin recogida, contribuyendo as a la determinacin de prioridades que le suceder.
Y respecto a la evaluacin de programas, aunque se utilicen sistemas relativamente parecidos de recogida de datos -incluso combinando las metodologlas cualitativa y cuanritatiwa (Loos, 1995)- es evidente que se trata de objetivos de evaluacin diferentes. Segn Siegel, Attkisson y Carson (1978), el estudio de necesidades es un sistema de vigilancia del
entorno que se interesa por las caractersticas de la poblacin y del entorno que tiene influeneia sobre la necesidad y la demanda de los servicios, mientras que la evaluacin de program2s es un sistema de vigilancia interna orientado a la consecucin de los fines y objetivos
del programa. En un modelo lineal (Veney y Kaluzny, 1984) se atara de dos etapas del
Proceso que se alimentan de datos de la misma naturaleza; por el contrario, en un modelo
no lineal, su carcter dinmico y circular lleva a que se articulen entre s.
\Titkin yAltschuld (1995), en cambio, consideran que el plan para evaluar necesidades
@nsta de tres fases:

a)

Pre-eualuacin: tiene carcter exploratorio, y su funcin consisre en determinar y

organizar la informacin de la cual ya se dispone en el sistema, identificar reas de
mayor incidencia de la necesidad, fijar lmites, y establecer fuentes de recogida de ms

informacin.

b) Eualuacin prirucipal: recogida de datos a travs de las tres fuentes principales de

planteamiena las etapas de que
crtrsagtr las corres-

emprica (aun-

piorizacin de las dis-

reflexionan que en
de necesidades, Por

obtencin de informacin, que son archivos, procesos de comunicacin,y procesos

analticos. El material de arcbiuo corresponde a datos ya recogidos para otros fines,
como indicadores, datos demogrficos, censos, informes de estudios anteriores, etc.
Los datos correspondientes a ?rocesos de comunicaciru se obtienen a partir de la elicitacin de opiniones por parte de quienes tienen informacin directa y, a su vez,
pueden ser de carcter no interacdvo (cuestionario, incidentes crticos, encuesta Delphi, entrevista con informantes clave) o interactivo (forums comunitarios, grupos
nominales, entrevistas con pequeos grupos comunitario$. Y la rercera categora de
procesos analticos aportara informacin acerca de anlisis de rareas, anlisis de impacto, confeccin de esquemas relacionales, etc.
c) Post-eualuacin: constituye el puente que conecta los datos recogidos y los planes de
accin que se determinan. Implica el establecimiento de prioridades y criterios para
adoptar soluciones, ponderar las distintas vlas alternativas teniendo en cuenta los
asPectos positivos y negativos de cada una, as como los recursos necesarios y disponibles (en la actualidad y a corro o medio plazo).

5r

EuaLuacin de programas sociales y sanitarios

que se Ie d a los casos detecados, y el que se estn incumpliendo derechos hurnanos son elementos fundamentales para que se pongan en marcha programas de intervencin.

la publicidad

Para evaluar las necesidades se procede frecuentemente a obtener muestras rePresentativas de Ia poblacin con el fin de detectar potenciales usuarios. Para su seleccin se utilizarn tcnicai de muesrreo probabilstico, generalmente a partir de criterios de estratificacin,
y el tamao de la muestra estar determinado en funcin de la variabilidad de las caractersticas de inters en la poblacin. Normalmente no se conoce la proporcin de varianza en
la poblacin, por lo que el tamao de la muestra depender del nivel de precisin, el coste
se pueden dedicar a eilo.
La evalucin de necesidades continuar siendo uno de los aspectos fundamentales en
el diseo y evaluacin de programas. Concretamente se enfatizar.n las nuevas tecnologas
para el registro y trata-iento de la informacin proveniente de distintos gt"Pg, de implicados (chacn,2002; chacn, sanduvere, Holgado, yLpez Garca, 2004;Holgado, chacn, Ruiz, Suarez, Barbero y Prez-G1l,2OO4). Por otra parte se intentar coordinar, cada
vez en mayor medida, las denominadas macro y micro necesidades, con objeto de conjugar
las necesidades a un nivel nacional o estatal (ms globales) con las necesidades ms regio-

y el tiempo que

nales o locales (ms particulares) (Chacn, Lara yPrez-Grl,2003).

A) Delimitacin

de

Habitualmente.
quico que conviene
El objetivo es aJr
rir.a de resultados, rrnayora de los prof,

;onsideran que

el1os

:s que cuando dise

:ales. La forma ms
:rofesional que, bas;
:esponder a una pa

Kettner, Moron,

,1to riesgo en un pro

.a en lo que metodoj
.'aiables que va a sor

iderar como una for

-o

e intervenimos

s<

-porta el mecanismo
-Dntrastar dicha hipc

z.z.z. Elaboracin del Programa

:o

El concurso de los expertos es esencial en esta fase. Conocida la necesidad, y en funcin de

la teora del program (chen y Rossi, 1983; Bickman, 1987, i989, 1990, 1996; Lipsey y
Pollard, 1989; Scon y Sechrest, 1989; Bickman y Peterson, 1990; Birckmayer y \7eiss, 2000;
Funnell, 2000) se debe estrucrurar un conjunto de acciones encaminadas a un objetivo' que
pueden o no ser diversificadas entre s, para que, operando puntual o diacrnicamente, se
los objetivos planteados. Indudablemente, el primer paso ser la conceptualizacin
"1"".r...,
dei program, r, f.r.r.i., de las necesidades detectadas, forma de delimitar los objetivos,
...rr.oi instrumenros disponibles presentes o futuros, etc. (Tiochim, 1985, 1989; Tiochim
y Linton, 1986).
El diagnstico previo a Ia formulacin de un proyecto es el reconocimiento realizado sobre
.l t.....rol. Ios srntomas o signos reales y concretos de una situacin problemtica. Para
los efectos del proceso de evaluacin, se debe considerar que, mientras sea ms preciso y Profundo el conocimiento de la realidad existente previa a la ejecucin de un proyecto, ms f,cil
ser determinar el impacto y los efectos que se logran con las acciones del mismo.
El xito en la foimulacin de los contenidos (Scheire 1996) de un Programa se basa
esencialmente en una estrategia que se debe seguir (Julian y Lyons, 1992) que, a su vez, se
diversifica en una identificacin precisa del mismo, especificando sus objetivos, metas, actividades, calendario de ejecucin y recursos.
Hay que diferenciar la precisin sobre la delimitacin de objetivos, Ia respuesta a unas
necesarias pregunras de acotacin y contextualizacin del programa, y una Pauta Para su
presentacin:

52

a las

madres de alr

:.sis, el profesional q
:r'' os significativos r:osa que objetivos r
En este ejemplo.

a) La mortilida<
) El bajo peso a

cits nutricron
Btas condicior
lescentes, muj.
ples, mujeres

nmico bajo.

Basndose en tal<

a)

Si localizamo'

b)

si logramos qt

c)

/)

si les ofrecemr
nios preman
se debera obs

r)

se

entonces

debera tam

Captulo 2: Bases metodolgicas

-::echos huma-

; ---:= encin'
1l -:a- -s rePresenta-

r,r ,;-:::in se utiliza-

r- -: -j.ratificacin,

L,

--

j.

las caracte-

- - ie varianza en
:r -:=-isin, el coste

-". :: -damentales en
-r -, -.'. as tecnologas
:,- : :.-LPos de imPli- ''--, i{olsado, Cha!. :- :- : -oordinar, cada
-

-:i:ro de conjugar
' .. :ades ms regio-

. j,rJ. l9O6; Lipsey y

l,r -..:.--i-er Y \eiss, 2000;

concePtualizacin
los objetivos'

-.-,mitar
- l')8i, 1989;Tiochim

A)

Delimitacin de obietiuos

Habitualmente, y segn los distintos autores y contextos, se plantea un sistema jerrquico que conviene clarificar y que incide en el tamao de la unidad de anlisis.
El objetivo es algo que se desea conseguir (Fernndez-Ballesteros, 1995c), una expectativa de resultados, y cuyo cumplimiento nos dar la medida de Ia eficacia del programa. La
mayora de los profesionales que trabajan en el diseo de programas sanitarios y sociales
consideran que ellos pretenden resolyer problemas y no contrastar hiptesis; pero el hecho
es que cuando disean programas estn formulando hiptesis, aunque no se explicitan como
rales. La forma ms rudimentaria de hiptesis sera un presentimiento o corazonada de un
profesional que, basado en su experiencia, sospecha que determinado problema o situacin
responder a una particular forma de intervencin.
Kettner, Moroney y Martin (1990) proponen el ejemplo del tratamiento de madres de
:1to riesgo en un programa preventivo sobre reduccin de la mortalidad infantil. Si se piensa en lo que metodolgicamente es una hiptesis -suposicin o conjetura de relacin entre
'.'riables que va a someterse a contrastacin emprica-, el diseo del programa se puede con, derar como una formulacin de hiptesis: silocalizamos a las futuras madres de alto ries:o e intervenimos sobre ellas, entoncs se reducir la mortalidad infantil. Este enunciado
-rorta el mecanismo para la evaluacin del programa, que no ser otra actividad que la de
:rnrrasrar dicha hiptesis (disminuy la mortalidad infantil una vez que se haba localiza:-, a las madres de alto riesgo y haba actuado un plan de interwencin?). Al generar la hipidentificar obje='is. el profesional que planifica o disea un programa es capaz alavez de
jerrquica
de enunciados que no son otra
-'. os significativos y de estructurarlos en una serie
:: ia que objetivos y actividades planteados a distintos niveles.
En este ejemplo, se parte de las siguientes informaciones, que conoce el profesional:

.t) La mortalidad infantil est relacionada con el bajo peso al nacer (nios prematuros).
b) EI6qo peso al nacer est relacionado con enfermedades no tratadas, traumas y dficits nutricionales de la madre durante el embarazo.

--

Estas condiciones son ms plausibles entre determinados grupos poblacionales, como ado-

treinta y cinco aos, mujeres que han tenido partos multiples, mujeres que antes han dado a luz prematuros, y mujeres procedentes de nivel econmico bajo.
lescenres, mujeres mayores de

rtr;: r:l Problemtica'

5rj
I -.

Para

lea ms Prectso Y Pro* pfoyecto, ms fcil

-=. el mismo'

:- un Programa

'-.

se basa

|992) que, a su vez' se

objerivos' metas' acti-

la resPuesta a una-(
=:ir-os,
:12, Y una Pauta Para sl.

3sndose en tales afirmaciones, se formularan las siguientes hiptesis del programa:

;
:
.'
.;

5i localizamos a las madres de alto riesgo, T

iogramos que sigan el tratamiento, T

-r

ofrecemos servicios que acten sobre aquellos factores asociados con dar a luz
nios prematuros, entonces
se debera observar una reduccin en Ia incidencia de dar a luz nios prematuros, y

-,i les

a1lto11.ces

-.e

debera tambin detectar una reduccin en la incidencia de la mortalidad infantil.

53

Eualuacin de programas sociales y sanitarios

Fcilmente se pueden trasladar estos trminos a los ms convencionales en un marco

tradicional de investigacin. La formulacin de objetivos, la elaboracin del programa, su
implementacin y su evaluacin se ven como procesos separados, cuando, por el contrario,
corr.spo.rd.n al mismo proceso, como ya preconizan Veney y Kaluzny (1984) en el modelo no lineal de evaluacin. Este fallo tan frecuente de deslavazar el proceso conduce a resultados desastrosos que no reflejan Ia realidad del programa.
La evaluacin se inicia con el planteamiento de una relacin entre un Programa o servicio (que acta como variable independiente) y determinado resultado esperado (que acta
como variable dependiente). En el ejemplo anterio el cuidado prenatal sera la variable
independient., y L mortalidad infantil sera la variable dependiente. Existen tambin habirualmente variables intervinientes (habitualmente considerados como resultados intermedios) que obligan a reconocer la existencia de modelos multicausales en la comprensin de
Io. prble..rrs complejos, ya que se dan con frecuencia largas y complicadas cadenas. entre
el tratamiento y los-result"do.. Y probar qle se cumplen los objetiuos de un programa, o 1o que
es lo mismo, que ste es eficaz, significa que se explica el funcionamiento de esta cadena.
fnk (1993) yFernndez-Ballesteros (1994,1995b) se refieren al concepto de progra-ma, e
nsito en l se halla el "objeto" en evaluacin de programas, que difiere en funcin de su complejidad, adems del criterio relativo al contexto fisico o administrativo en que se implanta. La
iomplejidad (y normalmente va asociado el tamao de las unidades) se sita en un continuum

d. -olrridrd-molecularidad, sin que se puedan diferencia compafiimentos

Antes nos h
a la <

.:r cuanto

-urrrlO Se va desr

rinimo ncleo

-bitualmente .
Esta consid<
_-r

que en su m(

jrros

de

:sis de costo-ef
de1 p

En efecto, d
-n la formulac
rcar no necesaJr

.licar, mejorar. e
En el ejemp
-=speraba era red
i: 1as siguientes

estancos entre ellos.

"

plan
- y calendario.

partir

-rructura

lncren

Respecto a esta dimensin e complejidad, Fernndez-Ballesteros (1995b) diferencia

polticai, progralnas, subprograrnas y acciones, en una gradacin de ms a menos amplitud y,
de ms a menos complejidad. La poltica se articula en diversos Programas
L.,
"o^r.rr..rcia,
aplicados en distintos mbitos y puedi ser evaluada a travs de los programas, que conlle.,r^.r .o.rj.,.rtos de subprogramas, los cuales, a su vez, contienen una serie de acciones o elementos que los articulan y que constituyen el menor nivel de complejidad
Otroi autores se refierena planes, ?rogramds y Prolectos (Cohen y Franco, 1992). En esta
gradacin, plan es una suma di programas que busca objetivos comunes, ordena los objetiio. g".r.rr1., y los desagrega en objetivos especficos, que van a costituir a su vez los objetivos generales de los programas. EI programa sera un conjunto de proyectos que persigue
lo. -ir-o, objetivos,istbleciendo las prioridades de la intervencin, definiendo el marco
institucional y asignando los recursos. Y el proyecto es una planificacin que consiste en un
conjunto de actividades interrelacionadas y coordinadas para alcanzar objetivos esp_ecficos
dentro de los lmites de un presupuesto y un perodo dados, constituyendo la unidad ms
operativa dentro del proceso e planificacin, constituyendo el eslabn final (Pichardo, 1985).
Sea cua-l sea la teiminologa considerada, lo cierto es que un programa est formado por
un conjunto de acciones, proyectos... y seguimos desagregando jerrquicamente hasta lleg", 1", unidades mnimai que se dispensan a los usuarios de acuerdo con un determinado

erT

ncren
re:
Promc
I

^L

Las metas sr
para desarr

:aJes

:ronunciamienr
En cambio.
',
ez se fijen los t
:emporalmenre

:e ndientemenrt

:rn de tres crit,

a) De resul.
b) De proce
c) De acrit

zar su de

SLgn Fernndez-Ballesteros (1995c), por unidad se entienden los sujetos de cambio

.rry". Jp..r.iones van a ser observadas como efectos del programa que se pretende evaluar,
y que puede.r ser sujetos humanos, situaciones ambientales, grupos de sujetos humanos, etc.

54

Cada uno d
aulca antes mer

Captulo 2: Bases metodolgicas

convencionales en un marco
elaboracin del Programa, su
cuando, por el contrario,
vKaluzny (1984) en el modezar el proceso conduce a resul-

ene un programa o serresultado esperado (que acta

ado prenatal sera la variable
iente. Existen tambin habicomo resultados intermeen Ia comprensin de

v complicadas cadenas. entre

iws d un Programa' o Io que
ionamiento de esta cadena.
al concepto de Programa, e
difiere en funcin de su com-

imPlanta. l,a
se sita en un continuum
imentos estancos entre ellos.
ros (1995b) diferencia
ds ms a menos amPlitud

ivo en que

Ates nos hemos referido al continuum de molaridad-molecularidad que se establece

en cuanto a la complejidad de los objetivos y estructura de los planes de intervencin, y
como se va descendiendo jerrquicamente hasta llegar a las unidades que constituyen el
mnimo ncleo de actuacin del profesional que interviene, y ya se apuntaba tambin que
habitualmente va asociado al tamao de las acciones en que se descompone el programa.
Esta consideracin tiene una gran importancia, no slo metodolgica (en tanto en cuanro que en su momento nos referiremos a los instrumentos pertinentes y a la recogida de
datos a partir de estas unidades) y econmica (ya que nos suministrar las bases para los alisis de costo-eficiencia, y costo-beneficio), sino tambin conceptual respecto a la propia
estructura del programa.
En efecto, debe establecerse una estructura piramidal que, en va descendente, se inicia
aon la formulacin de las metas. Las rnetas son enunciados relativos a una llnea programdca, no necesaria-mente medibles, que dan cuenta de una direccin esperada (preveni erradicar, mejorar, etc.) en el tratamiento de un problema.
En el ejemplo anterior del colectivo de mujeres embarazadas con alto riesgo, lo que se
csperaba era reducir la mortalidad infantil, por lo que la rrteta se podra formular como una
de las siguientes formas:

se

Incrementar y mantener el nivel de salud de las mujeres en riesgo durante el

embarazo.

Incrementar las posibilidades de supervivencia de los nios nacidos de mujeres con embarazos de alto riesgo.
Promover y proteger la salud de los habitantes de una zona(y sta sera la ms

isla en diversos Programas

los programas, que conlle,rn"ierii de acciones o eleidad.
y
m Franco, 1992). En esta
los objeti-,rn.r, ordena
eaonstituir a su vez los objede proyectos que Perslgue
rcin, definiendo el marco
n que conslste en un

objetivos especficos
la unidad m:s
n 6nal (Pichardo, 1985)Irrograma est formado Por
r P*itquicamente hasta [le-

to,

,rtt determinado

los sujetos de cambio

que se Pretende evaluar,
de sujetos humanos, etc

abarcadora).

Is

metas son ambiciosas y frecuentemente ideales, y no se plantean perodos tempopara desarrollarlas. Pero permiten fundamentar un programa a partir de determinados
renunciamientos y valores.
En cambio, la referencia temporal y los criterios de medida sern fundamentales una
w se fijen los objetivos . Los objetiuas debern ser claros, especficos, medibles, limitados
mlrcralmente y realistas, adems de representar un compromiso para el profesional. Indeldientemente de estos calificativos, que los vinculan a todos, se pueden plantear en funeiir de mes criterios:

dts

De resultado, cuando lo que

c)

De proceso, cuando interesa el cmo se articulan los distintos medios para llegar aI fin.
De actiuidds, cuando interesa el desglose de las acciones del programa para analizar su desarrollo y cumplimiento.

b)

se

pretende es el fin en s mismo.

C-ada uno de estos criterios con frecuenciaactia escalonadamente en la estructurajerrica antes mencionada.

t5

Eualuacin de prograruas sociales y sanitarios

Volviendo al ejemplo anterior, un primer nivel (objetivo ltimo) de objetiuos de resubado poda ser:

Qu?

Por qu?

Reducir la tasa de mortalidad infantil.

Para qu?

Esta formulacin del objetivo permitir aplicar criterios de medida y de especificidad

(por ejemplo, reducir la tasa de mortalidad de l,7o/o a 7,4o/o) en un perodo de tiempo.
Pero, a su vez, descendiendo un peldao en la estructura jerrquica, se podra formular
otro objetivo de menor complejidad y tamao, que se situara en uno de los eslabones de la
cadena de objetivos intermedios a la que antes nos referamos:

Cunto?

Dnde?
Reducir la incidencia de nacimientos de nios prematuros.

Y, a su vez, en el siguiente eslabn, cabrlan otros objetivos de menos complejidad y tama-

;Cmo?

Cundo?

o (objetivos inmediatos):
Quines?
Aumentar el estado de nutricin.
Reducir los riesgos de infeccin.
Reducir los traumas por accidente.

,{on

Reduci r otras enfermedades.

En este ejemplo propuesto por Kettner, Moroney y Martin (1990) existen tres niveles,
que por supuesto se pueden representar mediante un diagrama, y que permiten diferenciar,
descendentemente, objetivos ltimos, intermedios e inmediatos. Pero en otros programas
puede haber un nmero mayor o menor de ellos.
Lo importante es que, tanto si son objetivos de resultado, de proceso, como de actividades, se elabore una estructura jerrquica que, a la vez que obliga a delimitar distintos niveles de objetivos, los integra en la propia estructura del programa, llegando a delimitar las
diferentes acciones o unidades que constituyen el mnimo nivel interventivo y que sern el
elemento aportador de datos parala evaluacin del programa.

Lha

qu?

r-ez contestado

h ela-boracin

d
ibles, confor

coo

rfra muy es

Daopara h presa
Emmendahle

esr

Jmargen delas c
r erelgabili.l"d p

B) Acotacin y contextualizacin
Unavez delimitados los objetivos y analizadas y especificadas las acciones ms convenientes, es necesario completar la previsin sobre una serie de cuestiones que se plantean a
continuacin:

56

tbiprc-,!cah

r-nrTal

meao

Captulo 2: Bases metodolgicas

Qu?

Naturalez. Necesidad previamente evaluada que da lugar a la

idea central del programa.

Por qu?

Fundamentacin. Marco terico en que se basa la propuesta

interventiva y criterios bsicos de estrategia.

Para qu?

Objetiuo. Expectativa que se pretende cumplir y que significara

una reduccin o eliminacin de la prevalencia del problema.

de resulta-

yde especificidad
de tiempo.

podra formular

Cunto?

Metas. Criterio cuantificador del objetivo (cunto se quiere

d.canzar de cada uno y de qu calidad).

Dnde?

Lo calizaci

Cmo?

Metodologa. Diseo que

gida de informacin.

Cu,ndo?

Calendarizacin. Planificacin sincr nica y diacrnica de las

actividades previstas.

Quines?

Recursos bumanos.

hs eslabones de la

y tama-

Cobertura espacial o geogrfrca.

se

va a desarrollar y tcnicas de reco-

Nivel de profesionalizacin requerido, ampli-

tud del colectivo y responsabilidades que asumen.

Recursos rnateriales

oCon qu?

econmicos. Instalaciones e instrumental,

por una pertel'y presupuesto y financiacin, por otra, diferenciando entre recursos disponibles, necesarios y deseables.

<isten tres niveles,

lten diferenciar,
cfl otfos programas

como de activiitar distintos nivea delimitar las

y que sern el

lfr,avez, contestados estos interrogantes por parte de los especia-listas y profesionales de

la elaboracin del proyecto consistir en ordenar toda la informacin y las decisioibles, conforme a un esquema lgico y una secuencia temporal, pero, especialcon una muy estudiada delimitacin -y jerarquizacin, en su caso- de las acciones
Ircgrma.

lat

para la presentacin

E recomendable estructurar el texto del plan de intervencin o programa en tres aparal margen de las caractersticas especficas de cada uno de ellos, facilitndose de esta
s qraluabilidad posterior:
acciones ms conve-

que se plantean a

Mriptores. Actan

modo de encabezamiento

cDntener al menos:

t7

identificecin del programa y deben

Eualuacin de programas sociales y sanitarios

Nombre del programa.

Objetivos (generales y especficos).
Fundamentacin.
Cobertura espacial o geogrfica.
fJsuarios o potenciales usuarios.

2-:

Etr
de

Sin

rfui
b) Programa propiamente dicho. Constituye el cuerpo estricto del plan de intervencin:

rl
grrl

Acciones que hay que llevar a cabo, especificando por quin, y la forma suficientemente detallada de desarrollarlas.
PERT o calendarizacin que indique las sincronas y diacronas que deben respetarse entre las diferentes acciones.

c) Presupuestaciru 1t recursos. Debe

z.z.

j.

incluir:

Pq

lec(

&b

EU

erx
D,

Presupuesto del programa (completo, y tambin por mdulos, si fuese el caso),

detallando los costes por partidas.
Recursos de diverso orden (humanos, instrumentales, equipos, instalaciones, de
local, econmicos, etc.) que se requieren.
Recursos ya existentes previamente no afectados de obsolescencia y recursos polivalentes.

Planteamiento financiero: especificacin de si la financiacin ser interna, externa o mixta.

lmplementacin del programa

IJnayez elaborado el programa deber implementarse, es decir, llevarse ala prcca las acciones propuestas. La implementacin har posible la evaluacin del programa (Brekke y
Test, 1992), o, expresado en otros trminos, sin la implementacin sera imposible la eva-

luacin, ya que no se dispondra de informacin emprica relativa al funcionamiento del

programa y a la medida en que se cumplen los objetivos (Scheirer y Rezmovic, 1983).
Reviste gran importancia el grado de especificacin del programa respecto a Ia actividad de los profesionales durante la implementacin. Es frecuente que programas poco esPecificados no se desarrollen de forma ptima. Por ejemplo, si en un programa de animacin
social en una determinada colectividad se menciona simplemente "se entrevistar a los individuos inicialmente interesados en pa-rticipar", es obvio que, por muy bien formado que est
el profesional, tiene un margen de actuacin excesivamente amplio para preparar el guin
de la entrevista, el cual deberla canalizarse estrechamente en funcin del propio programa
animacin.

58

lxo

hd
-r

FE

[E

I
CI
I

Captulo 2: Bases metodolgicas

:.:..q. Eualuacin

de resultados

:n este caso es el anlisis

Je intervencin:

: forma suficien-

que deben resPe-

-,. .i fuese el caso),

- , :, instalaciones, de
-

: i.

-- r'

--r interna' exter-

--',: .

-j.

TeCUTSOS

POli-

prctica las accio-

': -: t rgrama (Brekke Y

- =: . imPosible Ia eva-

- - :ncionamiento del
,- .-novic, 1983).

---.
-

-=

-:e delimitados).
Desde una perspectiva lineal podran seguir mencionndose distintos tipos de evalua- :--s, como la evaluacin del impacto (anlisis de las consecuencias del programa sobre la
- .rnidad en general y no slo sobre la poblacin objeto del programa), o eualuacin de la
,,:ura (anlsis de hasta qu punto el programa llega a la poblacin objeto del inters), o
: :t.icin econmica (anlisis del coste del programa en relacin a los resultados que ste
-,rsue; debido a su importacia ser tratada con ms profusin en el captulo 9), no obs-.-:: en este captulo introductorio sobre bases metodolgicas se ha querido enfatizar cmo,
-- =. Ce llegar a realizar evaluaciones finales (de resultados, econmica...), es necesario haber
. ' do la implementacin del programa y por tanto tambin la evaluabilidad del mismo,
. : -e de otra forma los resultados evaluativos finales obtenidos seran difcilmente inter. -=:--.les o estaran sujetos a muchos problemas de control y representatividad, como se ver

:.specto a la activi-

-: i-.)llfiIls Poco

eSPe-

- ,-

i:ma de animacin
, .,:revistar a los indi': - : -n formado que est
PreParar el guin

de los efectos del programa en la poblacin destinataria. Este tipo

evaluacin
se
relaciona
directamente con el modelo de evaluacin mediante objetivos.
-:
n
embargo,
de
igual
forma
se pueden evaluar resulados no buscados explicitamente, el
-'
requisito
Ia
identificacin
es
previa de esos posibles efectos, con ob.feto de delimitar
-:ico
, .. orma de medida. Este tipo de evaluacin est guiada desde una perspectiva finalista,
. rnativa o lineal, es decir el esrudio de las posibles consecuencias de la implementacin del
: ,:)qrama (Seler, 1994). Conviene resaltar que los resultados de muchas evaluaciones ado-:e n de diversos defectos, y especiaimente de carcter metodolgico (Moskowitz, 7993),
-=:ido, en muchas ocasiones, a la forma como se han recogido los datos (Burnstein, Free. =r. Sirotnik, Delanshere y Hoilis, 1985).
El estudio del efecto del programa implica realizar comparaciones mediante tcnicas de
--.-rrol de variables extraas potenciales que puedan invalidar el efecto causal del progra,., de ah que los diseos de intervencin alta y media, usualmente denominados experi- =:ra1es y cuasiexperimentales, sean ios ms utilizados para este tipo de evaluaciones (este
- - de diseos sern estudiados en mayor detalle en los captulos 7 y 8). Una vez recogidos
: :aros se suele realizar un anlisis de la eficacia del programa (logro de los objetivos), efi..-:ia
del programa (relacin coste-beneficio en el logro de objetivos), o efectividad del
r ::ama (anlisis global de los logros alcanzados por el programa, adems de los previa-

--i
-

:roPio Programa

de

::

Un continuo eYaluatiyo

. = este momento el desarrollo de todo el proceso evaluativo descrito puede ser mejor
-.--:ido
.
si se medita sobre la evolucin que experimentara Ia estructuracin de una serie
r: -:-,gramas de intervencin desde un momento inicial hasta su desarrollo total dentro de

r-unidad

en Ia que se inserten. De esta forma, en un primer momento una serie de pro-

59

Eualuacin de programas sociales y sanitarios

fesionales en inrervencin habrn de detectar las necesidades existentes en esa com
(evaluacin de necesidades), para que una vez valoradas se diseen y desarrollen unos
gramas de intervencin con objeto de paliarlas, observndose si tales necesidades pri
mente detectadas han sido satisfechas o si por el contrario se ha de reiniciar el proceso
ta llegar a Ia extincin de stas (vase la figura2.4).

,/;Satisfaccin \
dd necesidades?

Figura 2,4.Flujograma bsico de modelo de evaluacin.

rftflFr!

Este modelo bsico de intervencin se complejiza en la prctica ya que son m

las necesidades en Ia sociedad actual, por lo que en un principio se han de priorizar las
sidades exisrentes -usualmente por los responsables polticos- en distintos grupos
menos homogneos desde los que se fundamenten los distintos programas que se ti

que desarrollar. Todo ello implica que frecuentemente se desarrollan al mismo tiempo
tintos programas de intervencin con objeto de atender al conjunto de necesidades que
senta la comunidad objeto de actuacin (Chacn, Lpez Ruiz yPrez-Gil,1992).Enla
ra2.5 se presenra un posible esquema bsico de flujograma de estructura de funcionami
en el que se integran y coordinan distintos programas de intervencin insertos en una
minada comunidad, usando la codificacin de signos en lenguajes de programacin
sentada por Stern (1982) y basadas en las que aparecen en Garca Herrero (1988).

6o

@rd

fhiyeciS

&r-rlel

hddca

yt+si

hEprii
l-rrollo
& (ner

aem

h"F