1

CAPTULO


10

PARMETROS, CRITERIOS, INDICADORES Y/O
CUESTIONAMIENTOS PARAEVALUARLACALIDADDE
UNAINVESTIGACIN






INTRODUCCIN


Tal como lo sealamos en el captulo anterior: no existe la investigacin perfecta,como
tampoco hay un ser humano perfecto (la perfeccin constituye un estndar ideal).
Por tanto, en cualquier estudio siempre tendremos limitaciones.En la realidad es lo comn y re
sulta imposible evitarlas cien por ciento.
Sin embargo, hasta dnde podemos decir que un estudio es razonablemente
digno de ser considerado?, qu elementos debemos tomar en cuenta para evaluar una investi
gacin? Las respuestas a estas preguntas son complejas y existen varios criterios que se han ge
nerado para analizar la calidad de un estudio,pero actualmente no existe un consenso general
ni un acuerdo definitivo entre los autores sobre cules
deben contemplarse.Por ello,a continuacin presentamos cinco listados de tales elementos.El
primero aplica fundamentalmente a investigaciones cuantitativas y se gener durante
1995 a 2009 por profesores que ensean metodologa de la investigacin en diferentes

universidades iberoamericanas, y algunos de sus criterios se han incluido en la pgina
2

web o manuales del instructor en ediciones anteriores a esta obra (Metodologa de
la investigacin, 5 edicin).El segundo,tambin bsicamente para estudios cuantitativos,fue
una adecuacin sobre el trabajo de Fischer (2005). El tercero, ms bien
para indagaciones cuantitativas, constituye una adaptacin de diferentes autores en
la materia. El cuarto es propio para investigaciones cualitativas y es producto de
las aportaciones de diversos metodlogos.Finalmente,el quinto es una primera propuesta (m
uy tentativa) para evaluar investigaciones mixtas y se cimienta en Hernndez Sampieri
y Mendoza (2008), Onwuegbuzie y Johnson (2008) y Tashakkori y Teddlie
(2008b),ascomo Teddlie y Tashakkori(2009).
Los listados pueden servir a manera de sistema de verificacin (checklist).Incluso,cada
lector podr elegir de los distintos listados los criterios que considera apliquen a su estudio.

Investigacin cuantitativa

Tabla 10.1 Primerlistado de rubros y factores
para evaluar una investigacin cuantitativa
1


Aplica principalmente a estudios cuantitativos y cabe sealar que cada elemento
de cualquier rubro se califica del cero al diez, donde 0 implicara el valor ms bajo y 10
elms alto.

Rubro:planteamiento delproblema.R
ango:mximo 70,mnimo cero.


Elemento,indicadoro factor Escala
2


1. Comprensin de la redaccin de los objetivos de investigacin


2. Comprensin de la redaccin de las preguntas de
investigacin


3. Precisin de objetivos


4. Delimitacin delproblema de investigacin



1
Este listado fue producto de presentaciones que los autores han realizado en ms de 25 pases y porcuestiones
de espacio resultara sumamente difcil incluir a todos los docentes e investigadores que
han aportado factoreso elementos.Se utilizan calificando cada uno en unaescaladelcero al10.
2
Recordemos:delcero al10,donde cero implicaraelvalormsbajo y 10elmsalto.
3


5. Concordancia entre objetivos y preguntas de investigacin



6. Justificacin de la investigacin por al menos dos razones
(desarrollo de conocimiento, aportaciones a teoras, solucin de
situaciones prcticas o problemticas sociales, resolucin
de controversias, aportaciones metodolgicas,etctera)







7. Inclusin de datos estadsticos vlidos yactuales,ascomo de
testimonios de expertos confiables que contribuyan a
enmarcar elproblema y justificarlo





Rubro:revisin de la literatura o marco terico.Ran
go:mximo 80,mnimo cero.

Elemento,indicadoro factor

Escala

1. Revisin de autores destacados en el campo o campos
de conocimiento en los cuales se inserta el problema
de investigacin



2. Inclusin de una o ms revisiones del estado del arte y/o
metaanlisis en dicho campo o campos




3. Utilizacin de bancos de datos o bibliogrficos ms
importantes en las reas de conocimiento abarcadas por el
problema de investigacin (porlo menos uno y de serposible
los tres ms importantes)








4. Insercin de referencias recientes (dos o menos aos)





5. Presentacin de estudios que apoyan las hiptesis de
investigacin y de los que las refutan (sies elcaso)






6. Vinculacin lograda entre elplanteamiento y la revisin de la
literatura o marco terico






7. Ubicacin en la literatura de las deficiencias o huecos de
conocimiento respecto alplanteamiento delproblema






8. Revisin del planteamiento delproblema a raz de la revisin
de la literatura





Rubro:alcance(s) de la investigacin.Ra
ngo: mximo 20, mnimo cero.


Elemento,indicadoro factor

Escala
1. Identificacin del alcance inicial del estudio (exploratorio,
descriptivo, correlacional y/o explicativo)

2. Congruencia entre el alcance inicial y el planteamiento del
problema revisado a la luzde la revisin de la literatura


4

Rubro: hiptesis.

Rango: mximo 90, mnimo cero.


Elemento,indicadoro factor

Escala
1. Grado en que la(s) hiptesis sea(n) comprensible(s) para
otros colegas o lectores

2. Grado en que la relacin planteada entre las variables sea
lgica

3. Grado en que la relacin planteada entre las variables sea
consistente (o congruente)

4. Precisin de las definiciones conceptuales
5. Grado en que las definiciones conceptuales son
comprensibles para otros colegas o lectores

6. Precisin de las definiciones operacionales
7. Grado en que las definiciones operacionales son
comprensibles para otros colegas o lectores

8. Congruencia de las hiptesis con los objetivos y preguntas de
investigacin.

9. Identificacin de variables susceptibles de medir, evaluar,
diagnosticary/o analizar


Rubro:diseo de investigacin.Ran
go:mximo 70,mnimo cero.


Elemento,indicadoro factor

Escala
1. Adecuacin del diseo de investigacin al planteamiento del
problema

2. Adecuacin del diseo de investigacin a la realidad y
contexto

3. Congruencia del diseo con la(s) hiptesis
4. Congruencia del diseo con elalcance inicial
5. Factibilidad de aplicacin deldiseo
6. Resolucin de obstculos que plantee el diseo
7. Control de las fuentes que puedan invalidar la aplicacin del
diseo


Rubro: muestra.

Rango: mximo 70, mnimo cero.


Elemento,indicadoro factor

Escala
1. Precisin con que se delimite el universo de estudio
2. Claridad y precisin con las cuales se defina la unidad de
muestreo

3. Claridad yprecisin con que se defina la muestra
4. Grado en que la muestra es adecuada al enfoque delestudio
5. Grado en quese conoce la probabilidad de los elementos del
5

universo para formarparte de la muestra
6. Grado en que la muestra es representativa del universo
(tamao y nivel de confianzaerror)

7. Grado de semejanza entre las estadsticas descriptivas (y
distribuciones) de las variables demogrficas de la muestra y las
del universo (gnero, edad, ocupacin, estado civil,
nivelsocioeconmico,etctera)
Aplica slo si se dispone de tales estadsticas del universo o
poblacin.


Rubro:recoleccin de los datos.Rang
o: mximo 150,mnimo cero.


Elemento,indicadoro factor

Escala
1. Eleccin apropiada del lugar de recoleccin de los datos u
obtencin de informacin

2. Eleccin apropiada delmomento de recoleccin de los datos
u obtencin de informacin

3. Capacidad del investigador para adaptarse al momento de
recoleccin de los datos u obtencin de informacin

4. Capacidad del investigador para adaptarse al lugar de
recoleccin de los datos u obtencin de informacin

5. Explicacin del contexto en que ocurri la recoleccin
6. Capacitacin adecuada del personal que obtuvo los datos o
la informacin


7. Grado de supervisin por parte del investigador en la
recoleccin de los datos o informacin

8. Poder de medicin o evaluacin (en gran medida
determinado porla utilizacin de distintas formas o mtodos
de evaluacin o medicin)

9. Confiabilidad delinstrumento o instrumentos Un punto por cada 10
dcimas del coeficiente de
confiabilidad o correlacin
10. Evidencia sobre la validez de contenido delinstrumento o
instrumentos (muestreo de dimensiones)

11. Evidencia sobre la validez de rostro o de cara del
instrumento (facevalidity) (revisin de expertos)

12. Evidencia sobre la validez de criterio (ya sea concurrente o
predictiva)

13. Evidencia sobre la validez de constructo
14. Evidencia sobre la validezconvergentediscriminante (que se
vincula con la validez de constructo)

15. Elaboracin de una bitcora delproceso de recoleccin de la
informacin (opcional y muy vinculado al quinto elemento
o criterio: explicacin del contexto en que ocurri
la recoleccin)


6

Rubro:preparacin de los datos o informacin para su anlisis.

Rango: mximo 50, mnimo cero.


Elemento,indicadoro factor

Escala
1. Revisin con respecto a siestn completas y de acuerdo con
lo programado: las respuestas, mediciones, ejemplares del
instrumento de medicin o equivalentes de la investigacin

2. Nmero de errores en la codificacin (hoy en da debe ser
nulo o no superar 1%, ya que al analizar los datos podemos
identificarlos)

3. Existencia de un respaldo para los datos codificados en la
matriz

4. Preparacin adecuada de la informacin para su anlisis o
evaluacin

5. Posibilidad de que la informacin o los datos sean analizados
o evaluados porotros investigadores


Rubro:anlisis de los datos.Rango:
mximo 90,mnimo cero.


Elemento,indicadoro factor

Escala
1. Congruencia de los anlisis elegidos con los objetivos y
preguntas de la investigacin

2. Congruencia de los anlisis elegidos con las hiptesis de la
investigacin

3. Congruencia de los anlisis con eldiseo de investigacin
4. Aplicacin completa de los anlisis requeridos para los datos
5. Utilizacin de un paquete o programa computacional
confiable para los anlisis o evaluaciones

6. Descripcin de las razones por las cuales se llevaron a cabo
los anlisis o las evaluaciones practicadas

7. Interpretacin adecuada de las estadsticas descriptivas
8. Interpretacin adecuada de los anlisis para la prueba de
hiptesis (resultados de las pruebas, valores y significancia
estadstica)

9. Integracin adecuada entre distintos anlisis (coherencia y
vinculacin entre resultados)




Rubro:veracidad en la interpretacin de resultados.Ran
go:mximo 60,mnimo cero.


Elemento,indicadoro factor

Escala
1. Presentacin de los resultados obtenidos tal como se dieron
(evitar ocultar informacin y no distorsionar los datos ni
presentarparcialmente los resultados)

7

2. Grado en que se distinguen con claridad cules fueron las
interpretaciones e inferencias delinvestigador

3. Grado en que los resultados estn apoyados porla evidencia
de los datos y anlisis

4. Medida en que se pueden generalizar a la poblacin los
resultados obtenidos en la muestra

5. Grado en que la informacin ylos datos son suficientes para
considerar que las inferencias resultan slidas.

6. Grado en que se respetaron las premisas o requisitos de cada
prueba o mtodo estadstico.


Rubro: discusin.

Rango: mximo 90, mnimo cero.

Elemento,indicadoro factor

Escala
1. Inclusin de un resumen de los resultados generales como un
todo (holsticamente)

2. Pertinencia de las inferencias finales
3. Inclusin de conclusiones
4. Inclusin de sugerencias y recomendaciones
5. Inclusin de aportaciones, alcances y fortalezas delestudio
6. Ubicacin final de la investigacin dentro del mbito del
estudio del planteamiento delproblema

7. Inclusin de las limitaciones de la indagacin
8. Inclusin de nuevos rumbos ydirectrices que deben tomarse
o seguirse respecto a la investigacin sobre el problema e
hiptesis planteadas

9. Sugerencia de nuevas lneas de investigacin

Rubro:redaccin deldocumento final o reporte de resultados.Ran
go:mximo 110, mnimo cero.

Elemento,indicadoro factor

Escala
1. Grado en que los resultados ydescubrimientos respondieron
alplanteamiento delproblema

2. Grado en que las conclusiones estn soportadas en los datos
3. Grado en que la discusin al final del trabajo es congruente
con los resultados y descubrimientos

4. Ortografa
5. Sintaxis
6. Claridad en la redaccin
7. Coherencia interna del documento
8. Inclusin de ndices o tablas de contenidos
9. Inclusin de resumen
10. Elaboracin adecuada de citas y referencias en el texto
(siguiendo un estilo aceptado de publicacin, por ejemplo:

8

APA,Chicago)
11. Elaboracin adecuada de citas y referencias en la bibliografa
o listado de referencias (siguiendo un estilo aceptado de
publicacin,porejemplo: APA,Chicago)


Rubro:diseo grfico delreporte (elementos deseables).Ran
go:mximo 60,mnimo cero.


Elemento,indicadoro factor

Escala
1. Seleccin e inclusin apropiada de tablas, esquemas,
grficos, dibujos e imgenes

2. Inclusin de tablas, cuadros y figuras de acuerdo con un
estilo aceptado de publicacin (porejemplo: APA,Chicago)

3. Calidad de esquemas, grficos, dibujos e imgenes
4. Diseo de la portada de acuerdo con lineamientos
institucionales

5. Diferenciacin clara entre apartados
6. Calidad de impresin de acuerdo con los lineamientos
solicitados por la institucin en que se presenta el
reporte (papel, encuadernacin,entre otros)


Un rubro adicional que tal vez no se aplique a todos los estudios, pero que han

solicitado instituciones educativas en Puerto Rico, Panam y Bolivia, es el siguiente.

Rubro:inclusin o desarrollo de modelos y patrones.Ran
go:mximo 30,mnimo cero.


Elemento, indicador o factor

Escala
1. Utilizacin de un modelo, patrn, teora o enfoque a lo

largo de la investigacin

2. Generacin de uno o varios modelos,patrones, enfoques o

teoras como producto de la investigacin

3. Comparacin del modelo, patrn o teora con otros(as)

desarrollados(as) por distintos investigadores









9

Investigacin cuantitativa

Tabla 10.2 Segundo listado de rubros y factores
para evaluar una investigacin cuantitativa
3


Cada elemento de cualquier rubro de este listado se califica al estilo Likert del cero
alcuatro (Fischer,2005),pero lo hemos adaptado deluno al cinco (el valor ms bajo es eluno y el
ms alto el cinco), aunque podra tambin considerarse del cero al cinco o del cero al 10.
Insistimos en que algunos elementos o criterios pueden ser similares o
los mismos delprimer listado.

Criterios relativos alplanteamiento del problema y revisin de la literatura.


Nmero

Criterio Escala
*

1. Adecuacin de la revisin de la literatura 1 2 3 4 5
2. Claridad de la idea 1 2 3 4 5
Claridad delplanteamiento delproblema

(objetivos)
1 2 3 4 5
3. Claridad delplanteamiento delproblema

(preguntas)
1 2 3 4 5
4. Claridad delplanteamiento delproblema

(justificacin)
1 2 3 4 5
5. Claridad en la formulacin de hiptesis 1 2 3 4 5
6. Claridad en la especificacin de las variables 1 2 3 4 5
7. Claridad en las definiciones conceptuales de las

variables
1 2 3 4 5
8. Claridad en las definiciones operacionales de las

variables
1 2 3 4 5
9. Sensatez en la suposicin de relaciones entre las

variables
1 2 3 4 5
10. Inclusin de todas las variables pertinentes de 1 2 3 4 5


3
Adaptado de Fischer (2005, p. 387398). Se agregaron diversos elementos a la lista
original,particularmente despusde una visita alaUniversidadCatlicade CostaRicay a laFacultad de Pedagogad
e laUniversidadVeracruzana.

*
Recordar:elvalormsbajo eseluno y elmsalto elcinco.
10

acuerdo con el planteamiento delproblema
11. Transparencia en los patrocinios de la

investigacin
1 2 3 4 5
12. Sensatez de las suposiciones y premisas del

investigador
1 2 3 4 5
13. Claridad en la orientacin delinvestigador 1 2 3 4 5

En experimentos y estudios causales, cabra agregar los dos siguientes criterios:
14. Claridad en la especificacin de la(s) variable(s)

independiente(s) y dependiente(s)
1 2 3 4 5
15. Claridad en la formulacin de hiptesis rivales 1 2 3 4 5

Criterios relativos almtodo.


Nmero

Criterio

Escala
1. Conveniencia de las mediciones en relacin con el

planteamiento del problema
1 2 3 4 5
2. Conveniencia de las mediciones en relacin con los objetos,

personas, casos o equivalentes de la investigacin
1 2 3 4 5
3. Grado de confiabilidad de las mediciones 1 2 3 4 5
4. Cantidad de evidencia sobre la validez de contenido de las

mediciones realizadas
1 2 3 4 5
5. Grado de validez encarada (facevalidity) 1 2 3 4 5
6. Cantidad de evidencia sobre la validez de criterio de las

mediciones realizadas
1 2 3 4 5
7. Cantidad de evidencia sobre la validez de constructo de las

mediciones realizadas
1 2 3 4 5
8. Grado de utilizacin de diferentes instrumentos para

recolectardatos
1 2 3 4 5
9. Claridad acerca de cmo se recolectaron los datos 1 2 3 4 5
10. Claridad respecto de quin o quines recolectaron los datos 1 2 3 4 5
11. Gradoenqueseevitaronerroresenlarecoleccindelosdatos 1 2 3 4 5
12. Claridad en elplanteamiento del diseo de investigacin 1 2 3 4 5
13. Adecuacin deldiseo alplanteamiento 1 2 3 4 5
11

14. Precisin en la definicin del universo 1 2 3 4 5
15. Adecuacin del tamao de muestra alplanteamiento 1 2 3 4 5
16. Grado de conocimiento de la probabilidad que tienen los

casos deluniverso o poblacin de ser seleccionados para

conformarla muestra (procedimiento de muestreo)
1 2 3 4 5
17. Representatividad de la muestra 1 2 3 4 5
18. Grado en que las estadsticas demogrficas de la muestra se

parecen a las deluniverso o poblacin
1 2 3 4 5
19. Grado de confiabilidad en la codificacin 1 2 3 4 5
20. Grado de confiabilidad en la revisin de la matriz de los datos 1 2 3 4 5
21. En cuestionariosescalaspruebas estandarizadas y

equivalentes: claridad de instrucciones
1 2 3 4 5
22. En cuestionariosescalaspruebas estandarizadas y

equivalentes: claridad delformato
1 2 3 4 5
23. En anlisis del contenido: claridad del sistema de codificacin 1 2 3 4 5
En experimentos,cabra agregar:
24. Claridad en la especificacin de los cambios deseados 1 2 3 4 5
25. Grado de control de las fuentes de invalidacin interna 1 2 3 4 5
26. Grado de control de las fuentes de invalidacin externa 1 2 3 4 5
27. Conveniencia delmtodo de asignacin de los participantes a

los grupos
1 2 3 4 5
28. Inclusin de grupo(s) de control 1 2 3 4 5
29. Conveniencia del(los) tratamiento(s) experimental(es):

operacionalizacin
1 2 3 4 5
30. Inclusin de chequeos de manipulacin 1 2 3 4 5
31. Grado de control de los efectos de interaccin 1 2 3 4 5
32. Seguimiento o monitoreo de los grupos 1 2 3 4 5

Criterios relativos a los anlisis y resultados.


Nmero

Criterio

Escala
1. Conveniencia de los anlisis seleccionados y realizados de

acuerdo con el planteamiento e hiptesis
1 2 3 4 5
12

2. Conveniencia de los anlisis seleccionados y realizados de

acuerdo con el nivelde medicin de las variables
1 2 3 4 5
3. Claridad en la presentacin de estadsticas descriptivas 1 2 3 4 5
4. Claridad en la presentacin de estadsticas para prueba de

hiptesis
1 2 3 4 5
5. Claridad en la presentacin de tablas 1 2 3 4 5
6. Claridad en la presentacin de cuadros 1 2 3 4 5
7. Claridad en la presentacin de diagramas 1 2 3 4 5
8. Claridad en elorden de presentacin de resultados 1 2 3 4 5
9. Conveniencia delas tablas presentadas 1 2 3 4 5
10. Conveniencia de los cuadros presentados 1 2 3 4 5
11. Conveniencia de los diagramas presentados 1 2 3 4 5
12. Uniformidad en las tablas, cuadros y diagramas 1 2 3 4 5

Criterios relativos a la discusin.


Nmero

Criterio

Escala
1. Grado de claridad que los datos ofrecen acerca de la(s)

prueba(s) de hiptesis (ya sea que las apoyen o refuten)
1 2 3 4 5
2. Grado de coherencia de las conclusiones con respecto a
los datos
1 2 3 4 5
3. Grado de exclusin de deseos y tendencias personales del
investigador o investigadores
1 2 3 4 5
4. Claridad en el significado de los resultados 1 2 3 4 5
5. Adecuacin de la discusin a los resultados y
descubrimientos de estudios previos (marco terico)
1 2 3 4 5
6. Grado en que el estudio cumpli con sus objetivos 1 2 3 4 5
7. Grado en que el estudio respondi a las preguntas de
investigacin
1 2 3 4 5
8. Conveniencia de las opiniones sobre las implicaciones del
estudio
1 2 3 4 5
9. Conveniencia para generalizar los resultados 1 2 3 4 5
10. Grado en el cual se someten a discusin hiptesis rivales o
alternativas
1 2 3 4 5
13

11. Adecuacin en el manejo de situaciones no esperadas 1 2 3 4 5
12. Adecuacin en el manejo de resultados no esperados 1 2 3 4 5
13. Grado de relevancia prctica 1 2 3 4 5
14. Grado de relevancia terica 1 2 3 4 5
15. Claridad de las recomendaciones 1 2 3 4 5
16. Grado en que las recomendaciones direccionan futuros
estudios dentro del rea o campo de conocimiento donde
se inserta la investigacin
1 2 3 4 5

Criterios relativos aldocumento y difusin.

Nmero

Criterio

Escala
1. Nmero de espacios donde se difundi elestudio 1 2 3 4 5
2. Grado de elaboracin del reporte de acuerdo con las

normas aceptadas porla comunidad cientficaacadmica

del rea donde se insert la investigacin
1 2 3 4 5
3. Calidad en la redaccin delreporte 1 2 3 4 5
4. Calidad en eldiseo grfico delreporte 1 2 3 4 5

Los mximos y mnimos para cada rubro dependern de la escala utilizada.





Investigacin cuantitativa

Tabla 10.3 Tercerlistado de rubros

y factores para evaluar una investigacin cuantitativa

Este listado est basado en Kerlinger y Lee (2002), Corbetta (2003), Mertens
(2005),Bostwick y Kyte (2005), Wiersma y Jurs (2008), Creswell (2009), Babbie
(2009),Neuman (2009) y otros autores. En esta edicin el formato es a modo de pregunta y
la respuesta puede ser positiva o negativa.En la mayora de los casos la respuesta positiva (s) es
ms conveniente, pero en algunos cuestionamientos es alcontrario (noresulta ms
adecuado). Cada respuesta adecuada podra calificarse con uno (1) y
cada contestacin inadecuada tendra un valor de cero (0).
14


Rubro: ttulo.

1) Elttulo refleja elplanteamiento final?

2) Refleja eltrabajo completo o investigacin realizada?


Rubro: planteamiento delproblema.

1) Posee claridad?

2) Est redactado el planteamiento de tal manera que el lector puede

comprender elestudio?

3) Es completo elplanteamiento?

4) Es exacto elplanteamiento?

5) Posee valor terico?

6) Posee valor prctico?

7) Posee valor metodolgico?

8) Elplanteamiento incluye a las hiptesis y variables centrales?

Nota:observe que las preguntas estn planteadas para una respuesta dicotmica,

pero podran elaborarse para una respuesta ordinal.Por ejemplo:

Qu tanta claridad posee elplanteamiento?
5 Bastante claridad

4 Claridad 2 Poca claridad 1 Muy poca claridad

(O agregar un punto intermedio: mediana claridad.)

Rubro:revisin de la literatura.

1) Se utiliz la literatura para documentar la importancia delplanteamiento?

2) La estructura de la revisin de la literatura es clara?
15


3) Se identific una teora o se integraron varias teoras?

4) Se identificaron hiptesis potenciales pormedio de la revisin de la literatura?

5) Mediante la revisin de la literatura se ubic el planteamiento dentro del campo de

conocimiento en que est inserto?

6) Por medio de la revisin de la literatura se identificaron variables claves para el

planteamiento?

7) Las conclusiones de la revisin de la literatura son claras?

8) Se eligieron fuentes relevantes que demuestren conocimiento delplanteamiento por

parte del investigador?

9) Se vincularon la referencias con el planteamiento del problema? (relacin de la

literatura con el estudio,tanto conceptualcomo metodolgicamente)

10) Las referencias son de actualidad?(recientes)

11) Las referencias estn basadas en estudios que obtuvieron datos empricos?

12) Las referencias se citan apropiadamente?


Rubro: hiptesis y variables.


1) Se identificaron las variables de manera apropiada? (dependiente, independiente, de

control, interviniente,etctera)

2) Las definiciones conceptuales son exactas y precisas?

3) Las definiciones conceptuales son claras?

4) Las definiciones operacionales son precisas y exactas?

5) Las definiciones operacionales son claras?

6) En experimentos: se controlaron las variables independientes? (las de inters y las
que se pretende controlar su influencia?)
4


7) Constituye(n) la(s) hiptesis una respuesta(s) tentativa(s) a la(s) pregunta(s) de

4
Este criterio podraserincluido en elrubro de diseo en experimentos.
16

investigacin? (relacin de la o las hiptesis con el planteamiento)

8) La hiptesis sirve como gua para establecer el diseo de investigacin?

9) Existe claridad en la relacin o relaciones entre las variables establecidas por la(s)

hiptesis?


Rubro: diseo.

1) Se identific eldiseo?(se seal yespecific?)

2) Eldiseo es apropiado de acuerdo con el planteamiento e hiptesis?

Rubro: diseo enexperimentos.


1) Elestmulo fue implementado en un lugarapropiado?

2) Elestmulo o tratamiento fue administrado adecuadamente?

3) El experimentador indic los cambios que ocurrieron en la(s)
variable(s) dependiente(s) como resultado de la manipulacin o introduccin de
la(s) independiente(s)? (adems: explic cmo ocurrieron tales cambios?)

4) Los grupos eran inicialmente equiparables? (procedimiento de asignacin de los

participantes a los grupos)

5) Durante el desarrollo del experimento se mantuvo la equivalencia inicial de los

grupos?

6) Sino pudieron asignarse alazar,se emparejaron?,en cules variables se bas el

emparejamiento? En el caso de grupos intactos, los grupos pueden equipararse?

7) Sihubo preprueba, se presentaron los resultados?

8) Eltiempo transcurrido entre la preprueba yla posprueba fue eladecuado?(para

que se manifestaran los cambios en la dependiente o dependientes)

9) Se incluyeron controles para evitar sesgos de las personas que manejaron los

grupos en elexperimento?

Hemos agregado algunos criterios que aplican exclusivamente a experimentos y

en particular al control de las fuentes internas y externas, estn basados en los
17

conceptos de Campbell y Stanley (1966), Campbell (1975) y Mertens (2005, p. 302). A diferenc
ia de los rubros y criterios anteriores (en los cuales las respuestas
adecuadas deben ser positivas: s),en los siguientes que se refieren a la validez interna,entre m
s respuestas negativas (no), la evaluacin es ms favorable. En los que tienen que ver
con la validez externa,la evaluacin favorable vara en cada caso.

Validez interna.


1. Historia: ocurrieron eventos que pudieron afectar los resultados? (adems de la variable

independiente o el tratamiento o tratamientos)

2. Maduracin: se presentaron cambios biolgicos o psicolgicos en los sujetos participantes
que pudieran afectar los resultados? (diferentes a aquellos asociados con la variable independiente o
altratamiento o tratamientos)

3. Administracin de pruebas: la preprueba pudo influir en forma significativa las respuestas a la

posprueba y confundido los resultados reales?

4. Instrumentacin: hay diferencias entre la(s) preprueba(s) y la(s) posprueba(s)? (obviamente no en

las respuestas, sino en los instrumentos)

5. Regresin: se utilizaron grupos extremos?

6. Seleccin: los grupos difieren aparte de la(s) variable(s) independiente(s) o tratamiento(s)?

7. Mortalidad experimental: varios participantes abandonaron elexperimento?

8. Seleccinmaduracin: estuvo la seleccin y asignacin de participantes a los grupos basado en

caractersticas biolgicas o psicolgicas de la muestra?

9. Difusin de tratamientos experimentales: participantes de distintos grupos pudieron haber

comentado sobre las condiciones experimentales?

10. Rivalidaddesmoralizacincompensacin: alguno de los grupos realiz esfuerzos adicionales para
lograr mejores resultados?, alguno de los grupos mostr desmoralizacin durante
elexperimento?, se le proporcionaron recursos o beneficios adicionales a algn grupo que
pudieran ser conocidos pormiembros de otros grupos?


18

Validez externa.


1.Eltratamiento experimentalfue descrito de manera detallada yespecfica?Respuesta adecuada o

correcta: s.

2. Se utilizaron diferentes tratamientos mltiples?, interfirieron entre s?, la secuencia
de tratamientos provoc efectos que son identificados y se puede saber cmo afect a
cada tratamiento? Las respuestas adecuadas a las dos primeras preguntas pueden ser s o
no,dependiendo de la naturaleza delexperimento. A veces una opcin ser la adecuada y otras no. Pero la res
puesta correcta a la tercera pregunta es s.

3. Oper el efecto Hawthorne? Respuesta adecuada o correcta: no.

4. Los resultados pudieron haber sido influidos por ser novedoso(s) el(los) tratamiento(s)

experimental(es) o porinterrumpirla actividad normal de los participantes? Respuesta correcta: no.

5. El experimentador influy de manera significativa en los participantes y sus respuestas?, su

papelfue ms all de lo planeado? Respuestas correctas: no.

6. Se present una sensibilizacin notoria o significativa en los participantes por efectos de

prepruebas y pospruebas en sus respuestas? Respuesta adecuada: no.

7.Sepresentalgunainteraccinentrelosefectosdeltratamientoyotrosfactoresquepudieranimpactar

losresultadosdelestudioysuaplicacinasituacionesnoexperimentales?Respuestacorrecta:no.

8. Los resultados del experimento se alteran dependiendo del tipo de instrumento de medicin

utilizado? Respuesta correcta: no.

9.Influye elperiodo de tiempo comprendido entre eltratamiento yla posprueba en los resultados?La
respuesta adecuada depende de si se plante la hiptesis de un efecto a corto, mediano o
largo plazo; as como si el periodo de tiempo es una variable independiente de inters.

10. Se administr el(los) tratamiento(s) de acuerdo con lo planeado? Respuesta correcta: s.

A partir de este rubro, la mayora de las respuestas a las preguntas debe ser

afirmativa (s).






19

Rubro:muestra


1) Existe congruencia entre elenfoque y la muestra?

2) Existe congruencia entre elplanteamiento y la muestra?

3) Existe congruencia entre eldiseo y la muestra?

4) El mtodo de muestreo es riguroso?, el procedimiento de seleccin de los casos o

unidades fue adecuado?, se justific? (rigordel mtodo de muestreo)
5) El tamao de muestra es el adecuado?
5
(el cual depende del nivel de confianza al

calcularel tamao de muestra, 95% como mnimo)

6) La muestra representa a la poblacin? (representatividad de la muestra: grado de error,
comparacin de variables demogrficas de la muestra con las de la poblacin; la muestra debe
tener una distribucin similar a la poblacin en variables como gnero,
edad,ocupacin,nivel socioeconmico,entre otras)


7) Se detectaron los casos de inters de acuerdo con el planteamiento?



8) La muestra tiene fortalezas?, cules? (nmero de fortalezas de la muestra)



9) La muestra tiene debilidades?, cules? (nmero de debilidades de la muestra) (la
respuesta debesernegativa, un s sera desfavorable)




10) Se evitaron errores de seleccin?


11) Hubo casos o personas que fueron seleccionados(as) en la muestra y no participaron en el
estudio? (pregunta cuyo s es desfavorable). Cuando la respuesta
resulta desfavorable debe justificarse: porqu no participaron en la investigacin?

12) Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo s
es desfavorable). Cuando la respuesta resulta desfavorable debe justificarse: por
qu abandonaron la investigacin?






5
Recordemos que entre mayor es el tamao de muestra los resultados tienen mayor probabilidad de ser
estadsticamente significativos.
20

Rubro: procedimientos (incluyendo recoleccinde los datos).


1) Se solicitaron los permisos o autorizaciones necesarias para recolectar los datos?(si se

requeran)

2) Se especific quin o quines recolectaron los datos, cmo los recabaron, dnde y

cundo fueron obtenidos?

3) Se incluyeron controles para evitarsesgos de los encuestadores? (en encuestas)

4) Se evitaron sesgos provocados porelinvestigador?

Rubro: instrumento(s).


1) Elinstrumento o instrumentos son apropiados para los propsitos delestudio?

2) Elinstrumento o instrumentos son apropiados para eltipo de datos e informacin que se
requiere para el estudio? (son la mejor manera de obtener la
informacin necesaria?)

3)
Elinstrumento o instrumentos son apropiados de acuerdo con las caractersticas de los particip
antes? (por ejemplo, se debi tomar en cuenta si eran analfabetos o
alfabetos,mujeres u hombres, o de ambos gneros,nivelsocioeconmico,etctera)
4) Se efectu una prueba piloto?(fue satisfactoria?)

5) Se determin evidencia sobre la confiabilidad?, fue satisfactoria?

6) Sedeterminevidenciasobrelavalidezdecontenido?,fuesatisfactoria?

7) Eldominio de contenido de las variables medidas se especific?

8) Eldominio de contenido de las variables medidas resulta claro?

9) La eleccin de los tems es lgica?

10) Se determin evidencia sobre la validez de criterio concurrente?, fue
satisfactoria? (se compararon los datos obtenidos o resultados contra un criterio externo actua
l?)
11) Se determin evidencia sobre la validez de criterio predictivo?,fue satisfactoria? (se

compararon los datos obtenidos o resultados contra un criterio externo futuro?)

12) Se hizo anlisis convergentediscriminante?,fue satisfactorio?
21


13) Se determin evidencia sobre la validez de constructo?,fue satisfactoria?(se efectu

anlisis de factores?)

14) Elinstrumento demostr consistencia interna?

15) Las personas que recolectaron los datos se encontraban calificadas para tal tarea?

16) Elgrado de estandarizacin delinstrumento o instrumentos para recabarlos datos fue

elevado?

17)
Elinvestigadorutiliz diversos instrumentos para medirlas variables? (triangulacin de mtod
os de recoleccin o, como los autores siempre hemos
denominado,multimtodos)

Rubro:anlisis.


1) Los anlisis son pertinentes o apropiados para el planteamiento e hiptesis

desarrolladas?

2) Los anlisis son pertinentes o apropiados para el nivel de medicin de las variables

involucradas?

3) Los anlisis son pertinentes o apropiados aldiseo?

4) La unidad de anlisis es adecuada?

5) Los anlisis son suficientes? (cantidad y calidad)

6) Se cubrieron diferentes ngulos del anlisis?

7) Se presentaron los anlisis completos de todas las hiptesis? (que no aplicara
a reportes breves como artculos de revistas, en cuyo caso podra cuestionarse:
se presentaron los anlisis ms relevantes vinculados con elplanteamiento e hiptesis?)

8) Se evitaron errores en eltratamiento de los datos?

Rubro: resultados.

1) Se encontr significancia estadstica en la(s) prueba(s) de hiptesis? (en qu niveles?). De no
resultar significativos los valores de las pruebas estadsticas, se
explicaron razones?, se justific el hecho?

2) Se interpretaron correctamente las pruebas de significancia?
22


3) Los resultados estn adecuadamente representados en tablas y figuras?

4) Los resultados responden alplanteamiento delproblema e hiptesis?

Rubro: discusin.


1) Los resultados y descubrimientos aportan a alguna teora o conceptualizacin?

2) Los resultados y descubrimientos ayudan a resolverun problema?
3) Los resultados y descubrimientos aportan metodolgicamente algo?
4) Las interpretaciones son razonablemente lgicas?
5) Las implicaciones estn definidas?
6) Las implicaciones resultan claras?
7) La discusin es convincente para los usuarios?
8) Se hicieron predicciones en el estudio?
9) Fueron exactas tales predicciones?
10) Pormedio de los resultados se eliminaron posibles explicaciones rivales?
11) Las conclusiones se encuentran vinculadas al planteamiento, revisin de la literatura

(marco terico) e hiptesis?
12) Se reconocieron las limitaciones delestudio?
13) Es posible replicarelestudio?

Rubro: reporte en general.

1) A lo largo de todo eldocumento, se citaron adecuadamente las referencias?
2) Eltexto es legible?
3) Eltexto es ameno?
4) La ortografa es aceptable?
5) Eltono es elapropiado?(no emotivo)
6) Hay progresin en las ideas?

Rubro: difusin.

1) Elestudio se difundi en varios foros? (congresos, publicaciones,etctera)

2) Se generaron varios subproductos?

3) Los resultados se utilizaron para promoverelbien comn?,los resultados se utilizaron
23

para generar conocimiento?, los resultados se utilizaron para resolver un
problema? (alguna respuesta debera serpositiva)

Rubro:financiamiento de la investigacin.

1) Es legal el financiamiento?

2) Los resultados se encuentran sujetos al financiamiento? (si se obtenan ciertos

resultados el financiamiento no operara?) (Una respuesta positiva es inconveniente

para la credibilidad del estudio)




Investigacin cualitativa

Para la investigacin cualitativa se consideraron a Miles y Huberman (1994), lvarez Gayou
(2003), Henwood (2004), Franklin y Ballau (2005), Mertens (2005),
Tashakkoriy Teddlie (2008b),Creswell (2009),Neuman (2009) y Daymon (2010).

Tabla 10.4 Cuarto listado de rubros y factores

para evaluar una investigacin cualitativa


El presente listado se respondera dicotmicamente: s o no, satisfactorio/insa
tisfactorio.Ms que una calificacin,se consideraran debilidades.

Rubro: ttulo.

1) Refleja el planteamiento final?

2) Refleja el trabajo completo realizado?


Rubros generales.

1) Elinvestigadormanifiesta honestidad?
2) Los participantes demuestran o manifiestan honestidad a lo largo delestudio?
3) Elinvestigadordemuestra autenticidad?
4) Los participantes demuestran o manifiestan autenticidad a lo largo del estudio?
5) Elestudio agrega informacin novedosa? (por ejemplo,llenarhuecos de conocimiento

u obtenerperspectivas internas frescas)
24

6) La investigacin tiene fundamentacin? (grado en que la investigacin posee bases

tericas y filosficas slidas y provee de un marco referencial que informa al estudio)

7) La investigacin posee aproximacin? (contundencia en los juicios y lgica del estudio)

8) La investigacin demuestra capacidad de otorgar significado? (grado en que
se presentan nuevos descubrimientos y entendimientos del problema de investigacin
a travs de los datos y el mtodo utilizado)

Rubro: planteamiento delproblema.


1) Las preguntas de investigacin son claras?

2) Las preguntas de investigacin son congruentes con las caractersticas del diseo de

investigacin?

3) Se especific con claridad elparadigma bsico que gua a la investigacin?

4) Se especific con claridad el marco interpretativo que gua a la
investigacin? (feminismo,etnografa clsica, etctera)

5) Se demostr que el planteamiento es significativo o importante?

Rubro: papeldelinvestigador.

1) Se especific elpapeldelinvestigador en todo el estudio?

2) Elinvestigadorconoci su papelcomo observador? (estuvo consciente?)


Rubro:relacin investigador-participantes.
1) Elinvestigadorlogr empata con los participantes? (autoevaluacin)
2) Elinvestigadordemuestra que logr talempata?
3) Elinvestigadorse gan la confianza de los participantes? (autoevaluacin)
4) Elinvestigadordemuestra que se gan la confianza de los participantes?
5) Se agradeci a los participantes por su colaboracin en elestudio?




25

Rubro:revisin de la literatura.


1) Se utiliz la literatura para documentar la importancia delplanteamiento?

2) La literatura fue contrastada con los resultados delestudio?

3) Las referencias son de actualidad?(recientes)

4) Las referencias estn basadas en estudios que obtuvieron datos empricos?

5) Las referencias se citaron apropiadamente?

Rubro: inmersingeneralenelambiente (proceso completo).


1) Elinvestigadorobtuvo permiso para ingresaral ambiente y estudiarlo?

2) Se report cmo se tuvo acceso alambiente?

3) Se tuvo acceso completo alambiente?

4) Se describi detalladamente elambiente?

5) Elacceso al ambiente fue lo ms meticuloso y sigiloso posible?

6) Elacceso al ambiente fue lo menos obstrusivo posible?

Rubro:inmersin inicial.

1) La inmersin inicial logr que el investigador se enfocara en los conceptos

fundamentales del planteamiento?

2) La inmersin inicialcontribuy a mejorarelplanteamiento original?

Rubro: muestra.


1) Se detectaron los casos de inters de acuerdo con el planteamiento?

2) Eltipo de muestra es congruente (acorde) con elplanteamiento y elenfoque elegido?

3) La muestra tiene fortalezas?(cules?)

4) La muestra tiene debilidades?(cules?) (negativa,un s es desfavorable), cmo se

superaron?
26


5) Hubo casos o personas que haban sido seleccionados(as) en la muestra y
no participaron en el estudio? (pregunta cuyo s es desfavorable). Cuando la
respuesta resulta desfavorable debe justificarse: porqu no participaron en la investigacin?

6) Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo s
es negativo, implica desfavorable). Cuando la respuesta resulta desfavorable
debe justificarse: por qu abandonaron la investigacin?

7) El o los perfiles de la muestra estn descritos con suficientes detalles? (gnero, edad,

estado civil, ingresos, nivel educativo,entre otros)

8) Elperfilde los participantes es el que se haba concebido?Porqu?

9) Se encuentran representadas todas las voces? (Recordemos la premisa de
evitarsilenciar voces)

10) Se excluyeron mujeres u hombres de la investigacin? es justificable su
exclusin?Una respuesta injustificada resulta desfavorable

11) Se obtuvo la diversidad de casos requerida?

12) Se saturaron las categoras relativas al planteamiento delproblema?

Rubro: recoleccin en general.

1) Elinstrumento o instrumentos son apropiados para eltipo de datos e informacin que

se requiere para el estudio?
2) Elinstrumento o instrumentos estaban diseados de acuerdo con las caractersticas de los
participantes? (por ejemplo, tomar en cuenta si eran analfabetos o
alfabetos,mujeres u hombres, o de ambos gneros,nivelsocioeconmico,entre otros)
3) Los participantes pudieron expresarse libremente?
4) Hubo rigoren la recoleccin de los datos? (sistematizacin)
5) Se tuvieron diferentes fuentes de datos? (mltiples?,triangulacin?)
6) Los datos son profundos y completos?
7) Elperiodo fue lo suficientemente largo para recolectarlos datos necesarios de acuerdo

con el planteamiento?
27

8) Resultanabundantesysignificativaslasdescripcionesdelprocesoderecoleccindelosdatos?
9) Las fases de la recoleccin fueron las adecuadas de acuerdo con el planteamiento y
ambiente?

10) Se cuenta con evidencia directa de actores? (Evidencia de testigos directos?)


11) Se encontraron significados?, cules?


12) Coinciden entre s las diversas fuentes en cuanto a la cronologa de hechos?


13) Coinciden entre slas diversas fuentes en cuanto a las descripciones de los hechos?


14) Coinciden entre s las diversas fuentes en cuanto a las causas y consecuencias de los
hechos?(Particularmente en lo referente alplanteamiento delproblema)


Rubro: notas (anotaciones).

1) Se elaboraron notas completas?
2) Las notas fueron profundas? (Captaron las emociones, vivencias y creencias de los

participantes?)
3) Las notas incluyeron los conceptos esenciales delplanteamiento?
4) Se codificaron las notas?
5) Se alcanz la saturacin de categoras en las anotaciones?

Rubro: anlisis de los datos.

1) Se tuvieron mltiples niveles de anlisis?
2) Son abundantes y significativas las descripciones de los procesos de anlisis de los

datos?
3) Las fases del anlisis fueron las adecuadas de acuerdo con el planteamiento y el

ambiente?
4) Cada categora,tema y/o patrn est apoyada(o) en los datos?
5) Elfenmeno o planteamiento se analiz desde diversas perspectivas?

Rubro: dependencia(confiabilidad).

Recordatorio de la definicin: grado en que diferentes investigadores que recolecten datos
similares en el campo y efecten los mismos anlisis, generan
resultados equivalentes.




1) Se implantaron diversas estrategias para generardependencia?
2) Se describi explcitamente el papel y estatus del investigador dentro del ambiente o

contexto?
3) Los resultados y descubrimientos muestran un paralelismo significativo entre fuentes

de datos? (Los resultados son congruentes al compararlos entre diversas fuentes?)
4) Las categoras y los temas fueron inducidas(os) apropiadamente por los participantes?
5) Las categoras y los temas se encuentran claramente especificadas(os)?
6) Las estructuras de categoras son lgicas? (en caso negativo: est justificado que sean

ilgicas?)
7) Las decisiones sobre la codificacin y categorizacin estn justificadas? (se explican y

demuestran?)
8) Las reglas de codificacin se aplicaron coherentemente (entre unidades e

investigadores,si es elcaso)?
9) Los datos fueron recolectados pormedio de un rango completo de ambientes,tiempos

yparticipantes apropiados de acuerdo con el planteamiento?
10) Se involucraron varios investigadores en el campo? (triangulacin entre

investigadores); y si as fue: siguieron el mismo protocolo e instrucciones para

recolectarlos datos (incluyendo el instrumento o instrumentos)?
11) Se efectuaron chequeos de codificacin entre investigadores?, mostraron un alto de

nivelde acuerdo o concordancia en unidades, categoras y temas?
12) Los resultados fueron validados por distintos investigadores?, y ms riguroso: los

resultados fueron validados pordistintos investigadores de diferentes edades,gnero y

otras caractersticas que pudieran introducirsesgos?
13) Se hicieron verificaciones sobre la calidad de los datos?(cules?)
14) Los investigadores convergieron en lugares, tiempos e instancias donde se esperaba

que estuvieran?
15) En el campo,se hicieron revisiones de pares o colegas?
16) Los significados generados son crebles para los participantes?
17) Elentendimiento generado resulta creble para los participantes?
18) Los resultados se encuentran fundamentados en los datos?
19) Las inferencias son lgicas?
20) Las decisiones respecto a la recoleccin y el anlisis estn justificadas? (justificacin




28
29

metodolgica)

21) En elanlisis, se hicieron auditoras de pares?

Rubro:credibilidad (validez interna).

Recordatorio de la definicin: se refiere a si el investigador ha captado el
significado completo y profundo de las experiencias de los participantes,
particularmente deaquellas vinculadascon elplanteamiento delproblema.

1) Se utilizaron o desarrollaron estrategias para generar credibilidad?
2) Los datos de diferentes fuentes fueron recolectados en el mismo contexto o

ambiente?
3) En todos los casos de la muestra se obtuvo la informacin completa y detallada

requerida?
4) Se registraron todos los datos?
5) Se pidi a todos los participantes o a la mayora que proporcionaran

realimentacin sobre elestudio?
6) Elinvestigadorautoevalu elefecto de su presencia en el ambiente?
7) El investigador autoevalu si sus sesgos y tendencias influyeron o no los

resultados?
8) Elinvestigadorautoevalu sus bitcoras y notas?
9) Se capturaron o registraron los cambios en el ambiente?
10) Se reconocieron los sesgos o tendencias del investigador?, se explicaron tales

sesgos?, se justificaron?
11) Los resultados se encuentran fundamentados en los datos? (este criterio ya se

haba mencionado, afecta la dependencia y la credibilidad).
12) Coinciden los resultados con la documentacin existente y estudios previos? (en

caso negativo,es justificable?)
13) Existe correspondencia entre la manera como los participantes perciben los

conceptos sociales y la manera como el investigador capta, retrata y describe sus

puntos de vista?
14) Se increment la credibilidad mediante una estancia sustancialy prolongada en el

campo?
30

15) Se increment la credibilidad mediante una observacin persistente y sistemtica?
16) Se increment la credibilidad con la recoleccin de datos porpares?(porejemplo,

en una entrevista alestarpresentes dos investigadores)
17) Se increment la credibilidad alanalizarcasos negativos?
18) Se increment la credibilidad por medio de subjetividad progresiva?
19) Se increment con la evaluacin de resultados particulares con los participantes?

(chequeo con participantes)
20) Se increment triangulando datos?
21) Se aument la credibilidad triangulando mtodos?
22) Son abundantes (completas) y significativas las descripciones del ambiente?
23) Son abundantes (completas) y significativas las descripciones de los sucesos o

hechos?
24) Son abundantes (completas) y significativas las descripciones de los participantes?
25) Los resultados tienen sentido o se muestran convincentes para los participantes?
26) Sihubo triangulacin entre mtodos de recoleccin de datos o fuentes de datos: la

triangulacin o comparacin entre mtodos complementarios o fuentes de datos

generalmente produce conclusiones convergentes?
27) Los resultados mantienen coherencia interna?
28) Se identificaron las reas de incertidumbre?
29) Los datos presentados se encuentran vinculados a categoras de otros estudios

similares o teora emergente?
30) Se busc evidencia negativa o contraria a los resultados?
31) Se consideraron activamente explicaciones rivales?
32) Los resultados ydescubrimientos han recibido rplicas en diferentes elementos de

la base de datos?
33) Las conclusiones fueron consideradas precisas y verdaderas por los participantes

y/o informantes originales?

Rubro: transferencia o validez externa.

1) Los datos presentados se encuentran vinculados a categoras de otros estudios

similares o teora emergente? (Este criterio fue considerado tambin en la credibilidad)

2) Los resultados presentados son congruentes o estn conectados a otros estudios

previos y a la teora generada porstos?
31

3) Los resultados han recibido rplicas en otros estudios para robustecer su

transferencia?
4) Los procedimientos y resultados descritos en las conclusiones e inferencias son lo

suficientemente genricos para aplicarse en ambientes similares?
5) Las caractersticas de la muestra original de personas, contextos y/o procesos se han

descrito completamente para permitir comparaciones con otras muestras?
6) Se examinaron obstculos y amenazas posibles para poder comparar los resultados

con otras muestras?
7) La muestra es lo suficientemente diversa para encontraruna aplicabilidad mayor?
8) Se definieron las fronteras delalcance yaplicabilidad delestudio?
9) Los resultados incluyen descripciones completas ysuficientes para que el lectorpueda

valorar la posibilidad de transferirlos o adecuarlos a su propio contexto u otros

ambientes?
10) Se logr un balance entre las perspectivas interna y externa delinvestigador?
11) Las secuencias narrativas son transparentes y claras?
12) Lectores del reporte con perfiles similares a los participantes consideraran que los

resultados son congruentes con sus experiencias? (Verificacin ulterior)
13) Los lectores (principalmente otros investigadores) pueden reconstruirelanlisis?
14) El investigador seala de manera especfica la secuencia que se sigui en la

investigacin y los razonamientos que la condujeron?
15) Es posible replicarelestudio?

Rubro:historias orales.

1) Las historias orales de los participantes son crebles?

2) Las historias orales de los participantes son equilibradas?

3) Las historias orales de los participantes son completas?

Rubro: entrevistas.

1) Las condiciones de las entrevistas permitieron a los participantes explayarse
libremente?

2) Las condiciones de las entrevistas permitieron a los participantes concentrarse en sus
respuestas?
32


Rubro: diseo.


1) Se seal yespecific el diseo?

2) Eldiseo es eladecuado de acuerdo con elplanteamiento?

3) Eldiseo es eladecuado de acuerdo con la inmersin en elambiente?

4) Eldiseo es eladecuado de acuerdo con la evolucin del trabajo de campo?

Rubro: resultados.


1) Se expres la realidad construida porlos participantes?

2) Los resultados son realistas?

3) Los resultados son aceptables?

4) Los descubrimientos estn enraizados o ligados con los datos? (Este criterio ha
sido expresado en diferentes rubros, pero se encuentra vinculado a todo el
proceso cualitativo)

5) Los resultados son comprensibles o claros para ellector?

6) Los mtodos particulares utilizados son coherentes con una estrategia ms amplia?

7) Se tomaron en cuenta varias perspectivas para justificarlas interpretaciones?

Rubro: discusin.

1) Las premisas delestudio son coherentes con el enfoque?
2) Se demostr mediante la discusin que el planteamiento fue significativo o

importante?
3) Las conclusiones son prematuras o cuentan con elementos slidos para su desarrollo?

(La respuesta debe ser: s cuentan con elementos slidos)
4) Las conclusiones estn fundamentadas en los datos?
5) Las conclusiones estn fundamentadas en los resultados?
6) Mediante los resultados se eliminaron posibles explicaciones rivales?
7) Las interpretaciones se derivaron de manera analtica?
8) Se demostr que se reconstruy cada caso para seranalizado?
9) Se tuvieron mltiples perspectivas?
33

10) Las conclusiones se encuentran vinculadas al planteamiento y revisin de la
literatura (marco terico)?
11) Se reconocieron las limitaciones delestudio?



Rubro: Reporte.

1) Existe una relacin evidente entre las categoras y los datos? (unidades o fragmentos).

Emergieron las categoras de los datos?
2) Se logr vincularconceptualmente a las categoras en temas?
3) La teora producida funciona? (La teora emergente permite un entendimiento del

fenmeno estudiado?)
4) Se requieren ms datos o fueron suficientes para generar teora? (La respuesta
favorable es: s,fueron suficientes los datos)

5) Se desarroll un modelo para conceptualizarel planteamiento?


6) Serespondi satisfactoriamente alplanteamiento?


(Los siguientes criterios seran propios de cada diseo y se agregaran a los

anteriores).

Rubro: diseos etnogrficos.


1) Se identific al grupo o cultura?,se defini y especific?

2) Se detectaron patrones de la cultura,grupo o evento analizada(o)?

3) Se comprendieron los patrones culturales?

4) Elestudio contribuy a conocer ms al grupo o cultura analizado(a)?

5) Elinvestigadorrefleja en el reporte su papelen el estudio?

6) En la interpretacin se describen las categoras y temas?

7) Se ilustraron las categoras ms importantes con segmentos de los datos?


34

Rubro:diseos narrativos.


1) Se concentr el estudio en experiencias individuales?

2) Se respetaron las voces de las fuentes crebles?

3) Se triangularon datos?

4) Se explor elpasado,presente y futuro?

5) Se describi elcontexto ampliamente?

6) Se ilustraron las categoras ms importantes con segmentos de los datos?

Rubro:Diseos de investigacin-accin.


1) Se detect almenos una problemtica?

2) Se abord la problemtica en elentorno de los participantes?

3) Se realiz un diagnstico completo de la problemtica?

4) Se involucr en todo elestudio a los participantes? (grupo, organizacin o comunidad).

5) La interaccin entre el investigadory los participantes fue constante?

6) La interaccin entre el investigadory los participantes fue fructfera?

7) El investigadory los participantes interactuaron constantemente con los datos?

8) Participaron activamente las personas del grupo, organizacin o comunidad involucradas

en el estudio?

9) Se formul un plan o programa para resolver el problema o introducirelcambio?

10) Se implement el plan o programa?

11) Se evaluaron los resultados?

12) Se obtuvo realimentacin sobre los resultados preliminares?

13) Se obtuvo realimentacin sobre los resultados finales?

14) Se transform positivamente la realidad de los participantes?

15) Se resolvi almenos un problema o se mejor almenos una prctica?

35

Rubro: diseos de teora fundamentada (diseo sistemtico).


1) Se produjo una teora fundamentada?

2) De los datos obtenidos surgieron hiptesis o proposiciones tericas?

3) Elmodelo producido incluye condiciones causales?

4) Elmodelo generado abarca acciones e interacciones?

5) Elmodelo emergente contiene consecuencias?

6) Elmodelo producido incluye estrategias?

7) Elmodelo generado contiene condiciones contextuales?

8) Elmodelo emergente abarca condiciones intervinientes?

9) La categora centrales la ms importante? (Todas o la mayora de las dems categoras se

vinculan a ella?)

10) Las categoras del modelo o teora son las que aparecen con mayor frecuencia en los datos?

11) La teora capta la esencia delplanteamiento?


Investigacin mixta
6


Tal como hemos comentado,los parmetros o indicadores para evaluar estudios mixtos se
encuentran en desarrollo. Por lo pronto, Hernndez Sampieri y Mendoza
(2008) sugieren lo siguiente para analizar la calidad de una investigacin mixta:

1. Para la rama o aproximacin cuantitativa, aplicar indicadores cuantitativos de los
tres primeros listados, o al menos, elegir un listado (calificando cada elemento ya
sea mediante dicotoma satisfactorio/no satisfactorio
o cumple/no cumple; una escala Likertdel 1 al 5; o una escala numrica del
0 al10).






6
A ntes de leer este apartado se recomienda revisar los captulos 17 del texto impreso y 12 de este
CD:Ampliacin y fundamentacin de losmtodosmixtos
36

2. Para la rama o aproximacin cualitativa, instrumentar el cuarto
listado,respondiendo a los indicadores mediante dicotomas:
satisfactorio/no satisfactorio o favorable/desfavorable.
3. Agregar los siguientes rubros y criterios de la tabla 10.5 para la mezcla o
integracin (respondiendo dicotmicamente: s o no, en qu medida y con
qu profundidad?, y cmo? o de qu manera?). Ms que
una puntuacin de estos indicadores o elementos,se hara una reflexin en torno
a las fortalezas y debilidades del proceso indagatorio:


Tabla 10.5 Quinto listado de rubros y factores

para evaluarun estudio mixto


Calidad deldiseo mixto
1. Consistencia interna del diseo (que los componentes del diseo embonen de una manera

cohesiva y congruente): los componentes del diseo embonan entre s de una manera

congruente a travs de todas las etapas del estudio?
2. Adecuacin deldiseo (seleccin apropiada de mtodos yprocedimientos para cumplircon

los objetivos y responder a las preguntas de investigacin): los mtodos y
procedimientos elegidos son apropiados para cumplir con los objetivos y responder a las
preguntas de investigacin?
3. Fidelidad del diseo (el grado en que los investigadores se apegaron al diseo y ste se

implement adecuadamente): los procedimientos fueron implementados de acuerdo con el
diseo planteado?; cuando se realizaron ajustes al diseo original, fueron pertinentes
y adecuados?; los mtodos fueron capaces de captarlos significados,efectos y relaciones?;
los componentes del diseo (procedimientos, muestreo, recoleccin y anlisis) fueron

aplicados correctamente?
4. Adecuacin analtica (seleccin de las tcnicas adecuadas y apropiadas de anlisis para

responder al planteamiento): las estrategias y procedimientos de anlisis son adecuados y

apropiados para proveer de posibles respuestas a las preguntas de investigacin?



37

Calidad de las inferencias

1. Consistencia interna del diseo (ya comentada en elrubro previo,misma pregunta).
2. Consistencia conceptual(congruencia de las inferencias entre s): las inferencias cualitativas

son congruentes entre s?, las inferencias cuantitativas son congruentes entre s?,
las inferencias cuantitativas y cualitativas estn estrechamente conectadas y han sido derivadas de
los descubrimientos relevantes en trminos de tipo,alcance e intensidad?,las mltiples inferencia
s fueron hechas sobre la base de descubrimientos consistentes entre s?, se
produjeron metainferencias y stas son congruentes entre s?;
7
en caso de que las

inferencias cuantitativas y cualitativas no coincidan en cuanto a resultados, se logr una
explicacin satisfactoria de la no coincidencia?
3. Consistencia terica (con respecto a estudios previos): las inferencias y metainferencias son

consistentes con la teora y el estado del conocimiento en el cual se enmarca el
planteamiento?



4. Acuerdo interpretativo entre investigadores: diversos investigadores llegan a las mismas

conclusiones sobre la base de los mismos resultados?, hay consenso entre colegas?, las
inferencias de los investigadores corresponden con las construcciones de los participantes?,
hay acuerdo entre los participantes y los investigadores?





5. Interpretacin distintiva (grado en el cual las inferencias son diferentes de otras posibles

interpretaciones de los resultados y explicaciones rivales): cada inferencia es
significativamente ms plausible o meritoria respecto a otras posibles conclusiones que
pudieron haberse hecho sobre la base de los mismos resultados?






Rigor interpretativo

Mismos rubros y preguntas que el rubro anterior (calidad de las
inferencias),agregando uno muy vinculado con la consistencia conceptual,por ello le coloca
mos elnmero seis,ya que consideraramos los cinco previos.


6. Integracin eficaz (grado en el cual son integradas de manera efectiva las inferencias hechas en la
aproximacin tanto cuantitativa como cualitativa en metainferencias
tericamente consistentes): las metainferencias incorporan adecuadamente las inferencias resultant
es de las aproximaciones cuantitativa y cualitativa?


7
Congruenciano implicanecesariamente coincidencia,mismosresultados.
38

Transferencia de resultados

Las posibles respuestas a las siguientes preguntas sern analizadas ycontestadas por elgrupo
de investigadores (su tratamiento debe tener un carcter colegiado), adems
es necesario que auditores externos o pares (investigadores expertos en el planteamiento del
problema) ofrezcan sus puntos de vista al respecto.


Transferencia de poblacin (a otros individuos, grupos o entidades): es posible transferir los

resultados a otros individuos,grupos o entidades?,por qu?
Transferencia ecolgica (a otros ambientes o contextos): es posible transferir los resultados a

otros ambientes o contextos?, por qu?
Transferencia temporal(a otros periodos de tiempo): es posible transferirlos resultados a otros

tiempos o pocas?, porqu?
Transferencia operacional (utilizando otros mtodos de recoleccin de los datos): es posible

transferir los resultados si se hubieran seleccionado otros mtodos o instrumentos para

recolectarlos datos?, porqu?


Legitimidad
8


Respondiendo dicotmicamente a estos indicadores: s o no, as como: de qu
manera?


Legitimidad de la integracin de la muestra: la vinculacin entre el muestreo cuantitativo y

cualitativo produce metainferencias?
Legitimidad internaexterna: se presentan con exactitud y profundidad tanto la visin interna de los

participantes como la visin externa delinvestigador para fines de descripcin y explicacin?
Legitimidad dirigida a minimizarlas debilidades potenciales: se logra demostrarque las debilidades

de un mtodo son compensadas por las fortalezas del otro?
Legitimidad de secuencia (diseos secuenciales): si se hubiera invertido la secuencia de las fases

cuantitativa ycualitativa, se hubieran obtenido resultados similares?
Legitimidad de conversin (diseos de conversin): la cuantificacin y/o cualificacin producen


8
Se consideraron los tipos de legitimidad que no son redundantes con criterios previos para los estudios
mixtos.
39

metainferencias claras y coherentes?
Legitimidad de la mezcla paradigmtica: las creencias epistemolgicas, ontolgicas, axiolgicas y

metodolgicas delinvestigadorque se derivan de las aproximaciones cuantitativas y cualitativas son

combinadas exitosamente y las diferencias se explican y sustentan?
Legitimidad de la compatibilidad entre visiones: las metainferencias resultantes reflejan una visin

del mundo mixta basada en procesos cognitivos holsticos y de la gestalt que implican cambio e

integracin?
Legitimidad por mltiples validaciones: las diversas tcnicas utilizadas para validar los

procedimientos, anlisis e inferencias tanto cuantitativas como cualitativas son pertinentes y

rigurosas?
Legitimidad poltica: colegas,pares o auditores externos estn de acuerdo con las metainferencias

emanadas de los componentes cuantitativo y cualitativo del estudio?

Insistimos en que Roberto Hernndez Sampieri seguir profundizando en los

criterios,que estarn ejemplificados en su prximo libro sobre mtodos mixtos.