XXVI Simposio Internacional de Estadística 2016

Sincelejo, Colombia, 8-12 de Agosto de 2016

Impacto del Programa de Tutorías en el Rendimiento Académico de Estudiantes

Universitarios. Un Análisis de Diferencia en Diferencias

Impact of Tutoring Program on the Academic Performance of University Students.

A Difference in Differences Analysis

Giampaolo Orlandoni Merli1,a Josefa Ramoni Perazzi2,b Miguel Pérez Pulido2,c Fabiola Aguilar Galvis1,d
1 DEPARTAMENTO DE ESTADÍSTICA, FACULTAD DE CIENCIAS, UNIVERSIDAD DE SANTANDER, UDES
2 PROGRAMA DE ADMINISTRACIÓN FINANCIERA, FACULTAD DE CIENCIAS ECONÓMICAS, ADMINISTRATIVAS Y CONTABLES, UDES
BUCARAMANGA, COLOMBIA
______________________________

Resumen
Utilizando la metodología de diferencia en diferencias se analiza el impacto que
tiene el programa de tutorías de ciencias básicas en el mejoramiento académico de
los estudiantes universitarios. En los cursos de primer semestre de la universidad
de Santander, los resultados indican el efecto positivo del programa,
particularmente en los cuartiles inferiores de la distribución de notas, y la
conveniencia de seguir manteniendo el programa.
Palabras clave: tutorías, mejoramiento académico, diferencias en diferencias.

Abstract
The difference in differences methodology is used here to analyze the impact of
the basic science tutoring program for the academic improvement of university
students. For the first semester courses at the University of Santander, the results
indicate the positive effect of the program, particularly in the lower quartiles of
the scores distribution, and the convenience of keeping the program.
Keywords: tutoring, academic improvement, difference in difference.

1. Introducción
La Universidad de Santander (UDES) dispone de un programa para la ayuda integral de
los estudiantes de la universidad; es el Programa de Acompañamiento para el Ingreso y
Permanencia Estudiantil (PAIPE), cuyo objetivo es elevar el bienestar universitario, mejorar el
rendimiento estudiantil y reducir la deserción. El programa ofrece, entre otros, un servicio de
tutorías en ciencias básicas tratando de resolver las falencias que los estudiantes puedan tener
en las diferentes áreas (matemáticas, estadística, física, química, biología). A tal efecto, la
facultad de ciencias exactas, físicas y naturales (FCEFyN) dedica un importante porcentaje del
tiempo de sus docentes a atender de manera personalizada a los estudiantes que requieren de
este servicio para mejorar su desempeño académico (Orlandoni et al. 2015).

______________________
a Profesor Titular. E-mail: gorlandon@udes.edu.co
b Profesora Titular. E-mail: j.ramoni@udes.edu.co
c Profesor Titular. E-mail: miguel.perez@udes.edu.co
d Profesora Titular. E-mail: faguilar@udes.edu.co

1
2 Josefa Ramoni Perazzi y Giampaolo Orlandoni Merli

2. Planteamiento del problema

Dado que se dedica tiempo de los docentes al programa de tutorías, es importante
analizar su efectividad en el logro de su propósito, cual es mejorar el rendimiento y reducir la
deserción estudiantil. El objetivo de este trabajo es evaluar el impacto que el programa de
tutorías de la FCEFyN tiene en el éxito académico de los estudiantes de la UDES. En esencia,
la evaluación de impacto responde al siguiente interrogante: ¿qué hubiese ocurrido con los
beneficiarios del programa en caso de no haberse implementado? La respuesta requiere
previamente realizar el análisis factual y el análisis del contexto del programa. El análisis factual
se inicia con una estimación del número de beneficiarios del programa de tutorías y la
cobertura del programa. Luego, se compara el rendimiento de los estudiantes que han entrado
al programa de tutorías, con el de aquéllos que no han usado este servicio; comparación que se
hace a lo largo del período de vigencia del programa, basándose en la información de las
calificaciones de los estudiantes en el programa de tutorías y de quienes no están en él, antes y
durante el período en que ha estado funcionando el programa (Bernal, 2011).

3. Metodología
A fin de evaluar el efecto de una intervención, lo ideal sería poder comparar al mismo
individuo en ambas situaciones, con tutoría y sin tutoría, lo que, evidentemente, resulta
imposible, por lo que se debe contar con contrafactuales. El problema se agrava por el hecho
de la no asignación aleatoria de los individuos al programa. Un método ampliamente utilizado
para analizar el efecto de políticas y programas es el método de diferencia en diferencias (DID,
por sus siglas en inglés), el cual permite comparar el comportamiento de la variable de interés
(Y) en poblaciones sometidas (grupo tratamiento, 1) o no (grupo de control, 0) a una
intervención, antes y después de ésta (tiempo).
La evaluación del impacto de tutorías es una evaluación tipo ex post y está basada en un
análisis contrafactual, comparando los resultados observados en presencia del programa, con
aquéllos que se hubiesen observados si el programa no se hubiese implantado. En términos
estadísticos, el problema de evaluación consiste en medir el impacto del programa de tutorías
(tratamiento) sobre el rendimiento académico en un conjunto de estudiantes seleccionados,
calculando la diferencia entre el rendimiento académico del estudiante participante en el
programa, y el rendimiento del estudiante que no participa, antes y después del tratamiento.
Esta diferencia es la medida del impacto del programa [Bernal(2011)].
La variable respuesta es el rendimiento académico Yi de cada estudiante; Yi(1) representa
la respuesta del estudiante en tratamiento, siendo Yi(0) la respuesta si no entra en el programa
de tutorías. Sea Ῡgt la respuesta promedio del grupo g=(0;1) en el periodo t=(1;2). El enfoque
tradicional estima el DID, ajustando el cambio promedio observado en el grupo tratamiento,
por el cambio promedio observado en el grupo control; esto permite controlar por factores
cambiantes en el tiempo, no relacionados con la intervención, cuyo efecto se puede expresar
como δ = (Ῡ12  Ῡ 11)  (Ῡ02  Ῡ01), que es el enfoque que se dará al problema en este estudio.
La doble diferenciación permite controlar por factores fijos y no observables de cada
grupo que pudieran afectar la respuesta, con lo que se logra un estimador más robusto que la
diferencia simple. También controla por cambios comunes en el tiempo (tendencia común),
por lo que cualquier cambio en tendencia es atribuible únicamente al tratamiento. De existir
información adicional, esta diferencia se puede estimar controlando además por factores o
covariables que inciden en el rendimiento académico.

XXVI Simposio de Estadística (2016)

¿Cómo evoluciona el mercado laboral colombiano? Un análisis por género 3

En efecto, el DID puede estimarse a partir de un modelo de regresión en el que es

posible controlar por variables observadas (X) relevantes, como se indica en la ecuación
siguiente: Y= β0+ β1 grupo+ β2 tiempo+ δ (grupo)(tiempo)+  X+ . En este modelo, el
efecto tratamiento se estima como la diferencia de los valores esperados de las
correspondientes diferencias calculadas en cada uno de los grupos, al comparar el antes con el
después, 𝛿̂ =E[Yt+1 |X, grupo=1] – E[Yt+1|X, grupo=0]. Es un manera alternativa de
expresar el efecto intervención δ, donde  es el término de error normalmente distribuido, con
media cero y varianza 2. Así, el modelo de regresión DID brinda un estimador de efectos fijos
en el que, a través de la doble diferenciación, se espera corregir el sesgo que resulta de la
posible correlación entre el término de error y la variable grupo [Gertler(2011), Stock (2011)].
La continuación de este estudio quiere determinar el efecto de algunas covariables en el
impacto de las tutorías, tal como el efecto del docente.

4. Aplicación y Resultados
Se tiene información de las notas del primer y tercer parcial de un grupo de 267
estudiantes del curso Cálculo Diferencial, 37% de los cuales es atendido por el programa de
tutorías. Es de interés para la institución determinar el impacto que dicho programa tiene en el
rendimiento académico de los estudiantes, evaluación ésta que orientará la toma de decisiones
acerca de si dicho programa debe mantenerse y extenderse a otras sedes. A través del
programa, cualquier estudiante puede solicitar horas de tutorías, al iniciarse el curso. La nota
del primer examen parcial se toma como una proxy de la situación inicial del estudiante, y el
resultado de esa primera evaluación incide de manera significativa en la decisión de acogerse al
programa. La nota del tercer parcial recoge el impacto del programa en su totalidad.
(Orlandoni et al. 2015)
Estudio descriptivo de las notas promedio del primer y tercer parcial. Una primera
aproximación al problema nos permite observar que en ambos cortes, el promedio de notas de
los estudiantes en el programa de tutorías es superior a la de aquéllos que no asisten al
programa. Esta diferencia se incrementa, debido la caída en la nota promedio de los
estudiantes del grupo de control. En todos los casos, las diferencias entre notas del grupo de
tratamiento y control, son estadísticamente significativas (ver tabla 1).

Tabla 1. Notas Promedio. Primer y Tercer Parcial del curso Cálculo Diferencial.
Primer parcial Tercer parcial
Tutorías
n Media Des Est n Media Des Est
Si 99 2.751 1.050 99 2.936 1.192
No 168 1.893 0.860 168 1.498 1.592
Diferencia 267 0.858*** 0.125 267 1.438*** 0.185
Fuente: cálculos propios. Nota: *** (p<0,01). Error Estándar para la diferencia.

Estimación de las funciones de densidad no paramétricas de las distribuciones

de notas promedio. Mediante las respectivas funciones de densidad no paramétricas se
compara la distribución de las notas de ambos grupos. La figura 2 muestra los resultados de la
estimación no paramétrica de las funciones de densidad de las notas de ambos grupos, antes y
XXVI Simposio de Estadística (2016)
 4 Josefa Ramoni Perazzi y Giampaolo Orlandoni Merli

después de la intervención. Tal como se observa, las diferencias en las distribuciones de los
grupos se acentúan a raíz del tratamiento, con una ventaja significativa para los individuos
adscritos al programa de tutorías, en términos de la probabilidad de obtener notas
aprobatorias.
Figura 2. Funciones de densidad de las notas promedio antes y después de la intervención.
Notas primer parcial Notas tercer parcial

.6
.4
.3

.4
Density
Density

.2

.2
.1

0
0

0 1 2 3 4 5 0 1 2 3 4 5
Nota Nota

Grupo tratamiento Grupo control Grupo tratamiento Grupo control

kernel = gaussian, bandwidth = 0.3088 kernel = gaussian, bandwidth = 0.2395

Fuente: elaboración propia

Se observa que los grupos, inicialmente homogéneos, con el tiempo se dividen para dar paso a
dos subgrupos claramente definidos: el grupo de estudiantes que con o sin tutorías mejoran su
nota, y el grupo que no logra buenos resultados. Así, el programa favorece en primer lugar a
aquéllos estudiantes necesitados de acompañamiento, que cuentan con una cierta base que les
permite aprovechar las bondades del mismo y, en menor medida, a los estudiantes cuyas
debilidades no les permiten sacar mayor ventaja de la asistencia brindada.
5. Conclusiones
Mediante la metodología DID, se evalúa el impacto que del programa de tutorías de la
FCEFyN de la UDES en el mejoramiento académico de los estudiantes universitarios del
primer semestre. El estudio descriptivo inicial muestra que la nota promedio de los estudiantes
atendidos es superior a la nota promedio de los que no asisten al programa y cuya nota muestra
una caída al pasar del primer parcial al tercero, incrementando la diferencia con el grupo
tratamiento.

La comparación de las funciones de densidad de la distribución de las notas de ambos

grupos, antes y después de la intervención, indica que las diferencias de notas entre los grupos
se acentúan con el tratamiento, con ventaja significativa para los estudiantes adscritos al
programa de tutorías, en términos de la probabilidad de obtener notas aprobatorias. Los
grupos, relativamente homogéneos inicialmente, con el tiempo se dividen en dos subgrupos
claramente definidos: los estudiantes que mejoran su nota y el grupo que no logra mejorar.
Referencias
1. Bernal, R.; Peña, X. (2011). Guía práctica para la evaluación de impacto. Universidad de los Andes, Bogotá.
2. Gertler,P., S. Martinez, P. Premand, L. B. Rawlings, C. Vermeersch (2011). Impact Evaluation in Practice.
The World Bank, Washington, DC. USA.
3. Stock, J.; M. Watson (2011). Introduction to Econometrics, 3rd ed. Addison Wesley. Boston.

XXVI Simposio de Estadística (2016)

¿Cómo evoluciona el mercado laboral colombiano? Un análisis por género 5

4. Orlandoni M., G; Pérez P., M.; Aguilar G., F.; Ramoni P., J. (2015). Estudio del impacto del programa de
tutorías de la facultad de ciencias en el éxito académico de los estudiantes de la UDES. Bucaramanga.

XXVI Simposio de Estadística (2016)