¿Qué países mejoraron la calidad educativa? América Latina en las evaluaciones de aprendizajes

Resumen ejecutivo
Este documento caracteriza la evolución de la calidad educativa medida por las evaluaciones
internacionales y nacionales en América Latina en los años recientes. El enfoque que se propone toma
como antecedente el libro “América Latina después de PISA. Lecciones aprendidas de la educación
en siete países” (Rivas, 2015)1, y se orienta a trascender la mirada basada en un indicador o una fuente
única de datos, abriendo el análisis a la multiplicidad de información disponible sobre los
aprendizajes y los contextos en los que se desarrollan.
El estudio se centró en la pregunta sobre la evolución de los resultados educativos medidos por las
evaluaciones estandarizadas en América Latina durante las últimas dos décadas. Esto no implica
asumir que la calidad educativa es igual a lo que se mide en las pruebas estandarizadas, que
constituyen un recorte limitado. Estas pruebas permiten dar cuenta parcial del cumplimiento del
derecho a la educación en términos de los aprendizajes que logran demostrar los alumnos en
determinadas edades.
Conocer la evolución de cada país permite comprender mejor la situación del derecho a la educación
en América Latina. Tomar estos resultados permite a su vez aprender de los países que han logrado
mejorar en diversos indicadores. Esto implica un cuidadoso trabajo metodológico para no arribar a
conclusiones apresuradas, tal como intenta mostrar este trabajo.
La publicación de los resultados de PISA 2015 de la OCDE en el mes de diciembre de 2016 constituye
una nueva oportunidad para acceder a un caudal diverso y prolífero de información que permite
evaluar los avances de América Latina en materia de calidad y equidad de los aprendizajes. Esta
edición contó con la participación de los siete países que, desde hace varios ciclos atrás, implementan
la prueba PISA en forma continua: Argentina2, Brasil, Chile, Colombia, México, Perú y Uruguay). Se
suma Costa Rica con su segunda aplicación, y la primera experiencia de República Dominicana. En
este conjunto de países asiste aproximadamente el 80% de los estudiantes de los países de América
Latina y el Caribe.
Los resultados muestran a la región con amplios desafíos en materia de aprendizajes, dando cuenta
de la existencia de un conjunto mayoritario de adolescentes, especialmente de los sectores populares,
que están en la escuela pero no logran adquirir aprendizajes para construir un proyecto autónomo
de vida que les permita cambiar su destino social. Esto se combina con el todavía importante número
de jóvenes que no asisten a la escuela secundaria o media en la región y que ni siquiera llegan a ser
evaluados por las pruebas PISA.
Como señal positiva, una primera comparación directa simple de los resultados con el ciclo de PISA
2012, invita a situar a la región en un plano de mejora, al observarse un incremento generalizado en
los desempeños de los estudiantes. Este escenario promisorio se ve afectado por una situación
particular que caracteriza esta aplicación de PISA, que demanda mirar estos resultados desde otra
óptica. Los cambios metodológicos implementados en PISA 2015 afectan la comparabilidad intertemporal en varios países de América Latina, y obligan a revisar la evolución de los desempeños
desde las primeras aplicaciones.
PISA introdujo en 2015 cambios en el escalamiento de los resultados con el objetivo de mejorar la
precisión de las mediciones y reducir los factores de incertidumbre. Si bien se mantuvieron las escalas
y los ítems de anclaje que garantizan la comparabilidad, fueron introducidos algunas
transformaciones vinculadas con el modo de implementación y el modelo de escalamiento de los
resultados.
Para el conjunto de países evaluados, estas modificaciones inciden levemente en la comparabilidad
entre años. Sin embargo, la mirada detallada sobre los países de América Latina pone de manifiesto
que los resultados se ven sensiblemente afectados en su tendencia en el tiempo. Mejoras sustantivas
que se observaban en los últimos ciclos de PISA en algunos países de la región se atenúan o
desaparecen completamente al analizarlas con la nueva metodología. Lamentablemente, PISA puso
a disposición los resultados reescalados hasta el año 2006, restringiendo las posibilidades de análisis
del impacto de este cambio a los últimos nueve años de PISA, quedando fuera de esta comparación
las pruebas de los años 2000 y 2003.
Para algunos países en particular, como Colombia, Perú y Uruguay, el escenario que perfilan los
resultados con la nueva metodología implica un cambio importante en las tendencias de
caracterización de la calidad de los aprendizajes.
Es necesario explicar por qué sólo los países de América Latina se han visto afectados por este cambio
de metodología. La hipótesis que se propone sitúa la mirada en el tratamiento de los ítems no
alcanzados (non-reached items) para el cálculo de los resultados. Con este término se hace referencia
al conjunto de ítems que quedan sin responder al final del cuadernillo o de cada bloque
correspondiente a un área, porque el estudiante no llega a completar la prueba o la abandona.
En las ediciones anteriores, los non-reached items se consideraban como respuestas incorrectas,
mientras que en el 2015 fueron interpretados como ítems no administrados. Es decir, en los
resultados de PISA 2000 a 2012, los estudiantes que dejaban la prueba con ítems incompletos al final
se veían perjudicados en sus resultados, pero a partir del 2015 esto no ocurre.
Un análisis pormenorizado de las respuestas en todas las aplicaciones de PISA pone de manifiesto
que la existencia de no respuesta al final de las evaluaciones es un fenómeno casi exclusivo de los
países de América Latina. En las primeras aplicaciones de PISA en la región, cerca del 10% de los
ítems se consideraban non-reached. Esta proporción fue disminuyendo en las aplicaciones posteriores.
Por esta razón, el recálculo de los resultados de ciclos anteriores con la metodología nueva da como
resultados puntajes superiores y, por ende, menor crecimiento respecto de los resultados actuales.
La imputación de estos ítems a respuestas incorrectas se sustenta en el supuesto de que pruebas
incompletas expresan exclusivamente dificultades en el desempeño, asociadas a la falta de tiempo
para completarla. Sin embargo, existen otros factores poco estudiados, vinculados a la disposición
del estudiante y la escuela a responder con esfuerzo a las evaluaciones y al conocimiento de estos
formatos3, que inciden en la existencia de pruebas incompletas.

Es decir, la imputación de los non-reached items como respuesta errónea puede asociarse tanto con
criterios vinculados con los conocimientos de los estudiantes, pero también con ciertas condiciones
en las que se aplica la prueba. De esta manera, los cambios metodológicos de la edición 2015 dejan al
desnudo dos aspectos críticos: la existencia de ciertas condiciones de preparación en el universo
evaluado que inciden en los resultados, y la manera en que PISA presenta y comunica sus resultados.
El problema de comunicación de los resultados 2015 por parte de la OCDE refiere a la poca
visibilidad con que fueron presentados estos cambios metodológicos. Afectaron la comparabilidad
intertemporal de los resultados, especialmente en algunos países de América Latina, por lo que
podrían haber sido aclarados en el cuerpo central de los informes de PISA y en los informes por
países, alertando sobre las implicancias de la comparación directa.
El otro problema refiere a la manera en que la prueba PISA es implementada por los países. Por un
lado, remite al modo en que las escuelas y los estudiantes se disponen a responder una evaluación
que no mide sus aprendizajes de forma individual ni tiene consecuencias sobre ellos, sino que mide
un sistema educativo completo. Esto implica la disposición de hacer el mayor esfuerzo para un fin
relativamente abstracto: el mejor logro del sistema educativo nacional.
Un factor clave parece ser la preparación directa para realizar las pruebas PISA que la mayoría de
los países de la región comenzó a implementar a medida que pasaron las sucesivas ediciones. Estas
acciones se orientan a favorecer la captura de información de calidad, promoviendo mediante
diferentes estrategias que las respuestas a la evaluación reflejen lo más fielmente posible las
diferencias en los aprendizajes de los estudiantes, sin intervención de otros factores.
El efecto del cambio de metodología en el análisis de tendencias invita a reflexionar en torno a un
interrogante clave: ¿en qué medida los resultados de América Latina mejoraron en los últimos 15
años por un incremento en la calidad de los aprendizajes, o como efecto de aplicaciones más
cuidadas? ¿Cambió el nivel promedio de esfuerzo de los alumnos al responder las pruebas PISA en
sus sucesivas ediciones? Si cambió el nivel de esfuerzo de los alumnos al contestar la prueba, ¿cómo
podemos saber si realmente mejoraron (o no empeoraron) sus aprendizajes o si solo mejoró su
predisposición a responder la prueba con su máximo esfuerzo?
No hay forma de contestar esta pregunta con la investigación realizada. Pero obliga a establecer
algunas reflexiones acerca de los alcances y las limitaciones de la prueba PISA para elaborar
conclusiones sobre la calidad educativa en los países de la región. Éstas no se proponen poner en
duda los cimientos sobre los que se sostiene PISA, ni a dar por tierra la calidad técnica de sus
resultados. La comparación de los resultados entre países sigue siendo válida, especialmente si se
observan varias ediciones de las pruebas PISA.
Otro aspecto positivo es que las comparaciones hacia adelante serán más fiables, tanto por el
aumento del compromiso con la realización de la prueba, como por los cambios metodológicos
introducidos por PISA en 2015. Pero la evolución por país a lo largo del tiempo debe ser analizada
con recaudos en América Latina, evitando sacar conclusiones apresuradas sobre los cambios
producidos de una edición a otra. La mirada debe ser complementada por el análisis de otras
evaluaciones estandarizadas, nacionales e internacionales, que permitan triangular las tendencias
observadas.
Por otro lado, es importante considerar que PISA no es una evidencia suficiente para realizar
afirmaciones contundentes sobre la mejora de ciertos países, y menos aún para tomar lecciones de
política de ellos. Recomendar políticas educativas requiere un balance de evidencias empíricas con
estudios más profundos sobre los contextos culturales, las condiciones económicas y sociales y
visiones de la educación en términos políticos, filosóficos, pedagógicos, curriculares y económicos.

Este marco general de abordaje lleva a profundizar la mirada sobre las tendencias específicas de cada
país. El análisis cruzado entre resultados PISA con otros operativos internacionales, con evaluaciones
nacionales y con datos de contexto arroja algunas observaciones relevantes:
 Perú muestra un camino de mejoramiento educativo notable en el siglo XXI, con mejoras de gran
magnitud en todas las pruebas analizadas y grandes avances en la inclusión y la trayectoria de los
alumnos, aunque aún manifiesta grandes deudas en el terreno de las desigualdades.
 Partiendo de una situación muy distinta, Chile parece haber mejorado en los años primeros años
de implementación de PISA, aunque luego encuentra una etapa de estancamiento que lo mantiene
por encima de los demás países analizados. La evolución en las pruebas nacionales, sin embargo, no
es tan clara. Estos logros se dieron en un período de crecimiento del acceso y mejora de las
trayectorias educativas de los alumnos, que se encuentran en la actualidad claramente por encima
del resto de los países evaluados de la región.
 Brasil parece tener una marcada diferencia entre el nivel primario y medio. En el primer caso, el
país mejora en las pruebas nacionales e internacionales. En el nivel medio, en cambio, la prueba PISA
y las pruebas nacionales no muestran avances significativos. Estos resultados se enmarcan en un
ciclo de gran expansión del acceso a la educación secundaria y de reducción de la repetición en todo
el sistema.
 México también tiende a una estabilidad en la educación secundaria con mejoras en el nivel
primario. Lo más notable es la mejora en matemática en el nivel primario. También México logra en
este período un gran incremento de las tasas de acceso al nivel medio, desde puntos de partida muy
bajos y todavía lejanos a los demás países estudiados.
 En Colombia, los resultados muestran estabilidad en el primario y secundario, tanto en las
pruebas internacionales de PISA (con resultados comparables) y UNESCO (para el nivel primario)
como en las pruebas nacionales, donde hay vaivenes difíciles de explicar. En cambio, se constata un
gran avance del país en el aumento de las tasas de escolaridad y reducción de la sobreedad en el
nivel secundario.
 En Uruguay, se observa un ciclo de estabilidad en los resultados en primaria y secundaria. Con
el reescalamiento de los resultados de PISA no se observan cambios en el período 2006-15 y no existen
pruebas nacionales para contrastar estos avances.
Estas tendencias generales no son lineales, muchas veces se observan comportamientos
contrapuestos según áreas de enseñanza evaluadas o niveles educativos. Esto requiere estudios más
profundos sobre las diferencias dentro de cada sistema educativo, tomando en cuenta la gran
diversidad territorial y la descentralización de la gestión escolar que tienen casi todos los países
analizados.
Argentina merece un tratamiento aparte, debido a que sus resultados fueron considerados no válidos
en la edición de PISA 2015. El caso demandó un estudio en profundidad de este país, que se presenta
en el documento como anexo.
Dos elementos distintivos de PISA 2015 dificultan la interpretación de los resultados de Argentina:
por un lado, en la publicación del informe, la OCDE toma la decisión de no incluir a Argentina en el
análisis de los resultados del operativo, porque incumple con el estándar 1.7, uno de los criterios básicos vinculados a la calidad de la información4. La causa se identifica en errores en la confección
del marco muestral.
Por otro lado, los resultados de Argentina en PISA 2015 (publicados en el informe PISA en los anexos)
muestran un incremento excepcional respecto de 2012, de una magnitud que tiene escasos
antecedentes en esta evaluación.
Como ambos fenómenos (problemas en la muestra y resultados excepcionales) se presentan juntos,
esto tiende a establecer una equivalencia apresurada: los desempeños de Argentina 2015 fueron altos
porque la muestra tuvo problemas. Pero no existe ninguna evidencia que permita establecer a priori
esta relación.
Por lo tanto, el documento explora algunas hipótesis que permitan explicar el llamativo incremento
de los resultados. Se analiza la composición de la muestra de Argentina con variables
sociodemográficas y educativas, y se reconoce muy similar a la de PISA 2012. Esto descarta
inicialmente la existencia de sesgos asociados a un marco muestral distorsionado. La distribución de
los resultados entre estudiantes y entre escuelas tampoco muestra señales claras que podrían indicar
intervenciones externas asociadas a una manipulación de la muestra.
Si bien no es posible avanzar en explicaciones, dado que los interrogantes no pueden ser resueltos
con los datos disponibles, existen ciertos indicios analizados que abonarían, por sobre otras
posibilidades exploradas, la hipótesis que explica los resultados de 2015 en función de una mejora
en las condiciones de aplicación de PISA. En esta hipótesis, las acciones de sensibilización
desarrolladas para esa aplicación habrían promovido mejores resultados, pero no en términos de
“manipulación”, sino en la obtención de información de mayor calidad, que refleja mejor los
aprendizajes efectivos.
En esta hipótesis, el “problema” no estaría en 2015, sino en las aplicaciones anteriores, donde no se
generaron las condiciones adecuadas para que los estudiantes se comprometan con la evaluación,
resultando en una significativa presencia en algunas escuelas de pruebas incompletas y/o resueltas
con desinterés. Si bien no es concluyente, este análisis vuelve a remitir a los mismos ejes mencionados
previamente: la necesidad de fortalecer las condiciones de aplicación para que los estudiantes
respondan a las pruebas con voluntad de expresar de la mejor forma posible sus saberes.
El análisis de los resultados de PISA 2015 en América Latina, enmarcado en un diálogo entre la
mirada metodológica y el análisis de diferentes fuentes de datos, tiene un valor vital para las
gestiones educativas de los países, en la comprensión de su propia evolución en las evaluaciones de
la calidad y su rol como autoridades de ejecución de las pruebas.
Se han logrado grandes avances en la calidad de la implementación de las pruebas, no sin esfuerzos
ni linealmente. Pero todavía hay grandes desafíos para evitar la existencia de dispares dosis de
preparación y presión en la ejecución de las pruebas. Debe lograrse una estabilidad que garantice
aplicaciones eficaces y resultados comparables. De lo contrario los resultados pueden tener una dosis
de incertidumbre que lleve a confusiones. Este desafío abarca a las pruebas internacionales y
nacionales.
Comprender mejor la dinámica de los sistemas educativos es una pieza vital del proceso de mejora.
Requiere datos rigurosos, comparables en el espacio y el tiempo; investigaciones más profundas que miren las culturas, las prácticas y la historia; miradas sensatas que busquen la verdad dentro de la
racionalidad científica, evitando los peligrosos sesgos ideológicos que recorren los debates
educativos y políticos de cada país. Sólo por esa vía es posible tener más fuerzas para garantizar el
derecho a la educación, expandido en la capacidad de los alumnos de usar los aprendizajes para
definir su propio destino.

Fuente: CIPPEC

Leer más Informes de:

Empleo y Social