Las pruebas PISA suelen ser cuestionadas desde la DGE, entre otros motivos porque se trata de un examen estándar para todos los países. Como contraparte, se considera mucho más apropiado basarse en las conclusiones de los Operativos Nacionales de Evaluación (ONE). Sin embargo, un informe realizado por la Asociación Civil para la Mejora de la Educación en la Argentina, Educar 2050, subraya que se han producido cambios en la metodología que dificultan la comparación de los resultados en el tiempo.
El autor del documento, Alejandro Ganimian, doctor en Análisis Cuantitativo de Política Educativa (de la Universidad de Harvard), plantea que si bien los ONE se empezaron a administrar en 1993, los resultados más recientes, de 2013, sólo son comparables con los de 2005.
Es que hasta 2003 se informaba el porcentaje de respuestas correctas en cada prueba y en 2005 se pasó a reportar la proporción de alumnos en cada nivel de desempeño: bajo, medio, y alto.
Estos niveles se fundamentan en el grado de aprendizaje para cada año -3° y 6° grado de primaria y 2°/3° y 5°/6° de secundaria- y materia evaluada (lengua, matemática, ciencias sociales y ciencias naturales).
Pero Ganimian resalta que este cambio en la medición provocó que los resultados de la primera década de los operativos no se puedan utilizar ahora. Asimismo, señala que en varias pruebas ha habido cambios muy significativos en el porcentaje de alumnos en los niveles bajo, medio y alto, lo que parece indicar que no son comparables en el tiempo.
El especialista indica también que existen ciertas dificultades para aprovechar los datos disponibles, ya que en 2013 la Dirección Nacional de Información y Evaluación de la Calidad Educativa no publicó los resultados de primaria, sólo los de secundaria, por lo que los últimos que se pueden consultar para 3° y 6° grado corresponden a 2010. Tampoco se discriminó el desempeño por provincia, como hasta entonces, sino por región. Y no se diferenció entre escuelas públicas y privadas, urbanas o rurales.
Desde 2005, no todas las provincias participan. De hecho, Mendoza no reportó resultados de 3° grado en 2010. Ganimian plantea que no se informó si se realizaron los ajustes correspondientes por región y que, si no fue así, los promedios de las regiones no se pueden cotejar.
También desde ese año se dejó de explicitar la tasa de cobertura en cada provincia, es decir cuántas escuelas y alumnos tomaron la prueba.
Luego de presentar estas limitaciones, el informe Educar 20150 avanza en el análisis de los datos que arrojan las pruebas. Este es el quinto documento que presenta el Proyecto Educar 2050 -tres de ellos se basaron en el Programa Internacional de Evaluación de los Alumnos (PISA en inglés).
Estadísticas nacionales
Cristina Romagnoli, magíster en Metodología de la Investigación y docente de la UNCuyo, indicó que para comparar series, como es el caso de los resultados de evaluación de los aprendizajes, tiene que haber una metodología que se sostenga en el tiempo. En cambio, cuando se interrumpen los procesos los estudios pueden resultar faltos de consistencia. Sobre esto, planteó que los datos educativos se pueden encuadrar en lo que ocurre con los del Indec o el IPC, en donde se pierde información que luego es difícil de recuperar.
La investigadora resaltó que estos resultados, si están bien registrados, pueden servir para la toma de decisiones en política educativa, y para analizarlos luego y decidir si se sostienen o se modifican las decisiones adoptadas. Sin embargo, indicó que no observa que el diagnóstico sea un elemento para decidir acciones, sino que las líneas en educación se definen más por lineamientos internacionales.
El presidente de la Comisión de Educación de Diputados, Tadeo García Zalazar, coincidió en que la DGE adopta la misma estrategia que los gobiernos provincial y nacional en lo que a ciertos datos se refiere. Esto es -señaló-, difunden sólo una parte, la que arroja un diagnóstico positivo, y las otras se dan a conocer más de un año después.
El legislador manifestó que no hay buenas estadísticas publicadas y que las evaluaciones no se utilizan para mejorar el sistema. Asimismo, indicó que a principios de 2014, y nuevamente este año, solicitaron los datos de repitencia, de sobreedad y de deserción escolar discriminados por departamento y que nunca los recibieron.
La titular de la DGE, María Inés Abrile de Vollmer, indicó que se modifican las metodologías porque aparecen formas más precisas de medir el desempeño de los chicos. Pero subrayó que cuando se produce un cambio, se varían ciertos aspectos y se mantienen otros, de manera que resulte posible la comparación. Asimismo, indicó que las pruebas de desempeño son una herramienta de reflexión sobre los aspectos que hay que mejorar.
