¿Qué pasó con la muestra argentina de PISA 2015?

En el diario La Nación de ayer se reveló que habría un problema con la muestra argentina para el Programa para la Evaluación Internacional de los Alumnos (PISA, por sus siglas en inglés) 2015. La nota no especificaba cuál era el problema, ni sus consecuencias para la interpretación de los resultados, dado que el informe de PISA estuvo embargado hasta las 7am de Buenos Aires. Ahora que se publicó el informe, se puede tener un mejor entendimiento de la situación.

¿Qué es PISA?

PISA es una evaluación liderada por la Organización de Cooperación y Desarrollo Económico (OCDE) de las habilidades de matemática, lectura y ciencia de los jóvenes de 15 años que estén matriculados en la escuela. Se realiza cada tres años desde el 2000, con una creciente participación de sistemas educativos: 43 en el 2000, 41 en el 2003, 57 en el 2006, 75 en el 2012 y 65 en el 2015.

La Argentina participa en PISA desde el 2000, pero no participó en el 2003. La Ciudad Autónoma de Buenos Aires (CABA) participa desde el 2012. Esto significa que PISA presenta resultados para toda la Argentina (incluyendo los estudiantes de CABA) y para CABA por separado.

¿Qué estudiantes deberían participar en PISA?

PISA no se administra a todos los estudiantes de 15 años de cada sistema educativo, sino a una “muestra” (o selección) de éstos. PISA se enfoca en un grupo etario—a diferencia de otras pruebas internacionales, que evalúan uno o más grados—porque los sistemas educativos difieren en cómo estructuran su educación primaria y secundaria (es decir, el “primer año de la secundaria” incluye a alumnos de diferentes edades en diferentes sistemas). El foco en los estudiantes de 15 años responde al objetivo de la OCDE de diagnosticar las habilidades de los jóvenes que se encuentran próximos a entrar a la educación superior y/o al mercado laboral.

Específicamente, PISA sólo incluye a alumnos que tienen entre 15 años y 3 meses y 16 años y 2 meses, matriculados del séptimo grado en adelante al comienzo de la administración de la evaluación. Se incluye a estudiantes de escuelas públicas y privadas, de tiempo parcial o completo, de origen doméstico o extranjero (mientras residan en el país), de educación tradicional o especial.

¿Cómo se elige a los estudiantes participantes de PISA?

La muestra de PISA de cada sistema educativo aspira a ser representativa de los estudiantes de 15 años de ese sistema. Se selecciona en dos partes: primero, se hace una lista de todas las escuelas del sistema con alumnos de 15 años y se selecciona una muestra aleatoria dentro de esta lista, otorgando una mayor probabilidad de muestreo a las escuelas más grandes; segundo, se hace una lista de todos los estudiantes de 15 años en cada escuela seleccionada y se selecciona una muestra aleatoria de alrededor de 35 estudiantes por escuela.

Los estándares de PISA indican que el “marco muestral” (el grupo de escuelas y estudiantes del cual se selecciona la muestra) de cada sistema debe incluir a un 95% de los estudiantes de 15 años que cumplen con las características mencionadas anteriormente. Es decir, a cada sistema se le permite excluir hasta un 5% de los estudiantes de 15 años elegibles.

Estas exclusiones se permiten por varias razones. Se puede excluir escuelas porque no es fácil llegar a ellas, no se cree factible la administración de la prueba en ellas, o caen dentro de una categoría pre-definida de exclusión (por ejemplo, escuelas para no-videntes). Estas exclusiones, sin embargo, no pueden exceder el 2.5% del marco muestral ya mencionado.

Se puede también excluir alumnos porque tienen alguna discapacidad, no manejan el idioma local, o porque reciben educación en un idioma otro que el nacional. (Cada sistema también puede definir una categoría de exclusión adicional, pero ésta debe ser aprobada por el secretariado de PISA). No se puede excluir a alumnos por bajo desempeño o problemas de disciplina. Estas exclusiones tampoco pueden exceder el 2.5% del marco muestral.

¿Cómo se sabe si participaron quienes deberían participar?

PISA usa tres índices para determinar si un sistema educativo excluyó a demasiadas escuelas y/o estudiantes de su marco muestral. El primer índice es el de cobertura de la población de jóvenes de 15 años (sin importar si cumplen o no con las características ya mencionadas). El segundo es el de la cobertura de la población de jóvenes de 15 años matriculados en la escuela (quienes integran esta población sí deben cumplir con las características ya mencionadas). El tercero es el de la cobertura de la población de jóvenes de 15 años deseada (éstos también deben cumplir con las características ya mencionadas, pero se permite hasta un 5% de exclusiones de la población matriculada).

¿Quiénes participaron en PISA 2015 en Argentina?

En la Argentina, en el 2014—año que se utilizó para seleccionar la muestra del 2015—había 718.635 jóvenes de 15 años, de los cuales sólo 578.308 estaban matriculados del séptimo grado en adelante. Todos estos 578.308 jóvenes fueron considerados elegibles para la muestra de PISA 2015 (es decir, en la Argentina, la población de jóvenes de 15 años deseada incluyó a todos los jóvenes de 15 años matriculados del séptimo grado en adelante).

Sobre la población deseada, la Argentina excluyó un número menor de escuelas y estudiantes. Las exclusiones al nivel de la escuela resultaron en la omisión de 2.617 alumnos—un 0.45% de la población de jóvenes de 15 años deseada (es decir, de los 578.308 alumnos de 15 años matriculados del séptimo grado en adelante). La muestra de estudiantes luego de la exclusión de escuelas fue de 6.349 estudiantes, que representan 349.917 estudiantes a nivel nacional. Las exclusiones al nivel del estudiante resultaron en la omisión de tan solo 21 alumnos—un 0.34% de los estudiantes a nivel nacional (es decir, de los 349.917 representados).

¿Cuál es el problema con el marco muestral argentino de PISA 2015?

La muestra argentina de PISA 2015 cumple con dos de los tres estándares de muestreo. Su marco muestral cubre a un 99.2% de la población de jóvenes de 15 años matriculados del séptimo grado en adelante y de la población de jóvenes de 15 años deseada (dado que ambas son iguales en el caso de Argentina, como mencioné anteriormente).

Sin embargo, el marco muestral de la Argentina sólo cubre a un 55% de la población total de jóvenes de 15 años (Gráfico 1). Este porcentaje se obtiene dividiendo el número total de jóvenes de 15 años en el país (718.635) por el número total de estudiantes representados en la muestra luego de las exclusiones al nivel de escuela y estudiante (394.917). Este es el segundo porcentaje de cobertura de esta población más bajo entre los 65 sistemas educativos participantes en PISA 2015. (El más bajo es de Vietnam, con un 49%).

Fuente: Elaboración propia en base a: OCDE (2016). PISA 2015 Results: Excellence and Equity in Education (Volume I). Cuadro A2.1, p. 292.
Nota: Se incluye sólo a los países latinoamericanos participantes en PISA 2015.

La tasa de cobertura de la población nacional de jóvenes de 15 años en Argentina en el 2015 es la más baja en la historia de participación del país en las pruebas PISA (Gráfico 2).

Fuente: Elaboración propia en base a: OCDE (2001-2016). PISA 2015 Results (Volume I). PISA 2000: Cuadro A3.1, p. 252; PISA 2006: Cuadro A2.1, p. 350; PISA 2012: Cuadro A2.1, p. 268; PISA 2015: Cuadro A2.1, p. 292.
Notas: Argentina no participó en PISA 2003. No se reportó el índice de cobertura de la población nacional total en PISA 2000.

¿Cómo se descubrió este problema?

PISA tiene múltiples mecanismos de control de calidad para diferentes aspectos de la administración de la prueba. Uno de estos mecanismos contempla la contratación de dos a tres Monitores de Calidad de PISA (PQMs, por sus siglas en inglés) por país. Los PQMs son consultores independientes basados en cada país, contratados por la firma internacional de encuestadores que administra PISA. Todos los datos de este control de calidad se le presentan al Grupo de Adjudicación de PISA, integrado por los miembros del Consejo Asesor Técnico y un Revisor de Muestra. Los resultados de este proceso de control de calidad identificaron problemas técnicos en Argentina y tres otros países (Albania, Kazakstán y Malasia).

¿Por qué ocurrió este problema?

Como lo dice la OCDE en la página 304 de su informe: “En la Argentina, la prueba PISA fue administrada de acuerdo a los estándares de operación y recomendaciones de la OCDE. Sin embargo, hubo una reducción considerable en la proporción de jóvenes de 15 años cubiertos por la prueba, en términos absolutos y relativos. Hubo una reestructuración de las escuelas secundarias en la Argentina, excepto por aquellas en la Ciudad Autónoma de Buenos Aires, que podría haber afectado la cobertura de escuelas elegibles en el marco muestral. Como resultado, los resultados de la Argentina pueden no ser comparables con los de otros países o con los resultados del país de años anteriores” (énfasis agregado).

El informe no provee mayores detalles. Sin embargo, la reestructuración a la que parece referirse el informe es la dictada por el Artículo 134 de la Ley de Educación Nacional (LEN) del 2006, que estipula que “A partir de la vigencia de la presente ley cada jurisdicción podrá decidir sólo entre dos opciones de estructura para los niveles de Educación Primaria y Secundaria de la educación común: (a) una estructura de seis (6) años para el nivel de Educación Primaria y de seis (6) años para el nivel de Educación Secundaria o, (b) una estructura de siete (7) años para el nivel de Educación Primaria y cinco (5) años para el nivel de Educación Secundaria.”

Dado que 12 de las 24 jurisdicciones argentinas (incluyendo la Provincia de Buenos Aires, Catamarca, Córdoba, Corrientes, Chubut, Entre Ríos, Formosa, La Pampa, San Juan, San Luis, Tierra del Fuego y Tucumán) eligieron la estructura de seis años de primaria y seis años de secundaria, todos sus alumnos de 15 años que hubiesen sido elegibles para el marco muestral de PISA bajo la estructura anterior del sistema educativo (porque antes estarían matriculados en séptimo grado) ya no lo eran (porque ahora estarían matriculados en sexto grado). Importantemente, este cambio no afecta a CABA, que eligió la estructura de siete años de primaria y cinco de secundaria, junto a 11 otras jurisdicciones del país.

¿Por qué esto no afectó los resultados de PISA 2012? Porque, como lo dice el mismo artículo de la LEN, “Se establece un plazo de seis (6) años a partir de la sanción de la presente ley, para que… se defina la ubicación del séptimo (7) año de escolaridad.” La LEN fue sancionada el 14 de diciembre del 2006, por lo que los cambios estructurales dictados por la misma no se aplicaron hasta luego de las PISA 2012.

¿Qué implica este problema para los resultados 2015?

En lo inmediato, lo que significó este problema es que los resultados de PISA 2015 de Argentina no sean incluidos junto al resto de los otros sistemas educativos participantes, sino separadamente en las tablas de los anexos. Los resultados de CABA, sin embargo, sí fueron incluidos en las tablas de resultados principales, por las razones ya mencionadas.

Al excluir a una gran parte de los alumnos de 15 años de 12 jurisdicciones que previamente hubiesen sido incluidos (porque hubiesen estado matriculados en séptimo grado), los resultados de PISA 2015 dan la incorrecta impresión que el país ha mejorado su desempeño (Gráfico 3). Sin embargo, como lo dice el informe de PISA, los resultados 2015 de Argentina no son comparables con los de previas administraciones de la prueba en el país.

Fuente: Elaboración propia en base a: OCDE (2016). PISA 2015 Results: Excellence and Equity in Education (Volume I): Cuadro I.2.4a, p. 324 (ciencia); Cuadro I.4.4a, p. 378 (lectura); Cuadro I.5.4a, p. 391 (matemática).
Notas: Los resultados de PISA son comparables desde el 2000 para lectura, desde el 2003 para matemática y desde el 2006 para ciencia. Argentina no participó en PISA 2003. Ninguno de los cambios en puntajes promedios son estadísticamente significativos con respecto al año inicial de referencia. Los resultados de Argentina del 2015 no son comparables con los de años anteriores en ninguna materia.

Estas mejoras representarían un gran cambio de resultados de rondas anteriores, que no demuestran ninguna mejora estadísticamente significativa en ninguna materia desde su año de referencia. (Los resultados de PISA son comparables desde el 2000 para lectura, desde el 2003 para matemática y desde el 2006 para ciencia).

¿Quién fue responsable de este cambio en el marco muestral?

La implementación de PISA en cada país es responsabilidad del Gerente Nacional de Proyecto (NPM, por sus siglas en inglés), que es designado por el gobierno de turno. La NPM de PISA 2015 en Argentina fue la Dra. Liliana Pascual, ex-Directora de la ex-Dirección Nacional de Información y Evaluación de la Calidad Educativa (DiNIECE), ahora llamada Dirección Nacional de Información y Estadística de la Educación (DiNIEE) desde la última transición de gobierno. La Dra. Pascual estaba en su momento bajo la supervisión de la Prof. Marisa del Carmen Díaz, ex-Subsecretaria de Planeamiento Educativo, quien reportaba directamente al ex Ministro de Educación Nacional, el Prof. Alberto Sileoni.

¿Qué antecedentes ha habido a estos problemas?

La Argentina ya ha tenido varios problemas para acatar con estándares mínimos de muestreo en pruebas nacionales e internacionales. En el Operativo Nacional de Evaluación (ONE) del 2013, varias jurisdicciones argentinas tuvieron tasas de cobertura muy por debajo de las planeadas (ver informe del Ministerio de Educación y Deportes aquí). A nivel nacional, se alcanzó sólo un 48% de la muestra de tercer grado de primaria, un 69% de la de sexto grado de primaria, un 66% de la de tercer año de secundaria y un 66% de la del último año de secundaria. El caso del último año de secundaria fue particularmente problemático, ya que se llamó al ONE 2013 en ese año un “censo” de los estudiantes (sugiriendo, incorrectamente, que se había alcanzado a la totalidad de los estudiantes en ese año).

En el Estudio Internacional de Alfabetización Informática y Manejo de Tecnologías (ICILS, por sus siglas en inglés) del 2013, fue CABA la jurisdicción con problemas de muestreo. Como se estipula en el Cuadro A.2 (página 262) del informe del ICILS, la tasa de participación de la jurisdicción fue tan solo del 54.2%, por debajo de los estándares de la Agencia Internacional de Evaluación (IEA, por sus siglas en inglés). En tal ocasión, los resultados de CABA no fueron incluidos junto a los de otros países y sistemas educativos sub-nacionales.

Más recientemente, en el Estudio de Tendencias Internacionales en Matemáticas y Ciencias (TIMSS, por sus siglas en inglés) del 2015, CABA nuevamente tuvo problemas de muestreo. En la evaluación de matemática y ciencia de primer año de la secundaria, la muestra de CABA sólo cumplió con los estándares de TIMSS una vez que se localizaron escuelas de reemplazo.

¿Qué implica este problema para futuras rondas de PISA?

Más allá de las implicancias del problema con el marco muestral de Argentina para la comparabilidad de los resultados 2015, lo más importante de ahora en adelante será entender si el gobierno de turno planea mantener el marco muestral adoptado para PISA 2015, perdiendo la comparabilidad con PISA 2000-2012, o regresar al marco anterior, perdiendo la comparabilidad con PISA 2015.