Skip to content
Esta nota tiene más de un año

¿Qué pasó con la muestra argentina de PISA 2015?

En el diario La Nación de ayer se reveló que habría un problema con la muestra argentina para el Programa para la Evaluación Internacional de los Alumnos (PISA, por sus siglas en inglés) 2015. La nota no especificaba cuál era el problema, ni sus consecuencias para la interpretación de los resultados, dado que el informe de PISA estuvo embargado hasta las 7am de Buenos Aires. Ahora que se publicó el informe, se puede tener un mejor entendimiento de la situación.

¿Qué es PISA?

PISA es una evaluación liderada por la Organización de Cooperación y Desarrollo Económico (OCDE) de las habilidades de matemática, lectura y ciencia de los jóvenes de 15 años que estén matriculados en la escuela. Se realiza cada tres años desde el 2000, con una creciente participación de sistemas educativos: 43 en el 2000, 41 en el 2003, 57 en el 2006, 75 en el 2012 y 65 en el 2015.

La Argentina participa en PISA desde el 2000, pero no participó en el 2003. La Ciudad Autónoma de Buenos Aires (CABA) participa desde el 2012. Esto significa que PISA presenta resultados para toda la Argentina (incluyendo los estudiantes de CABA) y para CABA por separado.

¿Qué estudiantes deberían participar en PISA?

PISA no se administra a todos los estudiantes de 15 años de cada sistema educativo, sino a una “muestra” (o selección) de éstos. PISA se enfoca en un grupo etario—a diferencia de otras pruebas internacionales, que evalúan uno o más grados—porque los sistemas educativos difieren en cómo estructuran su educación primaria y secundaria (es decir, el “primer año de la secundaria” incluye a alumnos de diferentes edades en diferentes sistemas). El foco en los estudiantes de 15 años responde al objetivo de la OCDE de diagnosticar las habilidades de los jóvenes que se encuentran próximos a entrar a la educación superior y/o al mercado laboral.

Específicamente, PISA sólo incluye a alumnos que tienen entre 15 años y 3 meses y 16 años y 2 meses, matriculados del séptimo grado en adelante al comienzo de la administración de la evaluación. Se incluye a estudiantes de escuelas públicas y privadas, de tiempo parcial o completo, de origen doméstico o extranjero (mientras residan en el país), de educación tradicional o especial.

¿Cómo se elige a los estudiantes participantes de PISA?

La muestra de PISA de cada sistema educativo aspira a ser representativa de los estudiantes de 15 años de ese sistema. Se selecciona en dos partes: primero, se hace una lista de todas las escuelas del sistema con alumnos de 15 años y se selecciona una muestra aleatoria dentro de esta lista, otorgando una mayor probabilidad de muestreo a las escuelas más grandes; segundo, se hace una lista de todos los estudiantes de 15 años en cada escuela seleccionada y se selecciona una muestra aleatoria de alrededor de 35 estudiantes por escuela.

Los estándares de PISA indican que el “marco muestral” (el grupo de escuelas y estudiantes del cual se selecciona la muestra) de cada sistema debe incluir a un 95% de los estudiantes de 15 años que cumplen con las características mencionadas anteriormente. Es decir, a cada sistema se le permite excluir hasta un 5% de los estudiantes de 15 años elegibles.

Estas exclusiones se permiten por varias razones. Se puede excluir escuelas porque no es fácil llegar a ellas, no se cree factible la administración de la prueba en ellas, o caen dentro de una categoría pre-definida de exclusión (por ejemplo, escuelas para no-videntes). Estas exclusiones, sin embargo, no pueden exceder el 2.5% del marco muestral ya mencionado.

Se puede también excluir alumnos porque tienen alguna discapacidad, no manejan el idioma local, o porque reciben educación en un idioma otro que el nacional. (Cada sistema también puede definir una categoría de exclusión adicional, pero ésta debe ser aprobada por el secretariado de PISA). No se puede excluir a alumnos por bajo desempeño o problemas de disciplina. Estas exclusiones tampoco pueden exceder el 2.5% del marco muestral.

¿Cómo se sabe si participaron quienes deberían participar?

PISA usa tres índices para determinar si un sistema educativo excluyó a demasiadas escuelas y/o estudiantes de su marco muestral. El primer índice es el de cobertura de la población de jóvenes de 15 años (sin importar si cumplen o no con las características ya mencionadas). El segundo es el de la cobertura de la población de jóvenes de 15 años matriculados en la escuela (quienes integran esta población sí deben cumplir con las características ya mencionadas). El tercero es el de la cobertura de la población de jóvenes de 15 años deseada (éstos también deben cumplir con las características ya mencionadas, pero se permite hasta un 5% de exclusiones de la población matriculada).

¿Quiénes participaron en PISA 2015 en Argentina?

En la Argentina, en el 2014—año que se utilizó para seleccionar la muestra del 2015—había 718.635 jóvenes de 15 años, de los cuales sólo 578.308 estaban matriculados del séptimo grado en adelante. Todos estos 578.308 jóvenes fueron considerados elegibles para la muestra de PISA 2015 (es decir, en la Argentina, la población de jóvenes de 15 años deseada incluyó a todos los jóvenes de 15 años matriculados del séptimo grado en adelante).

Sobre la población deseada, la Argentina excluyó un número menor de escuelas y estudiantes. Las exclusiones al nivel de la escuela resultaron en la omisión de 2.617 alumnos—un 0.45% de la población de jóvenes de 15 años deseada (es decir, de los 578.308 alumnos de 15 años matriculados del séptimo grado en adelante). La muestra de estudiantes luego de la exclusión de escuelas fue de 6.349 estudiantes, que representan 349.917 estudiantes a nivel nacional. Las exclusiones al nivel del estudiante resultaron en la omisión de tan solo 21 alumnos—un 0.34% de los estudiantes a nivel nacional (es decir, de los 349.917 representados).

¿Cuál es el problema con el marco muestral argentino de PISA 2015?

La muestra argentina de PISA 2015 cumple con dos de los tres estándares de muestreo. Su marco muestral cubre a un 99.2% de la población de jóvenes de 15 años matriculados del séptimo grado en adelante y de la población de jóvenes de 15 años deseada (dado que ambas son iguales en el caso de Argentina, como mencioné anteriormente).

Sin embargo, el marco muestral de la Argentina sólo cubre a un 55% de la población total de jóvenes de 15 años (Gráfico 1). Este porcentaje se obtiene dividiendo el número total de jóvenes de 15 años en el país (718.635) por el número total de estudiantes representados en la muestra luego de las exclusiones al nivel de escuela y estudiante (394.917). Este es el segundo porcentaje de cobertura de esta población más bajo entre los 65 sistemas educativos participantes en PISA 2015. (El más bajo es de Vietnam, con un 49%).

grafico 1 PISA
Fuente: Elaboración propia en base a: OCDE (2016). PISA 2015 Results: Excellence and Equity in Education (Volume I). Cuadro A2.1, p. 292.
Nota: Se incluye sólo a los países latinoamericanos participantes en PISA 2015.

La tasa de cobertura de la población nacional de jóvenes de 15 años en Argentina en el 2015 es la más baja en la historia de participación del país en las pruebas PISA (Gráfico 2).

GRAFICO 2 PISA
Fuente: Elaboración propia en base a: OCDE (2001-2016). PISA 2015 Results (Volume I). PISA 2000: Cuadro A3.1, p. 252; PISA 2006: Cuadro A2.1, p. 350; PISA 2012: Cuadro A2.1, p. 268; PISA 2015: Cuadro A2.1, p. 292.
Notas: Argentina no participó en PISA 2003. No se reportó el índice de cobertura de la población nacional total en PISA 2000.

¿Cómo se descubrió este problema?

PISA tiene múltiples mecanismos de control de calidad para diferentes aspectos de la administración de la prueba. Uno de estos mecanismos contempla la contratación de dos a tres Monitores de Calidad de PISA (PQMs, por sus siglas en inglés) por país. Los PQMs son consultores independientes basados en cada país, contratados por la firma internacional de encuestadores que administra PISA. Todos los datos de este control de calidad se le presentan al Grupo de Adjudicación de PISA, integrado por los miembros del Consejo Asesor Técnico y un Revisor de Muestra. Los resultados de este proceso de control de calidad identificaron problemas técnicos en Argentina y tres otros países (Albania, Kazakstán y Malasia).

¿Por qué ocurrió este problema?

Como lo dice la OCDE en la página 304 de su informe: “En la Argentina, la prueba PISA fue administrada de acuerdo a los estándares de operación y recomendaciones de la OCDE. Sin embargo, hubo una reducción considerable en la proporción de jóvenes de 15 años cubiertos por la prueba, en términos absolutos y relativos. Hubo una reestructuración de las escuelas secundarias en la Argentina, excepto por aquellas en la Ciudad Autónoma de Buenos Aires, que podría haber afectado la cobertura de escuelas elegibles en el marco muestral. Como resultado, los resultados de la Argentina pueden no ser comparables con los de otros países o con los resultados del país de años anteriores” (énfasis agregado).

El informe no provee mayores detalles. Sin embargo, la reestructuración a la que parece referirse el informe es la dictada por el Artículo 134 de la Ley de Educación Nacional (LEN) del 2006, que estipula que “A partir de la vigencia de la presente ley cada jurisdicción podrá decidir sólo entre dos opciones de estructura para los niveles de Educación Primaria y Secundaria de la educación común: (a) una estructura de seis (6) años para el nivel de Educación Primaria y de seis (6) años para el nivel de Educación Secundaria o, (b) una estructura de siete (7) años para el nivel de Educación Primaria y cinco (5) años para el nivel de Educación Secundaria.”

Dado que 12 de las 24 jurisdicciones argentinas (incluyendo la Provincia de Buenos Aires, Catamarca, Córdoba, Corrientes, Chubut, Entre Ríos, Formosa, La Pampa, San Juan, San Luis, Tierra del Fuego y Tucumán) eligieron la estructura de seis años de primaria y seis años de secundaria, todos sus alumnos de 15 años que hubiesen sido elegibles para el marco muestral de PISA bajo la estructura anterior del sistema educativo (porque antes estarían matriculados en séptimo grado) ya no lo eran (porque ahora estarían matriculados en sexto grado). Importantemente, este cambio no afecta a CABA, que eligió la estructura de siete años de primaria y cinco de secundaria, junto a 11 otras jurisdicciones del país.

¿Por qué esto no afectó los resultados de PISA 2012? Porque, como lo dice el mismo artículo de la LEN, “Se establece un plazo de seis (6) años a partir de la sanción de la presente ley, para que… se defina la ubicación del séptimo (7) año de escolaridad.” La LEN fue sancionada el 14 de diciembre del 2006, por lo que los cambios estructurales dictados por la misma no se aplicaron hasta luego de las PISA 2012.

¿Qué implica este problema para los resultados 2015?

En lo inmediato, lo que significó este problema es que los resultados de PISA 2015 de Argentina no sean incluidos junto al resto de los otros sistemas educativos participantes, sino separadamente en las tablas de los anexos. Los resultados de CABA, sin embargo, sí fueron incluidos en las tablas de resultados principales, por las razones ya mencionadas.

Al excluir a una gran parte de los alumnos de 15 años de 12 jurisdicciones que previamente hubiesen sido incluidos (porque hubiesen estado matriculados en séptimo grado), los resultados de PISA 2015 dan la incorrecta impresión que el país ha mejorado su desempeño (Gráfico 3). Sin embargo, como lo dice el informe de PISA, los resultados 2015 de Argentina no son comparables con los de previas administraciones de la prueba en el país.

GRAFICO 3 PISA
Fuente: Elaboración propia en base a: OCDE (2016). PISA 2015 Results: Excellence and Equity in Education (Volume I): Cuadro I.2.4a, p. 324 (ciencia); Cuadro I.4.4a, p. 378 (lectura); Cuadro I.5.4a, p. 391 (matemática).
Notas: Los resultados de PISA son comparables desde el 2000 para lectura, desde el 2003 para matemática y desde el 2006 para ciencia. Argentina no participó en PISA 2003. Ninguno de los cambios en puntajes promedios son estadísticamente significativos con respecto al año inicial de referencia. Los resultados de Argentina del 2015 no son comparables con los de años anteriores en ninguna materia.

Estas mejoras representarían un gran cambio de resultados de rondas anteriores, que no demuestran ninguna mejora estadísticamente significativa en ninguna materia desde su año de referencia. (Los resultados de PISA son comparables desde el 2000 para lectura, desde el 2003 para matemática y desde el 2006 para ciencia).

¿Quién fue responsable de este cambio en el marco muestral?

La implementación de PISA en cada país es responsabilidad del Gerente Nacional de Proyecto (NPM, por sus siglas en inglés), que es designado por el gobierno de turno. La NPM de PISA 2015 en Argentina fue la Dra. Liliana Pascual, ex-Directora de la ex-Dirección Nacional de Información y Evaluación de la Calidad Educativa (DiNIECE), ahora llamada Dirección Nacional de Información y Estadística de la Educación (DiNIEE) desde la última transición de gobierno. La Dra. Pascual estaba en su momento bajo la supervisión de la Prof. Marisa del Carmen Díaz, ex-Subsecretaria de Planeamiento Educativo, quien reportaba directamente al ex Ministro de Educación Nacional, el Prof. Alberto Sileoni.

¿Qué antecedentes ha habido a estos problemas?

La Argentina ya ha tenido varios problemas para acatar con estándares mínimos de muestreo en pruebas nacionales e internacionales. En el Operativo Nacional de Evaluación (ONE) del 2013, varias jurisdicciones argentinas tuvieron tasas de cobertura muy por debajo de las planeadas (ver informe del Ministerio de Educación y Deportes aquí). A nivel nacional, se alcanzó sólo un 48% de la muestra de tercer grado de primaria, un 69% de la de sexto grado de primaria, un 66% de la de tercer año de secundaria y un 66% de la del último año de secundaria. El caso del último año de secundaria fue particularmente problemático, ya que se llamó al ONE 2013 en ese año un “censo” de los estudiantes (sugiriendo, incorrectamente, que se había alcanzado a la totalidad de los estudiantes en ese año).

En el Estudio Internacional de Alfabetización Informática y Manejo de Tecnologías (ICILS, por sus siglas en inglés) del 2013, fue CABA la jurisdicción con problemas de muestreo. Como se estipula en el Cuadro A.2 (página 262) del informe del ICILS, la tasa de participación de la jurisdicción fue tan solo del 54.2%, por debajo de los estándares de la Agencia Internacional de Evaluación (IEA, por sus siglas en inglés). En tal ocasión, los resultados de CABA no fueron incluidos junto a los de otros países y sistemas educativos sub-nacionales.

Más recientemente, en el Estudio de Tendencias Internacionales en Matemáticas y Ciencias (TIMSS, por sus siglas en inglés) del 2015, CABA nuevamente tuvo problemas de muestreo. En la evaluación de matemática y ciencia de primer año de la secundaria, la muestra de CABA sólo cumplió con los estándares de TIMSS una vez que se localizaron escuelas de reemplazo.

¿Qué implica este problema para futuras rondas de PISA?

Más allá de las implicancias del problema con el marco muestral de Argentina para la comparabilidad de los resultados 2015, lo más importante de ahora en adelante será entender si el gobierno de turno planea mantener el marco muestral adoptado para PISA 2015, perdiendo la comparabilidad con PISA 2000-2012, o regresar al marco anterior, perdiendo la comparabilidad con PISA 2015.

Temas

Comentarios

  • Daniel9 de diciembre de 2016 a las 8:32 amVietnam dice en esta nota que tiene menor representación de jóvenes de 15 años, y Vietnam SI se incluyó en la muestra! Por otro lado, que casualidad que CABA la incluyeron y el resto del país no, no? Acá hay macri gato encerrado...
  • Matías9 de diciembre de 2016 a las 10:39 amUna duda: "Dado que 12 de las 24 jurisdicciones argentinas (incluyendo la Provincia de Buenos Aires, Catamarca, Córdoba, Corrientes, Chubut, Entre Ríos, Formosa, La Pampa, San Juan, San Luis, Tierra del Fuego y Tucumán) eligieron la estructura de seis años de primaria y seis años de secundaria, todos sus alumnos de 15 años que hubiesen sido elegibles para el marco muestral de PISA bajo la estructura anterior del sistema educativo (porque antes estarían matriculados en séptimo grado) ya no lo eran (porque ahora estarían matriculados en sexto grado). " En realidad, esos alumnos de las jurisdicciones que optaron por 6 años y 6 años, no estarían en 6to, sino en primero de la secundaria. No me queda claro entonces por qué no los eligen. Según el articulo, elijen alumnos de 15 años en séptimo grado en adelante. Que es "en adelante"? El artículo arranca muy bien, pero da demasiadas vueltas para explicar lo que en dos párrafos quedaría muy sencillo. Sabiendo algo de muestreo, no hace falta 15 párrafos para que nada quede claro...
    • Carola14 de diciembre de 2016 a las 4:46 pmEl problema tal vez haya sido que no se explicó que no existe séptimo grado en la mitad de las escuelas del país.
  • victoria12 de diciembre de 2016 a las 8:04 pmque hechos ubo en prueba pisa
    • Juan del Sur8 de septiembre de 2018 a las 12:23 pmLos de la UBA comen pizza. Evita me ama.
  • Leandro Botinelli13 de diciembre de 2016 a las 4:52 pmEl index 3 relativo a la cobertura de la población de 15 años de la muestra, es el que habría motivado la exclusión de Argentina del listado o ranking de países. En ese index, pubicado en el informe en la página 290 del archivo pdf, nuestro país obturo 0,550, lo que indica que Argentina tendría una muestra que cubre o representa al 55% de los jóvenes de 15 años. Revisando el informe PISA anterior correspondiente al año 2012, encuentro que hay países con un valor aún más bajo en ese índice y que, de todas maneras, fueron incluidos en el ranking: Albania con 0,552 y Costa Rica con 0,496. Evidentemente, la OCDE o alguna de las consultoras contratadas para el operativo, cambió los criterios para considerar la inclusión de un país en el ranking 2015, lo que habría derivado en la exclusión de Argentina. Si se hubiera aplicado el criterio que se utilizó en 2012, nuestro país hubiera quedado incluida en el ranking.
  • Diego27 de diciembre de 2016 a las 2:03 amEs realmente confusa la nota. Según entiendo de lo que leo, aparentemente el problema se originaría en el tema de la estructura/reestructuración de los niveles, pero no me queda para nada claro en qué. Independientemente de si la estructura es 6/6 o 7/5 la Diniece desde hace un buen rato viene contando de 1º a 12º año de estudio para zanjar esta cuestión de estructuras disímiles en la presentación de datos nacionales. Por tanto, "estudiantes de 15 años matriculados desde el séptimo grado" serían los pibes de 15 que (i) asistan a 7º de primaria o a secundaria en provincias con estructura 7/5 (ii) asistan a secundaria en provincias de estructura 6/6. Quizás el problema se debió a que se envió el marco muestral basado en el universo relevado por el RA 2013 (el último disponible al momento en que PISA solicitaba) y que éste quedó desactualizado en 2015, producto de los intensos movimientos institucionales (por ejemplo, en PBA, muchas escuelas se fusionaron, pues de haber dos niveles secundarios -básico y orientado- de 3 años cada uno pasó a haber uno solo de 6, y ese proceso se fue dando paulatinamente), pero en ese caso no sería responsabilidad de los funcionarios anteriores sino de las empresas y consultores a cargo de PISA, que deberían haber detectado ese problema (salvo que hayan contratado a un coreano que no hablaba español y no tenía idea de los cambios en la estructura de niveles que sufrió Argentina en el último cuarto de siglo). En cualquier caso, no se entiende como si hay supuestamente tanta expertise y exigencia técnica en PISA no se dieron cuenta antes de estos problemas (se supone que entre el envío del marco muestral y la selección de casos y la toma de la prueba median tiempos relativamente prolongados, y para detectar lo "raro" acá era sólo cosa de comparar con el dato básico de alumnos incluidos en marco muestral de 2012), y recién los informaron el día de publicación del informe. Tampoco nunca quedó claro si fue decisión de PISA o pedido del gobierno actual no publicar la información. Por otro lado, el autor de esta nota indica que los resultados argentinos en 2015 se movieron positivamente tanto por este supuesto problema del marco muestral, pero (a) eso es contradictorio con las declaraciones del propio Bullrich que declaró que no fue una muestra manipulada (en otras palabras, que el supuesto error no sesgó los resultados) y (b) se "olvida" que la CABA batió records de mejora entre 2015 y 2012 (o sea, mejoró más que el promedio nacional) y que eso tampoco puede explicarse de ninguna manera por una "mejora" del sistema educativo (la respuesta en ambos casos, Nación y CABA, es que se aplicó una estrategia de "sensibilización" de los alumnos -legal y legítima desde mi punto de vista, pero esa es otra historia). Finalmente, el primer párrafo de "antecedentes" es bastante malintencionado. Primero porque las muestras siempre tienen un nivel de no respuesta, en todo caso habría que comparar la serie histórica para ver si el ONE 2013 fue tan malo; segundo, por que en el último año de secundario la prueba efectivamente fue censal, ya que esa fue la estrategia metodológica escogida, y el hecho de que uno de cada tres pibes no haya contestado en todo caso habla de un censo con serios problemas de cobertura (habrá que evaluar su validez, total o parcial), pero de ningún modo un censo con baja respuesta deja de ser un censo o se transforma en una muestra. Quisiera que la misma rigurosidad que utilizaron para atacar el ONE 2013 usen para comentar los resultados del APRENDER 2016....

Valoramos mucho la opinión de nuestra comunidad de lectores y siempre estamos a favor del debate y del intercambio. Por eso es importante para nosotros generar un espacio de respeto y cuidado, por lo que por favor tené en cuenta que no publicaremos comentarios con insultos, agresiones o mensajes de odio, desinformaciones que pudieran resultar peligrosas para otros, información personal, o promoción o venta de productos.

Muchas gracias

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *