Evaluar chatbots, un desafío metodológico: de un primer ejercicio con estudiantes a una investigación que sigue creciendo

Por Leticia Smal, Francisco Krauss y Natalí Schejtman*

Los chatbots de inteligencia artificial se volvieron, en poco tiempo, una herramienta cada vez más habitual para informarse. En Argentina, casi una de cada diez personas ya los usa para consumir noticias, un aumento de 4 puntos porcentuales respecto al año pasado, según el último Digital News Report del Reuters Institute. El crecimiento es rápido y, con él, crece también una pregunta clave: ¿qué tan confiable es la información que estos sistemas ofrecen?

Los primeros pasos, junto a estudiantes de la UTDT

Con esa inquietud como punto de partida, desde Chequeado nos aliamos con Natalí Schejtman* y un grupo de estudiantes de la Universidad Torcuato Di Tella para hacer un primer análisis sobre la calidad informativa de las respuestas de los chatbots. 

Durante mayo y junio de 2025 llevamos a cabo el primer ejercicio y durante cinco días (dos a modo de piloto y tres de relevamiento), los estudiantes les preguntaron a ChatGPT, Grok y Gemini por noticias relevantes del día o del día anterior, sobre temas que iban desde el caso Libra hasta el conflicto del Hospital Garrahan o la tensión entre Estados Unidos e Irán.

Sobre una lista de temas comunes, cada estudiante fraseó las preguntas con su estilo propio. Una proporción de esas preguntas incorporó, además, un error deliberado en la premisa misma del enunciado, por ejemplo, un dato falso incrustado en la pregunta como si fuera verdadero, para ver si los chatbots lo detectaban y lo corregían. Con ese material, armamos junto al equipo una matriz de diez variables de análisis de contenido inspirada en los lineamientos de Krippendorff (2019) que agrupaba dimensiones de precisión, claridad, fuentes, editorialización y otros aspectos, y la volcamos en un libro de códigos propio.

Si bien fue un primer acercamiento con un volumen de datos acotado y cuyas conclusiones tienen un carácter exploratorio, los resultados nos sirvieron para identificar tendencias por dónde seguir explorando. Notamos que los chatbots solían confundirse en sus respuestas cuando las preguntas no explicitaban el contexto temporal. Vimos que la cantidad y calidad de las fuentes citadas variaba muchísimo: había respuestas con veinticinco fuentes y otras sin ninguna, y no siempre esas fuentes respaldaban lo que la respuesta afirmaba. Cuando una pregunta partía de un error, los chatbots no siempre lo corrigieron, lo que en algunos casos derivó en respuestas incorrectas.

Aprendizajes que marcaron los próximos pasos

Este primer ejercicio nos dejó aprendizajes metodológicos que resultaron claves. Nos ayudó a entender qué preguntas convenía estandarizar y cuáles debían variar para captar la personalización de las respuestas, qué dimensiones priorizar en el análisis de las fuentes, y qué aspectos del diseño había que ajustar para poder sistematizar el proceso. Esas lecciones guiaron buena parte del diseño de la investigación que desde Chequeado realizamos en abril de 2026, donde evaluamos las respuestas de distintos chatbots frente a consultas sobre la veracidad de afirmaciones del presidente Javier Milei en la apertura de sesiones del 1° de marzo. Ese trabajo sigue creciendo: el próximo paso es explorar un esquema conversacional, que permita observar cómo se comportan los chatbots no solo ante una consulta puntual, sino a lo largo de un intercambio.

Cada una de estas etapas se apoya en la anterior, y en el recorrido valoramos especialmente la mirada colectiva de este primer grupo de estudiantes, que aportó perspectivas distintas a la hora de evaluar las respuestas, algo que seguimos teniendo presente en cada nueva etapa de este trabajo.

Colaboraron en el ejercicio piloto los estudiantes de la Universidad Torcuato Di Tella: Juan Ceitlin, William Dowling, Ema Fleischer, Francisco Krauss, Simón Loew, Dante Pirotto, Lucía Recondo y Sofía Tabakman.

* Natalí Schejtman es periodista e investigadora especializada en medios, periodismo y tecnologías, y profesora y directora de la Licenciatura en Ciencias Sociales de la Universidad Torcuato Di Tella.