[general_dat] Invitación a la defensa de tesis de licenciatura de Tomás Schmidt (Miércoles 5/8 18hs)

[Bruno Bianchi]

¡Hola!

Tenemos el agrado de invitarlxs a la presentación de Tesis de Licenciatura
en Ciencias de Datos de Tomás Schmidt

*Título:* Transformers guiados por atención humana: integración de
eye-tracking para  mejorar el entrenamiento de modelos de lenguaje
*Director: *Bruno Bianchi;
*Codirector:* Fermín Travi
Miércoles 5 de agosto de 2026, 18:00 hs. Aula 1207

*Resumen*: Las señales cognitivas humanas parecen ser una posible fuente de
información complementaria. Esta tesis estudia si los movimientos oculares
registrados durante la lectura —eye-tracking— pueden incorporarse al
entrenamiento de un modelo de lenguaje en español y mejorar sus
representaciones o su desempeño en tareas posteriores.Para los experimentos
utilizamos BETO y el corpus CUENTOS, compuesto por textos en español leídos
por 113 hablantes nativos. Se trabajó con 20 cuentos, con una extensión
promedio de 795 palabras y alrededor de 50 lectores por texto. Luego de
segmentar los cuentos en oraciones y alinear las palabras con los tokens de
BETO, se construyó un dataset de más de 48.000 instancias.Exploramos dos
estrategias. En la Fase Scanpath, agregamos durante el reentrenamiento una
rama auxiliar basada en una GRU, que procesa las representaciones de BETO
siguiendo el orden de lectura observado. En la Fase Máscara, incorporamos
métricas de lectura  como sesgos dentro del mecanismo de atención del
Transformer, evaluando distintas capas e intensidades. En ambos casos, las
señales oculares se utilizan solamente durante el reentrenamiento: durante
el fine-tuning y la inferencia, el modelo recibe únicamente texto.Los
resultados muestran que las señales de eye-tracking modifican efectivamente
la dinámica de entrenamiento, aunque una mayor intensidad no produce
necesariamente mejores resultados.
Esta tesis demuestra que es posible integrar señales reales de lectura
humana en modelos para español y deja pipelines de procesamiento, dos
estrategias arquitectónicas y resultados que delimitan las condiciones
necesarias para futuras investigaciones.Palabras clave: modelos de
lenguaje, Transformers, eye-tracking, atención humana, BETO, scanpaths,
español rioplatense

-- 
Dr. Bruno Bianchi
Laboratorio de Inteligencia Artificial Aplicada
Departamento de Computación
Universidad de Buenos Aires