[general_dat] Invitación a la defensa de tesis de licenciatura de Florencia Fontana Walser (Viernes 07/08 - 17hs - 1204)

[Pablo Brusco]

¡Hola!

Tenemos el agrado de invitarlos/as a la presentación de Tesis de *Licenciatura
en Ciencias de Datos* de Florencia Fontana Walser

*Título*:          *  Clasificación de transiciones de turno
en conversaciones humano-humano utilizando LLMs multimodales*

*Cuándo*:          *Viernes 07 *de Agosto de 2026, *17:00 hs. *

*Dónde*:            *Aula **1204*, Edificio 0+infinito, Ciudad
Universitaria, UBA.

*Directores*:     Pablo Brusco, Pablo Riera

*Jurados/as*:    Florencia Zanollo, Martín Meza

Resumen:

Esta tesis evalúa la viabilidad de utilizar modelos de lenguaje grandes
multimodales con entrada directa de audio (audioLLMs), para la
clasificación automática offline de transiciones de turno en conversaciones
humano-humano en español rioplatense. El trabajo analiza si proveer la
señal acústica junto con la transcripción permite capturar pistas
prosódicas (como la entonación, pausas y habla simultánea) que mejoren el
desempeño frente a un enfoque puramente textual.  Utilizando el UBA Games
Corpus y una metodología en cuatro fases, se evaluaron distintas
estrategias de *prompting* e integración de audio.

Los resultados revelan dos hallazgos principales: por un lado, descomponer
el problema en preguntas binarias derivadas del árbol de decisión
presentado en trabajos fundacionales resulta significativamente más
efectivo que la clasificación directa. Por otro lado, la incorporación de
audio mejora el Macro F1 de 0.56 (solo texto) a 0.59 en el conjunto de
evaluación final (held-out). Esta mejora se concentra en categorías donde
el texto resulta ambiguo por diseño, mejorando el desempeño en Interrupción
en pausa (PI) y reduciendo confusiones en Overlap (O). Si bien el
rendimiento global se mantiene por debajo del baseline acústico supervisado
clásico (Macro F1 = 0.67), se evidencia que los LLMs multimodales logran
utilizar la prosodia como señal complementaria para resolver ambigüedades.

*Palabras clave: *Manejo de turnos (turn-taking), LLMs multimodales,
prosodia, español rioplatense, UBA Games Corpus.
--
Dr. Pablo Brusco
Laboratorio de Inteligencia Artificial Aplicada
Departamento de Computación
Universidad de Buenos Aires