[general_dat] Invitación a la defensa de tesis de licenciatura de Gonzalo Meyoyan (Lunes 10hs)

[Luciano Del Corro]

¡Hola!

Los invitamos a la presentación de Tesis de Licenciatura en Computación de
Gonzalo Meyoyan.

Título: Probes selectivos en tokens y capas para clasificación eficiente en
LLMs
Cuándo: Lunes 19 de Octubre, 10:00 hs.
Dónde: Aula 1100, Edificio 0+infinito, Ciudad Universitaria, UBA.
Director: Luciano Del Corro
Jurados: Luciana Ferrer, Iván Arcuschin

Resumen

Los sistemas de producción basados en modelos de lenguaje de gran escala
(LLMs) suelen rodear al serving model de clasificadores auxiliares para
tareas como la moderación de contenido, lo que incrementa la latencia, el
consumo de memoria de GPU y la complejidad operacional. En esta tesis
proponemos reutilizar el cómputo que el serving model ya realiza:
entrenamos clasificadores livianos, a los que denominamos probes
selectivos, sobre los estados ocultos del modelo, y predecimos la etiqueta
en el mismo forward que se utiliza para la generación, manteniendo el
modelo congelado. Formulamos la clasificación como un problema de selección
de representación sobre el tensor completo de estados ocultos, e
introducimos una arquitectura de agregación en dos etapas que resume
primero los tokens dentro de cada capa y luego las capas entre sí.

Evaluamos sobre cinco benchmarks de moderación y de análisis de sentimiento
y sobre tres familias de arquitecturas, densas y de mezcla de expertos.
Sobre Llama-3.2-3B congelado, un probe de 92.000 parámetros entrenables
alcanza 85,98 de F1 en WildGuardMix, por encima de guard models dedicados
de 8.000 millones de parámetros. Bajo distribution shift, entrenando sobre
WildGuardMix y evaluando sobre ToxicChat, nuestro probe más expresivo (35M)
supera a WildGuard (7B), Aegis-Guard (8B) y GPT-4 utilizando 200× menos
parámetros entrenables.

El mismo patrón se repite fuera del área de moderación, en benchmarks de
análisis de sentimiento. Un probe de 110.000 parámetros iguala a
clasificadores dedicados de más de 350 millones, tanto para clasificación
binaria como multiclase.

A esta ventaja de rendimiento se suma la de costo: evitar el segundo modelo
hace el pipeline más de 3× más liviano en memoria de GPU y más de 2,5× más
rápido, frente a un despliegue con guard models dedicados.

Saludos,

Luciano