[general_dat] Recordatorio: Invitación a la defensa de tesis de licenciatura de Gonzalo Meyoyan (Lunes 10hs)

[Luciano Del Corro]

¡Hola!
>
> Los invitamos a la presentación de Tesis de Licenciatura en Computación de
> Gonzalo Meyoyan.
>
> Título: Probes selectivos en tokens y capas para clasificación eficiente
> en LLMs
> Cuándo: Lunes 19 de Octubre, 10:00 hs.
> Dónde: Aula 1100, Edificio 0+infinito, Ciudad Universitaria, UBA.
> Director: Luciano Del Corro
> Jurados: Luciana Ferrer, Iván Arcuschin
>
> Resumen
>
> Los sistemas de producción basados en modelos de lenguaje de gran escala
> (LLMs) suelen rodear al serving model de clasificadores auxiliares para
> tareas como la moderación de contenido, lo que incrementa la latencia, el
> consumo de memoria de GPU y la complejidad operacional. En esta tesis
> proponemos reutilizar el cómputo que el serving model ya realiza:
> entrenamos clasificadores livianos, a los que denominamos probes
> selectivos, sobre los estados ocultos del modelo, y predecimos la etiqueta
> en el mismo forward que se utiliza para la generación, manteniendo el
> modelo congelado. Formulamos la clasificación como un problema de selección
> de representación sobre el tensor completo de estados ocultos, e
> introducimos una arquitectura de agregación en dos etapas que resume
> primero los tokens dentro de cada capa y luego las capas entre sí.
>
> Evaluamos sobre cinco benchmarks de moderación y de análisis de
> sentimiento y sobre tres familias de arquitecturas, densas y de mezcla de
> expertos. Sobre Llama-3.2-3B congelado, un probe de 92.000 parámetros
> entrenables alcanza 85,98 de F1 en WildGuardMix, por encima de guard models
> dedicados de 8.000 millones de parámetros. Bajo distribution shift,
> entrenando sobre WildGuardMix y evaluando sobre ToxicChat, nuestro probe
> más expresivo (35M) supera a WildGuard (7B), Aegis-Guard (8B) y GPT-4
> utilizando 200× menos parámetros entrenables.
>
> El mismo patrón se repite fuera del área de moderación, en benchmarks de
> análisis de sentimiento. Un probe de 110.000 parámetros iguala a
> clasificadores dedicados de más de 350 millones, tanto para clasificación
> binaria como multiclase.
>
> A esta ventaja de rendimiento se suma la de costo: evitar el segundo
> modelo hace el pipeline más de 3× más liviano en memoria de GPU y más de
> 2,5× más rápido, frente a un despliegue con guard models dedicados.
>
> Saludos,
>
> Luciano
>