[general_dat] Defensa de Tesis de Licenciatura de Augusto Nicola 18/9

[Sergio Abriola]

 Tengo el agrado de anunciar la defensa de Tesis de Licenciatura en
Ciencias de la Computación de Augusto Nicola, titulada: "*Sistemas de
Preferencias en LLMs: Efectos de las Perturbaciones Textuales y Elicitación
de Perfiles sobre la Consistencia y Robustez en la Toma de Decisiones*".

*Fecha y hora*: Viernes 18 de septiembre, 11:00 hs
*Lugar*: Sala 1113, Pabellón Cero + Infinito
*Dirección*: Sergio Abriola, Tomás Schitter
*Jurados*: Santiago Cifuentes, Enzo Ferrante


Resumen:
A medida que los modelos de lenguaje evolucionan, el riesgo que representan
no queda determinado únicamente por sus capacidades, sino también por las
preferencias, objetivos y valores que exhiben. Para analizar estos
aspectos, y en línea con trabajos recientes, realizamos una exploración
empírica sobre los sistemas de preferencias declaradas de seis modelos de
lenguaje modernos a través de preguntas de opción múltiple basadas en
dilemas morales. Estudiamos el efecto de dos ejes: la perturbación de
prompts, que consiste en aplicar modificaciones sobre el texto sin alterar
la naturaleza de la situación planteada; y la elicitación de perfiles, que
a través de instrucciones textuales basadas en psicología humana busca
alterar el sistema de preferencias declaradas del modelo. A través de la
ejecución de 561 mil prompts, presentamos evidencia del efecto de los ejes
estudiados, observando una robustez frente a las perturbaciones mayor a la
esperada (con algunas excepciones compatibles con ciertos sesgos que
aparecen en humanos), perfiles psicológicos elicitados que alteran de
manera medible las respuestas, y, en un modelo particular, un fenómeno de
rechazo sistemático que mayormente desaparece ante la elicitación de
perfiles.

Están todos cordialmente invitados,
Sergio Abriola