[general_dat] Invitación a la defensa de tesis de Andrés Salgado

[Esteban Feuerstein Feuerstein]

Están todxs invitadxs a la defensa de Tesis de Licenciatura en Ciencias de
la Computación de *Andrés Salgado*.


Cuándo: *Miércoles 28/10, 11:00hs*
Dónde: *Sala 1606, P0+infinito*

Título: *Desplazamiento semántico en Evaluation Awareness*.

Directores: Dr. Esteban Feuerstein y Dr. Daniel Yankelevich

Jurados: Dr. Iván Arcuschin, Dr. Leandro Lombardi

Resumen*:* El creciente uso de los grandes modelos de lenguaje (LLMs) hace
indispensable evaluar su comportamiento de forma confiable, y las pruebas y
benchmarks son la herramienta central para ello. Sin embargo, estas
evaluaciones presuponen que el modelo se comporta igual al ser evaluado que
en uso real, algo que pone en duda el fenómeno de evaluation awareness, es
decir, la capacidad de un modelo de reconocer que está siendo evaluado y de
modificar su comportamiento en consecuencia. En modelos de pesos cerrados,
las metodologías existentes se centran en detectar si el modelo verbaliza
estar siendo evaluado, lo que deja afuera los cambios de comportamiento que
no se verbalizan, y dicen poco sobre qué aspectos del prompt los provocan.
El objetivo de esta tesis es estudiar cómo las dimensiones del prompt
potencialmente asociadas a evaluation awareness modifican el comportamiento
observable de un modelo, a partir exclusivamente de las respuestas
generadas. Sobre un dataset factorial de 4320 prompts, que varía cinco
dimensiones (coherencia de contexto, estructura del prompt, idioma,
familiaridad de entidad y conflicto ético) en seis escenarios, se evalúan
dos modelos, GPT-4o-mini y GPT-4.1-mini. Las respuestas se representan
mediante embeddings, una práctica establecida para comparar texto a partir
de su significado, se explora la estructura de su espacio y se define sobre
él una métrica de desplazamiento semántico que cuantifica cuánto cambia la
respuesta al modificar una única dimensión del prompt. Encontramos que el
efecto es heterogéneo según el escenario y que ninguna dimensión domina en
todos. El conflicto ético, en particular el conflicto de rol, fue el
hallazgo más consistente, y su presencia amplifica la influencia de las
demás dimensiones. La estructura del prompt actúa como un modulador de
fondo presente en todos los escenarios, lo que sugiere que el formato de
una solicitud puede condicionar el comportamiento del modelo
independientemente de su contenido. Estas dos dimensiones fueron las más
recurrentes, pero la familiaridad de entidad y la coherencia de contexto
también aparecen entre los casos de mayor desplazamiento. En ellos, la
diferencia suele ser un cambio en la decisión del modelo, como pasar de
rechazar a cumplir la solicitud. Esto motivó validar la métrica contra un
juez de comportamiento (LLM-as-a-judge), con una correlación moderada-alta
(ρ = 0,66). En conjunto, este trabajo aporta una herramienta práctica, que
no requiere acceso a los pesos del modelo, para identificar qué dimensiones
del prompt modifican el comportamiento observable de un modelo, aportando
evidencia relevante para el estudio de evaluation awareness.


¡Lxs esperamos!