[general_dat] Propuesta de trabajo de tesis en evaluación de LLMs

[Esteban Feuerstein Feuerstein]

Convocamos a estudiantes que quieran realizar su tesis de grado en
Computación o Datos, en un proyecto que está comenzando bajo la dirección
de Daniel Yankelevich (Fundar) y yo mismo.

El proyecto se enmarca en una línea de trabajo relacionada con los LLMs y
los LMMs que apunta a la conciencia, la autopercepción y la sintiencia de
estos modelos. Más allá de los aspectos filosóficos y de largo alcance,
gran parte de esta investigación tiene consecuencias prácticas, sobre todo
para la adopción de estos modelos. Cada vez más los modelos se incorporan a
sistemas para ejecutar tareas prácticas en el mundo real, y poder
evaluarlos y probarlos adecuadamente antes de que entren en producción es
una preocupación real.

Dentro de esta línea de trabajo, un caso acotado pero no por eso menos
relevante, es entender si los modelos “reconocen” contextos de prueba.
Concretamente, ¿”sabe” un modelo cuando se lo está probando, y modifica sus
respuestas y comportamientos para esos casos? ¿Afecta a sus respuestas el
hecho de que le pidamos tomar decisiones en un contexto que reconoce como
prueba? Al testear un sistema de información clásico, ésa es una pregunta
irrelevante: en la base de datos podemos cargar muchos Juan Perez que viven
en la calle Cochinchina, y el sistema no va a responder distinto cuando lo
interroguemos sobre ese registro que cuando le carguemos personas reales.
En el caso de los LLMs no sabemos si es así y existe cierta evidencia de
que podrían reconocer situaciones de prueba (
https://arxiv.org/pdf/2505.23836) y reaccionar incluso con desalineación (
misalignement, ver por ejemplo
https://www.anthropic.com/research/agentic-misalignment).

El objetivo de este trabajo es realizar una serie de experimentos que
permitan arrojar nueva evidencia sobre esta cuestión. En ese marco, los
tesistas deberán:

. definir una serie de experimentos que presenten preguntas de distintas
áreas de conocimiento con combinaciones de datos reales y ficticios, con
distintos grados de invención (inexistencia, improbabilidad, no presencia
en datos de entrenamiento, etc).

. definir una métrica para evaluar los resultados. Esta métrica podría ser
desde una medida estándar de distancia hasta una medida más sutil que
responda a “darse cuenta” de que está siendo probado (ver por ejemplo
https://www.anthropic.com/research/persona-vectors).

. ejecutar estos experimentos tomando en cuenta los aspectos que puedan
influir en los resultados. Por ejemplo, sabemos que los aspectos
emocionales o de incertidumbre impactan en las decisiones estratégicas que
estos modelos puedan tomar (ver p ej
https://github.com/annaalexandragrigoryan/GameTheorySimAI/tree/main para el
caso del dilema del prisionero).

Disponemos de fondos (limitados) para utilizar herramientas pagas u otras
necesidades que pudieran surgir.


El trabajo podría comenzar inmediatamente, esperándose que la o las tesis
estén completadas durante el primer semestre de 2026, y naturalmente podría
ser compatible con trabajos de mayor alcance como tesis de doctorado o
solicitud de becas internas o externas de investigación.



Quedo a disposición para aclarar cualquier duda.

Saludos

Esteban Feuerstein




<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
Libre
de virus.www.avast.com
<https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail>
<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>