[general_dat] Defensa tesis Lic Cs Datos Juan Ignacio Fiore

[Pablo Groisman]

Tenemos el agrado de invitar a la defensa de la tesis de Licenciatura en
Ciencias de Datos de Juan Ignacio Fiore, que tendrá lugar este viernes
7/8 (mañana) a las 17:00, en el aula 1205 del Pabellón 0+infinito.

Título: Cuando la optimización se olvida de la minoría: Amplificación de
sesgo en aprendizaje por refuerzo

Director: Matthieu Jonckheere
Codirector: Pablo Groisman

Jurados: Mariela Sued y Matías Bilkis

Resumen: La amplificación de sesgo es un fenómeno conocido empíricamente
dentro del aprendizaje automático, que explica cómo los modelos suelen
ignorar durante la optimización a las poblaciones minoritarias, obteniendo
resultados mucho más sesgados de lo que los propios datos justifican. Un
trabajo formaliza este problema en aprendizaje supervisado y muestra cómo
el descenso por gradiente aprende, sobre todo en una fase temprana,
ignorando por completo a la minoría.
En este trabajo estudiamos ese mismo problema en aprendizaje por refuerzo,
donde no hay datos etiquetados, sino estados, acciones y recompensas. Sin
un conjunto de datos estático, el gradiente se computa sobre trayectorias
que se despliegan durante el aprendizaje y, para modelar las
subpoblaciones, usamos una clase latente en cada episodio que solo influye
en las recompensas, siendo la política ciega ante ella.
Esta dinámica contiene dos factores que participan del problema: la
probabilidad de las acciones y la frecuencia de visita a los estados. A
través de ellos, la optimización ignora a la minoría de dos maneras: en el
destino, es decir, en la política de decisión a la que converge el modelo;
y en el viaje, quedando atrapada en regiones estereotipadas durante la
dinámica de optimización.
Caracterizamos el fenómeno analíticamente en bandidos y procesos de
decisión de Markov (MDPs) y verificamos los resultados experimentalmente.

Los/as esperamos!