[general_dat] Materia optativa para 4to bimestre: Evaluación de Sistemas de Aprendizaje Automático

[Dirección LCD]

From: Luciana Ferrer <lferrer at dc.uba.ar>

Date: Mon, Aug 8, 2022, 08:17
Subject: [DC-Todos] Materia optativa para 4to bimestre: Evaluación de
Sistemas de Aprendizaje Automático
To: Todos - DC <todos at dc.uba.ar> 

Hola a todes, 

Soy investigadora CONICET con lugar de trabajo en el ICC. Este año, en
el 4to bimestre voy a dar una materia optativa sobre un aspecto que
considero muy importante dentro del aprendizaje automático, la
evaluación del rendimiento de los sistemas. Esta materia va a asumir
algún conocimiento previo de aprendizaje automático, como haber hecho un
curso introductorio sobre el tema. 

Quiero enfatizar que no vamos explicar distintos tipos de modelos (redes
neuronales, árboles de decisión, etc) sino que los vamos a considerar
cajas negras y vamos a discutir diversos aspectos relacionados con cómo
evaluar el rendimiento de esa caja negra. 

La evaluación de sistemas puede parecer un tema secundario pero no lo es
para nada! El desarrollo de sistemas de aprendizaje automático es
básicamente un ejercicio empírico: probamos diversos diseños,
hiperparámetros, métodos y elegimos el mejor. El éxito del desarrollo,
por lo tanto, depende en gran parte, de que el proceso de evaluación de
los sistemas sea correcto. Por más esfuerzo que se haga en encontrar el
mejor modelo, si la evaluación está mal hecha, el desarrollo muy
probablemente resulte en un sistema subóptimo.

Esta materia cubrirá diversos aspectos involucrados en la selección y
evaluación de sistemas de aprendizaje automático, con foco en sistemas
de clasificación, describiendo algunos conceptos teóricos, pero
enfocándose más que nada en cuestiones prácticas, usando ejemplos y
ejercicios de implementación. 

El título de la materia es Evaluación de Sistemas de Aprendizaje
Automático 
Va a ser los Viernes de 9 a 12 del 14 de octubre al 2 de diciembre (ocho
clases). 

Los temas que vamos a cubrir son: 
* Introducción al problema de evaluación de sistemas de aprendizaje
automático. Selección y evaluación de modelos. Overfitting y
underfitting.

* Experimentación en aprendizaje automático: organización,
replicabilidad, usabilidad, documentación. 

* Datos: Selección, división para entrenamiento, desarrollo y
evaluación. Validación cruzada. Datos no IID. Correlaciones espúreas. 

* Métrica para clasificación: función de costo, teoría de decisión
Bayesiana, discriminación y calibración. Otras métricas de
clasificación: equal error rate, F1 score, etc. Significancia
estadística. 

* Otros temas, por ejemplo: análisis de errores, análisis de rendimiento
disgregado por condición. 

Materias correlativas: 
* Métodos numéricos 
* Algoritmos y Estructura de datos III 

En este momento está abierta la inscripción por fuera del SIU: 

https://docs.google.com/forms/d/e/1FAIpQLSewddKp0AeJGbB0cthPcWj9vCFndZcBjYsNMdLgxY4c5hHE3g/viewform


Esta inscripción es exploratoria, queremos saber cuántas personas están
interesadas en hacer la materia. Por favor, si estás interesade,
inscribite. Eventualmente se abrirá la inscripción formal a través de
SIU. 

Importante: La materia se dictará presencial y tendrá secciones de
laboratorio con lo cual tendremos que poner cupo. 

La materia dará 2 puntos para la licenciatura. Posiblemente también dará
puntos para doctorado, pero no sabemos aún cuántos serán. 
Cualquier pregunta no duden en contactarme. 

Saludos, 

Luciana Ferrer 
Investigadora Independiente 
Instituto de Ciencias de la Computación, UBA-CONICET