[general_dat] Invitación a cursar la materia "Inferencia Bayesiana Causal" cuatrimestral

[Gustavo Landfried]

Buenas. Aclaración. La materia "Inferencia Bayesiana Causal 1" no tiene
correlativas oficiales en ciencia de datos, es solo una sugerencia. Quienes
estén cursando este cuatrimestre "Introducción a la estadística y ciencia
de datos" tienen la formación matemática y de programación suficiente para
seguir el curso. Lo más importante es el pensamiento crítico: la curiosidad
para hacer la pregunta y profundizar la respuesta.

El lun, 29 jul 2024 a las 14:42, Gustavo Landfried (<
gustavolandfried at gmail.com>) escribió:

> Buenas,
>
> La materia "*Inferencia Bayesiana Causal*" (2024, segundo cuatrimestre)
> se imparte como materia optativa de forma paralela en las licenciatura de
> ciencia de datos, ciencias de la computación y posgrado de la Facultad de
> Ciencias Exactas y Naturales de la UBA.
>
> *ATENCIÓN.* La materia estuvo mal cargada en el sistema de inscripciones
> exactas-UBA. Hasta el día de hoy aparecía como bimestral. Ahora aparece
> correctamente como cuatrimestral. Además, la versión de la materia para
> posgrado aún no ha sido cargada en el sistema. Esto será corregido en
> breve, habrá tiempo para que se inscriban.
>
> *DETALLES*
>
> *Días y horarios (presencial):* Martes de 14:00 a 17:00
> *Duración*: 16 semanas (cuatrimestral).
> *Carga horaria total*: 3 horas semanales presenciales (más 3 horas de
> estudio autónomo).
> *Metodología*: Teórico práctica con laboratorios.
> *Evaluación*: Talleres y cuestionarios semanales obligatorios + 1 trabajo
> práctico grupal.
> *Correlativas*:
>
>    -
>
>    Posgrado FCEN-UBA: Sin correlativas.
>    -
>
>    Lic. Compu (93): Probabilidad y estadística. Algoritmos y estructuras
>    de datos 3.
>    -
>
>    Lic. Compu (23): Estadística computacional. Complejidad computacional.
>    -
>
>    Lic. Datos: Introducción a la estadística y ciencia de datos.
>
> *Créditos*:
>
>    -
>
>    Posgrado FCEN-UBA: 2.5 puntos (a confirmar)
>    -
>
>    Lic. Compu (93): 3 puntos
>    -
>
>    Lic. Compu (23): 48 créditos
>    -
>
>    Lic. Datos: 48 créditos
>
> *Nombre oficial*:
>
>    -
>
>    Posgrado: Métodos en Inferencia Bayesiana Causal
>    -
>
>    Licenciatura: Inferencia Causal Bayesiana 2024
>
>
> *MARCO CONCEPTUAL*
>
> *Definición de Inferencia*. Las "verdades" son proposiciones válidas para
> todas las personas. Las ciencias con datos deben validar sus proposiciones
> (hipótesis) en sistemas naturales abiertos. ¿Tiene sentido hablar de
> "verdad" si justamente tenemos incertidumbre respecto de su verdadero
> estado? Al menos podemos evitar mentir: no afirmar más de lo que se sabe
> (maximizando incertidumbre) sin ocultar todo aquello que sí se sabe (dada
> la información disponible o restricciones).
>
> *Definición de Bayes*. Seleccionar una única hipótesis mediante algún
> criterio arbitrario genera siempre efectos secundarios indeseados, como
> ocurre con el overfitting. Por el contrario, cuando se evalúa todo el
> espacio de hipótesis mediante la (aproximación a la) aplicación estricta de
> las reglas de la probabilidad (preservando la creencia previa que sigue
> siendo compatible con los datos y prediciendo con la contribución de todas
> las hipótesis) se garantizan distribuciones de creencias óptimas (que
> maximizan incertidumbre dada la información disponible).
>
> *Definición de Causal*. El problema real de todo organismo vivo es
> orientar el ciclo de acción-percepción con la naturaleza en favor de su
> reproducción, supervivencia y bienestar. Los problemas del conocimiento
> científico obtienen su relevancia y jerarquía de los objetivos que persigue
> alcanzar. Para optimizar los resultados obtenidos es necesario proponer y
> evaluar los argumentos causales alternativos mediante los cuales predecimos
> el efecto de nuestras intervenciones
>
> *OBJETIVO*
>
> La materia está enfocada en la evaluación de argumentos causales
> alternativos mediante (aproximaciones a) el sistema de razonamiento de las
> ciencias con datos (o aplicación estricta de las reglas de la
> probabilidad). Para ello se revisarán los métodos desarrollados en las
> últimas décadas para:
>
>    - Especificar matemáticamente los argumentos causales expresados en
>    lenguaje natural mediante redes bayesianas y factor graphs.
>    - Identificar los flujos de inferencia en cualquier estructura causal
>    y de las condiciones necesarias para evaluar efectos causales en ausencia
>    de intervenciones.
>    - Diseñar experimentos que permitan evaluar modelos causales
>    alternativos y aptitud para realizar la inferencia aproximando la
>    aplicación estricta de las reglas de la probabilidad.
>    - Comprensión de los ciclos de acción-percepción y habilidad para
>    seleccionar los comportamientos óptimos en problemas de toma de decisiones
>    temporales.
>
>
> *PROGRAMA*
>
> *Unidad 1. Introducción a la especificación y evaluación de argumentos
> causales*
>
>    - Descripción y explicación. La estructura matemática del discurso
>    descriptivo. Las generalizaciones empíricas y los enunciados teóricos.
>    Aprendizaje basado en modelos. Distribuciones de creencias honestas.
>    - Las reglas de razonamiento en contextos de incertidumbre: preservar
>    la creencia previa que sigue siendo compatible con el dato y predecir con
>    la contribución de todas las hipótesis. Métodos gráficos de especificación
>    matemática de argumentos causales.
>    - Evaluación de modelos causales alternativos: generación de datos
>    sintéticos y aplicación estricta de las reglas de la probabilidad. Ejemplos
>    de modelos identificables y no identificables a partir de observaciones sin
>    intervenciones.
>    - Bibliografía sugerida: Samaja (3.1-3.4), Klimovsky (4), Bishop
>    [2013] (1-4).
>
> *Unidad 2. Emergencia del overfitting por selección y el balance natural
> por evaluación*
>
>    -
>
>    Distribuciones conjugadas. Ejemplos varios. Caso en profundidad:
>    regresión polinomial basada en la aplicación estricta de las reglas de la
>    probabilidad. El problema computacional de la aplicación estricta de las
>    reglas de la probabilidad.
>    -
>
>    Aproximación de la inferencia mediante métodos de estimación puntual
>    basados en funciones de costo ad-hoc: máxima verosimilitud, máximo a
>    posteriori y validación cruzada. Efectos secundarios de la ruptura de las
>    reglas de la probabilidad: el sobreajuste (overfitting).
>    -
>
>    La ausencia de efectos indeseados en el sistema de razonamiento
>    probabilístico: el balance natural mediante la evaluación completa del
>    espacio de hipótesis. Ensambles de modelos. Procesos gaussianos.
>    -
>
>    Bibliografía sugerida. Bishop [2006] (1.1-1.3) (2.1-2.3) (3.3-3.4)
>    (6.4.1-6.4.2)
>
>
> *Unidad 3. Sorpresa: el problema de la comunicación con la realidad*
>
>    -
>
>    Los niveles de la base empírica. La estructura invariante del dato
>    científico y el lugar que ocupan los supuestos. El isomorfismo con los
>    sistemas de información emisor-receptor de la teoría de la información.
>    -
>
>    La naturaleza multiplicativa de la función de costo de la teoría de la
>    probabilidad. Su rol en la construcción de sistemas de comunicación con la
>    realidad. Analogías con las apuestas y la propiedad epistémica.
>    -
>
>    Evaluación de sistemas de comunicación alternativos en base a su tasa
>    de sorpresa. Ejemplos. Interpretación de entropía y entropía cruzada.
>    Definición de “no mentir” como máxima entropía dadas las restricciones.
>    -
>
>    Bibliografía sugerida: Klimovsky (2), Samaja (3.5, 3.6.2-5), MacKay
>    (1.1, 2.4-6, 4.1). Kelly (paper).
>
>
> *Unidad 4. Especificación de teorías causales, flujo de inferencia.*
>
>    -
>
>    -
>
>    Método gráficos de especificación matemática de modelos causales
>    probabilísticos mediante factor graphs. Análisis del flujo de inferencia
>    mediante la descomposición de las reglas de la probabilidad como mensajes
>    entre los nodos del grafo, sum-product algorithm.
>    -
>
>    Las teorías causales como sistemas dinámicos de modelos causales que
>    se prenden y apagan en función del contexto. Los conceptos de potential
>    outcome y do-operator. Su especificación mediante gates.
>    -
>
>    La paradoja de Yule-Simpson. Flujo de inferencia (independencia
>    condicional) en las estructuras elementales: pipe, fork, collider. El
>    criterio d-separación. Los niveles de razonamiento causal: asociacional,
>    intervencional, y contrafactual.
>    -
>
>    Bibliografía sugerida. Winn (paper), Bishop [2006] (8.2-8.2.2,
>    8.4-8.4.4, 8.4.7). Neal (2.1, 3, 4.1), Pearl (1).
>
>
> *Unidad 5. Estimación de efecto causal.*
>
>    -
>
>    El efecto de las intervenciones: truncated factorization y
>    g-computation formula. Estimación de efectos causales en datos no
>    experimentales mediante adjustment formula, inverse probability weighting,
>    y propensity scores.
>    -
>
>    Métodos gráficos para predicción del contrafactual: twin networks.
>    Métodos gráficos generales para identificar el tipo de ajuste requerido: el
>    criterio backdoor. Estimaciones no paramétricas: criterio frontdoor y
>    do-calculus. Variables instrumentales y otros criterios.
>    -
>
>    Ejemplo de estructuras causales y clasificación de variables como
>    buenos, neutrales o malos para la identificación del efecto causal mediante
>    backdoor criterion.
>    -
>
>    Bibliografía sugerida. Pearl (3,6-7), Hernán (parte I), Cinelli
>    (paper), Neal (4, 6, 7.5-7.6).
>
>
> *Unidad 6. Ciclos de acción-percepción: el problema de la interacción con
> la realidad*
>
>    -
>
>    El ciclo acción-percepción entre agente y ambiente: percepción
>    (reward-signal), inferencia (hipótesis/modelos), predicción (objetivo)
>    acción (política/intervención). Diferencia entre señal y reward.
>    -
>
>    Especificación de objetivos como problemas de maximización de utilidad
>    esperada de la intervenciones en el tiempo. La reformulación ergódica de la
>    teoría de utilidad esperada. Especificación gráfica de rewards mediante
>    diagramas de influencia: sequential backdoor criterion.
>    -
>
>    Control óptimo en Partial Observed Markov Decision Process (POMDP).
>    Ejemplos varios. Evaluación de políticas de intervención.
>    -
>
>    Bibliografía sugerida: Levine (1-2), Pearl (4), Parr et al (1,2,3),
>    Peters (paper), Koller (21).
>
>
> *Unidad 7. Métodos de evaluación de teorías causale*
>
>    -
>
>    La evaluación de modelos como un juego de interacción
>    acción-percepción con la naturaleza. La naturaleza de la función costo para
>    evaluación de modelos causales alternativos.
>    -
>
>    Métodos de Monte Carlo para evaluar modelos: Bridge Sampling,
>    thermodynamical integration, importance sampling.
>    -
>
>    Ejemplos de evaluación de modelos causales a través de datos obtenidos
>    por interacción con una simulador causal subyacente oculto. Evaluación de
>    acciones (policies) alternativas. La emergencia de la estrategia
>    falsacionista como comportamiento óptimo.
>    -
>
>    Bibliografía sugerida. Kass (paper), Pearl (7,9). Hernán (parte II)
>    Otros: Vousden, Perrakis, Gronau.
>
>
> *Unidad 8. Inferencia causal en series temporales*
>
>    -
>
>    Modelos de historia completa. Los problemas de usar el último
>    posterior como prior del siguiente evento (enfoque de filtering). Algoritmo
>    loopy belief propagation para la propagación de la información por toda la
>    red histórica causal (enfoque de smoothing).
>    -
>
>    State-space models. Evaluación del efecto causal en series temporales,
>    contrafactuales. Intervenciones en series temporales. Métodos de monte
>    carlo para series temporales: sequential importance resampling.
>    -
>
>    Estimación de efecto causal por simulación de contrafactuales en
>    series temporales. Evaluación de modelos causales alternativos. Apuestas
>    óptimas en deportes: criterio Kelly, fractional Kelly.
>    -
>
>    Bibliografía sugerida. Brodersen (paper), Dangauthier (paper), Bishop
>    (13.2.3-13.2.4, 13.3), Hernán (parte II).
>
>
> *Unidad 9. Isomorfismo probabilidad-evolución y hackatón “apuestas de
> vida”*
>
>    -
>
>    -
>
>    Isomorfismo entre las ecuaciones fundamentales de la teoría de la
>    probabilidad (teorema de Bayes) y la teoría de la evolución (replicator
>    dynamic). La naturaleza multiplicativa de la función de costo
>    epistémica-evolutiva.
>    -
>
>    Las emergencia de las variantes que reducen las fluctuaciones por
>    diversificación individual (propiedad epistémica), cooperación (propiedad
>    evolutiva), especialización (propiedad de especiación), y heterogeneidad
>    (propiedad ecológica).
>    -
>
>    Presentación de una competencia de inferencia, intervención, apuestas
>    e intercambios de recursos.
>    -
>
>    Bibliografía sugerida. Peters (paper). Czegel (paper). Koller (23).
>
>
>
> *BIBLIOGRAFÍA PRINCIPAL*
>
>    - Bishop. Pattern recognition and machine learning. Springer; 2006
>    - Levine S. Reinforcement learning and control as probabilistic
>    inference: Tutorial and review. arXiv. 2018.
>    - Parr T, Pezzulo G, Friston KJ. Active Inference. MIT Press; 2022
>    -
>
>    Pearl J. Causality. Cambridge university press; 2009.
>    - Peters O. The ergodicity problem in economics. Nature Physics. 2019.
>    - Winn J. Causality with gates. In: Artificial Intelligence and
>    Statistics. PMLR; 2012.
>
>
> *BIBLIOGRAFÍA COMPLEMENTARIA*:
>
>    - Bishop. Model-based machine learning. Philosophical Transactions of
>    the Royal Society A: Mathematical, Physical and Engineering Sciences. 2013
>    - Bishop. Pattern recognition and machine learning. Springer; 2006
>    - Brodersen KH, Gallusser F, Koehler J, Remy N, Scott SL. Inferring
>    causal impact using Bayesian structural time-series models. The Annals of
>    Applied Statistics. 2015;
>    - Chopin N, Papaspiliopoulos O, et al. An introduction to sequential
>    Monte Carlo. Vol. 4. Springer; 2020.
>    - Cinelli C, Forney A, Pearl J. A crash course in good and bad
>    controls. Sociological Methods & Research. 2022
>    - Czégel D, Giaffar H, Tenenbaum JB, Szathmáry E. Bayes and Darwin:
>    How replicator populations implement Bayesian computations. BioEssays. 2022.
>    - Dangauthier P, Herbrich R, Minka T, Graepel T. Trueskill through
>    time: Revisiting the history of chess. In: Advances in Neural Information
>    Processing Systems; 2008
>    - Gronau QF, Sarafoglou A, Matzke D, Ly A, Boehm U, Marsman M, et al.
>    A tutorial on bridge sampling. Journal of mathematical psychology. 2017.
>    - Hernán MA, Robins JM. Causal inference: What if. 2020.
>    - Jaynes ET. Bayesian methods: General background; 1984.
>    - Kass RE, Raftery AE. Bayes factors. Journal of the American
>    Statistical Association. 1995.
>    - Kelly jr JL. A New Interpretation of Information Rate. Bell System
>    Technical Journal. 1956
>    - Klimovsky G. Las desventuras del conocimiento científico; 1994
>    - Koller D, Friedman N. Probabilistic graphical models: principles and
>    techniques. MIT press; 2009.
>    - MacKay DJ. Information theory, inference and learning algorithms.
>    Cambridge university press; 2003.
>    - Martin OA, Kumar R, Lao J. Bayesian Modeling and Computation in
>    Python. CRC Press; 2022.
>    - McElreath R. Statistical rethinking: A Bayesian course with examples
>    in R and Stan. 2020
>    - Neal. Introduction to causal inference. Course Lecture Notes
>    (draft). 2020;
>    - Perrakis K, Ntzoufras I, Tsionas EG. On the use of marginal
>    posteriors in marginal likelihood estimation via importance sampling.
>    Computational Statistics & Data Analysis. 2014.
>    - Popper K. La lógica de la investigación científica; 1967.
>    - Samaja J. Epistemologı́a y metodología: elementos para una teoría de
>    la investigación científica. EUDEBA; 1999.
>    - Sutton RS, Barto AG. Reinforcement Learning: An Introduction. Second
>    edition. MIT Press; 2018.
>    - Vousden W, Farr WM, Mandel I. Dynamic temperature selection for
>    parallel tempering in Markov chain Monte Carlo simulations. Monthly Notices
>    of the Royal Astronomical Society. 2018
>
>
> *ESCUELA BAYES PLURINACIONAL SALTA 2024 - KHIPUx*
>
> Con el objetivo de promover la Inteligencia Bayesiana en la América
> Plurinacional y los pueblos del sur global, la comunidad bayesiana de
> América Latina (bayesplurinacional.org) organiza, con el apoyo de la
> comunidad de Inteligencia Artificial de América Latina (khipu.ai), la
> Escuela Bayes Plurinacional 2024 que se realizará de forma presencial del 6
> al 9 de agosto en la Universidad Nacional de Salta (UNSa). La UNSa ofrece
> la residencia universitaria de forma gratuita para estudiantes que
> participen de la Escuela. Pueden pedir un lugar completando el formulario
> que se encuentra disponible en
> https://bayesplurinacional.org/es/ciudad.html (opciones 3 y 4). Por otra
> parte, la semana pasada se realizó un ciclo virtual de "creencias óptimas"
> que se encuentra disponible en
> https://bayesplurinacional.org/es/seminario.html y en el canal
> youtube.com/@bayesplurinacional/streams.
>