Coloquio del IESTA: "Double Descent: Más allá del compromiso Sesgo-Varianza en modelos de alta dimensionalidad"

El Instituto de Estadística (IESTA) de la Facultad de Ciencias Económicas y de Administración (FCEA) invita a participar del Coloquio abierto titulado Double Descent: Más allá del compromiso Sesgo-Varianza en modelos de alta dimensionalidad, a cargo del Lic. Lucca Frachelle (IESTA, FCEA, Udelar).

La actividad se realizará el miércoles 8 de abril a las 14:30 horas en el Salón 4 de la FCEA.

Coloquio semanal abierto a todo público creado en el año 2023 por el IESTA con el objetivo de generar un espacio de intercambio donde docentes de grados bajos del instituto puedan exponer en charlas cortas y accesibles temáticas de matemática y estadística que estén estudiando o les haya resultado interesante durante su formación.

Resumen:

La estadística convencional establece que la complejidad de un modelo debe equilibrarse cuidadosamente para evitar el sobreajuste, una idea encapsulada en la clásica curva en forma de U del compromiso entre sesgo y varianza. Sin embargo, este paradigma ha sido desafiado por el fenómeno de Double Descent, popularizado por Belkin et al. en su trabajo "Reconciling modern machine-learning practice and the classical bias–variance trade-off". En esta charla, exploraremos cómo la capacidad de generalización de un modelo puede mejorar drásticamente tras cruzar el "umbral de interpolación", un punto donde el modelo es capaz de ajustar perfectamente los datos de entrenamiento. Iniciaremos con una demostración intuitiva mediante regresión polinómica para visualizar el resurgimiento de la precisión, para luego formalizar matemáticamente el problema en modelos lineales utilizando herramientas de álgebra lineal numérica. Analizaremos cómo, en el régimen sobreparametrizado, la selección de soluciones de norma mínima actúa como un regularizador implícito que permite el éxito en datos reales. Finalmente, discutiremos los intentos de generalizar estos hallazgos hacia arquitecturas de redes neuronales y reflexionaremos sobre si este fenómeno redefine nuestra comprensión moderna de la generalización.