Universidad de SonoraReconocimiento
de Patrones
03
Unidad 3 · 2.5 semanas

Fundamentos del aprendizaje supervisado

Por qué es posible generalizar y cómo medirlo con honestidad.

Presentaciones

  • ¿Es posible aprender?

    Hoeffding y su demostración, las 1,000 monedas, la cota de la unión, dicotomías, Sauer y la dimensión VC.

    PDFAbrir
  • Sesgo, varianza y regularización

    La descomposición derivada paso a paso, curvas de aprendizaje, ridge, lasso y su lectura bayesiana.

    PDFAbrir
  • Validación

    El conjunto de validación, el optimismo de elegir, validación cruzada, LOO sin reentrenar, CV anidada y datos agrupados.

    PDFAbrir
  • Métricas

    Matriz de confusión, ROC y AUC, umbral de Bayes por costos, calibración y el resultado de imposibilidad en equidad.

    PDFAbrir

Las presentaciones se abren en una pestaña nueva. Usa las flechas o la barra espaciadora para avanzar, o para ver todas las láminas y f para pantalla completa.

Libretas de ejemplo

  • ¿Es posible aprender? Hoeffding y dimensión VC, con simulaciones

    La urna, las 1,000 monedas, dicotomías contadas con programación lineal y la cota VC contra la brecha real.

    Abrir en Colab
  • Sesgo, varianza y regularización

    La descomposición simulada, curvas de aprendizaje, ridge y lasso con los datos de diabetes.

    Abrir en Colab
  • Validación: estimar E_out sin hacer trampa

    Casas de Ames y facturas de una tienda: varianza de la validación, fórmula de LOO, regla de una desviación, CV anidada y GroupKFold.

    Abrir en Colab
  • Métricas de clasificación: el riesgo de crédito

    ROC, AUC por parejas, curva PR, umbral por costos, calibración y equidad por sexo con 30,000 clientes de Taiwán.

    Abrir en Colab

Laboratorio

  • Laboratorio 3 · Validación cruzada y métricas desde cero

    Ridge en forma cerrada, validación cruzada con la regla de una desviación, curva ROC, AUC por rangos y umbral por costos. Se verifica automáticamente.

    Abrir en Colab

Los laboratorios son para practicar y no cuentan para la calificación.

DataCamp

Cursos y proyectos de esta unidad que forman parte de la calificación. Ver Evaluación.

Lecturas

  • Abu-Mostafa, Magdon-Ismail y Lin (2012). Learning From Data. Capítulos 1.3, 2 y 4.
  • Hastie, Tibshirani y Friedman (2009). The Elements of Statistical Learning. Secciones 3.4 y 7.10.
  • Fawcett (2006). An introduction to ROC analysis. Pattern Recognition Letters 27. Artículo completo.

Autoevaluación

14 preguntas. Responde, verifica y lee la explicación. No cuenta para la calificación y nada se guarda.

0 de 14 correctas
Pregunta 1

La desigualdad de Hoeffding P[∣ν−μ∣>ε]≤2e−2ε2N\mathbb{P}[|\nu-\mu|>\varepsilon] \le 2e^{-2\varepsilon^2 N} aplicada a una hipótesis hh, ¿bajo qué condición es válida?

Pregunta 2

Mil personas lanzan una moneda justa 10 veces cada una. ¿Cuál es la probabilidad de que al menos una saque 10 águilas? (escribe un decimal con dos cifras)

Pregunta 3

¿Cuántas dicotomías puede producir un perceptrón en R2\mathbb{R}^2 sobre 4 puntos en posición general (la función de crecimiento mH(4)m_{\mathcal{H}}(4))?

Pregunta 4

¿Cuál es la dimensión VC de un perceptrón en R5\mathbb{R}^5 (con término de sesgo)?

Pregunta 5

La cota VC garantiza que, con suficientes datos, el error fuera de la muestra EoutE_{\text{out}} será pequeño.

Pregunta 6

En la descomposición ED[Eout]=sesgo2+varianza+σ2\mathbb{E}_{\mathcal{D}}[E_{\text{out}}] = \text{sesgo}^2 + \text{varianza} + \sigma^2, ¿qué pasa típicamente al aumentar la complejidad del modelo?

Pregunta 7

Las curvas de aprendizaje de un modelo muestran EinE_{\text{in}} y EvalE_{\text{val}} muy cercanos entre sí y ambos altos, aun con muchos datos. ¿Qué conviene hacer?

Pregunta 8

¿Cuál es la solución de ridge, min⁡w∥Xw−y∥2+λ∥w∥2\min_{\mathbf{w}} \lVert X\mathbf{w}-\mathbf{y}\rVert^2 + \lambda \lVert \mathbf{w} \rVert^2?

Pregunta 9

Lasso tiende a producir coeficientes exactamente iguales a cero; ridge, en general, no.

Pregunta 10

Comparas 500 configuraciones de hiperparámetros con validación cruzada y reportas el EcvE_{\text{cv}} de la mejor como estimación de su error fuera de la muestra. ¿Qué problema tiene?

Pregunta 11

Tienes varias consultas médicas por paciente y el modelo se usará con pacientes nuevos. ¿Cómo deberías hacer la validación cruzada?

Pregunta 12

Un falso positivo cuesta 1 y un falso negativo cuesta 4. Con probabilidades bien calibradas, ¿a partir de qué probabilidad conviene marcar un caso como positivo? (decimal)

Pregunta 13

Un modelo tiene AUC de 0.8. ¿Cuál interpretación es correcta?

Pregunta 14

Si dos grupos tienen prevalencias distintas, un clasificador imperfecto puede tener a la vez la misma precisión (VPP), la misma tasa de verdaderos positivos y la misma tasa de falsos positivos en ambos grupos.