Universidad de SonoraReconocimiento
de Patrones
04
Unidad 4 · 2 semanas

Modelos lineales

La familia de modelos más útil y mejor entendida, desde mínimos cuadrados hasta los kernels.

Presentaciones

  • Regresión lineal

    Ecuaciones normales, proyección, Gauss–Markov, condicionamiento, descenso por gradiente, atributos y colinealidad.

    PDFAbrir

  • Regresión logística y modelos lineales generalizados

    El Challenger, entropía cruzada, Newton como IRLS, separabilidad, softmax, familia exponencial y regresión de Poisson.

    PDFAbrir

  • Modelos generativos

    LDA, QDA y Fisher con los pingüinos; Bayes ingenuo para spam; generativo contra discriminativo.

    PDFAbrir

  • Máquinas de vectores de soporte y kernels

    Margen máximo, dual y vectores de soporte, margen suave y pérdida bisagra, kernels polinomial y gaussiano.

    PDFAbrir

Las presentaciones se abren en una pestaña nueva. Usa las flechas o la barra espaciadora para avanzar, o para ver todas las láminas y f para pantalla completa.

Libretas de ejemplo

  • Regresión lineal: cuántas bicicletas se rentarán

    Mínimos cuadrados desde cero, matriz sombrero, número de condición, descenso por gradiente, interacciones, colinealidad y residuos.

    Abrir en Colab

  • Regresión logística y GLM: del Challenger a las bicicletas

    Newton desde cero, razones de momios, bootstrap, separabilidad, softmax y regresión de Poisson.

    Abrir en Colab

  • Modelos generativos: análisis discriminante y Bayes ingenuo

    LDA y QDA desde cero con los pingüinos, Fisher contra PCA, y un filtro de spam para SMS.

    Abrir en Colab

  • Máquinas de vectores de soporte y kernels

    El primal y el dual resueltos a mano, la cota de dejar-uno-fuera, margen suave, kernels y dígitos escritos a mano.

    Abrir en Colab

Laboratorio

  • Laboratorio 4 · Regresión logística y Bayes ingenuo desde cero

    Sigmoide estable, entropía cruzada, Newton con intersección y regularización, y Bayes ingenuo multinomial sobre matrices dispersas. Se verifica automáticamente.

    Abrir en Colab

Los laboratorios son para practicar y no cuentan para la calificación.

DataCamp

Cursos y proyectos de esta unidad que forman parte de la calificación. Ver Evaluación.

Lecturas

  • Abu-Mostafa, Magdon-Ismail y Lin (2012). Learning From Data. Secciones 3.2 y 3.3, y el capítulo electrónico 8 (Support Vector Machines).
  • Hastie, Tibshirani y Friedman (2009). The Elements of Statistical Learning. Capítulos 3 y 4, y secciones 12.1–12.3.
  • Ng y Jordan (2001). On discriminative vs. generative classifiers. NIPS 14. Artículo completo.

Autoevaluación

14 preguntas. Responde, verifica y lee la explicación. No cuenta para la calificación y nada se guarda.

0 de 14 correctas
Pregunta 1

En mínimos cuadrados, y^=Xwlin\hat{\mathbf{y}} = X\mathbf{w}_{\text{lin}}. ¿Qué propiedad tiene el vector de residuos y−y^\mathbf{y} - \hat{\mathbf{y}}?

Pregunta 2

La matriz sombrero H=X(X⊤X)−1X⊤H = X(X^\top X)^{-1}X^\top de un modelo con intersección y 5 atributos, ajustado con 200 datos, ¿qué traza tiene?

Pregunta 3

Si κ(X)=1000\kappa(X) = 1000, ¿cuál es el número de condición de X⊤XX^\top X?

Pregunta 4

Estandarizar los atributos cambia las predicciones de la regresión lineal por mínimos cuadrados (con intersección y sin regularización).

Pregunta 5

Para predecir rentas de bicicletas por hora, ¿por qué conviene codificar la hora del día con one-hot en lugar de usarla como un número?

Pregunta 6

En una regresión logística, el coeficiente de una variable es wj=0.7w_j = 0.7. ¿Por cuánto se multiplican los momios cuando la variable sube una unidad? (dos decimales)

Pregunta 7

¿Qué pasa al ajustar una regresión logística sin regularización a datos linealmente separables?

Pregunta 8

Para un modelo lineal generalizado con liga canónica, ¿cuál es el gradiente de la log-verosimilitud?

Pregunta 9

¿Por qué la regresión de Poisson es más adecuada que la lineal para conteos como las rentas de bicicletas por hora?

Pregunta 10

En el análisis discriminante lineal (LDA), ¿qué supuesto hace que la frontera entre clases sea lineal?

Pregunta 11

En Bayes ingenuo multinomial para texto, una palabra aparece 50 veces en mensajes normales y nunca en spam. Sin suavizado, ¿qué pasa con un mensaje nuevo que la contiene?

Pregunta 12

La razón de log-posteriores de Bayes ingenuo multinomial es una función lineal de los conteos de palabras, la misma forma que la regresión logística.

Pregunta 13

Una SVM de margen duro entrenada con 400 datos tiene 12 vectores de soporte. ¿Cuál es la cota superior del error de dejar-uno-fuera? (decimal)

Pregunta 14

Con una SVM de kernel gaussiano K(x,x′)=e−γ∥x−x′∥2K(\mathbf{x},\mathbf{x}') = e^{-\gamma\lVert\mathbf{x}-\mathbf{x}'\rVert^2}, el error de validación cruzada es mucho mayor que el de entrenamiento y casi todos los puntos son vectores de soporte. ¿Qué conviene probar?