Redes neuronales

Como $\ln \hat y_k = z_k - \ln\sum_j e^{z_j}$, se obtiene $\partial \ell/\partial z_c = \hat y_c - y_c$: «predicción menos dato», igual que en la regresión logística.

Hay $64 \times 64 + 64 + 64 \times 10 + 10 = 4{,}810$ parámetros y la diferencia centrada evalúa $L(\theta + h)$ y $L(\theta - h)$ para cada uno: $9{,}620$ evaluaciones. La retropropagación obtiene el mismo gradiente con una pasada hacia adelante y una hacia atrás.

Falso. La composición de funciones afines es afín: $\mathbf{W}^{[2]}(\mathbf{W}^{[1]}\mathbf{x} + \mathbf{b}^{[1]}) + \mathbf{b}^{[2]} = \mathbf{W}\mathbf{x} + \mathbf{b}$, y lo mismo con cualquier número de capas. Sin no linealidad, la red es una regresión softmax con otra parametrización.

$\mathrm{Var}(z) = n_{\text{in}}\,\mathrm{Var}(w)\,\mathbb{E}[a^2]$ y con ReLU $\mathbb{E}[a^2] = \tfrac12\mathrm{Var}(z_{\text{anterior}})$. Para que el factor sea 1 hace falta $\mathrm{Var}(w) = 2/n_{\text{in}}$ (He et al., 2015).

$\mathbb{E}\lVert\mathbf{g}_B - \mathbf{g}\rVert^2 = \sigma^2/B$: multiplicar $B$ por 4 divide el ruido entre 4, $12/4 = 3$. Ojo: la desviación estándar solo baja a la mitad, por eso agrandar el minilote rinde cada vez menos.

Con raíces complejas, el error en cada dirección decae como $\sqrt{\beta}$. Ajustando $\eta$ y $\beta$ para que todo el espectro quede en esa zona, $\sqrt{\beta} = (\sqrt{\kappa}-1)/(\sqrt{\kappa}+1)$: el número de iteraciones crece como $\sqrt{\kappa}$ y ya no como $\kappa$.

$\mathbf{m}_t = (1-\beta_1)\sum_{i=1}^t\beta_1^{t-i}\mathbf{g}_i$, y la suma geométrica da $1-\beta_1^t$. Por eso Adam usa $\hat{\mathbf{m}}_t = \mathbf{m}_t/(1-\beta_1^t)$, y lo mismo con $\mathbf{v}_t$ y $\beta_2$.

Falso. El dropout invertido divide entre $1-p$ durante el entrenamiento, así que $\mathbb{E}[\tilde{\mathbf{a}}] = \mathbf{a}$ y en evaluación la red se usa tal cual. Multiplicar por $1-p$ es lo que hacía la versión original, que no escalaba al entrenar.

Cada filtro abarca todos los canales de entrada: $64 \cdot 3 \cdot 3 = 576$ pesos más un sesgo. Con 128 filtros: $(576 + 1) \cdot 128 = 73{,}856$. El tamaño del mapa ($32 \times 32$) no interviene.

$n_{\text{sal}} = \lfloor (n + 2p - k)/s \rfloor + 1 = \lfloor (28 + 4 - 5)/2 \rfloor + 1 = 13 + 1 = 14$.

Falso. La convolución es equivariante (el mapa se mueve con la imagen) y el max-pooling solo da una invariancia aproximada: si el máximo de un bloque cruza la frontera hacia el bloque vecino, la salida cambia. En la libreta, tras dos poolings la representación todavía cambia un 14 % al mover la imagen un pixel.

Es transferencia: los atributos aprendidos con millones de imágenes de otro problema son una buena representación inicial. Con pocas etiquetas, eso vale más que una arquitectura entrenada solo con los datos nuevos. El precio es heredar también los sesgos de los datos de origen.

La perplejidad es $e^{H} = e^{1.36} \approx 3.90$: el modelo duda, en promedio, como si eligiera uniformemente entre unas 3.9 letras. En bits por carácter es $1.36/\ln 2 \approx 1.96$. Es la cifra del transformer del Quijote.

Cada término $q_ik_i$ tiene varianza 1 y son $d_k$ términos independientes: $\operatorname{Var}(\mathbf{q}^\top\mathbf{k}) = d_k$. Con puntajes de desviación estándar $\sqrt{d_k}$ el softmax pone casi todo el peso en una clave (con $d_k = 1024$, el 95 %), y la jacobiana $\operatorname{diag}(\mathbf{p}) - \mathbf{p}\mathbf{p}^\top$ se encoge. Dividir entre $\sqrt{d_k}$ devuelve la varianza a 1.

$\partial\mathbf{h}_T/\partial\mathbf{h}_t = \prod_{s=t+1}^{T}\operatorname{diag}(1 - \mathbf{h}_s^2)\,W$ y cada factor tiene norma a lo más $\sigma_{\max}(W)$, porque $0 < 1 - h^2 \le 1$. La cota es $0.9^{50} \approx 0.00515$: a 50 pasos, el gradiente ya se redujo a medio por ciento como mínimo. Es el desvanecimiento del gradiente.

Verdadero. Con $X' = PX$, $Q' = PQ$, $K' = PK$, $V' = PV$, y $\operatorname{softmax}(PQK^\top P^\top/\sqrt{d_k})PV = P\operatorname{softmax}(QK^\top/\sqrt{d_k})V$, porque el softmax por renglones conmuta con permutar renglones y columnas. La atención no sabe en qué orden están las letras: por eso hay que sumarles un encaje de posición.

backward() acumula: hace p.grad += ∂L/∂p, igual que un nodo que alimenta a varios otros suma los adjuntos que le llegan. Con dos llamadas, p.grad vale $2\,\partial L/\partial p$. Por eso cada paso de entrenamiento empieza borrando los gradientes con optimizador.zero_grad().

Xavier pide $\operatorname{Var}(w) = 2/(n_{\text{in}} + n_{\text{out}}) = 2/150$. Una uniforme en $(-r, r)$ tiene varianza $r^2/3$, así que $r = \sqrt{3 \cdot 2/150} = \sqrt{6/150} = \sqrt{0.04} = 0.2$.

El GLM de conteos es la regresión de Poisson: liga logarítmica, $\hat y = e^{z}$, y menos el logaritmo de la verosimilitud, $\ell = \hat y - y\ln\hat y$ (más una constante). En PyTorch es nn.PoissonNLLLoss(log_input=True), que recibe $z$. Como en todo GLM con liga canónica, $\partial \ell/\partial z = \hat y - y$.

Dos de $3 \times 3$: $2 \cdot 9 \cdot 64^2 = 73{,}728$. Una de $5 \times 5$: $25 \cdot 64^2 = 102{,}400$. La diferencia es $7 \cdot 64^2 = 28{,}672$, un 28 % menos. Es la idea de VGG: solo filtros de $3 \times 3$, y además una ReLU más entre las dos capas.

Es el problema de la degradación (He et al., 2016). Con un bloque residual, $\mathbf{a}^{[l+1]} = \mathbf{a}^{[l]} + F^{[l]}(\mathbf{a}^{[l]})$, no hacer nada es $F = 0$, fácil de encontrar, y el gradiente tiene un camino directo por los atajos.

Normal: $C C' k^2 = 128 \cdot 128 \cdot 9 = 147{,}456$. Separable: $C k^2 + C C' = 1{,}152 + 16{,}384 = 17{,}536$. Razón: $147{,}456 / 17{,}536 \approx 8.41$. En general, la separable cuesta $\tfrac{1}{C'} + \tfrac{1}{k^2}$ de la normal; con muchos canales y $k = 3$, casi 9 veces menos. Es la pieza básica de Xception, MobileNet y EfficientNet.

Se empieza por lo barato y difícil de sobreajustar: la parte convolucional congelada como preprocesamiento y un clasificador nuevo encima. El ajuste fino con tasa pequeña es el siguiente paso, comparado siempre en validación.

Intersección: de $(5, 0)$ a $(10, 10)$, área 50. Unión: $100 + 100 - 50 = 150$. IoU $= 50/150 = 1/3 \approx 0.33$: con el umbral usual de 0.5 no cuenta como acierto, aunque la caja tape la mitad del objeto.

El cómputo de la parte convolucional se comparte entre todas las regiones. YOLO da un paso más: una sola pasada predice todas las cajas, sin etapa de propuestas.

Verdadero. Cada celda predice cajas (posición, tamaño y confianza) y probabilidades de clase para los objetos cuyo centro cae en ella. Una sola pasada da todas las predicciones; después se aplica supresión de no máximos.