Árboles y ensambles

$p_A = 0.8$ y $p_B = 0.2$, así que $G = 0.8 \cdot 0.2 + 0.2 \cdot 0.8 = 2 \cdot 0.8 \cdot 0.2 = 0.32$. Es la probabilidad de equivocarse si a cada dato del nodo se le asigna una etiqueta al azar con las proporciones del nodo.

El error de clasificación es lineal a trozos en las proporciones: si las dos hijas quedan del mismo lado de $1/2$, la ganancia es exactamente cero. Gini y entropía son estrictamente cóncavas y premian la división que deja un nodo puro.

Falso. El árbol solo compara $x_j \le t$, y una transformación estrictamente creciente conserva el orden de los datos: las particiones posibles son las mismas, con umbrales transformados. Por eso los árboles no necesitan escalar los atributos.

Los subárboles óptimos forman una sucesión anidada $T_0 \supset T_1 \supset \cdots \supset \{\text{raíz}\}$; al crecer $\alpha$ se avanza en la sucesión. El valor de $\alpha$ se elige por validación cruzada.

$\operatorname{Var}(\bar Z) = \rho\sigma^2 + \frac{1-\rho}{B}\sigma^2 \to \rho\sigma^2$. Los bosques aleatorios sortean atributos en cada división precisamente para bajar $\rho$, y con él ese piso.

$(1 - 1/5)^5 = 0.8^5 = 0.32768$. Conforme $N$ crece, $(1 - 1/N)^N \to e^{-1} \approx 0.368$: cada árbol deja fuera de su bolsa más o menos un tercio de los datos, y esos datos sirven para estimar el error (OOB).

Falso. Agregar árboles solo acerca el promedio a su límite cuando $B \to \infty$; el error de prueba se estabiliza y no vuelve a subir. Basta con poner «suficientes» árboles (el costo es tiempo). Los hiperparámetros que sí hay que elegir son $m$ (atributos por división) y el tamaño de las hojas, por ejemplo con el error fuera de la bolsa.

MDI suma las bajadas de impureza de entrenamiento, y los atributos con muchos valores posibles tienen más oportunidades de separar por casualidad (Strobl et al., 2007). Para saber qué usa un modelo, conviene la importancia por permutación en datos que el modelo no vio.

$\alpha_t = \tfrac12\ln(0.8/0.2) = \tfrac12\ln 4 = \ln 2 \approx 0.693$. Los datos mal clasificados multiplican su peso por $e^{\alpha_t} = 2$ y los bien clasificados por $e^{-\alpha_t} = 0.5$ (antes de normalizar). Ese $\alpha_t$ es el que minimiza la pérdida exponencial en la etapa $t$.

El pseudo-residuo es el gradiente negativo de la pérdida respecto de $F$. Para $L = \ln(1 + e^F) - yF$, $-\partial L/\partial F = y - \sigma(F) = y - p$: «etiqueta menos probabilidad», el mismo residuo de la regresión logística.

Falso. Cada árbol nuevo se ajusta a lo que queda por explicar, y tarde o temprano ajusta ruido: el error de validación tiene un mínimo y luego sube. El número de árboles (junto con la tasa de aprendizaje) controla la complejidad y se elige con parada temprana o validación cruzada. En el mercadeo bancario, con $\eta = 0.3$ el mínimo llegó con 33 árboles.

$w^* = -G/(H + \lambda) = -30/30 = -1$. Sin regularización sería $-30/20 = -1.5$: $\lambda$ encoge los valores de las hojas hacia 0, sobre todo en hojas con pocos datos (de $H$ pequeña).

En las casas de Ames, la importancia del área bajó de 0.071 a 0.042 al agregar la copia, con el mismo error de prueba. La importancia por permutación mide lo que se pierde sin el atributo dados los demás, no cuánta información aporta. Un remedio es barajar juntos los grupos de atributos correlacionados.

El jugador 3 nunca aporta (jugador nulo), así que $\phi_3 = 0$ y basta con los órdenes de 1 y 2. Si 1 llega antes que 2 (la mitad de los órdenes), aporta $v(\{1\}) - v(\varnothing) = 10$; si llega después, $v(\{1,2\}) - v(\{2\}) = 20$. El promedio es $\phi_1 = 15$, y por eficiencia $\phi_2 = 40 - 15 = 25$.

Verdadero. $v(S) = w_0 + \sum_{k \in S} w_k x_k + \sum_{k \notin S} w_k \mathbb{E}[X_k]$, así que la contribución marginal de $j$ a cualquier coalición es la misma, $w_j(x_j - \mathbb{E}[X_j])$, y su promedio también.

En Ames, de las 31 casas reales de 250 m² o más solo una tiene calidad 5 o menos, pero el 36 % de los puntos que la PDP promedia en 250 m² tienen esa calidad. Los efectos locales acumulados (ALE) corrigen esto promediando solo sobre casas cercanas.