¿Por qué se penaliza solo la pendiente y no el término independiente?

Una penalización sobre β₀ haría que la solución dependiera de un desplazamiento arbitrario de la escala de y. En los textos suele centrarse la respuesta o dejarse la intersección sin penalizar, para que el modelo pueda coincidir en nivel con los datos.

¿Un λ mayor en ridge es siempre mejor?

No: λ fija el compromiso sesgo–varianza. Una penalización demasiado grande comprime la pendiente hacia cero aunque haga falta una tendencia empinada: hay subajuste. En la práctica λ se elige, por ejemplo, por validación cruzada.

¿Por qué en lasso la pendiente a veces queda exactamente nula?

La penalización L₁ puede anular coeficientes (solución dispersa). En un modelo con una sola pendiente, con λ suficientemente grande el β₁ óptimo es 0 y queda casi la constante y ≈ β₀.

Regresión lineal: MCO, ridge, lasso y R²

Puntos en el plano y el modelo y = β₀ + β₁x: MCO ordinario, ridge (penalización L₂ sobre la pendiente) o lasso (penalización L₁). El desplazamiento Δy del punto con mayor |x| es un valor atípico de fuerte apalancamiento; se comparan SSE y R².

Modelo

Estimación

λ (ridge / lasso)0.8

Valor atípico (desplazamiento en y)

Δy se suma solo al punto de mayor |x| (dorado si Δy ≠ 0).

Δy en max |x|0

Nube de demostración

Puntos16

Ruido0.38

Pendiente verdadera0.72

Desplazamiento verdadero0.15

Semilla11

Al editar se quita la recta punteada «verdadera» hasta que vuelvan a cargar la demostración.

Atajos de teclado

Clic en el campo — agregar un punto (hasta 48)
Arrastrar — mover el punto más cercano
Mayús+clic — borrar el más cercano
R — nueva muestra de demostración (semilla)

Magnitudes medidas

Puntos16

Modelo activo0.710·x + 0.148

SSE (activo)0.504

R² (activo)0.9882

R² (MCO sobre los mismos datos)0.9882

Sobre el modelo

Regresión lineal simple en el plano: modelo y = β₀ + β₁x. Los mínimos cuadrados ordinarios minimizan la suma de los cuadrados de los residuos verticales. La regresión ridge añade una penalización L₂ solo sobre la pendiente (el término independiente no se comprime): la pendiente se atrae hacia cero y la varianza de la estimación baja a costa de sesgo. Lasso es una penalización L₁ sobre la pendiente; los coeficientes se buscan por descenso por coordenadas, y con λ grande la pendiente puede quedar exactamente nula. El control Δy desplaza solo el punto de mayor |x| — posición típica de fuerte apalancamiento: el MCO suele inclinar mucho la recta; las soluciones regularizadas suelen quedarse más cerca de la nube principal. En el panel: SSE y R² = 1 − SSE/SST, donde SST se calcula respecto de ȳ con las y actuales. En los modos ridge y lasso se puede superponer la recta pálida de MCO.

Para quién: Estadística y aprendizaje automático: MCO, regresión ridge, lasso, R², sensibilidad a valores atípicos.

Conceptos clave

mínimos cuadrados
regresión ridge
lasso
penalizaciones L₂ y L₁
coeficiente de determinación
suma de cuadrados de los residuos
valor atípico y apalancamiento
descenso por coordenadas

Cómo funciona

Para y = β₀ + β₁x se comparan el MCO ordinario, ridge (penalización L₂ sobre la pendiente) y lasso (penalización L₁). Se agregan y se mueven puntos; Δy en el punto de max |x| es un atípico vertical de fuerte apalancamiento. Se muestran SSE y R²; para las estimaciones regularizadas se puede superponer la recta pálida de MCO.

Preguntas frecuentes

¿Por qué se penaliza solo la pendiente y no el término independiente?: Una penalización sobre β₀ haría que la solución dependiera de un desplazamiento arbitrario de la escala de y. En los textos suele centrarse la respuesta o dejarse la intersección sin penalizar, para que el modelo pueda coincidir en nivel con los datos.
¿Un λ mayor en ridge es siempre mejor?: No: λ fija el compromiso sesgo–varianza. Una penalización demasiado grande comprime la pendiente hacia cero aunque haga falta una tendencia empinada: hay subajuste. En la práctica λ se elige, por ejemplo, por validación cruzada.
¿Por qué en lasso la pendiente a veces queda exactamente nula?: La penalización L₁ puede anular coeficientes (solución dispersa). En un modelo con una sola pendiente, con λ suficientemente grande el β₁ óptimo es 0 y queda casi la constante y ≈ β₀.

Siga con temas cercanos de esta categoría — o todos los 85 de «Visualización matemática».

Toda la categoría →

NuevoEscuela

Mínimos cuadrados

Abrir el simulador

Puntos con ruido y la recta y = ax + b que minimiza la suma de los cuadrados de los residuos verticales. Cambien pendiente, desplazamiento y ruido: se ven los residuos y la suma de cuadrados de los errores.

NuevoEscuela

K-medias (algoritmo de Lloyd)

Abrir el simulador

Puntos en el plano, número de clústeres k y centroides iniciales. Paso de Lloyd: asignar al centro más cercano y llevar el centroide al centro de masa. La demostración es una mezcla de gaussianas; suma de cuadrados intra-clúster.

NuevoEscuela

Envolvente convexa (Graham y QuickHull)

Abrir el simulador

Puntos en el plano: barrido de Graham con animación paso a paso o QuickHull; comparación de los conjuntos de vértices.

NuevoEscuela

Curvas de Bézier y De Casteljau

Abrir el simulador

Los puntos de control fijan la curva de Bézier; el algoritmo de De Casteljau construye B(t) por interpolación lineal anidada.

NuevoEscuela

DBSCAN: agrupamiento por densidad

Abrir el simulador

Radio ε y umbral minPts: núcleo, frontera y ruido. Clústeres de forma arbitraria sin un k prefijado; alrededor de los núcleos se pueden mostrar circunferencias de radio ε.

NuevoEscuela

Suavizado de Savitzky-Golay

Abrir el simulador

Coseno ruidoso y convolución SG(7,2): el filtro polinomial conserva mejor los picos que una ventana rectangular ancha.

Regresión lineal: MCO, ridge, lasso y R²

Sobre el modelo

Cómo funciona

Preguntas frecuentes

Simuladores afines

Mínimos cuadrados

K-medias (algoritmo de Lloyd)

Envolvente convexa (Graham y QuickHull)

Curvas de Bézier y De Casteljau

DBSCAN: agrupamiento por densidad

Suavizado de Savitzky-Golay

Regresión lineal: MCO, ridge, lasso y R²

Sobre el modelo

Cómo funciona

Preguntas frecuentes