¿Por qué se camina en contra del gradiente y no a favor?

El vector ∇f apunta al crecimiento más pronunciado. Para disminuir f hace falta un paso hacia −∇f.

¿Qué ocurre si η es demasiado grande?

El paso se salta el mínimo: oscilaciones alrededor del pozo o la trayectoria se va. Se pierde la convergencia.

¿El mínimo hallado es siempre el global?

El descenso por gradiente converge a un mínimo local. Aquí las funciones son convexas, así que el mínimo local coincide con el global. En un relieve no convexo se puede quedar atrapado en un pozo más alto.

¿Qué tiene que ver con el entrenamiento de modelos?

Entrenar suele reducirse a minimizar una función de pérdida. Los parámetros se desplazan hacia −∇L y baja el error de predicción.

Descenso por gradiente (2D)

Curvas de nivel de f(x, y) y trayectoria (x, y) ← (x, y) − η∇f; cuenco o pozo elíptico.

Sobre el modelo

El descenso por gradiente busca el mínimo de una función suave f(x, y). Las curvas de nivel son las líneas f = const, como las horizontales de un mapa. El paso: (x, y) ← (x, y) − η ∇f(x, y), donde ∇f es la dirección de mayor crecimiento y η > 0 es el tamaño del paso (tasa de aprendizaje). La trayectoria baja hacia un mínimo local. Un η demasiado pequeño frena; uno demasiado grande salta el pozo, oscila o diverge. Casos: el cuenco f = x² + y² y el pozo elíptico f = x² + 4y²; ambos son convexos y el único mínimo está en el origen. No entran puntos de silla, ruido ni dimensión alta.

Para quién: Cálculo y una introducción a la optimización: gradiente, curvas de nivel, elección del paso.

Conceptos clave

descenso por gradiente
gradiente
tasa de aprendizaje
curvas de nivel
función convexa
mínimo local
descenso más pronunciado

Cómo funciona

En el plano de curvas de nivel de f(x, y) el punto da el paso (x, y) ← (x, y) − η ∇f. El cuenco y el pozo elíptico son convexos; el mínimo está en (0, 0). Un η demasiado grande da zigzag o divergencia; uno demasiado pequeño, un descenso lento.

Preguntas frecuentes

¿Por qué se camina en contra del gradiente y no a favor?: El vector ∇f apunta al crecimiento más pronunciado. Para disminuir f hace falta un paso hacia −∇f.
¿Qué ocurre si η es demasiado grande?: El paso se salta el mínimo: oscilaciones alrededor del pozo o la trayectoria se va. Se pierde la convergencia.
¿El mínimo hallado es siempre el global?: El descenso por gradiente converge a un mínimo local. Aquí las funciones son convexas, así que el mínimo local coincide con el global. En un relieve no convexo se puede quedar atrapado en un pozo más alto.
¿Qué tiene que ver con el entrenamiento de modelos?: Entrenar suele reducirse a minimizar una función de pérdida. Los parámetros se desplazan hacia −∇L y baja el error de predicción.

Siga con temas cercanos de esta categoría — o todos los 85 de «Visualización matemática».

Toda la categoría →

NuevoUniversidad / investigación

Optimizadores de descenso por gradiente

Abrir el simulador

Comparación de SGD, momento y Adam en un relieve bidimensional de la función de pérdida: tasa de aprendizaje, curvatura, estabilidad y trayectorias de las iteraciones.

NuevoUniversidad / investigación

Gradiente conjugado

Abrir el simulador

Sistema SDP Ax=b como minimización de una forma cuadrática: curvas de nivel, gradiente conjugado frente al descenso más pronunciado, norma del residual y número de condición.

NuevoEscuela

Red de dos capas y retropropagación

Abrir el simulador

Dos características y una etiqueta binaria: capa oculta con tanh y salida logística. Gradiente completo de la entropía cruzada binaria media; mapa de calor de la probabilidad y frontera de nivel 0,5 (XOR o espirales).

NuevoEscuela

Envolvente convexa (Graham y QuickHull)

Abrir el simulador

Puntos en el plano: barrido de Graham con animación paso a paso o QuickHull; comparación de los conjuntos de vértices.

PopularEscuela

Series de Fourier

Abrir el simulador

Una función periódica se descompone en una suma de armónicos — senos y cosenos de frecuencias múltiplas. Cambie el número de términos y compare la suma parcial con la onda cuadrada, el diente de sierra o la triangular.

NuevoEscuela

Modelo SIR de epidemia

Abrir el simulador

S + I + R = 1: βSI y γI; ℛ₀ ≈ β/γ, umbral de inmunidad colectiva 1 − 1/ℛ₀; gráfica en el tiempo con RK4.

Descenso por gradiente (2D)

Sobre el modelo

Cómo funciona

Preguntas frecuentes

Simuladores afines

Optimizadores de descenso por gradiente

Gradiente conjugado

Red de dos capas y retropropagación

Envolvente convexa (Graham y QuickHull)

Series de Fourier

Modelo SIR de epidemia

Descenso por gradiente (2D)

Sobre el modelo

Cómo funciona

Preguntas frecuentes