Por que se anda contra o gradiente, e não a favor?

O vetor ∇f aponta para o crescimento mais íngreme. Para diminuir f é preciso um passo na direção −∇f.

O que acontece se η for grande demais?

O passo salta o mínimo: oscilações em torno do poço ou a trajetória se vai. Perde-se a convergência.

O mínimo achado é sempre o global?

O gradiente descendente converge a um mínimo local. Aqui as funções são convexas, por isso o mínimo local coincide com o global. Num relevo não convexo pode-se ficar preso num poço mais alto.

O que isso tem a ver com o treino de modelos?

Treinar costuma reduzir-se a minimizar uma função de perda. Os parâmetros se deslocam na direção −∇L e cai o erro de previsão.

Gradiente descendente

Curvas de nível de f(x, y) e trajetória (x, y) ← (x, y) − η∇f; tigela ou poço elíptico.

Sobre o modelo

O gradiente descendente busca o mínimo de uma função suave f(x, y). As curvas de nível são as linhas f = const, como as horizontais de um mapa. O passo: (x, y) ← (x, y) − η ∇f(x, y), em que ∇f é a direção de maior crescimento e η > 0 é o tamanho do passo (taxa de aprendizado). A trajetória desce até um mínimo local. Um η pequeno demais freia; um grande demais salta o poço, oscila ou diverge. Casos: a tigela f = x² + y² e o poço elíptico f = x² + 4y²; ambos são convexos e o único mínimo está na origem. Não entram pontos de sela, ruído nem dimensão alta.

Para quem: Cálculo e uma introdução à otimização: gradiente, curvas de nível, escolha do passo.

Conceitos-chave

gradiente descendente
gradiente
taxa de aprendizado
curvas de nível
função convexa
mínimo local
descida mais íngreme

Como funciona

No plano das curvas de nível de f(x, y) o ponto dá o passo (x, y) ← (x, y) − η ∇f. A tigela e o poço elíptico são convexos; o mínimo está em (0, 0). Um η grande demais dá ziguezague ou divergência; um pequeno demais, uma descida lenta.

Perguntas frequentes

Por que se anda contra o gradiente, e não a favor?: O vetor ∇f aponta para o crescimento mais íngreme. Para diminuir f é preciso um passo na direção −∇f.
O que acontece se η for grande demais?: O passo salta o mínimo: oscilações em torno do poço ou a trajetória se vai. Perde-se a convergência.
O mínimo achado é sempre o global?: O gradiente descendente converge a um mínimo local. Aqui as funções são convexas, por isso o mínimo local coincide com o global. Num relevo não convexo pode-se ficar preso num poço mais alto.
O que isso tem a ver com o treino de modelos?: Treinar costuma reduzir-se a minimizar uma função de perda. Os parâmetros se deslocam na direção −∇L e cai o erro de previsão.

Continue com temas próximos desta categoria — ou todos os 85 em «Visualização matemática».

Toda a categoria →

NovoUniversidade / pesquisa

Otimizadores de gradiente descendente

Abrir o simulador

Comparação de SGD, momento e Adam num relevo bidimensional da função de perda: taxa de aprendizado, curvatura, estabilidade e trajetórias das iterações.

NovoUniversidade / pesquisa

Gradientes conjugados

Abrir o simulador

Sistema SDP Ax=b como minimização de uma forma quadrática: curvas de nível, gradientes conjugados contra a descida mais íngreme, norma do resíduo e número de condição.

NovoEscola

Rede de duas camadas e retropropagação

Abrir o simulador

Duas características e um rótulo binário: camada oculta com tanh e saída logística. Gradiente completo da entropia cruzada binária média; mapa de calor da probabilidade e fronteira de nível 0,5 (XOR ou espirais).

NovoEscola

Envoltória convexa

Abrir o simulador

Pontos no plano: varredura de Graham com animação passo a passo ou QuickHull; comparação dos conjuntos de vértices.

PopularEscola

Séries de Fourier

Abrir o simulador

A função periódica decompõe-se em soma de harmônicas — senos e cossenos de frequências múltiplas. Mude o número de termos e compare a soma parcial com a onda quadrada, o dente de serra ou a triangular.

NovoEscola

Modelo epidêmico SIR

Abrir o simulador

S + I + R = 1: βSI e γI; ℛ₀ ≈ β/γ, limiar de imunidade coletiva 1 − 1/ℛ₀; gráfico no tempo por RK4.

Gradiente descendente

Sobre o modelo

Como funciona

Perguntas frequentes

Simuladores relacionados

Otimizadores de gradiente descendente

Gradientes conjugados

Rede de duas camadas e retropropagação

Envoltória convexa

Séries de Fourier

Modelo epidêmico SIR

Gradiente descendente

Sobre o modelo

Como funciona

Perguntas frequentes