Por que se penaliza só a inclinação, e não o intercepto?

Uma penalização em β₀ faria a solução depender de um deslocamento arbitrário da escala de y. Nos livros costuma-se centrar a resposta ou deixar a interseção sem penalização, para o modelo poder coincidir em nível com os dados.

Um λ maior no ridge é sempre melhor?

Não: λ fixa o compromisso viés–variância. Uma penalização grande demais comprime a inclinação a zero mesmo quando a tendência é íngreme — fica subajuste. Na prática λ se escolhe, por exemplo, por validação cruzada.

Por que no lasso a inclinação às vezes fica exatamente nula?

A penalização L₁ pode anular coeficientes (solução esparsa). No modelo com uma só inclinação, com λ grande o bastante o β₁ ótimo vale 0 e resta quase a constante y ≈ β₀.

Regressão linear: MQO, ridge, lasso e R²

Pontos no plano e o modelo y = β₀ + β₁x: MQO usual, ridge (penalização L₂ na inclinação) ou lasso (penalização L₁). O deslocamento Δy no ponto de maior |x| é um valor atípico de grande alavancagem; comparam-se SSE e R².

Modelo

Estimativa

λ (ridge / lasso)0.8

Valor atípico (deslocamento em y)

Δy soma-se só ao ponto de maior |x| (dourado quando Δy ≠ 0).

Δy em max |x|0

Nuvem de demonstração

Pontos16

Ruído0.38

Inclinação verdadeira0.72

Intercepto verdadeiro0.15

Semente11

A edição apaga a reta «verdadeira» tracejada até você carregar de novo a demonstração.

Atalhos de teclado

Clique no plano — acrescentar ponto (até 48)
Arraste — deslocar o ponto mais próximo
Shift+clique — remover o mais próximo
R — nova amostra de demonstração (semente)

Grandezas medidas

Pontos16

Modelo ativo0.710·x + 0.148

SSE (ativo)0.504

R² (ativo)0.9882

R² (MQO nos mesmos dados)0.9882

Sobre o modelo

Regressão linear simples no plano: o modelo é y = β₀ + β₁x. Os mínimos quadrados ordinários minimizam a soma dos quadrados dos resíduos verticais. A regressão ridge acrescenta uma penalização L₂ só na inclinação (o intercepto não é encolhido): a inclinação é puxada para zero e a variância da estimativa cai, ao preço de viés. O lasso é a penalização L₁ na inclinação; os coeficientes saem por descida coordenada e, com λ grande, a inclinação pode ficar exatamente nula. O controle Δy desloca só o ponto de maior |x| — posição típica de grande alavancagem: o MQO costuma inclinar forte a reta, as soluções regularizadas ficam em geral mais perto da nuvem principal. No painel — SSE e R² = 1 − SSE/SST, com SST relativo a ȳ nos y atuais. Nos modos ridge e lasso pode-se sobrepor a reta pálida do MQO.

Para quem: Estatística e aprendizado de máquina: MQO, regressão ridge, lasso, R², sensibilidade a valores atípicos.

Conceitos-chave

método dos mínimos quadrados
regressão ridge
lasso
penalizações L₂ e L₁
coeficiente de determinação
soma dos quadrados dos resíduos
valor atípico e alavancagem
descida coordenada

Como funciona

Para y = β₀ + β₁x comparam-se o MQO usual, o ridge (penalização L₂ na inclinação) e o lasso (penalização L₁). Os pontos se acrescentam e se deslocam; Δy no ponto de max |x| é um valor atípico vertical de grande alavancagem. Mostram-se SSE e R²; para as estimativas regularizadas pode-se sobrepor a reta pálida do MQO.

Perguntas frequentes

Por que se penaliza só a inclinação, e não o intercepto?: Uma penalização em β₀ faria a solução depender de um deslocamento arbitrário da escala de y. Nos livros costuma-se centrar a resposta ou deixar a interseção sem penalização, para o modelo poder coincidir em nível com os dados.
Um λ maior no ridge é sempre melhor?: Não: λ fixa o compromisso viés–variância. Uma penalização grande demais comprime a inclinação a zero mesmo quando a tendência é íngreme — fica subajuste. Na prática λ se escolhe, por exemplo, por validação cruzada.
Por que no lasso a inclinação às vezes fica exatamente nula?: A penalização L₁ pode anular coeficientes (solução esparsa). No modelo com uma só inclinação, com λ grande o bastante o β₁ ótimo vale 0 e resta quase a constante y ≈ β₀.

Continue com temas próximos desta categoria — ou todos os 85 em «Visualização matemática».

Toda a categoria →

NovoEscola

Mínimos quadrados

Abrir o simulador

Pontos ruidosos e a reta y = ax + b que minimiza a soma dos quadrados dos resíduos verticais. Mude a inclinação, o intercepto e o ruído — aparecem os resíduos e a soma dos quadrados dos erros.

NovoEscola

Agrupamento k-médias

Abrir o simulador

Pontos no plano, número de grupos k e centróides iniciais. Passo de Lloyd: atribuição ao centro mais próximo e deslocamento do centróide ao baricentro. A demonstração é uma mistura de gaussianas; soma dos quadrados intra-grupo.

NovoEscola

Envoltória convexa

Abrir o simulador

Pontos no plano: varredura de Graham com animação passo a passo ou QuickHull; comparação dos conjuntos de vértices.

NovoEscola

Curvas de Bézier e de Casteljau

Abrir o simulador

Pontos de controle definem a curva de Bézier; o algoritmo de de Casteljau constrói B(t) por interpolação linear aninhada.

NovoEscola

DBSCAN

Abrir o simulador

Raio ε e limiar minPts: núcleo, fronteira e ruído. Grupos de forma qualquer, sem k prefixado; em torno dos núcleos pode-se mostrar circunferências de raio ε.

NovoEscola

Suavização de Savitzky–Golay

Abrir o simulador

Cosseno ruidoso e convolução SG(7,2): o filtro polinomial conserva melhor os picos do que uma janela retangular larga.

Regressão linear: MQO, ridge, lasso e R²

Sobre o modelo

Como funciona

Perguntas frequentes

Simuladores relacionados

Mínimos quadrados

Agrupamento k-médias

Envoltória convexa

Curvas de Bézier e de Casteljau

DBSCAN

Suavização de Savitzky–Golay

Regressão linear: MQO, ridge, lasso e R²

Sobre o modelo

Como funciona

Perguntas frequentes