Почему штрафуется только наклон, а не свободный член?

Штраф за β₀ сделал бы решение зависимым от произвольного сдвига шкалы y. В учебниках обычно либо центрируют отклик, либо оставляют пересечение без штрафа, чтобы модель могла совпасть по уровню с данными.

Больший λ у гребня всегда лучше?

Нет: λ задаёт компромисс смещение–дисперсия. Слишком большой штраф сжимает наклон к нулю даже когда нужен крутой тренд — получается недообучение. На практике λ подбирают, например, перекрёстной проверкой.

Почему у лассо наклон иногда становится ровно нулём?

Штраф L₁ может обнулять коэффициенты (разреженное решение). В модели с одним наклоном при достаточно большом λ оптимальный β₁ равен 0, остаётся почти константа y ≈ β₀.

Линейная регрессия: МНК, гребень, лассо и R²

Точки на плоскости и модель y = β₀ + β₁x: обычный МНК, гребень (штраф L₂ по наклону) или лассо (штраф L₁). Сдвиг Δy у точки с наибольшим |x| — выброс с сильным рычагом; сравниваются SSE и R².

Модель

Оценка

λ (Ridge / Lasso)0.8

Выброс (сдвиг по y)

Δy добавляется только к точке с наибольшим |x| (золотая при Δy ≠ 0).

Δy у max |x|0

Демо-облако

Точек16

Шум0.38

Истинный наклон0.72

Истинный сдвиг0.15

Seed11

Редактирование снимает пунктирную «истинную» прямую, пока снова не загрузите демо.

Горячие клавиши

Щёлчок по полю — добавить точку (до 48)
Перетаскивание — сдвинуть ближайшую точку
Shift+щелчок — удалить ближайшую
R — новая демо-выборка (seed)

Измеренные величины

Точек16

Активная модель0.710·x + 0.148

SSE (активная)0.504

R² (активная)0.9882

R² (OLS на тех же данных)0.9882

О модели

Простая линейная регрессия на плоскости: модель y = β₀ + β₁x. Обычный метод наименьших квадратов минимизирует сумму квадратов вертикальных остатков. Гребневая регрессия добавляет штраф L₂ только за наклон (свободный член не сжимается): наклон притягивается к нулю, дисперсия оценки падает ценой смещения. Лассо — штраф L₁ по наклону; коэффициенты ищутся координатным спуском, и при большом λ наклон может стать ровно нулём. Ползунок Δy сдвигает только точку с наибольшим |x| — типичное положение сильного рычага: МНК часто сильно наклоняет прямую, регуляризованные решения чаще остаются ближе к основному облаку. В панели — SSE и R² = 1 − SSE/SST, где SST считается относительно ȳ по текущим y. В режимах гребня и лассо можно наложить бледную прямую МНК.

Для кого: Статистика и машинное обучение: МНК, гребневая регрессия, лассо, R², чувствительность к выбросам.

Ключевые понятия

метод наименьших квадратов
гребневая регрессия
лассо
штрафы L₂ и L₁
коэффициент детерминации
сумма квадратов остатков
выброс и рычаг
координатный спуск

Как это работает

Для y = β₀ + β₁x сравниваются обычный МНК, гребень (штраф L₂ по наклону) и лассо (штраф L₁). Точки добавляют и двигают; Δy на точке с max |x| — вертикальный выброс с сильным рычагом. Показаны SSE и R²; для регуляризованных оценок можно наложить бледную прямую МНК.

Часто задаваемые вопросы

Почему штрафуется только наклон, а не свободный член?: Штраф за β₀ сделал бы решение зависимым от произвольного сдвига шкалы y. В учебниках обычно либо центрируют отклик, либо оставляют пересечение без штрафа, чтобы модель могла совпасть по уровню с данными.
Больший λ у гребня всегда лучше?: Нет: λ задаёт компромисс смещение–дисперсия. Слишком большой штраф сжимает наклон к нулю даже когда нужен крутой тренд — получается недообучение. На практике λ подбирают, например, перекрёстной проверкой.
Почему у лассо наклон иногда становится ровно нулём?: Штраф L₁ может обнулять коэффициенты (разреженное решение). В модели с одним наклоном при достаточно большом λ оптимальный β₁ равен 0, остаётся почти константа y ≈ β₀.

Продолжите с близкими темами в этой категории — или все 85 в «Визуализация математики».

Вся категория →

НовоеШкольные

Метод наименьших квадратов

Запустить симулятор

Зашумлённые точки и прямая y = ax + b, которая минимизирует сумму квадратов вертикальных остатков. Меняйте наклон, сдвиг и шум — видны остатки и сумма квадратов ошибок.

НовоеШкольные

Метод k-средних (алгоритм Ллойда)

Запустить симулятор

Точки на плоскости, число кластеров k и стартовые центроиды. Шаг Ллойда: назначение к ближайшему центру и перенос центроида в центр масс. Демо — смесь гауссиан; внутрикластерная сумма квадратов.

НовоеШкольные