Почему остатки возводят в квадрат, а не берут модули?

Квадрат сильнее штрафует большие отклонения, а функция S(a, b) всюду дифференцируема, поэтому нормальные уравнения дают явное решение. Сумма модулей (наименьшие абсолютные отклонения) тоже допустима, но обычно требует итераций и не имеет такой же простой формулы.

Почему прямая всегда проходит через (x̄, ȳ)?

Так устроены нормальные уравнения простой линейной модели: свободный член подбирается так, чтобы среднее предсказание совпало со средним откликом. Центр масс выборки лежит на прямой МНК.

Где это нужно в физическом практикуме?

При определении g по зашумлённым s(t), при калибровке датчика, при проверке линейного закона. Всякий раз, когда по облаку точек проводят прямую «наилучшего приближения», чаще всего это метод наименьших квадратов.

Когда линейная модель врёт?

Если истинный тренд криволинейный (квадрат, экспонента), прямая даст систематическую ошибку. Модель также предполагает постоянный разброс по y и независимые точки; при гетероскедастичности или выбросах оценки смещаются.

Метод наименьших квадратов

Зашумлённые точки и прямая y = ax + b, которая минимизирует сумму квадратов вертикальных остатков. Меняйте наклон, сдвиг и шум — видны остатки и сумма квадратов ошибок.

О модели

Метод наименьших квадратов ищет прямую, лучше всего приближающую облако точек в смысле суммы квадратов вертикальных отклонений. Для модели y = ax + b минимизируется S(a, b) = Σ(y_i − ax_i − b)². Частные производные по a и b, приравненные к нулю, дают нормальные уравнения; из них находятся единственные оценки наклона и свободного члена. Прямая всегда проходит через центр масс выборки (x̄, ȳ). Предполагается линейный тренд, вся неопределённость — по оси y. На экране — прямая, по которой разбросаны точки, подобранная прямая и вертикальные остатки. Меняются число точек, амплитуда шума и параметры генерации.

Для кого: Старшие классы и начало вуза: статистика, обработка опытных данных, аппроксимация прямой.

Ключевые понятия

метод наименьших квадратов
линейная регрессия
остаток
угловой коэффициент
свободный член
сумма квадратов ошибок
нормальные уравнения

Как это работает

Метод наименьших квадратов минимизирует S(a, b) = Σ(y_i − ax_i − b)². Из нормальных уравнений находятся наклон a и свободный член b; прямая проходит через (x̄, ȳ). На экране жёлтая прямая — оценка, красные отрезки — вертикальные остатки, синяя — «истинная» прямая, по которой разбросаны точки.

Часто задаваемые вопросы

Почему остатки возводят в квадрат, а не берут модули?: Квадрат сильнее штрафует большие отклонения, а функция S(a, b) всюду дифференцируема, поэтому нормальные уравнения дают явное решение. Сумма модулей (наименьшие абсолютные отклонения) тоже допустима, но обычно требует итераций и не имеет такой же простой формулы.
Почему прямая всегда проходит через (x̄, ȳ)?: Так устроены нормальные уравнения простой линейной модели: свободный член подбирается так, чтобы среднее предсказание совпало со средним откликом. Центр масс выборки лежит на прямой МНК.
Где это нужно в физическом практикуме?: При определении g по зашумлённым s(t), при калибровке датчика, при проверке линейного закона. Всякий раз, когда по облаку точек проводят прямую «наилучшего приближения», чаще всего это метод наименьших квадратов.
Когда линейная модель врёт?: Если истинный тренд криволинейный (квадрат, экспонента), прямая даст систематическую ошибку. Модель также предполагает постоянный разброс по y и независимые точки; при гетероскедастичности или выбросах оценки смещаются.

Продолжите с близкими темами в этой категории — или все 85 в «Визуализация математики».

Вся категория →

НовоеШкольные

Линейная регрессия: МНК, гребень, лассо и R²

Запустить симулятор

Точки на плоскости и модель y = β₀ + β₁x: обычный МНК, гребень (штраф L₂ по наклону) или лассо (штраф L₁). Сдвиг Δy у точки с наибольшим |x| — выброс с сильным рычагом; сравниваются SSE и R².

НовоеШкольные

Сглаживание Савицкого–Голэя

Запустить симулятор

Зашумлённый косинус и свёртка SG(7,2): полиномиальный фильтр лучше сохраняет пики, чем широкое прямоугольное окно.

НовоеШкольные

Метод k-средних (алгоритм Ллойда)

Запустить симулятор

Точки на плоскости, число кластеров k и стартовые центроиды. Шаг Ллойда: назначение к ближайшему центру и перенос центроида в центр масс. Демо — смесь гауссиан; внутрикластерная сумма квадратов.

НовоеШкольные

Матрица 2×2 и собственные векторы

Запустить симулятор

Линейное отображение плоскости матрицей M: квадратная сетка переходит в решётку параллелограммов. При вещественных λ — стрелки вдоль инвариантных направлений.

НовоеШкольные

Лотка–Вольтерра

Запустить симулятор

Классическая модель хищник–жертва: N′ = αN − βNP, P′ = δNP − γP. Фазовая плоскость, интегрирование Рунге–Кутты, точка равновесия (γ/δ, α/β).

НовоеШкольные

Случайное блуждание

Запустить симулятор

Шаги на прямой или на плоскости: траектория и накопленное среднее ⟨r²⟩ как прообраз диффузии.

Метод наименьших квадратов

О модели

Как это работает

Часто задаваемые вопросы

Похожие симуляторы

Линейная регрессия: МНК, гребень, лассо и R²

Сглаживание Савицкого–Голэя

Метод k-средних (алгоритм Ллойда)

Матрица 2×2 и собственные векторы

Лотка–Вольтерра

Случайное блуждание

Метод наименьших квадратов

О модели

Как это работает

Часто задаваемые вопросы