Почему идут против градиента, а не по нему?

Вектор ∇f указывает наискорейший рост. Чтобы уменьшить f, нужен шаг в сторону −∇f.

Что будет при слишком большом η?

Шаг перескакивает минимум: колебания вокруг впадины или уход траектории. Сходимость пропадает.

Найденный минимум всегда глобальный?

Градиентный спуск сходится к локальному минимуму. Здесь функции выпуклые, поэтому локальный минимум совпадает с глобальным. На невыпуклом рельефе можно застрять в более высокой яме.

При чём здесь обучение моделей?

Обучение часто сводится к минимизации функции потерь. Параметры сдвигают в сторону −∇L, уменьшая ошибку предсказания.

Градиентный спуск (2D)

Линии уровня f(x, y) и траектория (x, y) ← (x, y) − η∇f; чаша или эллиптическая впадина.

О модели

Градиентный спуск ищет минимум гладкой функции f(x, y). Линии уровня — кривые f = const, как горизонтали на карте. Шаг: (x, y) ← (x, y) − η ∇f(x, y), где ∇f — направление наискорейшего роста, η > 0 — длина шага (скорость обучения). Траектория спускается к локальному минимуму. Слишком малое η тормозит, слишком большое — перескакивает впадину, даёт колебания или расходимость. Заготовки: чаша f = x² + y² и эллиптическая впадина f = x² + 4y²; обе выпуклы, единственный минимум в начале координат. Седла, шум и высокая размерность в модель не входят.

Для кого: Математический анализ и введение в оптимизацию: градиент, линии уровня, выбор шага.

Ключевые понятия

градиентный спуск
градиент
скорость обучения
линии уровня
выпуклая функция
локальный минимум
наискорейший спуск

Как это работает

На плоскости линий уровня f(x, y) точка шагает по правилу (x, y) ← (x, y) − η ∇f. Чаша и эллиптическая впадина выпуклы, минимум в (0, 0). Слишком большое η даёт зигзаг или расходимость; слишком малое — медленный спуск.

Часто задаваемые вопросы

Почему идут против градиента, а не по нему?: Вектор ∇f указывает наискорейший рост. Чтобы уменьшить f, нужен шаг в сторону −∇f.
Что будет при слишком большом η?: Шаг перескакивает минимум: колебания вокруг впадины или уход траектории. Сходимость пропадает.
Найденный минимум всегда глобальный?: Градиентный спуск сходится к локальному минимуму. Здесь функции выпуклые, поэтому локальный минимум совпадает с глобальным. На невыпуклом рельефе можно застрять в более высокой яме.
При чём здесь обучение моделей?: Обучение часто сводится к минимизации функции потерь. Параметры сдвигают в сторону −∇L, уменьшая ошибку предсказания.

Продолжите с близкими темами в этой категории — или все 85 в «Визуализация математики».

Вся категория →

НовоеУниверситет / научные

Оптимизаторы градиентного спуска

Запустить симулятор

Сравнение SGD, момента и Adam на двумерном рельефе функции потерь: шаг обучения, кривизна, устойчивость и траектории итераций.

НовоеУниверситет / научные

Метод сопряжённых градиентов

Запустить симулятор

СПД-система Ax=b как минимизация квадратичной формы: линии уровня, сопряжённые градиенты против наискорейшего спуска, норма невязки и число обусловленности.

НовоеШкольные

Двухслойная сеть и обратное распространение

Запустить симулятор

Два признака и бинарная метка: скрытый слой с tanh и логистический выход. Полный градиент по средней двоичной кросс-энтропии; теплокарта вероятности и граница уровня 0,5 (XOR или спирали).

НовоеШкольные

Выпуклая оболочка (Грэм и QuickHull)

Запустить симулятор

Точки на плоскости: обход Грэма с пошаговой анимацией или QuickHull; сравнение множеств вершин.

ПопулярноеШкольные

Ряды Фурье

Запустить симулятор

Периодическую функцию раскладывают в сумму гармоник — синусов и косинусов кратных частот. Меняйте число членов и сравнивайте частичную сумму с меандром, пилой или треугольником.

НовоеШкольные

SIR-модель эпидемии

Запустить симулятор

S + I + R = 1: βSI и γI; ℛ₀ ≈ β/γ, порог коллективного иммунитета 1 − 1/ℛ₀; график по времени РК4.

Градиентный спуск (2D)

О модели

Как это работает

Часто задаваемые вопросы

Похожие симуляторы

Оптимизаторы градиентного спуска

Метод сопряжённых градиентов

Двухслойная сеть и обратное распространение

Выпуклая оболочка (Грэм и QuickHull)

Ряды Фурье

SIR-модель эпидемии

Градиентный спуск (2D)

О модели

Как это работает

Часто задаваемые вопросы