Интерактивная GP-регрессия с RBF и Matérn ядрами: настройте length-scale и шум, добавляйте наблюдения кликом, смотрите posterior mean, полосу неопределённости и active sampling по max variance.
О модели
Гауссовский процесс рассматривает неизвестную функцию как случайную функцию: любые её значения имеют совместное гауссово распределение, заданное ядром. В симуляторе скрытая функция наблюдается через точки, которые пользователь добавляет кликом, после чего posterior пересчитывается из K(X,X)+σ_n²I через разложение Холецкого. Синяя кривая — posterior mean μ(x), полупрозрачная область — примерно 95% latent uncertainty μ(x)±2σ(x), жёлтые точки — наблюдения. RBF задаёт очень гладкий prior, а Matérn 3/2 / 5/2 допускают более шероховатые функции. Кнопка active sampling жадно добавляет точку с максимальной posterior standard deviation, показывая выбор эксперимента по неопределённости.
Для кого: Студенты статистики, машинного обучения, численного моделирования и Bayesian inference, которым нужна геометрическая интуиция о ядрах, posterior uncertainty и active learning.
Ключевые понятия
Гауссовский процесс
Ядро
RBF kernel
Matérn kernel
Posterior mean
Полоса неопределённости
Разложение Холецкого
Active sampling
Как это работает
Gaussian process regression задаёт prior над функциями через ядро. Наблюдения дают posterior mean μ(x) и uncertainty σ(x) из K(X,X)+σ_n²I; RBF гладкое, Matérn допускает более резкие функции. Active sampling выбирает точку с максимальной posterior variance.
Ядро задаёт, насколько значения функции в двух точках входа коррелируют друг с другом. Малый length-scale позволяет кривой резко меняться между близкими наблюдениями, большой length-scale навязывает широкие гладкие тренды. Matérn-ядра менее гладкие, чем RBF.
Почему неопределённость падает около наблюдений?
Conditioning совместного гауссова распределения на наблюдённых значениях уменьшает posterior variance сильнее всего рядом с этими точками. Ненулевой observation noise не даёт неопределённости полностью схлопнуться и не заставляет mean проходить точно через каждое наблюдение.
Max-variance active sampling всегда оптимален?
Нет. Это простая стратегия exploration: выбирать место, где модель наиболее не уверена. В реальном Bayesian optimization или design of experiments часто смешивают uncertainty с expected improvement, ценой измерения, ограничениями или прикладной целью.