Почему одной плоскости «наклонной» границы не хватает?

Каждое ребро **параллельно оси** (**x ≤ t** или **y ≤ t**). Диагональ вроде **x + y = 0** требует **лесенки** из многих осевых срезов или другой модели (SVM, косые деревья).

Когда Джини и энтропия выбирают разные первые разбиения?

Обе награждают более **чистые** детей, но штраф за смесь 50/50 у энтропии **круче** — иногда выгоднее другой порог. На границах ничьи здесь: сначала ось **x**, затем меньший порог.

Это точь-в-точь sklearn `DecisionTreeClassifier`?

Формулы **нечистоты** и **перебор порогов** совпадают по сути, но в sklearn есть дополнительные политики ничьих, `class_weight`, `max_features` и детали численной устойчивости. Ожидайте **близкие**, а не побитово идентичные деревья.

Дерево решений (2D игрушка)

Бинарное дерево классификации в плоскости рассматривает x и y как две независимые признаковые оси. Здесь реализован учебный жадный CART, как у `DecisionTreeClassifier` в scikit-learn для осевых разбиений: в каждом узле перебираются все пороги между соседними отсортированными координатами по x и по y, дающие непустые левое/правое подмножества с соблюдением min_samples_leaf. Каждый кандидат оценивается по взвешенной нечистоте потомков — Джини или бинарная энтропия (в битах). Выбирается разбиение с наибольшим приростом информации (нечистота родителя минус взвешенная сумма детей); процесс рекурсивно продолжается, пока листья не станут чистыми, не исчерпается max_depth, не исчезнет положительный прирост или не останется слишком мало точек. Лист предсказывает большинство класса; на канвасе закрашивается прямоугольник листа и пунктиром показываются линии срезов. Ошибка на обучении — доля неверных; белое кольцо вокруг точки — неверный класс в её листе.

Для кого: Вводный курс ML: сравнение критериев разбиения, ограничения глубины и геометрии осевых границ до случайного леса и бустинга.

Ключевые понятия

CART
Джини
Энтропия
Прирост информации
Осевое разбиение
Мин. число в листе
Макс. глубина
Голосование большинства

Обучение дерева

Критерий разбиения

Макс. глубина8

Мин. точек в листе2

Линии разбиения в ячейках

Класс следующей точки

Пресет демо

Размер демо88

Seed демо11

Срезы: **x ≤ t** или **y ≤ t**. Ничья по приросту: ось **x** раньше **y**, затем меньший порог.

Горячие клавиши

Щёлчок — добавить точку выбранного класса
Перетаскивание — сдвинуть
Shift+щелчок — удалить ближайшую
R — то же демо, новый seed

Измеренные величины

Точек88

Внутренних разбиений9

Листьев10

Ошибка на обучении1.1%

Как это работает

CART (2D): на каждом шаге — лучший осевой срез x ≤ t или y ≤ t по максимуму прироста информации (родительская Джини или энтропия минус взвешенная сумма детей); рекурсия до max depth, чистоты или отсутствия выигрыша; лист — большинство класса.

Часто задаваемые вопросы

Почему одной плоскости «наклонной» границы не хватает?: Каждое ребро параллельно оси (x ≤ t или y ≤ t). Диагональ вроде x + y = 0 требует лесенки из многих осевых срезов или другой модели (SVM, косые деревья).
Когда Джини и энтропия выбирают разные первые разбиения?: Обе награждают более чистые детей, но штраф за смесь 50/50 у энтропии круче — иногда выгоднее другой порог. На границах ничьи здесь: сначала ось x, затем меньший порог.
Это точь-в-точь sklearn `DecisionTreeClassifier`?: Формулы нечистоты и перебор порогов совпадают по сути, но в sklearn есть дополнительные политики ничьих, `class_weight`, `max_features` и детали численной устойчивости. Ожидайте близкие, а не побитово идентичные деревья.

Другие симуляторы в этой категории — или все 61.

Вся категория →

НовоеШкольные

Двухслойная сеть и обратное распространение (XOR / спираль)

Точки с метками на плоскости; **tanh** в скрытом слое и **логистика** на выходе; полный **батч**-градиент по **BCE**; теплокарта **P(класс 1)** и движение границы **~0.5** по эпохам.

Запустить симулятор

НовоеУниверситет / научные