Pourquoi ne peut-on pas tracer une frontière inclinée d’une seule coupure ?

Chaque arête est parallèle à un axe : x ≤ t ou y ≤ t. Une diagonale du type x + y = 0 exige un escalier de nombreuses coupures axiales, ou un autre modèle.

Quand Gini et l’entropie choisissent-ils des premières coupures différentes ?

Les deux récompensent des fils plus purs, mais la pénalité d’un mélange 50/50 est plus forte pour l’entropie — parfois un autre seuil est plus avantageux. En cas d’égalité, ici l’axe x d’abord, puis le plus petit seuil.

Que se passe-t-il si l’on augmente la profondeur maximale ?

L’arbre s’ajuste davantage aux points d’apprentissage : l’erreur d’apprentissage baisse en général, les rectangles se font plus petits. Sur de nouvelles données, cet escalier surapprend souvent, surtout sur des nuages bruités.

Arbre de décision (2D)

Coupures gloutonnes parallèles aux axes dans le plan à deux classes : indice de Gini ou entropie, profondeur et minimum de points par feuille. Rectangles des feuilles et coupures en pointillés.

À propos du modèle

Un arbre de décision binaire dans le plan prend x et y comme deux variables. À chaque nœud, on parcourt les seuils entre coordonnées voisines triées selon x et selon y, qui donnent des sous-ensembles non vides en respectant le minimum de points par feuille. Le candidat est évalué par l’impureté pondérée des fils — indice de Gini ou entropie binaire (en bits). On retient la coupure de plus grand gain d’information ; la récursion continue jusqu’à ce que les feuilles soient pures, que la profondeur soit épuisée, qu’il n’y ait plus de gain positif ou qu’il reste trop peu de points. La feuille prédit la classe majoritaire ; sur le plan, on colorie le rectangle de la feuille et, en pointillés, les lignes de coupure. L’erreur d’apprentissage est la fraction d’erreurs ; un anneau blanc autour d’un point signale une classe fausse dans sa feuille. Les coupures sont seulement axiales : x ≤ t ou y ≤ t.

Public : Apprentissage automatique : critères de coupure, limitation de la profondeur, géométrie des frontières axiales.

Notions clés

arbre de décision
indice de Gini
entropie
gain d’information
coupure parallèle aux axes
minimum de points par feuille
profondeur maximale
vote majoritaire

Comment ça marche

À chaque nœud, on choisit la meilleure coupure axiale x ≤ t ou y ≤ t par gain d’information maximal (impureté du père moins la somme pondérée des fils : Gini ou entropie). Récursion jusqu’à la profondeur fixée, la pureté de la feuille ou l’absence de gain. La feuille vote à la majorité de classe ; les pointillés sont les lignes de coupure.

Questions fréquentes

Pourquoi ne peut-on pas tracer une frontière inclinée d’une seule coupure ?: Chaque arête est parallèle à un axe : x ≤ t ou y ≤ t. Une diagonale du type x + y = 0 exige un escalier de nombreuses coupures axiales, ou un autre modèle.
Quand Gini et l’entropie choisissent-ils des premières coupures différentes ?: Les deux récompensent des fils plus purs, mais la pénalité d’un mélange 50/50 est plus forte pour l’entropie — parfois un autre seuil est plus avantageux. En cas d’égalité, ici l’axe x d’abord, puis le plus petit seuil.
Que se passe-t-il si l’on augmente la profondeur maximale ?: L’arbre s’ajuste davantage aux points d’apprentissage : l’erreur d’apprentissage baisse en général, les rectangles se font plus petits. Sur de nouvelles données, cet escalier surapprend souvent, surtout sur des nuages bruités.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauCollège–lycée

Réseau à deux couches et rétropropagation

Lancer la simulation

Deux caractéristiques et une étiquette binaire : couche cachée à tanh et sortie logistique. Gradient complet sur l’entropie croisée binaire moyenne ; carte de chaleur des probabilités et frontière de niveau 0,5 (XOR ou spirales).

NouveauCollège–lycée

Régression linéaire : MCO, ridge, lasso et R²

Lancer la simulation

Points du plan et modèle y = β₀ + β₁x : moindres carrés ordinaires (MCO), ridge (pénalité L₂ sur la pente) ou lasso (pénalité L₁). Le décalage Δy du point de plus grand |x| est une valeur aberrante à fort levier ; on compare SSE et R².

NouveauCollège–lycée

Enveloppe convexe (Graham et QuickHull)

Lancer la simulation

Points du plan : parcours de Graham avec animation pas à pas, ou QuickHull ; comparaison des ensembles de sommets.

NouveauCollège–lycée

Méthode de Newton (1D)

Lancer la simulation

Graphe de f(x), un clic fixe x₀, itérations x − f/f′ (dérivée numérique) ; panoramique et cas. Les bassins sur �Graphe de f(x), un clic fixe x₀, itérations x − f/f′ (dérivée numérique) ; panoramique et cas. Les bassins sur ℂ sont dans l’expérience séparée « fractale de Newton ».

NouveauCollège–lycée

ACP en 2D : composantes principales

Lancer la simulation

Nuage dans le plan : covariance 2×2, vecteurs propres CP1 et CP2 partant de la moyenne, perpendiculaires à la droite CP1 et bande des coordonnées sur la première composante.

NouveauCollège–lycée

k-moyennes (algorithme de Lloyd)

Lancer la simulation

Points du plan, nombre de classes k et centroïdes de départ. Un pas de Lloyd : affectation au centre le plus proche et déplacement du centroïde au barycentre. Démonstration : mélange de gaussiennes ; somme des carrés intra-classes.

Arbre de décision (2D)

À propos du modèle

Comment ça marche

Questions fréquentes

Simulations voisines

Réseau à deux couches et rétropropagation

Régression linéaire : MCO, ridge, lasso et R²

Enveloppe convexe (Graham et QuickHull)

Méthode de Newton (1D)

ACP en 2D : composantes principales

k-moyennes (algorithme de Lloyd)

Arbre de décision (2D)

À propos du modèle

Comment ça marche

Questions fréquentes