Arbori de regresie

Arbori de regresie

CEC, 2019
Arbori de regresie

CEC, 2019
Arbori de regresie

CEC, 2019
Arbori de regresie

CEC, 2019
Arbori de regresie

Obiectiv: min RSS

Se selectează variabila predictor j și pragul s care minimizează:

CEC, 2019
Arbori de regresie

Criterii de oprire
- Descreșterea valorii RSS nu depășește un prag prestabilit
- Controlul complexității arborelui
- Pentru fiecare valoare α, corespunde un subarbore T pentru care expresia

este minima
Dacă valoarea lui α crește, atunci expresia anterioară va atinge minimul pentru un
arbore de dimensiune mai mică
- |T| Dimensiunea, numărul nodurilor terminale
- Parametrul α controlează raporul complexitate/ acuratețe

CEC, 2019
Arbori de regresie

CEC, 2019
Arbori de regresie

Algoritm de construire
1. Se construiește un arbore plecând de la un nod rădăcină care conține toate
observațiile analizate. Creșterea arborelui se oprește când numărul observațiilor
dintr-un nod este inferior unui număr minim de observații
2. Pe acest arbore construit, se aplică procedura de evaluare a costului
complexității. Se obține o secvență de sub-arbori (funcții de alpha)
3. Se utilizează validarea încrucișată pentru a putea selecta valoarea parametrului
alpha. Observațiile sunt împărțite în K părți. Pentru fiecare k=1..K:
(a) Se repetă pașii 1 și 2 eliminând din analiză setul k
(b) Se evaluează eroarea predicției (MSE) pe baza observațiilor din setul k
neincluse în construcția arborelui.
4. Se revine la arborele de la Pasul 2 care corespunde valorii α idetificate

CEC, 2019
Arbori de regresie

Principiul bootstrap

CEC, 2019
Arbori de regresie

CEC, 2019