1 / 32

Additive Models, Trees, and Related Methods

Additive Models, Trees, and Related Methods. „The Element of Statistical Learning” Chapter 9. Plan prezentacji. Uogólnione modele addytywne Drzewa CART HME (Hierarchical mixtures of experts) PRIM (The patient rule introduction method) MARS - Adaptacyjna regresja splajnowa.

eros
Download Presentation

Additive Models, Trees, and Related Methods

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Additive Models, Trees, andRelatedMethods „The Element of Statistical Learning” Chapter 9

  2. Plan prezentacji • Uogólnione modele addytywne • Drzewa • CART • HME (Hierarchical mixtures of experts) • PRIM (The patient rule introduction method) • MARS - Adaptacyjna regresja splajnowa

  3. Uogólnione modele addytywne

  4. Uogólnione modele addytywne c.d. Uogólniony model addytywny Addytywny model regresji logistycznej W ogólności

  5. Dopasowanie modeli addytywnych Model addytywny Kryterium

  6. Dopasowanie modeli addytywnych c.d. Założenie Metoda backfitting - dopasowanie • Regresja wielomianowa, metody jądrowe, • Splajny parametryczne • Bardziej skomplikowane metody np. periodic smoother for seasonal effects

  7. Addytywna regresja logistyczna • definiujemy

  8. Addytywna regresja logistyczna • Iteracyjnie • Konstruujemy pomocniczą zmienną • Konstruujemy wagi • backfitting • otrzymujemy

  9. Modele addytywne • bardziej elastyczne niż modele liniowe • zachowując interpretowalność • prostota backfitting • ograniczenia w przypadku dużych zbiorów wejściowych

  10. Drzewa • Drzewa regresyjne i decyzyjne CART • Podstawowe problemy • Hierarchical mixtures of experts

  11. CART

  12. CART c.d. Formalny zapis Kryterium Estymator Jak wybierać zmienne do podziału? Jak wybierać punkty podziału?

  13. Budowa drzewa regresyjnego • Rozbudowa drzewa • Wybór zmiennej i punktu podziału (greedy algorithm): 2. Przycinaniedrzewa (cost-comlexity pruning)

  14. Drzewa klasyfikacyjne • Miary jakości podziału • Funkcja entropii gdzie • Wskaźnik zróżnicowania Giniego • Błąd niepoprawnej klasyfikacji

  15. Miary jakości podziału • Tworzenie drzewa - entropia i wskaźnik zróżnicowania Giniego • Cost-complexity pruning – błąd złej klasyfikacji

  16. Drzewa • Macierz strat • Niekompletne dane wejściowe • Podział na kilka obszarów • Niestabilność drzew • Brak gładkości • Trudność w uchwyceniu addytywnej struktury

  17. PRIM- Patient Rule Induction Method • PRIM: • podział na „pudełka”(wysoka wartość średnia wyjść) • bump hunting • brak opisu przy pomocy drzewa binarnego (trudniejsza interpretacja)

  18. PRIM

  19. PRIM

  20. PRIM • Pell off (minimalna liczba danych) • Pasting • Cross-validation (wybór pudełka) • Wyłączenie danych znajdujących się w wybranym pudełku z dalszych rozważań • Przewaga nad metodą CART

  21. HME Hierarchical Mixtures of Experts • Jest metoda oparta na drzewach • Podziały dokonywane na podstawie uzyskanych prawdopodobieństw. • Końcowe wierzchołki –eksperci • wierzchołki wewnętrzne -gating networks

  22. HME

  23. HME • Pierwsza „warstwa” gating networks • Kolejne „warstwy” gating networks • W każdym ekspercie otrzymujemy model

  24. HME Całkowite prawdopodobieństwo gdzie Estymacja parametrów

  25. MARS- Wielowymiarowa adaptacyjna regresja splajnowa

  26. MARS Zbiór funkcji bazowych Model gdzie jest funkcją ze zbioru C, lub iloczynem dwóch lub więcej takich funkcji

  27. MARS • Rozpoczynamy mając w modelu tylko funkcję stałą • Wybieramy składnik powodujący największy spadek w błędzie uczącym i dodajemy do modelu M • proces jest kontynuowany do czasu, gdy model M zawiera pewną maksymalną liczbęczłonów • następnie rozpoczynamy procedurę usuwania (residual squared error )

  28. MARS

  29. MARS

  30. Niekompletne dane Ustalenie losowości MAR-missing at random MCAR-missing completely at random

  31. Niekompletne dane • Metody postępowania: • Odrzucenie obserwacji, które mają brakujące wartości • Poleganie na algorytmie uczącym zajmującym się brakującymi danymi na etapie uczenia • Uzupełnianie wszystkich brakujących danych przed rozpoczęciem

  32. Dziękuję za uwagę

More Related