ve razse no lestvi enje l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Večrazsežno lestvičenje PowerPoint Presentation
Download Presentation
Večrazsežno lestvičenje

Loading in 2 Seconds...

play fullscreen
1 / 74

Večrazsežno lestvičenje - PowerPoint PPT Presentation


  • 242 Views
  • Uploaded on

Večrazsežno lestvičenje. Aleks Jakulin Fakulteta za računalništvo in informatiko. Vsebina. MDS Kaj je MDS? Kako je lahko uporaben? Kako ga implementirati? Brez podrobnosti. Brez izpeljav. Če vas zanimajo, vprašajte. Primerjava z ostalimi metodami SOM (self-organizing map)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Večrazsežno lestvičenje' - Sophia


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
ve razse no lestvi enje

Večrazsežno lestvičenje

Aleks Jakulin

Fakulteta za računalništvo in informatiko

vsebina
Vsebina
  • MDS
  • Kaj je MDS?
  • Kako je lahko uporaben?
  • Kako ga implementirati?
  • Brez podrobnosti. Brez izpeljav. Če vas zanimajo, vprašajte.
  • Primerjava z ostalimi metodami
  • SOM (self-organizing map)
  • PCA (principal component analysis, metoda glavnih osi)
slide3

obvezno

Vhod:
  • konfiguracija: množica točk v n-D prostoru
  • matrika različnosti: za vsak par točk z indeksi i,j podamo različnost med njima, ki jo zapišemo kot oij ali ij
    • simetričnost: oij =oji
    • pozitivnost: oij  0
    • refleksivnost: oii = 0
    • razločljivost: oij = 0  i = j
    • trikotniška neenakost: oik +okj  oij
izhod
Izhod:
  • Vsaki točki iz konfiguracije priredimo vektor v prostoru, tako da evklidske razdalje med preslikavami točk v prostoru čimbolj ustrezajo različnostim.
  • MDS lahko definiramo tudi za matrike podobnosti namesto za matrike različnosti, vendar se s tem tu ne bomo ukvarjali.
neposredni grafi ni prikaz matrike razli nosti
Neposredni grafični prikaz matrike različnosti

svetlo = podobno

temno = različno

cenovna funkcija
Cenovna funkcija
  • Cenovna funkcijo (stress) v okviru MDS poskušamo minimizirati. Poznamo jih več vrst:
  • Kruskalova (vsota kvadrata napak)
  • Sammonova (relativne napake)
odvisnost cenovne funkcije od tevila dimenzij
Odvisnost cenovne funkcije od števila dimenzij

Ko cenovna funkcija neha hitro padati, se nam neha splačati dodajanje dodatnih dimenzij.

obte eni mds wmds
Obteženi MDS (WMDS)
  • Vsaki različnosti oijmed posameznim parom točk (i,j) pripišemo neko utež wij
  • To nam omogoča:
  • Neznane različnosti (če ne zapolnjujemo lukenj s trikotniško neenakostjo)
  • Različna pomembnost različnosti
  • Posebni primeri WMDS:
  • CCA: manjša kot je razdalja, večja je njena utež
  • LLE: k vsaki točki najmanjših različnosti ima uteži 1, ostale 0
optimizacijski postopki
Optimizacijski postopki
  • Minimizacija kvadratne napake (least squares)
  • Minimizacija zgornje meje (majorizing function)
  • Gradientno iskanje (gradient descent), npr. Newton-Raphson
  • Drugo:
    • Simulirano ohlajanje (Simulated annealing)
    • Evolucijsko računanje
    • Tabu
de leuuwov smacof 1
De Leuuwov SMACOF 1
  • Scaling by MAjorizing a COmplicated Function
  • Enostaven iteracijski postopek, ki daje dobre rezultate, a ob počasni (linearni) konvergenci. Podpira skoraj vse razširitve MDS.
  • Da minimiziramo f(x), najdemo g(x,y), da je vedno g(x,y)  f(x), in da je g(y,y) = f(y).
  • Minimiziraj g(x,x0), dobiš x1, minimiziraj g(x,x1), itd.
smacof 2
SMACOF 2
  • Na začetku izračunamo (n x n) matriko V:
  • V vsaki iteraciji računamo (n x n) matriko Ry:
  • in z psevdoinverzom rešimo
psevdo inverz
Psevdoinverz
  • Če je A singularna matrika, lahko vseeno namesto definiramo inverzu podobno matriko.
  • A razstavimo na singularne vrednosti:
  • In takole izračunamo Moore-Penrosov inverz, pri čemer neskončne vrednosti diagonalne matrike -1 postavimo na 0:
dodatne cenovne funkcije
Dodatne cenovne funkcije
  • SSTRESS: kvadratno odstopanje med kvadratom različnosti in kvadratom razdalje. Rešuje ga algoritem ALSCAL.
  • STRAIN: rešuje ga trivialen algoritem!
torgersonov postopek 1
Torgersonov postopek 1
  • Deluje za osnovni metrični MDS in je uporaben kot začetni približek za iteracijske postopke.
  • Uporabi kosinusni izrek za pretvorbo matrike različnosti v matriko skalarnih produktov
  • S SVD (singular value decomposition) najdi preslikavo v n-D
  • Izberi najbolj informativne singularne vrednosti, ki določijo izbrane dimenzije.
torgersonov postopek 2
Torgersonov postopek 2
  • Kvadrat matrike različnosti O dvojno centriraj (od vsakega elementa odštej povprečje stolpca in vrstice, prištej povprečje cele matrike ter deli z 2). Dobiš matriko B.
  • Reši problem SVD: B = ULUT
  • Če hočeš izhod MDS v k dimenzijah, v L pusti k največjih singularnih vrednosti, ostale pa postavi na 0.
  • X = UL1/2
  • Minimizirana je razlika med B in XXT.
metri ni in ne metri ni mds
Metrični in ne-metrični MDS
  • Metrični (Torgerson 1952)
  • Ne-metrični (Shepard 1961)
    • Oceni nelinearno obliko monotone funkcije, ki preslika različnosti ali podobnosti v neskladnosti (disparities), ki izvirnike nadomestijo
  • Shepardov diagram je graf te funkcije.
ne metri ni mds

Shepardov diagram

Ne-metrični MDS
  • Urejenost razdalj mora biti čimbolj podobna urejenosti različnosti.
  • Postopek v fazah:
  • Optimizacija razdalj (navadni, metrični MDS)
  • Optimizacija monotone preslikave različnosti z izotonično regresijo (ali Least Squares Monotonic Transformation)
  • Ponavljaj 1-2 z novo matriko različnosti do konvergence ali dolgčasa.

grafneskladnosti

ostale variante mds
Ostale variante MDS
  • Večkratni MDS (Replicated MDS, Three-Way MDS):Imamo m matrik podobnosti za isto množico točk. Uporabljamo isto konfiguracijo, a drugačne monotone preslikave različnosti.
  • Razgrnitev (Multidimensional unfolding):Razdalje med elementi iz različnih skupin nas zanimajo, tiste med elementi znotraj skupin pa ne.
  • Omejeni MDS:Točke konfiguracije morajo ležati na neki mnogoterosti: na krogu, pravokotniku, v mreži, ipd.
pomen
Pomen
  • Zmanjšamo razsežnost problema
  • Ustvarimo nove, informativne atribute
  • Človeku podamo razumljiv pregled matrike različnosti
  • Pohitrimo računanje
  • Odstranimo nepomembne odvisnosti
  • Zmanjšamo “redkost” (sparseness) matrik s podatki, povečamo signifikantnost statističnih izjav o podatkih
primeri
Primeri
  • “Običajni” različnostni podatki
  • Ne-metrični MDS
  • Slikovni in časovni podatki
  • Risanje obteženih grafov
  • Strukture molekul
  • Vizualizacija metrik
  • Vizualizacija razvrščanja
  • Sinergija razvrščanja in MDS
bli ina pomenov besed
Bližina pomenov besed

Razdalja: število sopojavitev v posameznem članku iz enciklopedije

mds na slikovnih podatkih
MDS na slikovnih podatkih

Proximity grid (s SWO)

Navadni MDS

mds in risanje grafov
MDS in risanje grafov
  • Različnost para točk: najkrajša pot med točkama v grafu
  • Matrika uteži različnosti: 1/različnost
telefonski klici
Telefonski klici

točka =

telefon

povezava =

obstoj klica

sodelovanje med ljudmi
Sodelovanje med ljudmi

Sodelovanje

med ljudmi

Povezava =

Obstoj

skupnega dela

Utež povezave =

Količina

skupnega dela

literatura v sloveniji
Literatura v Sloveniji
  • Ksenija Kovačeč-Naglič, Zvonimir Bohte:
  • Večrazsežno lestvičenje, magistrsko delo (FRI-91)
  • Borg & Groenen: Modern multidimensional scaling : theory andapplications (VPŠ)
  • Cox & Cox: Multidimensional scaling (EF)
  • Kruskal & Wish: Multidimensional scaling (FF,FDV)
dodatne teme
Dodatne teme
  • Uporaba MDS v strojnem učenju
  • Metode, podobne MDS
    • SOM
    • PCA/ICA
    • MCA
    • Razvrščanje (clustering)
  • Metrike
    • Na vektorjih
    • Na matrikah združljivosti
analiza podobnosti med algoritmi strojnega u enja
Analiza podobnosti med algoritmi strojnega učenja
  • Različnosti verjetnostnih porazdelitev klasifikatorja na primerih, Kullback-Leiblerjeva metrika.
analiza zdru ljivosti med atributi
Analiza združljivosti med atributi

Vijolično privlači, modro odbija

nevronski pristopi

k je parameter, Sk je množica točk, ki jim je Wk najbližja.Wk nastopajo v regularni ali heksagonalni d-dimenzionalni mreži, ki predstavlja preslikavo.

f in g sta preslikavi, ki ju določata plasti nevronske mreže

“Nevronski” pristopi
  • Self-Organizing Map:
  • Auto-Associative Feedforward Network:
metoda glavnih osi pca
Metoda glavnih osi (PCA)

Znano tudi kot Karhunen-Loeve transform, Hotelling transform, Eigenanalysis, faktorska analiza, SVD (Singular Value Decomposition)

primerjava pca in mds
Primerjava PCA in MDS

PCA

LLE

Pri LLE ima neničelne uteži k najbližjih sosedov

dr ave s som
Države s SOM

svetlo = lahko prehodna dolina

temno = težko prehodno gorovje

independent component analysis ica
Independent Component Analysis (ICA)
  • ICA maksimizira združeno (joint)entropijo in minimizira vzajemno (mutual)informacijo med izhodnimi kanali. Najde smeri največje neodvisnosti za ne-Gaussovske podatke (statistike višjih redov).
  • PCA najde smeri največje variance priGaussovskih podatkih (statistike drugega reda).
pca z jedri
PCA z jedri

Izvajamo linearni PCA v visokorazsežnem prostoru, katerega posamezne koordinate dobimo s funkcijo (npr. skalarnim produktom) med dano točko in izbrano podmnožico ostalih točkam.

To je podobno SVM.

primerjava postopkov
Primerjava postopkov
  • SOM in AFN boljša pri velikem številu točk in majhnem številu dimenzij. Poleg tega pa neposredno določata funkcijo za preslikavo točk, ki jih še nismo videli..
  • MDS in Sammon boljša pri manjšem številu točk in velikem številu dimenzij. Preslikave ne določata.
  • PCA vedno najslabši, a tudi določa preslikavo. A pozor: overfitting
multiple correspondence analysis
Multiple Correspondence Analysis

vrednosti atributov

Povezava med vrednostmi atributov (material spalne vreče in cena) in razredi (kvaliteta)

primeri

mds in razvr anje
MDS in razvrščanje
  • Boljše rezultate včasih dosežemo, če MDS izvedemo potem, ko smo že naredili razvrščanje.
barva kot odraz razli nosti
Barva kot odraz različnosti
  • Na podlagi 7spektralnihkanalov satelitskega posnetka Zemlje z razvrščanjem (clustering) lokalnih okolic točk s SOM pridemo do barv.
hiperspektralna fotografija
Hiperspektralna fotografija

Ljudje vidimo le presek dejanskega spektra s tremi spektri (rdečim, zelenim in modrim). S PCA pridemo do skupin po tri najinformativnejših spektrov in jih predstavimo z RGB.

r metrika minkowsk ega
r-metrika Minkowskega
  • r-metrika Minkowskega
  • Manhattanska
    • (city-block)
  • Evklidska

j

i

alternative trikotni ki neenakosti
Alternative trikotniški neenakosti
  • Ultrametrika
  • Štiri-točkovni
  • aditivni
  • pogoj

j

i

h

mahal a nobisova metrika
Mahalanobisova Metrika
  • Odstranimo vpliv korelacije:
  • W je kovariančna matrika, Xi in Xj sta vektorja primerov, ki ju primerjamo.
metrike za binarne atribute
Metrike za binarne atribute
  • Če je atributovd:
  • Tanimotov koeficient

i = [1,0,1]

j = [0,0,1]

mere podobnosti
Mere podobnosti
  • Funkcija podobnosti
    • Za binarne atribute

i = [1,0,1]

j = [0,0,1]

razdalje ob strukturi cda curvilinear distance analysis

točki

Evklidska

CDA

Razdalje ob strukturi (CDA) - Curvilinear Distance Analysis

S CDA nadomestimo metrične razdalje v matriki različnosti, če kot vhod dobimo točkev prostoru.

induktivne metrike
Induktivne metrike
  • Canonical Distance Measure (Baxter):
  • Razdaljo definiramo kot preslikavo dveh vrednosti atributa v njun vpliv na razliko med razredi, ne kot neko matematično ali fizikalno vrednost.

Rje funkcija napake,fkje prediktor za problem k

e en primer
Še en primer:

Ne najdemo prave povezave med bližino in vrstnim redom? Zakaj bi potem delovale metode, ki temeljijo na bližini (SVM, k-NN)?

metrike na verjetnostnih porazdelitvah
Metrike na verjetnostnih porazdelitvah
  • Kullback-Leibler divergence (ni metrika):
  • Total variation distance:
metrike na verjetnostnih porazdelitvah71
Metrike na verjetnostnih porazdelitvah
  • Wasserstein-Kantorovič metric:
  • Kolmogorov (Uniform) metric (realna št.) :
matrike ujemanja
Matrike ujemanja
  • Merimo, kolikokrat se dva primerka (vertikalni in horizontalni) strinjata v binarni odločitvi.
  • Dvo-smerna asociacijska matrika (two-way association table), za vsak par osebkov:
  • a-krat se oba strinjata, da je rezultat +;
  • b-krat pravi prvi, da je -, drugi pa, da je +;
  • c-krat pravi prvi, da je +, drugi pa, da je -;
  • d-krat se oba strinjata, da je rezultat -;
kako matrike ujemanja predstavimo s tevili

Braun, Blanque

Michael

Rogers, Tanimoto

Mountford

Czekanowski, Sorensen, Dice

Russell, Rao

Mozley, Margalef

Simple matching coefficient

Hamman

Ochiai

Jaccard coefficient

Simpson

Phi

Sokal, Sneath, Anderberg

Kulezynski

Kulezynski

Yule

Kako matrike ujemanja predstavimo s števili?