aplikace machine learning v image processing
Download
Skip this Video
Download Presentation
Aplikace Machine Learning v Image Processing

Loading in 2 Seconds...

play fullscreen
1 / 33

Aplikace Machine Learning v Image Processing - PowerPoint PPT Presentation


  • 101 Views
  • Uploaded on

Aplikace Machine Learning v Image Processing. Irena Váňová. Osnova. Motivace Aproximace signálu pomocí slovníku Matching Pursuit, OMP Porovnání těchto metod s jinými Vytváření vlastního slovníku MOD, K-SVD Aplikace těchto algoritmů. location. scale. orientation. Motivace.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Aplikace Machine Learning v Image Processing' - ernie


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
osnova
Osnova
  • Motivace
  • Aproximace signálu pomocí slovníku
    • Matching Pursuit, OMP
  • Porovnání těchto metod s jinými
  • Vytváření vlastního slovníku
    • MOD, K-SVD
  • Aplikace těchto algoritmů
motivace

location

scale

orientation

Motivace

Active basis pursuit

Gaborovy wavelety

basic matching pursuit
Basic Matching Pursuit

Máme fci f, a její hodnoty {y1,…,yl} v bodech{x1,…,xl}

Slovník – množina fcí {g1,…,gM}

Chceme minimální chybu

Chyba = kvadrát normy, Globální minimum - NP

greedy p stup
Greedy přístup

Hledáme bázi gi a koeficienty

0. prázdná báze

n. máme g1,…,gn a hledáme gn+1:

nechť máme gn+1 , pak

chceme minimalizovat

zvolíme gn+1, max. kolineárnost s Rn

Stop. Chyba klesne pod danou hodnotu

upgrade 1 omp
Upgrade 1. - OMP
  • Back-fitting, Orthogonal MP
  • Stejný postup hledání gn+1
  • Zafixujeme gi a minimalizujeme přes - lineární regrese
upgrade 2

zafixováno

hledáme

Upgrade 2.
  • Pre-fitting, lze spočítat přes projekce
  • Basic, fix. vše kromě gn+1
  • Back-fitting, fix. g1,…,gn+1 hledáme
  • Pre-fitting, fix pouze g1,…,gn
pou it matching pursuit
Použití matching pursuit
  • Původně pochází ze signal processing, wavelets skupin
    • Signál = součet funkcí
  • Nové uplatnění: Machine learning
    • Regresní křivka = součet funkcí
  • Nutnost zavést obecnější ztrátovou funkci
roz en p stupu
Rozšíření přístupu
  • Máme obecnou ztrátovou fci L(yi,fn(xi))
  • Předefinujeme reziduum Rn
    • Směr největšího spádu v prostoru fcí
    • Back-fitting možný, ale časově náročný
regrese
Regrese
  • Chceme vyjádřit klasifikační fci – regrese
  • MP s obecnější ztrátovou fcí
kernel mp
Kernel MP
  • Máme danou kernel fci K
  • Slovník je kernel v každém trénovacím bodě
  • Aproximace
  • jsou indexy „support points“
v hody kmp

Výhody KMP
  • Žádné omezení na kernely
  • Více než jeden tvar, měřítko kernelu
    • pro všechny, pro jednu třídu
  • Vložit do slovníku libovolné fce
    • Konstantní, …
porovn n s svm
Porovnání s SVM, …

mapování do nových dimenzí

Minimalizujeme

  • Jiná funkce, jiná chyba
  • Kontrola řídkosti
tool p klady
Tool příklady

Stejný kernel - Gausián

7 iterací

back-fitting

KMP = OMP

100 iterací

Basic

KMP

Support

Vector

Machine

7 iterací

Pre-fitting

KMP

houba
Houbař
  • 8124 hub, 22 vlastností
  • 2 třídy – ,
  • Chyba podobná
  • Počet support vektorů je velmi rozdílný
vlastn slovn k
Vlastní slovník
  • Zvolené slovníky – wavelets
  • Univerzální – výhody, nevýhody
  • Naučit se slovník pro náš problém
  • MOD, K-svd
ozna en
Označení
  • Máme data yi
  • Hledáme slovník di, který nejlépe popisuje naše data

Chyba vektoru y

Chyba vstupních vektorů y1,…,yN

obecn framework
Obecný framework

1. Inicializujeme slovník

2. Najdeme koeficienty X ke slovníku

    • Matching Persuit nebo jiná metoda
    • Omezení na X, chceme řídké

3. Pomocí X opravíme slovník D

    • MOD, K-SVD
  • Není ten framework povědomý?
    • K-mean, omezení na X
method of optimal directions

Zderivujeme výraz podle Da položíme = 0

Method of optimal directions

Chyba vektoru y

Chyba vstupních vektorů y1,…,yN

po odvození

oprava slovníku

1 krok 1 slovník

k svd

Y

D

X

.

-

=

n

n

K

N

K

N

Dk

Kk

Y

.

-

.

-

K-1

n

n

N

N

K-1

K-SVD
  • V 1 kroku optimalizujeme 1 slovo

=

slide25
SVD

A = U S VT

Ak = u1s1 v1T+ ... + uksk vkT

svd p klad
SVD Příklad

uisi viT

Ak = u1s1 v1T+ ... + uksk vkT

Ai

porovn n metod
Porovnání metod
  • MOD, K-SVD
  • Náhodný slovník
    • 50 slov – 20D
  • Data 1500 yi
    • Kombinace 3 slov
  • Přidán šum
  • Z dat spočítán slovník a porovnán
  • y-osa # „Stejný“
porovn n slovn k
Porovnání slovníků
  • K-SVD, Haar, DCT
    • slovníky 64x441
  • Trénovací data – 11000 bloků 8x8
    • Z face-image databáze
  • Hledání koeficientů OMP
  • 20-90% pixelů bylo vymazáno
  • Na zbytku – OMP pomocí slovníků
  • Chybějící pixely se dodefinovali
p klad k svd
Příklad K-SVD

Y

D

K-SVD Haar DCT

pou it v od umov n
Použití v odšumování
  • 1. Init slovíku D
  • 2. J krát opakuj
    • Vyjádři patche pomocí D
      • OMP
    • Oprav slovník D
      • K-SVD
  • 3. Průměrování patchů na pozicích vyjádřených slovníkem D

patche

zašuměný

obrázek Y

v sledky od umov n

Původní

Výsledek 30.829dB

Initial dictionary (overcomplete DCT) 64×256

Výsledky odšumování

Zašuměný

Slovník po 10 iteracích

reference
Reference
  • Elad, M.   Aharon, M.,  Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries, IEEE Transactions on Image Processing, 2006
  • P. Vincent, Y. Bengio, Kernel matching pursuit, Machine Learning Journal 48, 2002
  • Aharon, M., Elad, M. and Bruckstein, A.M., The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2005
  • Ying Nian Wu, Deformable Template as Active Basis, ICCV07, http://www.stat.ucla.edu/~ywu/ActiveBasis.html
ad