Aplikace machine learning v image processing
This presentation is the property of its rightful owner.
Sponsored Links
1 / 33

Aplikace Machine Learning v Image Processing PowerPoint PPT Presentation


  • 70 Views
  • Uploaded on
  • Presentation posted in: General

Aplikace Machine Learning v Image Processing. Irena Váňová. Osnova. Motivace Aproximace signálu pomocí slovníku Matching Pursuit, OMP Porovnání těchto metod s jinými Vytváření vlastního slovníku MOD, K-SVD Aplikace těchto algoritmů. location. scale. orientation. Motivace.

Download Presentation

Aplikace Machine Learning v Image Processing

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Aplikace machine learning v image processing

Aplikace Machine Learning v Image Processing

Irena Váňová


Osnova

Osnova

  • Motivace

  • Aproximace signálu pomocí slovníku

    • Matching Pursuit, OMP

  • Porovnání těchto metod s jinými

  • Vytváření vlastního slovníku

    • MOD, K-SVD

  • Aplikace těchto algoritmů


Motivace

location

scale

orientation

Motivace

Active basis pursuit

Gaborovy wavelety


Ko kopes

Learning active basis

clustering

Kočkopes


Basic matching pursuit

Basic Matching Pursuit

Máme fci f, a její hodnoty {y1,…,yl} v bodech{x1,…,xl}

Slovník – množina fcí {g1,…,gM}

Chceme minimální chybu

Chyba = kvadrát normy, Globální minimum - NP


Greedy p stup

Greedy přístup

Hledáme bázi gi a koeficienty

0. prázdná báze

n. máme g1,…,gn a hledáme gn+1:

nechť máme gn+1 , pak

chceme minimalizovat

zvolíme gn+1, max. kolineárnost s Rn

Stop. Chyba klesne pod danou hodnotu


P klad

Příklad


Upgrade 1 omp

Upgrade 1. - OMP

  • Back-fitting, Orthogonal MP

  • Stejný postup hledání gn+1

  • Zafixujeme gi a minimalizujeme přes - lineární regrese


Upgrade 2

zafixováno

hledáme

Upgrade 2.

  • Pre-fitting, lze spočítat přes projekce

  • Basic, fix. vše kromě gn+1

  • Back-fitting, fix. g1,…,gn+1 hledáme

  • Pre-fitting, fix pouze g1,…,gn


Pou it matching pursuit

Použití matching pursuit

  • Původně pochází ze signal processing, wavelets skupin

    • Signál = součet funkcí

  • Nové uplatnění: Machine learning

    • Regresní křivka = součet funkcí

  • Nutnost zavést obecnější ztrátovou funkci


Roz en p stupu

Rozšíření přístupu

  • Máme obecnou ztrátovou fci L(yi,fn(xi))

  • Předefinujeme reziduum Rn

    • Směr největšího spádu v prostoru fcí

    • Back-fitting možný, ale časově náročný


Regrese

Regrese

  • Chceme vyjádřit klasifikační fci – regrese

  • MP s obecnější ztrátovou fcí


Kernel mp

Kernel MP

  • Máme danou kernel fci K

  • Slovník je kernel v každém trénovacím bodě

  • Aproximace

  • jsou indexy „support points“


V hody kmp

Výhody KMP

  • Žádné omezení na kernely

  • Více než jeden tvar, měřítko kernelu

    • pro všechny, pro jednu třídu

  • Vložit do slovníku libovolné fce

    • Konstantní, …


Porovn n s svm

Porovnání s SVM, …

mapování do nových dimenzí

Minimalizujeme

  • Jiná funkce, jiná chyba

  • Kontrola řídkosti


Tool p klady

Tool příklady

Stejný kernel - Gausián

7 iterací

back-fitting

KMP = OMP

100 iterací

Basic

KMP

Support

Vector

Machine

7 iterací

Pre-fitting

KMP


Houba

Houbař

  • 8124 hub, 22 vlastností

  • 2 třídy – ,

  • Chyba podobná

  • Počet support vektorů je velmi rozdílný


Active basis pursuit

Active basis pursuit


Vlastn slovn k

Vlastní slovník

  • Zvolené slovníky – wavelets

  • Univerzální – výhody, nevýhody

  • Naučit se slovník pro náš problém

  • MOD, K-svd


Ozna en

Označení

  • Máme data yi

  • Hledáme slovník di, který nejlépe popisuje naše data

Chyba vektoru y

Chyba vstupních vektorů y1,…,yN


P klad1

Příklad

Y

D


Obecn framework

Obecný framework

1. Inicializujeme slovník

2. Najdeme koeficienty X ke slovníku

  • Matching Persuit nebo jiná metoda

  • Omezení na X, chceme řídké

    3. Pomocí X opravíme slovník D

  • MOD, K-SVD

  • Není ten framework povědomý?

    • K-mean, omezení na X


  • Method of optimal directions

    Zderivujeme výraz podle Da položíme = 0

    Method of optimal directions

    Chyba vektoru y

    Chyba vstupních vektorů y1,…,yN

    po odvození

    oprava slovníku

    1 krok 1 slovník


    K svd

    Y

    D

    X

    .

    -

    =

    n

    n

    K

    N

    K

    N

    Dk

    Kk

    Y

    .

    -

    .

    -

    K-1

    n

    n

    N

    N

    K-1

    K-SVD

    • V 1 kroku optimalizujeme 1 slovo

    =


    Aplikace machine learning v image processing

    SVD

    A = U S VT

    Ak = u1s1 v1T+ ... + uksk vkT


    Svd p klad

    SVD Příklad

    uisi viT

    Ak = u1s1 v1T+ ... + uksk vkT

    Ai


    Porovn n metod

    Porovnání metod

    • MOD, K-SVD

    • Náhodný slovník

      • 50 slov – 20D

    • Data 1500 yi

      • Kombinace 3 slov

    • Přidán šum

    • Z dat spočítán slovník a porovnán

    • y-osa # „Stejný“


    Porovn n slovn k

    Porovnání slovníků

    • K-SVD, Haar, DCT

      • slovníky 64x441

    • Trénovací data – 11000 bloků 8x8

      • Z face-image databáze

    • Hledání koeficientů OMP

    • 20-90% pixelů bylo vymazáno

    • Na zbytku – OMP pomocí slovníků

    • Chybějící pixely se dodefinovali


    P klad k svd

    Příklad K-SVD

    Y

    D

    K-SVD Haar DCT


    V sledky k svd

    Výsledky K-SVD


    Pou it v od umov n

    Použití v odšumování

    • 1. Init slovíku D

    • 2. J krát opakuj

      • Vyjádři patche pomocí D

        • OMP

      • Oprav slovník D

        • K-SVD

    • 3. Průměrování patchů na pozicích vyjádřených slovníkem D

    patche

    zašuměný

    obrázek Y


    V sledky od umov n

    Původní

    Výsledek 30.829dB

    Initial dictionary (overcomplete DCT) 64×256

    Výsledky odšumování

    Zašuměný

    Slovník po 10 iteracích


    Reference

    Reference

    • Elad, M.   Aharon, M.,  Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries, IEEE Transactions on Image Processing, 2006

    • P. Vincent, Y. Bengio, Kernel matching pursuit, Machine Learning Journal 48, 2002

    • Aharon, M., Elad, M. and Bruckstein, A.M., The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2005

    • Ying Nian Wu, Deformable Template as Active Basis, ICCV07, http://www.stat.ucla.edu/~ywu/ActiveBasis.html


  • Login