Adatbiztons g s tartalom alap inform ci kezel s
This presentation is the property of its rightful owner.
Sponsored Links
1 / 39

Adatbiztonság és tartalom alapú információkezelés PowerPoint PPT Presentation


  • 136 Views
  • Uploaded on
  • Presentation posted in: General

Adatbiztonság és tartalom alapú információkezelés. Dr. Levendovszky János, e gyetemi tan ár BME, Híradástechnikai Tanszék el érhetőség + kurzusinfo : [email protected] , H áttéranyagok, h i rdetmények : http :// neural.hit.bme.hu/ tartalom

Download Presentation

Adatbiztonság és tartalom alapú információkezelés

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Adatbiztons g s tartalom alap inform ci kezel s

Adatbiztonság és tartalom alapú információkezelés

Dr. Levendovszky János,

egyetemi tanár

BME, Híradástechnikai Tanszék

elérhetőség+ kurzusinfo : [email protected],

Háttéranyagok, hirdetmények: http://neural.hit.bme.hu/tartalom

fogadóóra (konz. időpont): csütörtök 4h (IL 118)


Sz monk r s

Számonkérés

  • Félévközben 1 db. Zh (illetve PZh)

  • Projektfeladat (szorgalmi időszak végén)

  • Vizsga dolgozat leadás + előadás

  • A számonkérés anyaga csak az előadásokon elhangzottakat érinti


Aj nlott irodalom

Ajánlott irodalom

  • S. Mitra, T. Acharya: “Data mining multimeida, soft computing and bioinformatics”, Wiley, 2003

  • S. Haykin: “Neural networks, a comprehensive foundation”, Prentice Hall, 1999

  • J. Han, M. Kamber: “Adatbányászat”, PANEM, 2004,

  • Előadásjegyzetek


Adatbiztons g s tartalom alap inform ci kezel s

Tartalom alapú információkezelés : adott adattípusokon belül rejtett kapcsolatok és „minták”, függőségek …stb. feltárása

Multimédiás adatok:

Bármilyen információ ami tárolható, processzálható és átvihető digitális médiumon keresztül (pl. video, hang, szöveg, grafikus információk, …stb.)


I nform ci el h v s s kezel s tartalom alapj n

kép

szöveg

hang

Információelőhívás és kezelés tartalom alapján ???

Melyik biztonsági kamerás felvételen szerepelt álarcos ember ?

Melyik e-mail-ben szerepel a szó Bin Laden ?_

Melyik híradóban hangzott el a szó ‘elnökválasztás”


Ltal nos modell

Általános modell

Feature extraction, transformation, compression

Asszociatív leképezés, osztályozó algoritmus

Relevancia rangsor

végeredmény

Query

Klaszterezés, indexelés (redukált dimenziójú térben)

Feature extraction, transformation, compression

MULTIMEDIA adat korpusz


Indexel s asszociat v lek pez sek

Prototípus: a NAP

Indexelés – asszociatív leképezések

Instances (egyedi megvalósulások)


Asszociat v lek pez s form lis defin ci

Prototípusok objektumok (indexek)

Megfigyelt objektum (képrészlet):

megfigyelési tér

metrikával (pl. Hamming távolság)

Asszociáció:

Asszociatív leképezés (formális definíció)


Klaszterez s

1-es prototípus

3-as prototípus

2-es prototípus

Klaszterezés

Objects (e.g. texts, or sound FFTs, or images)


Form lis le r s

Adott

úgy, hogy

és

Formális leírás


Klaszterez s indexing oszt lyoz s

1-es prototípus

3-as prototípus

query

2-es prototípus

Klaszterezés – indexing (osztályozás)

Objects (e.g. texts, or sound FFTs, or images)


L nyegkiemel s dimenzi cs kkent s

Csak az információ fele kell

Lényegkiemelés, dimenzió csökkentés


Egy kicsit jobb megold s

Így is csak fele sávszélesség kell !!!

Egy kicsit jobb megoldás


Dimenzi redukci

Dimenzióredukció

Lényegtelen és lényeges részek szétválasztása

1. térbeli frekvenciák alapján

2. statisztikai függetlenség alapján

3. Időbeli változások alapján


A k pt m r t s algoritmusa

„prioritezált” kép

Transzformáció a fontossági sorrend felállítására

„Vágás”(a nem fontos info. eldobása)

Tömörített kép

Inverz transzformáció

Veszteséges visszaállítás a vágás után

A képtömörítés algoritmusa

Alapgondolat: A nem fontos részek eldobása. Azt hogy mi a fontos egy transzformáció mondja meg, amely a képet “fontossági sorrendbe állítja”.

Ere-deti kép


Transzform ci k

Transzformációk

  • Karhunen - Loéve Transzformáció (KLT): a fontossági sorrendet a “főkomponen-sek” határozzák meg, amelyek lineár kombinációjából létrejön a korelált videojel.

  • Discrete Cosine Transform (DCT): A magasabb térbeli periodicitású komponensek elhagyása


Www keres s

www keresés


Eredm nyek i

Eredmények I


Eredm nyek ii

Eredmények II

Mi releváns, mi nem ?


T rt neti ttekint s

Történeti áttekintés

  • 1960-70

    „String matching” probléma, Boyer-Moore algoritmus, Knuth-Morris-Pratt algoritmus, Karp- Rabin algoritmus

    Tartalomalapú információkezelés természetes nyelveken (kis tudományos szövegkorpuszok, Boolean és vektortéralapú modellek, Salton, Cornell University)


T rt neti ttekint s folyt

Történeti áttekintés (folyt.)

  • 1980-as évek

    Nagy dokumentum adathalmazok, vállalati tulajdonban

  • Lexis – Nexis

  • Dialog

  • MEDLINE


T rt neti ttekint s folyt1

Történeti áttekintés (folyt.)

  • 1990-as évek

    FTP letölthető dokumentumok keresése az interneten

  • Archie

  • WAIS

    Keresés a világhálón

  • Lycos

  • Yahoo

  • Altavista

    Automated text categorization and clustering

    Érzékelő és felügyelő rendszerek multimédiás adathalmazai


T rt neti ttekint s folyt2

Történeti áttekintés (folyt.)

  • 2000 - as évek

    Link analízis web-es keresésre - Google

    Automatikus információ kinyerés – Whizbang, Fetch, Burning Glass

    Kérdés felelet típusú információkinyerés – TREC Q/A track

    Multimedia IR

    Cross language IR – DARPA tides

    Dokumentum összefoglalók


Adatbiztons g s tartalom alap inform ci kezel s

String matching


Adatbiztons g s tartalom alap inform ci kezel s

Állapotgráf:

a

a

3

0

1

2

4

b

a

b

b

a

b

a

a

b

a

Pattern: b b a b

Text:abbba ba babba b b a b bbba a b ba b


Adatbiztons g s tartalom alap inform ci kezel s

a

b

a

b

b

a

b

3

0

4

2

1

a

a

b

a

Pattern: b b a b

Text:abbba ba babba b b a b bbba a b ba b

Állapotgráf:


El h v s

Komplexitás:

Pattern: b b a b

Előhívás

Text: a b b b a b a b a b b a bb a b b b b a a b b a b

0 0 1 2 2 3 4 0 1 0 1 2 3 4 2 3 4 2 2 2 3 0 1 2 3 4


Knuth morris pratt algoritmus

Pattern: b a b a b c a

Eltolt pattern: b a b a b c a

b a b a b

b a b

Knuth- Morris- Pratt algoritmus

Text: c b b a b a b b a b a b a c a b a

Nincs szükség visszamenőleges összehasonlításra !


Next t bl zat

Next(1)=0

b a b a b

b a b a b

Next(2)=1

b a b a b

b a b a b

Next(3)=1

b a b a b

b a b a b

Next(4)=2

b a b a b

Next(5)=3

b a b a b

Next táblázat


A next t bla el ll t sa

A Next tábla előállítása


Kmp algoritmus

KMP algoritmus


Boyer moore algoritmus

Skip 5

Skip 3

Boyer – Moore algoritmus

Text: … a b b a d b a b a c b d a

Pattern: b c b a b

b c b a b

b c b a b

Skip tábla


P lda

Példa

Text: …one of them matches and other mismatch from

Pattern: match

Skip tábla


P lda folyt

5

5

match

1

match

5

match

5

5

match

5

match

match

No skip

match

match

match

match

Példa (folyt.)

…one of them matches and other mismatch from


A skip t bla el ll t sa

A skip tábla előállítása


Boyer moore horspool algoritmus

Boyer – Moore – Horspool algoritmus

Text: …one of them matches and other mismatch from

Pattern: match

Skip tábla


Bmh folyt

5

5

match

1

match

5

5

match

5

5

match

1

match

5

match

No skip

match

match

match

match

BMH (folyt.)

…one of them matches and other mismatch from


Karp rabin algoritmus

Text: 1 0 3 4 3 4 3 4 2 0 1

AND

98 98 98 98 98 98 98 98

Karp – Rabin algoritmus

Pattern: d e d

Text: b a d e d e d c a b

Text: 1 0 3 4 3 4 3 2 0 1

Transzf: 28 19 98 119 98 117 85 51

0 0 1 0 1 0 0 0


El h v s t m r tett file ban

Előhívás tömörített file-ban

Text: a b a c b b a a b c a b c

Pattern: ac

Huffman kódolás

11 = c

10 = b

0 =a

Pattern:011

Text: 010011101000101101011

NEMOK

OK


  • Login