Eray zkural bora u ar cevdet aykanat bilkent niversitesi bilgisayar m h b l
This presentation is the property of its rightful owner.
Sponsored Links
1 / 19

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar PowerPoint PPT Presentation


  • 176 Views
  • Uploaded on
  • Presentation posted in: General

Eray Özkural, Bora Uçar, Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Müh. Böl. Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar. Kuşbakışı Sunum. Sık Kalem Kümesi Madenciliği Kalem Dağıtımı Noclique Algoritması Başarım Sonuçlar. Sık Kalem Kümesi Madenciliği Problemi.

Download Presentation

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Eray zkural bora u ar cevdet aykanat bilkent niversitesi bilgisayar m h b l

Eray Özkural, Bora Uçar, Cevdet Aykanat

Bilkent Üniversitesi Bilgisayar Müh. Böl.

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar


Ku bak sunum

Kuşbakışı Sunum

Sık Kalem Kümesi Madenciliği

Kalem Dağıtımı

Noclique Algoritması

Başarım

Sonuçlar


S k kalem k mesi madencili i problemi

Sık Kalem Kümesi Madenciliği Problemi

Bir işlem veritabanında, destek eşiğinin üstünde sıklıkta geçen kalem kümelerinin keşfi

Örnek işlem veritabanında 3 destek eşiği için sık kalem kümeleri:

{ {a,d}, {b,e}, {g,a}, {g,d}, {a,g,d}, {g,e} }


Arama uzay

Arama Uzayı

Arama problemi olarak görmemizi sağlar

Downward Closure Lemma: sık kalem kümelerin altkümeleri de sıktır


Kalem da t m

Kalem Dağıtımı

2'li sık kalemkümelerinin çizgesi, Gf2

T

Gf2

4 destek için Gf2 hesaplanması


D m ayrac ile izge par alama

Düğüm Ayracı ile Çizge Parçalama

Bir kombinasyonların optimizasyonu problemi

Çizgeyi en ufak düğüm kümesiyle hemen hemen eşit parçalara böl:


Ki i lemci i in kalem da t m

İki işlemci için kalem dağıtımı

Çizge parçalamadan kalem dağıtımı çıkarıyoruz

T1

T2

Set of frequent patterns :


Kalem da t m zellikleri

Kalem Dağıtımı Özellikleri

İşlemi iki bağımsız parçaya böler

Veriyi seçici biçimde yineler

Veri yinelemesini minimize eder

Dağıtımı hesaplamak için sadece Gf2 gerekir


K i lemci i in da t m

K-işlemci için Dağıtım

İki-yollu dağıtımın özyinelemeli uygulaması

I

(A,B,S)‏

(A1,B1,S1)‏

(A2,B2,S2)‏


Noclique algoritmas

NoClique Algoritması

Genel bir koşut algoritma

k-yollu dağıtımın doğrudan uygulaması

Adımları

GF2 hesaplaması

Çizge parçalaması ve kalemlerin dağıtılması

Veritabanının yeniden dağıtılması

Bağımsız madencilik


G f2 hesab

GF2 Hesabı

Veritabanını koşut olarak tara ve F'i hesapla

GF2 için veritabanını bir daha koşut olarak tara

Bu safha Count-Distribution gibi çalışır

Yerel işlemlerin

kalemlerini say

Sayıları değiş

İşlemci i


Kalem k mesi da t m

Kalem kümesi dağıtımı

K-yollu dağıtım için koşut özyinelemeli algoritma

Bütün kalemler ve bütün işlemcilerle başlar

Her adım o andaki işlemci grubu ile 2-yollu dağıtım yapar

İşlemcileri ve kalemleri yük tahminine göre ikiye ayırır

Özyineleme her grupta bir işlemci kalana kadar devam eder


Kalem k mesi da t m1

Kalem Kümesi Dağıtımı

İdeal bir çalışma

4 nodes

I

(A,B,S)‏

(A1,B1,S1)‏

(A2,B2,S2)‏

2 nodes

2 nodes


Y k dengeleme

Yük dengeleme

Bir kısmın işlem yükünü nasıl tahmin ederiz?

Tahmin fonksiyonlarıyla

Veri miktarı

3'lü kalemkümelerinin yaklaşık sayısı

Ardışık madenciliğin zamanını tahmin eden bir fonksiyon

Hangisi daha iyi?

Ucuz olmalı

Kesin olmalı


Veritaban n yeniden da tma

Veritabanını YenidenDağıtma

Her işlemci kendine atanan kalemleri alacak şekilde yeniden düzenle

Yatay veritabanını bir kere tara (koşut)‏

Her işlemi böl

Her işlemci için, kalem kümesiyle kesişimi hesapla

Gönderme bufferına ekle

Toplu bir iletişimle hedef işlemcilere gönder (AAPC)‏


Ba ms z madencilik

Bağımsız Madencilik

Her işlemci kendi kısmını bağımsız biçimde işler

Herhangi bir ardışık madencilik algoritması kullanabiliriz

Deneyler için birçok ardışık algoritma kullanıldı


Optimizasyonlar

Optimizasyonlar

Yerel budama

Dağıtık çizge veri yapısı

Asenkron iletişim


Ba ar m

Başarım

32 işlemcili Beowulf sistemi Skynet'de denendi

Sentetik veritabanları için sonuçlar alındı

KDCI için hızlanmalar:


Sonu lar

Sonuçlar

Madencilik işini yukarıdan-aşağıya bölmek için yeni bir kalem dağıtımı metodu bulduk

K-yollu dağıtımı ve bağımsız madenciliği uygulayan bir koşut algoritma geliştirdik

Deneylerde iyimser hızlanmalar elde ettiğimizi gösterdik


  • Login