eray zkural bora u ar cevdet aykanat bilkent niversitesi bilgisayar m h b l
Download
Skip this Video
Download Presentation
Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

Loading in 2 Seconds...

play fullscreen
1 / 19

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar - PowerPoint PPT Presentation


  • 312 Views
  • Uploaded on

Eray Özkural, Bora Uçar, Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Müh. Böl. Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar. Kuşbakışı Sunum. Sık Kalem Kümesi Madenciliği Kalem Dağıtımı Noclique Algoritması Başarım Sonuçlar. Sık Kalem Kümesi Madenciliği Problemi.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar' - fineen


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
ku bak sunum
Kuşbakışı Sunum

Sık Kalem Kümesi Madenciliği

Kalem Dağıtımı

Noclique Algoritması

Başarım

Sonuçlar

s k kalem k mesi madencili i problemi
Sık Kalem Kümesi Madenciliği Problemi

Bir işlem veritabanında, destek eşiğinin üstünde sıklıkta geçen kalem kümelerinin keşfi

Örnek işlem veritabanında 3 destek eşiği için sık kalem kümeleri:

{ {a,d}, {b,e}, {g,a}, {g,d}, {a,g,d}, {g,e} }

arama uzay
Arama Uzayı

Arama problemi olarak görmemizi sağlar

Downward Closure Lemma: sık kalem kümelerin altkümeleri de sıktır

kalem da t m
Kalem Dağıtımı

2'li sık kalemkümelerinin çizgesi, Gf2

T

Gf2

4 destek için Gf2 hesaplanması

d m ayrac ile izge par alama
Düğüm Ayracı ile Çizge Parçalama

Bir kombinasyonların optimizasyonu problemi

Çizgeyi en ufak düğüm kümesiyle hemen hemen eşit parçalara böl:

ki i lemci i in kalem da t m
İki işlemci için kalem dağıtımı

Çizge parçalamadan kalem dağıtımı çıkarıyoruz

T1

T2

Set of frequent patterns :

kalem da t m zellikleri
Kalem Dağıtımı Özellikleri

İşlemi iki bağımsız parçaya böler

Veriyi seçici biçimde yineler

Veri yinelemesini minimize eder

Dağıtımı hesaplamak için sadece Gf2 gerekir

k i lemci i in da t m
K-işlemci için Dağıtım

İki-yollu dağıtımın özyinelemeli uygulaması

I

(A,B,S)‏

(A1,B1,S1)‏

(A2,B2,S2)‏

noclique algoritmas
NoClique Algoritması

Genel bir koşut algoritma

k-yollu dağıtımın doğrudan uygulaması

Adımları

GF2 hesaplaması

Çizge parçalaması ve kalemlerin dağıtılması

Veritabanının yeniden dağıtılması

Bağımsız madencilik

g f2 hesab
GF2 Hesabı

Veritabanını koşut olarak tara ve F'i hesapla

GF2 için veritabanını bir daha koşut olarak tara

Bu safha Count-Distribution gibi çalışır

Yerel işlemlerin

kalemlerini say

Sayıları değiş

İşlemci i

kalem k mesi da t m
Kalem kümesi dağıtımı

K-yollu dağıtım için koşut özyinelemeli algoritma

Bütün kalemler ve bütün işlemcilerle başlar

Her adım o andaki işlemci grubu ile 2-yollu dağıtım yapar

İşlemcileri ve kalemleri yük tahminine göre ikiye ayırır

Özyineleme her grupta bir işlemci kalana kadar devam eder

kalem k mesi da t m1
Kalem Kümesi Dağıtımı

İdeal bir çalışma

4 nodes

I

(A,B,S)‏

(A1,B1,S1)‏

(A2,B2,S2)‏

2 nodes

2 nodes

y k dengeleme
Yük dengeleme

Bir kısmın işlem yükünü nasıl tahmin ederiz?

Tahmin fonksiyonlarıyla

Veri miktarı

3'lü kalemkümelerinin yaklaşık sayısı

Ardışık madenciliğin zamanını tahmin eden bir fonksiyon

Hangisi daha iyi?

Ucuz olmalı

Kesin olmalı

veritaban n yeniden da tma
Veritabanını YenidenDağıtma

Her işlemci kendine atanan kalemleri alacak şekilde yeniden düzenle

Yatay veritabanını bir kere tara (koşut)‏

Her işlemi böl

Her işlemci için, kalem kümesiyle kesişimi hesapla

Gönderme bufferına ekle

Toplu bir iletişimle hedef işlemcilere gönder (AAPC)‏

ba ms z madencilik
Bağımsız Madencilik

Her işlemci kendi kısmını bağımsız biçimde işler

Herhangi bir ardışık madencilik algoritması kullanabiliriz

Deneyler için birçok ardışık algoritma kullanıldı

optimizasyonlar
Optimizasyonlar

Yerel budama

Dağıtık çizge veri yapısı

Asenkron iletişim

ba ar m
Başarım

32 işlemcili Beowulf sistemi Skynet'de denendi

Sentetik veritabanları için sonuçlar alındı

KDCI için hızlanmalar:

sonu lar
Sonuçlar

Madencilik işini yukarıdan-aşağıya bölmek için yeni bir kalem dağıtımı metodu bulduk

K-yollu dağıtımı ve bağımsız madenciliği uygulayan bir koşut algoritma geliştirdik

Deneylerde iyimser hızlanmalar elde ettiğimizi gösterdik

ad