1 / 19

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

Eray Özkural, Bora Uçar, Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Müh. Böl. Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar. Kuşbakışı Sunum. Sık Kalem Kümesi Madenciliği Kalem Dağıtımı Noclique Algoritması Başarım Sonuçlar. Sık Kalem Kümesi Madenciliği Problemi.

fineen
Download Presentation

Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Eray Özkural, Bora Uçar, Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Müh. Böl. Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

  2. Kuşbakışı Sunum Sık Kalem Kümesi Madenciliği Kalem Dağıtımı Noclique Algoritması Başarım Sonuçlar

  3. Sık Kalem Kümesi Madenciliği Problemi Bir işlem veritabanında, destek eşiğinin üstünde sıklıkta geçen kalem kümelerinin keşfi Örnek işlem veritabanında 3 destek eşiği için sık kalem kümeleri: { {a,d}, {b,e}, {g,a}, {g,d}, {a,g,d}, {g,e} }

  4. Arama Uzayı Arama problemi olarak görmemizi sağlar Downward Closure Lemma: sık kalem kümelerin altkümeleri de sıktır

  5. Kalem Dağıtımı 2'li sık kalemkümelerinin çizgesi, Gf2 T Gf2 4 destek için Gf2 hesaplanması

  6. Düğüm Ayracı ile Çizge Parçalama Bir kombinasyonların optimizasyonu problemi Çizgeyi en ufak düğüm kümesiyle hemen hemen eşit parçalara böl:

  7. İki işlemci için kalem dağıtımı Çizge parçalamadan kalem dağıtımı çıkarıyoruz T1 T2 Set of frequent patterns :

  8. Kalem Dağıtımı Özellikleri İşlemi iki bağımsız parçaya böler Veriyi seçici biçimde yineler Veri yinelemesini minimize eder Dağıtımı hesaplamak için sadece Gf2 gerekir

  9. K-işlemci için Dağıtım İki-yollu dağıtımın özyinelemeli uygulaması I (A,B,S)‏ (A1,B1,S1)‏ (A2,B2,S2)‏

  10. NoClique Algoritması Genel bir koşut algoritma k-yollu dağıtımın doğrudan uygulaması Adımları GF2 hesaplaması Çizge parçalaması ve kalemlerin dağıtılması Veritabanının yeniden dağıtılması Bağımsız madencilik

  11. GF2 Hesabı Veritabanını koşut olarak tara ve F'i hesapla GF2 için veritabanını bir daha koşut olarak tara Bu safha Count-Distribution gibi çalışır Yerel işlemlerin kalemlerini say Sayıları değiş İşlemci i

  12. Kalem kümesi dağıtımı K-yollu dağıtım için koşut özyinelemeli algoritma Bütün kalemler ve bütün işlemcilerle başlar Her adım o andaki işlemci grubu ile 2-yollu dağıtım yapar İşlemcileri ve kalemleri yük tahminine göre ikiye ayırır Özyineleme her grupta bir işlemci kalana kadar devam eder

  13. Kalem Kümesi Dağıtımı İdeal bir çalışma 4 nodes I (A,B,S)‏ (A1,B1,S1)‏ (A2,B2,S2)‏ 2 nodes 2 nodes

  14. Yük dengeleme Bir kısmın işlem yükünü nasıl tahmin ederiz? Tahmin fonksiyonlarıyla Veri miktarı 3'lü kalemkümelerinin yaklaşık sayısı Ardışık madenciliğin zamanını tahmin eden bir fonksiyon Hangisi daha iyi? Ucuz olmalı Kesin olmalı

  15. Veritabanını YenidenDağıtma Her işlemci kendine atanan kalemleri alacak şekilde yeniden düzenle Yatay veritabanını bir kere tara (koşut)‏ Her işlemi böl Her işlemci için, kalem kümesiyle kesişimi hesapla Gönderme bufferına ekle Toplu bir iletişimle hedef işlemcilere gönder (AAPC)‏

  16. Bağımsız Madencilik Her işlemci kendi kısmını bağımsız biçimde işler Herhangi bir ardışık madencilik algoritması kullanabiliriz Deneyler için birçok ardışık algoritma kullanıldı

  17. Optimizasyonlar Yerel budama Dağıtık çizge veri yapısı Asenkron iletişim

  18. Başarım 32 işlemcili Beowulf sistemi Skynet'de denendi Sentetik veritabanları için sonuçlar alındı KDCI için hızlanmalar:

  19. Sonuçlar Madencilik işini yukarıdan-aşağıya bölmek için yeni bir kalem dağıtımı metodu bulduk K-yollu dağıtımı ve bağımsız madenciliği uygulayan bir koşut algoritma geliştirdik Deneylerde iyimser hızlanmalar elde ettiğimizi gösterdik

More Related