Email:ikons@cslab.ece.ntua.gr

Προσαρμοστικοί Αλγόριθμοι Εξισορρόπησης Φόρτου σε Κατανεμημένα Περιβάλλοντα (Δίκτυα Ομοτίμων και Υπολογιστικά Νέφη) Υποστήριξη Διδακτορικής διατριβής Ιωάννης Κωνσταντίνου Email:ikons@cslab.ece.ntua.gr Εργαστήριο Υπολογιστικών Συστημάτων Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο

Big Data • 90% των σημερινών δεδομένων δημιουργήθηκαν τα τελευταία 2 χρόνια • Νόμος του Moore: Διπλασιασμός δεδομένων κάθε 18 μήνες • YouTube: 13 εκατ. ώρες και 700 δις αναπαραγωγές το 2010 • Facebook: 20TB/ημέρασυμπιεσμένα • CERN/LHC: 40TB/μέρα (15PB/έτος) • Πολλά, πολλά ακόμα… • Web logs, αρχεία ομιλιών, ιατρικοί φάκελοι, κλπ Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Έκρηξη δεδομένων 1 EB (Exabyte=1018bytes) = 1000 PB (Petabyte=1015bytes) Κίνηση δεδομένων κινητής τηλεφωνίας στις ΗΠΑ για το 2010 1.2 ZB (Zettabyte) = 1200 EB Σύνολο ψηφιακών δεδομένων το 2010 35 ZB (Zettabyte = 1021 bytes) Εκτίμηση για σύνολο ψηφιακών δεδομένων το 2020 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κατανεμημένα συστήματα (1) • Ανάγκη για κατανεμημένη επεξεργασία!! • Δίκτυα ομοτίμων (Peer to Peer) • Γνωστά για διαδικτυακή ανταλλαγή αρχείων • Έμφυτη ικανότητα κλιμάκωσης • Χρησιμοποιούνται από πολλές εφαρμογές • Υπολογιστικά νέφη (cloud computing) • À la carte πρόσβαση σε: • Εικονικούς πόρους σε απομακρυσμένα datacenters • Εύκολη προσθαφαίρεση πόρων μέσω API Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κατανεμημένα συστήματα (2) • Λύνουν πολλά προβλήματα, αλλά: • Προσθέτουν πολυπλοκότητα • Εξισορρόπηση φόρτου • Συνέπεια • Συγχρονισμός • Ανοχή σε σφάλματα • Ασφάλεια -Ιδιωτικότητα Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Περιεχόμενα • NIXMIG: εξισορρόπηση φόρτου σε κατανεμημένες δομές που υποστηρίζουν ερωτήματα εύρους τιμών • Κατανεμημένο σύστημα δεικτοδότησης, αποθήκευσης και επερώτησης δεδομένων μεγάλου όγκου • Συμπεράσματα • Μελλοντικές Κατευθύνσεις Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κίνητρο (1) • Ερωτήματα εύρους είναι πολύ χρήσιμα • κύβοι OLAP • ΧωρικέςΒάσεις Δεδομένων • Booking και e-commerce ιστοσελίδες • Παιχνίδια on-line, κλπ • Πλήθος κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους • Skip Graphs, P-Grids, P-trees, BATON, Prefix Hash Trees, κλπ Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κίνητρο (2) • Συνήθως η ζήτηση δεν είναι ομοιόμορφη!! • Ειδικά σε διαδικτυακές εφαρμογές • Άνισες κατανομές απαιτούν εξισορρόπηση!!!! Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Εξισορρόπηση με κατακερματισμό • Εφαρμόζεται από DHTs όπως Chord, κλπ • Καταστρέφει την τοπικότητα • Θεωρητικός λόγος ασυμμετρίας logN • Όχι κατάλληλος για ερωτήματα εύρους!! Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Εξισορρόπησημε μεταφορά αντικειμένων • [KR06],[GBGM04],[AKK04],[BAS04],[VORT09],[LCLC09],[SX07],[SX08],[Jou08],[CLM+11][GDA10],[GH05],[GS04],[TZX10] • [KR06]: Τυχαία μηνύματα συγκρίνουν φορτία • Εάν τα φορτία διαφέρουν κατά ε,0<ε<1/4 τότε γίνεται εξισορρόπηση • [GBDM04]: Ενημέρωση κεντρικού καταλόγου με φορτία • [AKK04]: απαιτεί ελευθέρους κόμβους • [SX07]: Διατηρεί δείκτες μεταξύ πηγής και προορισμού Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Ορθογώνιες προσεγγίσεις • Εξισορρόπηση μεαντίγραφα • [PNT06],[PNT10],[GSBK04],[TR06],[LCC+2] • Θέματα συνέπειας κατά την ενημέρωση • Απαιτεί αλλαγές στο πρωτόκολλο δρομολόγησης για updates/inserts • Εξισορρόπηση με Εικονικούς κόμβους • [DKK+01],[RLS+03],[SGL+06],[GS05],[ZH05],[HLCH11],[CT08],[LCLC09]… • Εύκολη υλοποίηση σαν threads, αλλά: κατακερματίζεται το ID space, αυξημένες ανάγκες σε bandwidth και μνήμη Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Συνεισφορά (1) • Μελέτη των δυο βασικών μεθόδων εξισορρόπησης φόρτου με μεταφορά αντικειμένων • Διαδοχική Ανταλλαγή Αντικειμένων μεταξύ Γειτόνων (NIX) • Μεταναστεύσεις κόμβων (MIG) • NIXMIG • Υβριδική μέθοδος μεταφοράς αντικειμένων • Ρυθμίζει προσαρμοστικάτις NIX/MIG Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Συνεισφορά (2) • Θεωρητική ανάλυση • Αποτίμηση επίδοσης NIX, MIG και NIXMIG • Μελέτη ύπαρξης σημείου σύγκλισης • Υλοποίηση πάνω απόέναν Skip Graph • Πειραματική ανάλυση • Ο NIXMIG “κερδίζει” τους NIX, MIG και τον IB [KR06] • Ταχύτητα • Όγκο μεταφερόμενων μηνυμάτων και αντικειμένων Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Βασικές έννοιες – Στόχος • Αποθήκευση M κλειδιών σε N κόμβους, N<<M • Ισόποσος χωρισμός σε N τμήματαμε διαδοχικάόρια • Ορισμός φορτίου (load) Liενός κόμβου Ni • Αριθμός αιτήσεων αντικειμένων στον χρόνο (reqs/sec) • Μπορεί να αναχθεί σε κατανάλωση εύρους ζώνης για την απάντηση ερωτήσεων (kb/sec) • Κατώφλι φορτίου(Load threshold) • Χωρίζει σε overloaded και underloaded • Τοπική ανά κόμβο ρύθμιση • Στόχος:Μεταφορά αντικειμένων έτσι ώστε να πέσει το φορτίο του κάθε κόμβου κάτω από το κατώφλι του Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Διαδοχική Ανταλλαγή Αντικειμένων μεταξύ Γειτόνων (NIX) • ΥΠΕΡ • Χωρίς αναγνωριστικά μηνύματα για την εντόπιση κόμβων που υπολειτουργούν • Χωρίς συντήρηση του υπερκείμενου δικτύου • ΚΑΤΑ • Αδυναμία εφαρμογής σε μεγάλες περιοχές υπερφορτωμένων κόμβων • Απαιτεί πολλές διαδοχικές μετακινήσεις αντικειμένων Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Θεωρητική αποτίμηση NIX • Χειρότερη αρχική τοποθέτηση κλειδιών • N κλειδιάμε μοναδιαίο load • Στο t0μεταφέρονται Μ-1 κλειδιά, στο t1 Μ-2, κοκ. • Μετά από Ο(N) χρόνοέχουν μεταφερθεί Ο(Μ) κλειδιά ανά εκτέλεση, για Ν<<Μ Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Μεταναστεύσεις κόμβων (MIG) • ΥΠΕΡ • Γρήγορος, ταυτόχρονη εφαρμογή σε πολλούς κόμβους • Απαιτεί την μεταφορά μικρού αριθμού αντικειμένων • ΚΑΤΑ • Χρειάζονται επιπλέον probing μηνύματαγια εντοπισμό κόμβων που υπολειτουργούν • Χρειάζεται ενημέρωση των πινάκων δρομολόγησης Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Θεωρητική αποτίμηση MIG • Χειρότερη αρχική τοποθέτηση κλειδιών • Ταυτόχρονη εκτέλεση Ν-1 MIG όπου μεταφέρονται Μ/Ν κλειδιά. • logN κόστος για ενημέρωση routing table και για εύρεση κόμβων • κόστοςκαι Ο(1) χρόνος Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Μέση (average) περίπτωση για NIX και MIG • Αναγωγή σε balls into bins [MU05] • Άρα “ρίχνουμε” ομοιόμορφα Ν μπάλες σε Ν κάδους • P[Niis notoverloaded]=P[Li=0]+P[Li=1] =e-1+e-1= 74% • Άρα μόνο 26% κόμβοι είναι overloaded • Επίσης, μέγιστο Load= • Πολύ μικρότερο από τις worst case περιπτώσεις Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

NIX ή MIG? Αποτελεσματικός NIX : η απορρόφηση γίνεται τοπικά ΑποτελεσματικόςMIG : οNIX θα έκανε ταλαντώσεις Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

NIXMIG (1) • Επιλογή κόμβων με την μορφή κύματος έτσι ώστε: • Εξέταση φόρτου, επιλογή τύπου εξισορρόπησης και υπολογισμό extra απαιτούμενων κόμβων • Δέσμευση (lock) κόμβων για συμμετοχή στην εξισορρόπηση • Τοπικό κύμα ελέγχει την “γειτονιά” • Μακρινά (προαιρετικά)probes ψάχνουν για ελεύθερους Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

NIXMIG (2) • Ο έλεγχος σταματάει όταν • Απαιτούνται περισσότεροι από TTL κοντινοί ή TTL μακρινοί κόμβοι • Συμβαίνει “σύγκρουση” • tmpLoadπαράμετρος υπολογίζει το συνολικό “εικονικό load” • Μόνο NIX, εάν το φορτίο απορροφάται τοπικά • Και NIX και MIG, εάντο πολύ TTL τοπικοί κόμβοι έχουν επιλεχτεί και χρειάζονται επιπλέον κόμβοι • Μόνο MIG, εάν περισσότεροι από TTL μακρινοίκόμβοι χρειάζονται εξαρχής. Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

NIXMIG (3) • Μεταφορά φορτίου από τους τοπικούς κόμβους στον τελευταίο (N4) • Ρυθμιζόμενη παράμετρος α, 0<α<1 • ποσοστό μεταφερόμενου φορτίου • επιθετικότητα του αλγορίθμου • Ο N4 παραμένει overloaded για λίγο χρόνο, καθώς ήδη έχουν δεσμευτεί οι μακρινοί Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

NIXMIG (4) • Απομακρυσμένοι κόμβοι • Μεταφέρουν τα κλειδιά τους στον N10 • Τοποθετούνται δίπλα από τον N4και παίρνουν μέρος του φορτίου • Ελαχιστοποιείται η ενημέρωση routing entries • Στο τέλος όλοι οι κόμβοι έχουν εξισορροπήσει το φορτίο τους!! Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Θεωρητική αποτίμηση (1) • Σε ποιες περιπτώσεις συγκλίνει? • Συνάρτηση δυναμικού: • Για να έχουμε σύγκλιση, πρέπει • Μείωση δυναμικού κατά ένα balancingoperation (έστω Ni overloaded): • Ο τρίτος όρος πρέπει να είναι θετικός • Ταχύτερη σύγκλιση έχουμε εάν ο Nj είναι underloaded Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Θεωρητική αποτίμηση (2) • Για ποιες τιμές του α έχουμε ταχύτερη σύγκλιση? • Έστω ομογενές δίκτυο με σταθερό thres • Έστω το φορτίο που μεταφέρεταιαπό τον Niστον Nj, τότε έχουμε • Το είναι τριώνυμο με αρνητικό πρώτο όρο • Άρα, παρουσιάζει μέγιστο για • Από όπου προκύπτει Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Πειραματική αξιολόγηση • Υλοποίηση εξομοιωτή σε 6K γραμμές Java • 500 κόμβοι, 50k κλειδιά (100 ανά κόμβο) • Πειράματα μέχρι 50k κόμβους και 5M κλειδιά • Συνθετικά φορτία με λοξότητα (skew) • Παλμός: μόνοένα εύρος κλειδιών ζητιέται συνεχώς • Zipf κατανομές με διαφορετικά θ • Ρεαλιστικά φορτία: AOL dataset με user queries • 20M λέξεις κλειδιά • 650K χρήστες • 3 μήνες Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Σύγκριση με [KR06] KARGER’S IB NIXMIG Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Σύγκριση NIXMIG με IB [KR06] Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Δυναμικό φορτίο Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κίνητρο • Web 2.0 datasets • Linked Data • Wikipedia • Amazon public datasets, … • Φτηνό hardware και bandwidth επιτρέπει την ανάλυση Webscale δεδομένων • Θέλουμε να πετύχουμε • εξισορρόπηση φόρτου • Κλιμάκωση (scalability) • Ανοχή σε σφάλματα • Real time απόκριση σε ερωτήματα • Υποστήριξη πολλών τύπων δεδομένων Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Συνεισφορά • Κατανεμημένο σύστημα για την επεξεργασία, δεικτοδότηση και διαμοιρασμό TBs απόδεδομένα • Συνδυασμός NoSQL + MapReduce : • MapReduce επεξεργάζεται τα δεδομένα εισόδου και φτιάχνει το ευρετήριο • Το ευρετήριο και τα δεδομένα διαμοιράζονται μέσω μιας NoSQL βάσης Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Σχετικές εργασίες • Κατανεμημένα συστήματα δεικτοδότησης βασισμένα σε Hadoop • Το Ivory κατανέμει μόνο την δημιουργία του index. • To Hindex κατανέμει τα indices μέσω HBase, αλλά η δημιουργία είναι κεντρικοποιημένη • Στο σύστημά μας και η δημιουργία και ο διαμοιρασμός του ευρετηρίου είναι κατανεμημένος!!! Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Αρχιτεκτονική(1) • “Ανέβασμα ” των δεδομένωνστο HDFS • Τα δεδομένα μαζί με τους κανόνες δεικτοδότησης τροφοδοτούν τον Uploader • Δημιουργία του πίνακα Content Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Αρχιτεκτονική(2) • Ο Πίνακας Content τροφοδοτείται στον Indexer για την εξαγωγή του πινακα Index • Το client API επικοινωνεί με τον Index για αναζητήσεις, και με τον Content για ανάκτηση αντικειμένων Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Κανόνες Δεικτοδότησης <author> <name>Ioannis</name> <surname>Konstantinou</surname> <date>26/04/2010</date> </author> Record boundaries Attribute types • Τα όρια εγγραφών χωρίζουν τα δεδομένα σε μονάδες για επεξεργασία • Τα είδη attributes επιλέγουν περιοχές για δεικτοδότηση • ΈναXML tag, ένας πίνακας HTML, μία στήλη DB, κλπ Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Πίνακες Content/Index Content Table • Αναζήτηση με τον πίνακα Index • Exact Match (Hbase Get) • Prefix Search (Hbase Scan) • Ανάκτηση με τον πίνακα Content • Με απλό Hbase Get Index Table Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Είδη δεδομένων και φορτίων • Δομημένα: 23 GB MySQL Database dump από την τελευταία έκδοση wikipedia • Ημι-δομημένα (XML-HTML) • 150 GB XML απότα 2,55TB κάθε άρθρου wikipedia μάζί με τις αναθεωρήσεις του μέχρι τον Μάιο 2008 • 150 GB HTML από μια στατική έκδοση της wikipedia • Αδόμητα: 20GB από όλα τα κείμενα σε όλες τις γλώσσες της συλλογής Gutenberg (46.000 αρχεία) • Ερωτήσεις χρηστών από την AOL • Οι πελάτες κάνουν point και prefix queries ακολουθώντας κατανομή zipfian Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Χρόνος απόκρισης για διαφορετικό φορτίο • Χρόνοι απόκρισης για φυσιολογικό φόρτο • Point queries: 20ms • Any attribute queries: 150ms • Range queries: 27sec • Caching effect της HBase • Μέχρι 100queries/sec υπάρχουν αρκετά διαθέσιμα connections • Μεταξύ 100 και 1000 queries/sec: το queuing και caching είναι σημαντικό Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Χρόνος απόκρισηςγια διαφορετικό μέγεθος Dataset και Index Η αύξηση του ευρετηρίου δεν επηρεάζει τον χρόνο απόκρισης Τα ερωτήματα εύρους κοστίζουν Μικρή γραμμική αύξηση του χρόνου απόκρισης με την αύξηση του dataset Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Συμπεράσματα • Κατανεμημένα συστήματα κάτω από μεγάλο φόρτο • Όγκο Δεδομένων • Ταυτόχρονα ερωτήματα • Εξισορρόπηση φόρτου σε δύο βασικά προβλήματα • Ερωτήματα εύρους • Δημιουργία και διαχείριση ευρετηρίων • P2P και “bleeding edge” cloud ready συστήματα • Παραδοσιακοί κατανεμημένοι αλγόριθμοι • Αντιμετωπίζουν τα ίδια προβλήματα • Αλλάζει κάθε φορά η εφαρμογή • Είναι αλληλένδετα Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Προσαρμοστική αντιγραφή κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους • Ερωτήματα q1..q7υπερφορτώνουν τον N1 • Ο NIXMIG μεταφέρει τους N3,N4,N5 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Προσαρμοστική αντιγραφή κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους • Δυική προσέγγιση • Η δημοφιλής περιοχή διαμοιράζεται και από τους N3,N4, N5 • Κάθε κόμβοςπαίρνει το ¼ των ερωτημάτων Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Βελτιώσεις του συστήματος Δεικτοδότησης • Ενημερώσεις? • Υπέρ/κατά της συμπίεσης? • Υποστήριξη για RDF? • Jena • Hexastore Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Ελαστική NoSQL μέσω clouds • Προσθαφαίρεση κόμβων ανάλογα με την ζήτηση • Πώς/ποια μετρικά χρειάζονται? • Πότε και πόσους κόμβους χρειάζεται να προσθαφαιρέσουμε? • Μπορούμε ταυτόχρονα να εξυπηρετούμε ερωτήματα? • CIKM 2011 submission Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Δημοσιεύσεις(1) • Περιοδικά • Fast and Cost-Effective Online Load-Balancing in Distributed Range-Queriable Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. IEEE Transactions on Parallel and Distributed Systems (To appear) • A Grid Middleware for Data Management Exploiting Peer-to-Peer Techniques. A. Asiki, K. Doka, I. Konstantinou, A. Zissimos, D. Tsoumakos, N. Koziris and P. Tsanakas. Future Generation Computer Systems, Volume 25, Issue 4, April 2009, Pages 426-435 • Διεθνή συνέδρια με κριτές • Distributed Indexing of Web Scale Datasets for the Cloud. I. Konstantinou, E. Angelou, D. Tsoumakos and N. Koziris. In Proceedings of the International Workshop on Massive Data Analytics on the Cloud (MDAC2010 - in conjunction with WWW 2010), Raleigh, NC, USA, 26 April 2010 • Measuring the Cost of Online Load-Balancing in Distributed Range-Queriable Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. In Proceedings of the 9th International IEEE Conference on Peer-to-Peer Computing (P2P), Seattle, WA, USA, 8-11 September 2009 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Δημοσιεύσεις(2) • Διεθνή συνέδρια με κριτές • GRIDNEWS: A Distributed Automatic Greek Broadcast Transcriptions System. D. Dimitriadis, A. Metallinou, I. Konstantinou, G. Goumas, P. Maragos and N. Koziris. In Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP-09), Taipei, Taiwan, March 2009 • PASS It ON (PASSION): An Adaptive Online Load-Balancing Algorithm for Distributed Range-Query specialized Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. In Proceedings of the 16th International Conference on Cooperative Information Systems (CoopIS), Monterrey, Mexico, 12-14 November 2008 • A Distributed Architecture for Multi-Dimensional Indexing and Data Retrieval in Grid Environments. A. Asiki, K. Doka, I. Konstantinou, A. Zissimos, and N. Koziris. In Proceedings of the Cracow 2007 Grid Workshop (CGW’07), Krakow, Poland, October 16-17, 2007 • Gredia Middleware Architecture. I. Konstantinou, K. Doka, A. Asiki, A. Zissimos, and N. Koziris. In Proceedings of the Cracow 2007 Grid Workshop (CGW’07), Krakow, Poland, October 16-17, 2007. Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Ερωτήσεις? Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

Email:ikons@cslab.ece.ntua.gr