ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα 2

1. ΗΥ430 Ψηφιακες ΕπικοινωνιεςΜαθημα 2 Περιληψη Θεωριας Πιθανοτητων

2. Σπουδαιοτητα των στοχαστικων διαδικασιων • Οι τυχαιες διαδικασιες και μεταβλητες μας επιτρεπουν να χειριζομαστε ποσοτητες και σηματα που δεν τα ξερουμε εκ των προτερων • Τα δεδομενα και τα σηματα που μεταδιδονται μεσα απο τα τηλεπικοινωνιακα συστηματα θεωρουνται τυχαια. • Ο θορυβος, οι παρεμβολες, οι παραμορφωσεις και οι διαλειψεις (fading) που εισαγονται απο το καναλι επισης προσομοιωνονται με στοχαστικες διαδικασιες. • Ακομα και το κριτηριο αξιοπιστιας μεταδοσης (BER- Bit Error Rate ή πιθανοτητα σφαλματος bit) εκφραζεται με πιθανο-θεωρητικους ορους

3. Τυχαια γεγονοτα • Οταν εκτελουμε ενα τυχαιο πειραμα, μπορουμε να χρησιμοποιη-σουμε συμβολα της θεωριας συνολων για να περιγραψουμε τα δυνατα αποτελεσματα. • Παραδειγμα: Ριχνουμε ενα ζαρι. Δυνατα αποτελεσματα S = {1,2,3,4,5,6} • Γεγονος ειναι καθε υποσυνολο δυνατων αποτελεσματων: Α={1,2} • Συμπληρωματικο γεγονος του Α ειναι το: = S –A = {3,4,5,6} • Το συνολο ολων των αποτελεσματων ειναι το σιγουρο γεγονοςS ή ο χώρος αποτελεσμάτων ή ο χωρος δειγματων • Το κενο γεγονος ειναι το:  • Η μεταδοση ενος bit, π.χ., ειναι ενα τυχαιο πειραμα

4. Πιθανοτητα • Η πιθανοτηταP(A) ειναι ενας αριθμος ο οποιος μετρα την πιθανοφανεια του γεγονοτος Α. • Στον χωρο δειγματων S={1,2,3,4,5,6} του προηγουμενου παραδειγματος αν Α={1,2} τοτε Ρ(Α) = 1/3 και Ρ({αρτιο αποτελεσμα})=1/2 Αξιωματα της θεωριας πιθανοτητων • Ουδεν γεγονος εχει αρνητικη πιθανοτητα: P(A)0 • P(A)1 και { P(A) = 1  A = S}. • Αν Α και Β ειναι δυο ξενα γεγονοτα δηλ. αν ΑΒ= τοτε P(A  B) = P(A) + P(B). • Oλες οι αλλες ιδιοτητες των πιθανοτητων ειναι απόρροια αυτων των αξιωματων

5. Διαγραμματα Venn

6. Σχεσεις μεταξυ τυχαιων γεγονοτων • Η απο κοινου πιθανοτητα των Α και Β ειναι η πιθανοτητα να συμβουν και τα δυο γεγονοτα: P(A,B) = P(A  B) • Υπο συνθηκη πιθανοτητα P(A|B) = P(A,B) / P(B) Είναι η πιθανοτητα οτι θα συμβει το Α δεδομενου οτι συνέβη το Β • Ετσι P(A,B) = P(A|)P(B) = P(Β|Α)P(Α) • Στατιστικη ανεξαρτησια: • Τα γεγονοτα Α και Β ειναι στατιστικα ανεξαρτητα αν: P(A,B) = P(A) P(B) • Αν τα Α και Β ειναι ανεξαρτητα τοτε: P(A|B) = P(A) και P(B|A) = P(B) Παραδειγμα: Τα αποτελεσματα της ριψης δυο ζαριων ή τα αποτελεσματα της ριψης του ιδιου ζαριου δυο φορες (εκτος αν είναι πειραγμενο…)

7. Παραδειγμα στατιστικης εξαρτησης • Εστω S o χωρος αποτελεσματων του πειραματος ριψης του ζαριου. Θεωρειστε τα γεγονοτα Α={3} και Β={1,2,3,6} • Ρ(Α)=1/3 και Ρ(Β)=4/6=2/3 • Ρ(Α|Β) = 1/4 = Ρ(Α,Β)/Ρ(Β) = Ρ(Α,Β)/(2/3)   Ρ(Α,Β) = (1/4)(2/3) = 1/6 Οποτε Ρ(Α)Ρ(Β) = (1/3)(2/3) = 2/9  1/6 = Ρ(Α,Β) • Δηλαδη τα γεγονοτα Α και Β είναι εξαρτημενα • Ποση ειναι η Ρ(Β|Α) ?? • Τι εξαρτηση εχουν τα γεγονοτα Γ={4} και Β ?

8. 1ο Παραδειγμα στατιστικης ανεξαρτησιας • Θεωρειστε τον χωρο Ω που αποτελειται απο τα 52 αποτελεσματα του τυχαιου πειραματος που ειναι η επιλογη ενος φυλλου μιας τραπουλας . • Τα γεγονοτα Α={επιλογη νταμας} και Β={επιλογη κοκκινου φυλλου} ειναι ανεξαρτητα διοτι: • Ρ(Α)=4/52=1/13, Ρ(Β) = 26/52=1/2 • Ρ(Α,Β) = Ρ(επιλογη κοκκινης νταμας) = 2/52 =1/26 οποτε Ρ(Α,Β) = Ρ(Α)Ρ(Β) • Επισης Ρ(Α|Β)=2/26=1/13=Ρ(Α), και Ρ(Β|Α)=2/4=1/2=Ρ(Β)

9. 2ο Παραδειγμα στατιστικης ανεξαρτησιας • Στον χωρο S = {1,2,3,4,5,6} των αποτελεσματων της ριψης ζαριου οριζουμε τα γεγονοτα Α={i < 3} και Β= {i = αρτιος}. • Ειναι Ρ(Α)=2/6=1/3 και Ρ(Β)=3/6 = 1/2 • Η Ρ(Α,Β) = Ρ(i=2) = 1/6 = Ρ(Α) Ρ(Β) • Επισης Ρ(Α|Β)= 1/3 =Ρ(Α) και Ρ(Β|Α) = 1/2 = Ρ(Β) • Σημειωτεον οτι το γεγονος Γ = {i  3} δεν ειναιανεξαρτητο του Β (γιατι??)

10. Θεωρημα Ολικης Πιθανοτητας • Αν τα γεγονοτα Εi, i=1,2,…n αποτελουν ένα διαμερισμο του χωρου αποτελεσματων S, δηλαδη αν: • ΚΑΙ, αν για το γεγονος Α εχουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi), i=1,2,…,n τοτε μπορουμε να βρουμε την πιθανοτητα Ρ(Α) μεσω του θεωρηματος της ολικης πιθανοτητας

11. Παραδειγμα εφαρμογης του Θεωρηματος της Ολικης Πιθανοτητας • Θεωρειστε τον χωρο αποτελεσματων S που προκυπτει από το ρίξιμο ενός ζαριου, και τα γεγονοτα Εi ={i}. • Τα Εi αποτελουν ένα διαμερισμο του χωρου S • Θεωρειστε το γεγονος Α={αρτιο αποτελεσμα} και εστω Q το αποτελεσμα ενός πειραματος. Η Ρ(Α) βρισκεται ως εξης:

12. Κανονας του Bayes • Ο κανονας του Bayes δινει την υπο συνθηκη πιθανοτητα Ρ(Εi|Α) αν ξερουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi) μεσω της σχεσης: • Παραδειγμα: Για το προηγουμενο παραδειγμα βρισκουμε την Ρ(Ε2|Α) ως εξης

13. Ασκηση • Σε μια πολη τρεις μαρκες αυτοκινητων, A, B and C κατεχουν το 20%, 30% και 50% της αγορας, αντιστοιχα. • Η πιθανοτητα να χρειασθει ενα αμαξι επισκευη τον πρωτο χρονο κυκλοφοριας του ειναι 5%, 10% και 15%, αντιστοιχα. • (a) Ποια ειναι η πιθανοτητα επισκευης ενος αμαξιου τον πρωτο χρονο κυκλοφοριας του?? • (b) Αν ενα αμαξι εχει αναγκη επισκευης τον πρωτο χρονο ποια ειναι η πιθανοτητα να ειναι μαρκας Α?

14. Απαντηση

15. Εφαρμογη στις επικοινωνιες • Μεταδιδονται σηματα Εi με πιθανοτητες P(Ei). • Στον Δεκτη λαμβανεται το σημα R. • Απο μετρησεις εχουμε βρει τις πιθανοτητες Ρ(R|Ei). • Μας ενδιαφερουν οι πιθανοτητες P(Ei|R). • Πως βρισκουμε τις P(Ei|R)?? • Κανονας Bayes

16. Τυχαιες Μεταβλητες (rv - random variables) • Μια τυχαια μεταβλητηX(s) ειναι μια πραγματικη συναρτηση με πεδιο ορισμου τον χωρο των γεγονοτων S, s  S. • Μια τυχαια μεταβλητη μπορει να ειναι: • Διακριτη, ή • Συνεχης • Μια τυχαια μεταβλητη μπορει να περιγραφεί: • Με το συμβολο της, π.χ. το Χ (παντοτε κεφαλαίο) • Με την περιοχη τιμων της: π.χ. Χ   • Με την περιγραφη της κατανομης των τιμων της x (οι τιμες που παιρνει η μεταβλητη συμβολιζονται με μικρο γραμμα) • Η σχεση Χ=x συμβολιζει το ότι η τυχαια μεταβλητη Χ πηρε την τιμη x

17. Συναρτηση κατανομης πιθανοτητας (PDF) • Ονομαζεται και συναρτηση αθροιστικης κατανομης (Cumulative Distribution Function – CDF) • Ορισμος: FX(x) = F(x) = P(X  x) = P[sS: X(s)x] • Ιδιοτητες: • Η F(x) ειναι μονοτονα μη αυξανομενη δηλαδη F(a)≤ F(b) αν a ≤ b • F(-) = 0 • F() = 1 • P(a < X  b) = F(b) – F(a) • Μολονοτι η CDF περιγραφει πληρως την κατανομη τιμων μιας τυχαιας μεταβλητης, χρησιμοποιειται συνηθεστερα η pdf ή pmf

18. Συναρτηση Πυκνοτητας Πιθανοτητας (pdf) • Ορισμος: fX(x) = dFX(x) /dxή f(x) = dF(x) /dx • Η pdf παριστανει τον ρυθμο αυξησης της CDF ή το ποσο πιθανο ειναι να λαβει η X την τιμη x • Ιδιοτητες: • f(x)  0  •  f(x)dx = 1, - b • P(a < X  b) =  f(x)dx = F(b) – F(a) x a • F(x) =  f(s)ds -∞

19. Αναμενόμενες τιμες (Expected values) • Οι αναμενόμενες τιμες ειναι ενας συντομος τροπος (μερικης) περιγραφης μιας τυχαιας μεταβλητης X • Οι πιο σπουδαιες ειναι: • Η μεση τιμη: Ε(Χ) = mX =  xf(x)dx -   • H μεταβλητοτητασΧ2 = E([X – mX ]2) =  (x – mX )2 f(x)dx -  • H σΧονομαζεται τυπικη αποκλιση • Ο υπολογισμος της αναμενομενης τιμης γινεται με αναλογο τροπο και για οποιαδηποτε συναρτηση g(X) της Χ  Ε[g(X)] =  g(x)f(x)dx - 

20. Ιδιοτητες μεσης τιμης και μεταβλητοτητας • Η μεση τιμη είναι ένα συνηθως ένα μετρο της μεσης τιμης των τιμων που παρνει η r.v. σε μεγαλο αριθμο πειραματων • Ε[cX] = cE[X] • E[c] = c • E[X+c] = E[X]+c οπου c = σταθερα • H μεταβλητοτητα είναι ένα μετρο της διασπορας των τιμων της r.v. γυρω από την μεση τιμη • σΧ2 = VAR[X] = Ε[(Χ – mX)2] • VAR(cX) = c2 VAR(X) • VAR(c) = 0 • VAR(X+c) = VAR (X)

21. Ανισοτητα Chebyshev • Εστω Χ τυχαια μεταβλητη με μεση τιμη mXκαι μεταβλητοτητα σΧ2 • Τοτε για καθε δ, P(|X - mX |  δ)  σΧ2 / δ2 • Το μεγεθος της μεταβλητοτητας καθοριζει το τροπο που κατανεμονται οι τιμες της γυρω απο την μεση τιμη της • Το οριο που καθοριζεται απο την ανισοτητα Chebyshev χρησιμοποιειται για τον προσδιορισμο των διαστηματων εμπιστοσυνης στις τιμες μιας προσομοιωσης.

22. 1ο Παραδειγμα: Ομοιομορφη κατανομη  0.1, 0  x  10 f(x) =   0, αλλου Με τη μεταβλητη αυτή παριστανουμε την αγνωστη φαση ενός ημιτονοειδους σηματος μεταξυ 0 και 2π ή –π και π f(x) 0.1 0 10 x Μια συνεχης τυχαια μεταβλητη εχει ομοιομορφη κατανομη μεταξυ a και b,αν παιρνει τιμες με ιση πιθανοτητα σε διαστηματα με ισο μηκος.

23. 1o Παραδειγμα (συνεχεια) • Μεση τιμη • Μεταβλητοτητα • Υπολογισμος πιθανοτητας:

24. 2ο Παραδειγμα: Gaussian pdfΚανονικη κατανομη N(mX, σΧ2) σ N(0,1) Η πιο σπουδαια και κοινη rv. Ο θερμικος θορυβος εχει κανονικη κατανομη Μια Gaussian τυχαια μεταβλητη καθοριζεται πληρως απο την μεση τιμη και την μεταβλητοτητα της (ή την τυπικη αποκλιση).

25. Ενα τηλεπικοινωνιακο συστημα με Gaussian θορυβο S  {a} < R=S+N R 0?? > Η πιθανοτητα να κανει σφαλμα ο δεκτης όταν στελνεται το S=-a (οποτε το λαμβανομενο σημα είναι το R=-a+N το οποιο εχει κατανομη Ν(-a,σn) ) ειναι: Πομπος Δεκτης + N= Ν(0,σ2)

26. Η συναρτηση σφαλματος Q-function • Η συναρτηση σφαλματος ειναι ο τυπικος τροπος εκφρασης της πιθανοτητας σφαλματος σε κλειστη μορφη N(0,1) • Aριθμητικος υπολογισμος της συναρτησης Q: για x  3

27. Η συναρτηση Q και η προσέγγιση της x

28. 3ο Παραδειγμα- Rayleigh pdf • Εστω οπου οι Χ και Υ ειναι Gaussian r.v. με μεση τιμη 0 και μεταβλητοτητα σ2 • HR ειναι μια τυχαια μεταβλητη με κατανομη Rayleigh • H Rayleigh pdf χρησιμοποιειται συχνα για την • προσομοιωση του φαινομενου των διαλειψεων (fading) • οταν δεν εχουμε σημα οπτικης επαφης σε μια ασυρματη • συνδεσηαλλα σηματα απο πολλαπλες διοδευσεις

29. Η Rayleigh pdf

30. Συναρτησεις μαζας πιθανοτηταςProbability Mass Functions (pmf) • Μια διακριτη τυχαια μεταβλητη μπορει να περιγραφεί με pdf αν επιτρεψουμε την χρηση κρουστικων συναρτησεων • Συνηθως ομως χρησιμοποιουμε τις συναρτησεις μαζας πιθανοτητας (pmf): p(x) = P(X = x) • Εχει ιδιοτητες αντιστοιχες της pdf, δηλ. • p(x)  0 • Σ p(x) =1 • P(a  X  b) =

31. Μεσες τιμες διακριτων τυχαιων μεταβλητων • Για τις διακριτες τυχαιες μεταβλητες εχουμε:

32. Παραδειγμα #1: Δυαδικη κατανομη • Χρησιμοποιειται συχνοτατα για την παρασταση δυαδικων δεδομενων • Μεση τιμη: • Μεταβλητοτητα: • Αν οι Χ και Υ ειναι ανεξαρτητες δυαδικες τυχαιες μεταβλητες, τοτε pXY(0,0) = pX(0) pY(0) = ½ ½ =1/4

33. Παραδειγμα #2: Δυωνυμικη κατανομή • Αν οπου οι {Χi, i=1,2,…,n} ειναι ανεξαρτητες δυαδικες τυχαιες μεταβλητες με: • τοτε η κατανομη της Y ειναι • Μεση τιμη: mY = n p • Μεταβλητοτητα:

34. Παραδειγμα #2: Δυωνυμικη κατανομή (2) • Υποθεστε οτι εκπεμπουμε μια ακολουθια απο 31 bits κωδικοποιημενη με κωδικα διορθωσης εως και 3 λαθων • Αν η πιθανοτητα σφαλματος ενος bit ειναι p=0.001 ποια ειναι η πιθανοτητα να ληφθεί η ακολουθια με σφαλμα?? • P(εσφαλμενη ακολουθια) = 1- P(ορθη ληψη ακολουθιας)= • Αν δεν χρησιμοποιηθει ο κωδικας διορθωσης λαθων η • πιθανοτητα σφαλματος ειναι: • 1 – (1-0.001)31 = 0.0305 = 3  10-2

35. Πολλαπλες τυχαιες μεταβλητες • Εστωσαν οι r.v. Χ και Y που οριζονται στον ιδιο χωρο δειγματων S. H από κοινου αθροιστικη συναρτηση κατανομης (joint cdf) οριζεται ως: FX,Y(x,y) = P(X ≤ x, Y ≤ y) = Ρ{s S | X(s) ≤ x, Y(s) ≤ y} • ενώ η από κοινου συναρτηση κατανομης πιθανοτητας (joint pdf) οριζεται ως:

36. Πολλαπλες τυχαιες μεταβλητες (συνεχ.) • Οι οριακες (marginal)CDFs και pdfs των Χ και Y είναι οι: • Μπορουμε επισης να ορισουμε την υπο συνθηκη(conditional) pdffX|Y(x|y) = fX,Y(x,y)/fΥ(y)ενώ για στατιστικα ανεξαρτητες r.v. εχουμε fX,Y(x,y) = fX(x) fY(y) • Ομοιως μπορουμε να ορισουμε συναρτησεις των δυο μεταβλητων g(Χ,Υ) και να υπολογισουμε τις μεσες τιμες τους, όπως είναι η συμμεταβλητοτητα (covariance) COV(X,Y) = σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)] = Ε[ΧΥ]-mXmY • Αν οι Χ και Υ ειναι ανεξαρτητες τοτε σΧ,Υ2 = 0 • To αντιστροφο δεν ισχυει παρα μονο για Gaussian r.v.

37. Από κοινου Gaussian μεταβλητες • Η από κοινου pdf δυο από κοινου Gaussianμεταβλητων είναι η: • οπου σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)] • αν σΧ,Υ = 0 τοτε fX,Y(x,y) = fX(x)fY(y) => X,Y ανεξαρτητες δηλ. για Gaussian r.vανεξαρτησια  μηδενικη συσχετιση • Ο τυπος μπορει να επεκταθει σε n από κοινου Gaussian μεταβλητες

38. Αθροισματα τυχαιων μεταβλητων • Αν εχουμε μια ακολουθια n τυχαιων μεταβλητων (Χ1, Χ2,…,Χn) με βασικα τις ιδιες ιδιοτητες, το μεσο αθροισμα τους αναμενεται να εχει λιγωτερο τυχαια συμπεριφορα από την κάθε μεταβλητη. • Ο Νομος των Μεγαλων Αριθμων και το Κεντρικο Οριακο Θεωρημα αποτελουν τηνν μαθηματικη διατυπωση αυτου του γεγονοτος.

39. Ασθενης Νομος των Μεγαλων Αριθμων • Αν οι τυχαιες μεταβλητες Χ1, Χ2,…,Χn είναι ασυσχετιστεςμε μεσες τιμες ισες με mX και μεταβλητοτητες ισες με σΧ2 <∞ τοτε για κάθε ε > 0 εχουμε • Δηλαδη ο μεσος ορος του αθροισματος των μεταβλητων συγκλινει (ως προς την πιθανοτητα) στην κοινη μεση τιμη

40. Κεντρικο οριακο θεωρημα • Το Κεντρικο Οριακο Θεωρημα (Central Limit Theorem – CLT) περιγραφει την κατανομη της μεσης τιμης του αθροισματος μεγαλου πληθους τυχαιων μεταβλητων. • Οι ανεξαρτητες τυχαιες μεταβλητες Χ1, Χ2,..., ΧΝ εχουν την ιδια pdfμε μεση τιμη 0 και μεταβλητοτητα σ • Οριζουμε την r.v. • Καθως το Ν   η κατανομη της Υ τεινει προς την κανονικη (Gaussian) κατανομη Ν(0,σ2/Ν)) • Στην πραξη, το φαινομενο γινεται εμφανες ακομα και για Ν=10 • Ο θερμικος θορυβος προκαλειται απο την τυχαια κινηση των (σχεδον απειρων το πληθος) ηλεκτρονιων. Κατα συνεπεια μπορει να θεωρηθει με μεγαλη ακριβεια οτι η κατανομη του θερμικου θορυβου ειναι Gaussian.

41. Παραδειγμα για το κεντρικο οριακο θεωρημα μ=0, σ=1 Ν=2 Ν=5 N=10 Ν=10

42. Παραδειγμα • http://www.jhu.edu/virtlab/stats/Stats.html