מבוא לתורת הצפינה 51078

1. מצגת זו תכלול כנראה דיון של הקהל, אשר יביא ליצירת פריטי פעולה. השתמש ב- PowerPointכדי לעקוב אחר פריטי פעולה אלה במהלך המצגת. • בהצגת שקופיות, לחץ באמצעות לחצן העכבר הימני. • בחר באפשרות “מפקח הישיבות”. • בחר בכרטיסיה “פריטי פעולה”. • הקלד את פריטי הפעולה כאשר הם מופיעים. • לחץ על אישור כדי להסיר תיבה זו. פעולה זו תיצור אוטומטית שקופיות לפריטי פעולה בסוף המצגת, והנקודות שהעלית יוזנו בתוכה. מבוא לתורת הצפינה51078 ד"ר משה רן כל הזכויות שמורות לחברת MostlyTek Ltd. אין לצלם, לשכפל או להעתיק בכל צורה שהיא ללא קבלת אישור בכתב מד"ר משה רן

2. נושאי לימוד 6 שו"ת 4 שו"ת 4 שו"ת 4 שו"ת 4 שו"ת 8שו"ת Dr. Moshe Ran /מבוא לתורת הצפינה

3. נושאי לימוד 4 שו"ת 4 שו"ת 4 שו"ת 4 שו"ת 4 שו"ת 4 שו"ת Dr. Moshe Ran /מבוא לתורת הצפינה

4. ספרי עזר • Lin S. and Costello D.J : Error control Coding, Prentice-Hall, 1983. • Blahut R.A - Theory and Practice of Error Control Codes. Addison-Wesley 1983. • R.H. Morelos-Zaragoza: The art of Error Correcting Coding, John Wiley, 2002 ציון סופי: בחינה 100% תרגילי בית: אין חובת הגשה Dr. Moshe Ran /מבוא לתורת הצפינה

5. מערכת תקשורת להעברת מידע מידע משוחזר מערכת תקשורת מידע מקורי מטרה: להעביר מידע (אינפורמציה) ממקור מידע דרך תווך לצרכן. בד"כ המידע מיוצג בצורה חשמלית, ואם אינו כזה מתרגמים אותו לאות חשמלי. התרגום נעשה ע"י מתמר אות חשמלי מידע מקורי מידע משוחזר מתמר א' תווך מתמר ב' תווך תקשורת: שרשרת העיבוד מיציאת מתמר א' עד כניסה למתמר ב' Dr. Moshe Ran /מבוא לתורת הצפינה

6. סכמה תקשורת כללית - 2 3 4 5 1 צרכן יעד-מידע מקור מידע מקלט משדר ערוץ מקור רעש הודעה משוחזרת הודעה אות נקלט (סיגנל) אות (סיגנל) 1 – מקור מידע (אנלוגי, או ספרתי) מיצר "הודעה" או רצף של הודעות ליעד המידע 2- משדר מתמיר את "הודעות" המקור ל"אותות" המתאימים להעברהבערוץ 3- תווך תקשורת הוא "המדיום" בו מתפשט האות המשודר מהמשדר עד המקלט 4- מקלט מבצע את הפעולה ההפוכה למשדר, וממיר אות נקלט להודעה 5- היעד הוא המכשיר או האדם לו נועדה ההודעה Dr. Moshe Ran /מבוא לתורת הצפינה

7. בעיות: • "אי תאום" בין מקור מידע לערוץ התקשורת • "רעש בערוץ"- הערוץ מעוות את האות בשל הפרעות (רעש תרמי, הפרעות מצרכנים אחרים וכו') תוצאה – האות המשוחזר אינו תואם במדויק לאות המקור. דוגמאות: א) מקור- אות דיבור. מתמר א' – מיקרופון, ערוץ – קו טלפון, מתמר ב'-אוזניה/רמקול ב) מקור – תמונה, מתמר א' – סורק, ערוץ – קו טלפון, מתמר ב' - מדפסת בעיה מרכזית של תורת התקשורת : איך להעביר מידע בכמות הכי גדולה האפשרית דרך הערוץ עם מינימום (רצוי אפס) עוותים, למרות הפרעות בערוץ ואי התאמת מקור לערוץ? Dr. Moshe Ran /מבוא לתורת הצפינה

8. סכמת מערכת תקשורת עקרונית (Shannon) • מערכת תקשורת "מתמטית" גנרית המתאימה לבעיה המרכזית של התקשורת (סכימת שנון, 1948) מקודד מקור מקודד ערוץ מקור אות משודר בערוץ הודעה = רצף סימנים מתוך אלף-בית, מ.א. X, תהליך אקראיx(t) ערוץ מפענח מקור מפענח ערוץ צרכן אות נקלט = משודר + רעש ערוץ הודעה נקלטת = רצף סימנים מתוך אלף-בית, מ.א. Y, תהליך אקראיy(t) Dr. Moshe Ran /מבוא לתורת הצפינה

9. (סכימת שנון המשך) • ניתן לפרק את הבעיה לשתי בעיות בלתי תלויות שלכל אחת מהן יש "פתרון עקרוני" • בעיית יצוג אות מקור בצורה הכי טובה שאפשר – "מקודד המקור" • בעיית התאמת האות להעברה בערוץ בצורה הכי טובה שאפשר – "מקודד ערוץ" • בהינתן מקור מידע וערוץ, קיימים מתמרים "אידיאליים" – א, ב המעבירים את כל המידע מהמקור לצרכן עם אפס עיוותים. • גם אם המערכת היא "אנלוגית" באופייה כדאי והכרחי לתאר אותה במונחים של "עולם ספרתי" אם רוצים לנצל אופטימלית את המערכת • תורת האינפורמציה היא התורה המתמטית של תקשורת – מגדירה חסמים לביצועים, ומדדים כמותיים: כמה אינפורמציה ממוצעת יש במקור (אנטרופיה)? , מה קצב העברה מקסימלי בערוץ (קבול ערוץ)? הבעיה: הפתרון של "תורת שנון" הוא עקרוני, נותן יחוס לבצועים אבל לא מצביע על דרך המימוש של מערכת התקשורת "הגנרית" Dr. Moshe Ran /מבוא לתורת הצפינה

10. תורת הצפינה עוסקת בצמד מקודד-מפענח ערוץ • משנת 1948 בו פורסמה "התורה המתמטית של התקשורת" שהניחה את היסודות לתורת תיקון השגיאות ועד 1993 (בו "הומצאו" קודי טורבו) – היה פער בין התאוריה לקודי תיקון השגיאות הידועים. • משנת 93 – תחום המחקר והיישום של קודים לתיקון שגיאות עם ביצועים מתקרבים לחסמים התאורטיים פעיל מאוד. • השיטות החדשות מחליפות בהדרגה את השיטות הקלאסיות: שרשור של RS עם קוד קונוולוציה. • בפרק המבוא – נדון בחסמים, בביצועים של קודים מול חסמים תאורטיים, נפתח דלת לשיטות המתקדמות (נושאים מרתקים לעבודות גמר, מחקר...) • מרבית הקורס ידון בשיטות הקלאסיות (ספרי לימוד משנת 83..), עם קשר הדוק לתורת התקשורת. נלמד את הרקע המתמטי הנחוץ להבנת תורת תיקון השגיאות. Dr. Moshe Ran /מבוא לתורת הצפינה

11. מושגי יסוד בתורת המידע • מה זה "מידע" (אינפורמציה)? ככל שהצרכן ב"יעד"מופתע יותר מהמידע ששודר יש "יותר מידע" בהודעה שנשלחה. הגדרת כמות מידע של מקור מידע בדיד - • כמות מידע יכולה להשתנות מהודעה אחת לשניה, כי Pjאינו בהכרח שווה בהודעות שונות. נניח, מקור מידע בדיד עם אוסף סופי של m הודעות, לכ"א יש הסתברות שונה של Pj, הודעות בלתי-תלויות. • אנטרופיה, H = מספר המיצג את האינפורמציה הממוצעת של מקור המידע Dr. Moshe Ran /מבוא לתורת הצפינה

12. תורת המידע (המשך) • קצב מקור, R , נתון ע"י • הערות על אנטרופיה בתקשורת: • אנטרופיה נותנת משמעות "פיזיקלית" למושג מידע (אינפורמציה) בהקשר הבא: • - ככל שיש בניסוי יותר תוצאות, אי הוודאות גדולה יותר. כדי "לנחש" תוצאה צריך "יותר מידע". • - אם שולחים, נניח, 16 הודעות שוות הסתברות. צריך 4 ביט (4 שאלות בינריות) כדי "לנחש" איזו הודעה נשלחה. כלומר, הודעה הכילה 4 ביטי מידע. • - האנטרופיה מודדת את אי-הודאות (מידת האקראיות) בתוצאה מתקבלת למ.א. X. המידע שיש במשתנה האקראי על עצמו הוא האנטרופיה שלו. • - הפיתוח הקלאסי של תורת המידע מתחיל בהגדרות פורמליות לאנטרופיה של מ.א. בודד ושל "אנטרופיה הדדית" בין מ.א. X למ.א. Y ומהן ניגזרת הגדרת אינפורמציה. Dr. Moshe Ran /מבוא לתורת הצפינה

13. מושגי יסוד בתורת המידע (המשך) אנטרופיהH(X) אנטרופיה של מ.א. X המקבל ערכים אפשריים X=ai מתוך אוסף Ax של ערכים אפשריים עם ההסתברויות Pi הוא מידה לתכולת המידע או "אי הוודאות" שיש בממוצע במאורע X=ai לכל ערך i Dr. Moshe Ran /מבוא לתורת הצפינה

14. מושגי יסוד בתורת המידע (המשך) אנטרופיה הדדית של X,Y אנטרופיה הדדית של מ.א. X,Yהמקבלים ערכים אפשריים X=ai מתוך אוסף Ax ו Y=bj מתוך אוסף AY של ערכים אפשריים עם ההסתברויות P(x,y)הוא מידה לתכולת המידע או "אי הוודאות" שיש בממוצע במאורע (,Y=bj(X=ai Dr. Moshe Ran /מבוא לתורת הצפינה

15. מושגי יסוד בתורת המידע (המשך) אנטרופיה מותנית H(X|Y) אנטרופיה מותנית של Xנתון Y – מודדת את אי הוודאות הממוצעת שיש בכניסה לערוץ ("הודעה") בהינתן הודעה ניקלטת (מדידה) Y Dr. Moshe Ran /מבוא לתורת הצפינה

16. אנטרופיה - המשך • כלל שרשרת לאנטרופיה • אינפורמציה הדדית (הערך הממוצע בו קטנה האי-וודאות של X כאשר לומדים את הערך של Y) Dr. Moshe Ran /מבוא לתורת הצפינה

17. סיכום - אנטרופיה H(X,Y) H(X) H(Y) H(X|Y) I(X,Y) H(Y|X) Dr. Moshe Ran /מבוא לתורת הצפינה

18. משפטי Shannon • קידוד מקור מידע: לא ניתן לדחוס מקור מידע ללא איבוד מידע עם פחות ביטים מאשר האנטרופיה H(X) של המקור. יש צמד מקודד-מפענח מקור "אופטימלי" המאפשרים לדחוס-לפרוס עד לחסם האנטרופיה. • קידוד ערוץ עם רעש: אם קצב המקור (אנטרופיה ליחידת זמן) R קטן ממספר C המציין קצב מקסימלי של העברת מידע בערוץ ("קיבול ערוץ"), ניתן להעביר מידע ללא שגיאות בערוץ, למרות הרעש בערוץ. יש צמד מקודד-מפענח ערוץ אופטימליים המאפשרים להגיע עד לקיבול הערוץ עם שגיאה קטנה כרצוננו. Dr. Moshe Ran /מבוא לתורת הצפינה

19. משפטי Shannon קידוד ערוץ עם רעש – ערוץ AWGN נניח שולחים אות עם הספק ממוצע P דרך ערוץ רציף ברוחב סרט B (Hz) ורעש מתחבר לבן AWGN עם הספק ממוצע N מתווסף לאות. אזי – C קיבול הערוץ (=קצב מקסימלי של העברת אינפורמציה בערוץ) C תלוי אך ורק באופי הערוץ משפטקידוד ערוץ במקרה של ערוץ רציףAWGNואילוץ רעש ממוצע בערוץ N =N0B N0 noise PSD (one sided) Dr. Moshe Ran /מבוא לתורת הצפינה

20. קיבול ערוץ AWGN - המשך • המחשה לקיבול ערוץ: ברור שניתן לשדר בכל Hz כמה ביטים של מידע. נצילות ספקטרלית של מערכת תקשורת מוגדרת ע"י Dr. Moshe Ran /מבוא לתורת הצפינה

21. הסתברות שגיאה • BER = Average Bit Error Rate, Pb • PER = Average Packet error rate or message error rate, Pm For Fading Channels – Outage Probability is the preferred criteria: • Pr (BER > T) Probability that the BER will exceed a specified threshold, OR • Pr (PER > T) Probability that the PER will exceed a specified threshold אם הודעה מכילה k ביטים, וכן 1 >>kPb Dr. Moshe Ran /מבוא לתורת הצפינה

22. יחס אות לרעש SNR • קשר בסיסי בין SNR ליחס אות לרעש מנורמל יחס אות לרעש מנורמל בקליטה – תלוי אך ורק בקצב הביטים -Rb וביחס בין הספק נקלט P לצפיפות ספקטרלית של הרעש. גודל זה אינו תלוי –במודולוציה, או בשיטת הקידוד לתיקון שגיאות . Dr. Moshe Ran /מבוא לתורת הצפינה

23. המשך נוסחאות היחס בין קצב הביטים Rb ובין רוחב הסרט B של האות המאופנן נקרא Bandwidth Efficiency (או גם Spectral Efficiency ) של סכמת האפנון - [bps/Hz] Dr. Moshe Ran /מבוא לתורת הצפינה

24. דוגמא: חשב את יחס אות לרעש לביט מידע Eb/N0 המינימלי הנדרש למערכת תקשורת המעבירה מידע בערוץ גאוסי רציף, בהנחה שמתקיים B>>R. שנון- קיבול ערוץ קשר בין יחס אות לרעש מינימלי ובין רוחב סרט ערוץ וקצב האינפורמציה R Dr. Moshe Ran /מבוא לתורת הצפינה

25. דוגמא: נניח אפנון BPSK לפי Shannon אם יתקיים – יש מערכת מקודד- מפענח המעבירים ללא שגיאות את המידע דרך התווך. ז.א הגבר קידוד עבור BER=10-5הנו: סכמת הקידוד הכי חזקה שאומצה ע"י NASA בשנות ה 80 – בהתבסס על שרשור RS עם קוד קונוולוציה נתנה לא יותר מ 7.4 ד"ב. היום ניתן להגיע עם Turbo Codes ו LDPC עד ~0.2dB מחסם שנון. Dr. Moshe Ran /מבוא לתורת הצפינה

26. R/B Bandwidth –Efficiency Plane Dr. Moshe Ran /מבוא לתורת הצפינה

27. Bandwidth Efficiency Plane הציר האנכימתאר הנצילות הספקטרלית (Bandwidth Efficiency) הציר האופקי הוא יחס Eb/N0 ב dB • גבול קיבול ערוץ הוא הערך בו מתקיימת המשוואה • מיפוי שיטות האפנון השונות בנקודת עבודה של • BPSK , QPSK אותו Eb/N0 אך ל QPSK נצילות ספקטרלית 2 בעוד של BPSK נצילות 1 • לשיטת M-PSK נצילות ספקטרלית גדלה מונוטונית עם M • M-QAM שיטה הכי יעילה מבחינת נצילות ספקטרלית • לאורך קוו 1 (אופקי-ימין) מגדילים Eb/N0ומקטינים BER - R/B קבוע • לאורך קוו 2 (אנכי-יורד) מקטינים נצילות ספקטרלית לשיפור BER - Eb/N0קבוע • לאורך קוו 3 (אלכסון עולה) - משפרים נצילות ספקטרלית ע"ח הגדלת Eb/N0 BER נשמר קבוע. מערכות מעשיות רחוקות ב כ 10dB מהגבול של קיבול ערוץ...! Dr. Moshe Ran /מבוא לתורת הצפינה

28. Bandwidth Efficiency Plane • שני המשאבים – P הספק משודר , רוחב סרט B יכולים להיות משמעותיים במערכות תקשורת. • מערכת מוגבלת הספק: נרצה להקטין למינימום את ההספק המשודר (דוגמא: ערוץ לווין). • תנועה במישור נצילות ספקטרלית: אנכי למטה (קוו 2) אוו אלכסון יורד (קוו 3). הגרף תלול – לכן הקטנה מזערית ב Eb/N0מחייבת הקטנה דרסטית ב R/B • מערכת מוגבלת רוחב סרט: נרצה להגביל למינימום את רוחב הסרט המוקצה לשידור. הדרך: להשתמש במודולציות עם M רמות המעבירות log2M סיביות מידע במשך T שניות ככל ש BT קטן יותר הנצילות הספקטרלית גדלה Dr. Moshe Ran /מבוא לתורת הצפינה

29. Dr. Moshe Ran /מבוא לתורת הצפינה