Convergence Time to Nash Equilibria

1. Convergence Time to Nash Equilibria Eyal Even-Dar Alex Kasselman Yishai Mansour עידו פלדמן גיא גרבלה

2. נושאי ההרצאה • משחקי Load Balancing. • מודל פורמלי. • מוטיבציה. • מכונות שונות. • מכונות דומות. • מכונות זהות.

3. משחקי Load Balancing • המשאבים: מכונות בעלות פרמטרים שונים • השחקנים: עבודות בעלות משקלים שונים • מחיר לכל שחקן: העומס על המכונה בה בחר

4. Load Balancing – דוגמה • מספר שרתי FTP זהים בתוכן, אך לא במהירות. • כל שחקן מעוניין להוריד קובץ כלשהו. • המטרה: לבחור שרת כך שזמן ההמתנה לקובץ יהיה מינימאלי.

5. סוגי מכונות • זהות (10 שרתי קבצים בעלי רוחב פס זהה) • דומות (שרתי קבצים בעלי רוחב פס שונה) • שונות (מסוק ואופניים)

6. סוגי עבודות • מקרה 1: ניתן להוריד קובץ מכל אחד מהשרתים. • מקרה 2: קיימים קבצים שלא נמצאים בכל השרתים. • נתעניין גם באפשרות בה לא כל עבודה יכולה להתבצע על כל מכונה.

7. מוטיבציה • חסמים כללים: • חסמים עליונים עבור פונקציות משקל כלליות. • חסמים עבור מקרים פרטיים של פונקציות משקל. • אופטימיזציה לאסטרגית השרת: • חסמים עליונים לאסטרטגיות "טובות" • חסמים תחתונים לאסטרטגיות "רעות"

8. המודל: מכונות ועבודות • mמכונות, n עבודות. • מהירות: למכונה Mi מהירות . • השמה מוגבלת: עבודה J תרוץ על מכונה ב-R(J). • משקל לכל עבודה: • במכונות שונות: לעבודה J על Mp משקל wp(J). • אחרת (מכונות דומות/זהות): לעבודה J משקל w(J). • M(J,t): המכונה שמריצה את J בזמן t.

9. המודל: משקולות ועומסים • משקל כולל W, משקל מקסימלי wmax. • משקלים כללים, שלמים או דיסקרטיים (K סוגים). • בזמן t: • Li(t) – סכום משקלי העבודות במכונה i. (Lmax=max{Li}) • Ti(t) – "זמן סיום" : Ti(t)=Li(t)/Si. (Tmax=max{Ti})

10. המודל: בקר (ESS) • בכל צעד, רק עבודה אחת יכולה לעבור למכונה אחרת (למה?). • הבקר (אנחנו)שולט בזכות המעבר, אבל לא ביעד. • דוגמאות לאסטרטגיות: Max Weight, Min Weight, Random.

11. L1=3 T1=3 L2=3 T2=1.5 S1=1 S2=2 המודל: דוגמה (מכונות דומות) 1 1 3 2 M1 M2

12. מכונות שונות (Unrelated) • משקל העבודה הוא תלוי מכונה. • המערכת תמיד מתכנסת לש"מ נאש. • נראה חסמים עליונים עבור משקלים כלליים, משקלים דיסקרטיים ומשקלים שלמים. • אופטימיזציה: נראה חסם עליון משופר עבור: Max Load Machine

13. מכונות שונות - התכנסות טענה: מצב במערכת לא חוזר פעמיים. • נתבונן במצב במערכת: 100,30,10,70,50,80 • לאחר מיון: 100,80,70,50,30,10 • אם מעבירים משקל מ-80 ל-10 בשתי המכונות העומס יהיה קטן מ-80 (למה?) • לכן, הסדר הלקסיקוגרפי (הממוין) יהיה קטן יותר.

14. מכונות שונות – התכנסות (המשך) מסקנה: מספר הצעדים חסום ע"י מספר המצבים. משפט: עבור מכונות שונות ומשקלים כללים, המערכת מתכנסת לאחר O(mn) צעדים.

15. מכונות שונות – משקלים דיסקרטיים • נשפר את החסם על מספר המצבים במערכת. • יהי ni מספר העבודות עם משקל wi . • מספר המצבים עבור עבודות עם משקל wi: • חסם למספר המצבים: • זה החסם למספר הצעדים עבור משקלים דיסקרטיים.

16. מכונות שונות – משקלים שלמים Li(t+1)≤ Li(t)-1 Lj(t+1)≤ Li(t)-1 • נשתמש בפונקציית פוטנציאל: • לכל מצב, ובפרט למצב הסופי: . • בכל מצב, ובפרט המצב ההתחלתי: . • אם בזמן t עבודה עוברת מ-i ל-j אזי:

17. מכונות שונות – משקלים שלמים (המשך) משפט: במכונות שונות ומשקלים שלמים, זמן ההתכנסות הוא לכל היותר 4W/2. משפט: באסטרטגית Max-Load-Machine ומשקלים שלמים, זמן ההתכנסות חסום ע"י:

18. Max-Load-Machine - הוכחה שתי פאזות: • פאזה ראשונה נמשכת כל עוד: • בפאזה שנייה: הפוטנציאל בתחילת (2): לכן, פאזה זו מסתיימת לאחר לכל היותר:

19. Max-Load-Machine – פאזה 1 בפאזה (1): לכן, כל עבודה במכונה העמוסה ביותר יכולה לעבור. השינוי בפוטנציאל הוא לפחות . מכאן:P(t+1)≤P(t)∙(1-1/2m) ולכן: זמן שלב (1) חסום ע"י:4mW.

20. מכונות דומות • פונקצית פוטנציאל שונה • זמן התכנסות ל-ε-Nash. • זמן התכנסות ל-Nash (בשלמים). • תוצאות אחרות (ללא הוכחה)

21. מכונות דומות (Related Machines) • במכונות דומות, • חסם תחתון: • חסם עליון:

22. למה 1 (השינוי בפוטנציאל) למה: אם בזמן t עבודה במשקל w עוברת ממכונה i ל- j, אזי: הוכחה:

23. למה 1 (המשך)

24. מכונות דומות – ε-Nash משפט: במכונות דומות, זמן ההתכנסות ל-ε-Nash הוא . הוכחה: הירידה בפוטנציאל בכל צעד: ולכן:

25. מכונות דומות - Nash משפט: במכונות דומות עם משקלים ומהירויות בשלמים, זמן ההתכנסות לש"מ נאש חסום ע"י: הוכחה: אם בזמן t עברה עבודה מ-i ל-j אז:

26. תוצאות נוספות • עבור אסטרטגיית Max-Load-Machine החסם על ההתכנסות הוא: • עבור משקלי יחידה, קיימת אסטרטגיה שמתכנסת בזמן O(mn). • עבור משקלי יחידה, קיימת אסטרטגיה שמתכנסת בזמן Ω(mn).

27. מכונות זהות (Identical Machines) • בחלק זה נדון בחסמים משופרים לגבי מכונות זהות כאשר ההשמות אינן מוגבלות (כל עבודה יכולה לרוץ על כל מכונה). • נשים לב כי בהצגת חסם תחתון למודל זה אנו למעשה מראים חסם תחתון לכל המודלים • נראה כי גם במקרה בו יש שתי מכונות בלבד יש קונפיגורציה שמתכנסת תוך Ω(n2) צעדים.

28. מכונות זהות - תזכורת • במכונות זהות, לכל מכונה Miמתקיים Si=1 • המשקל של עבודה מסוימת J שווה על כל מכונה, כלומר wi(J)=w(J) לכל i

29. הגדרות נוספות • Best-reply policy: עבודה J בוחרת במכונה Miשממזערת את Li (לאחר המעבר). למכונה הנבחרת נקרא best response (BR) ביחס ל – J ה-Marginal load ביחס לעבודה J הוא העומס ללא J.

30. מכונות זהות – תכונות עיקריות אבחנה 1: בכל יחידת זמן העומס המינימלי בין המכונות לא יורד. עומס מינימלי עומס מינימלי

31. מכונות זהות – תכונות עיקריות אבחנה 2: אם עבודה J עברה למכונת ה B.R.שלה, Miבזמן t אז Miהיא minimal marginal load machine (MMLM) ביחס לכל עבודה ב Miבזמן tבעלת משקל גדול או שווה למשקל J

32. מכונות זהות – תכונות עיקריות (המשך) טענה 1: נניח שעבודה J עברה למכונה M בזמן t. אם J רוצה לעבור למכונה אחרת בזמן t’>t, אז קיימת עבודה אחרת בעלת משקל גדול יותר שעברה ל M בזמן t’’, כאשר t<t’’≤t’ הוכחה: מכיוון ש M היא B.R. עבור J נובע שהיא ה MMLM בזמן t.

33. מכונות זהות – המשך הוכחה לפי אבחנה 1, העומס המינימלי לא יורד ולכן הסיבה היחידה ש Jרוצה לעבור מכונה היא שעבודה אחרת הגיעה ל M.

34. מכונות זהות – המשך הוכחה לפי אבחנה 2 – הגעה של עבודה עם משקל קטן יותר מ J תשמור על M כ MMLM ביחס ל-J.לכן, בהכרח עבודה אחת לפחות עם משקל גדול מ-J הצטרפה ל- M בזמן שבין t+1וt’.

35. מכונות זהות – Max Weight Job משפט: במקרה של Max Weight Job strategyעם B.R policy, עם מכונות זהות וללא הגבלת השמות, נתכנס לש"מ נאש בלכל היותר n צעדים. הוכחה: לפי הטענה, ברגע שעבודה עברה למכונה חדשה היא לא תעזוב עד שעבודה בעלת משקל גדול יותר תגיע.

36. Max Weight Job – המשך הוכחה אבל לפי MaxWJרק עבודות בעלות משקל קטן יותר יכולות להגיע לאחר העבודה. לכן כל עבודה עוברת לכל היותר פעם אחת. => מס' הצעדים חסום ע"י מס' העבודות(= n), מ.ש.ל

37. מכונות זהות – Min Weight Job משפט: עבור MinWJ עם מדיניות B.R ,עם מכונותזהות וללא הגבלת השמות, קיימת קונפיגורציה כך שדרושים לפחות צעדים כדי להגיע לש"מ נאש, כאשר:

38. מכונות זהות – MinWJ ו FIFO משפט: עבור MinWJ ו FIFO עם מדיניות B.Rבמערכת של שתי מכונות זהות ללא הגבלת השמות, קיימת קונפיגורציה הדורשת לפחות צעדים כדי להגיע לש"מ נאש. הוכחה: נגדיר מחלקות של עבודות: C1,C2,…,Cn/2 כל מחלקה מכילה שתי עבודות במשקל wi=3i-1

39. MinWJ ו FIFO – המשך הוכחה אבחנה: משקלה של עבודה ב Ci במשקל wi שווה לסכום המשקלים ב i-1 המחלקות הראשונות ועוד 1. בתחילה כל העבודות באותה מכונה. k-שלב: חוץ מעבודה אחת ב Ck, כל העבודות מ C1,…,Ckעוברות למכונה השנייה.

40. MinWJ ו FIFO – המשך הוכחה(2) קל לראות כי השלבים n/2,…,1 מהווים MinWJוכן FIFO (אם בשוויון לוקחים משקל מינימלי) k-שלב לוקח 2k-1 צעדים, ולכן נזדקק ל n2/4 צעדים.

41. מכונות זהות – חסמים נוספים משפט: לאסטרטגיה אקראית עם מדיניות B.Rנגיע לש"מ נאש בזמן ממוצע של עד n(n+1)/2צעדים. משפט: לאסטרטגית FIFO עם מדיניות B.R נגיע לש"מ נאש בלכל היותר n(n+1)/2 צעדים. הוכחה: בשקף הבא.

42. מכונות זהות – חסמים נוספים משפט: לאסטרטגית FIFO עם מדיניות B.R, נגיע לש"מ נאש בלכל היותר n(n+1)/2 צעדים. הוכחה: סיבוב:רצף מקסימלי של עבודות שעוברות מכונה, כאשר ברצף אף עבודה לא מופיעה יותר מפעם אחת. נתבונן בסיבוב R בעבודה J בעלת משקל מקסימלי המעוניינת לעבור מכונה בתחילת R

43. חסמים נוספים – המשך הוכחה לפי הגדרת FIFO, J תיבחר במהלך R (ותעבור אם עדיין תרצה לעבור) לפי טענה 1, J לא תעבור מכונה במהלך הסיבובים הבאים, לכן הסיבוב ה kיכיל לכל היותר n-k+1 עבודות. מכאן – סה"כ זמן ההתכנסות חסום ע"י

44. מכונות זהות – חסמים נוספים (המשך) • משקלים דיסקרטיים: משפט: במקרה זה לכל אסטרטגיה במדיניות B.Rההגעה לש"מ נאש היא ב O((n/K+1)K)צעדים. • משקלים שלמים: משפט: במקרה זה לכל אסטרטגיה במדיניות B.Rההגעה לש"מ נאש היא ב W+n צעדים.

45. מכונות זהות – חסמים נוספים (המשך) • משקלים זהים: משפט: קיימת אסטרטגיה כך שההגעה לש"מ נאש עבורה לוקחת לפחות Ω(min{mn,nlogn(logm/loglogn)})

46. הערות לסיכום • חקרנו בעיות של load balancing כאשר העבודות היו אנוכיות (selfish users) • התעניינו במספר הצעדים שלוקח על מנת להגיע לש"מ נאש באסטרטגיות שונות. • ראינו כי עבור אסטרטגיות מסוימות ההגעה לש"מ נאש נעשית במספר פולינומי של צעדים, ועבור אסטרטגיות אחרות ייתכן מס' אקספוננציאלי של צעדים.

47. הערות לסיכום (המשך) • לזמן ההתכנסות לש"מ נאש יש חשיבות גדולה, אפילו במערכות שכבר פועלות בש"מ נאש, המשתמשים יכולים להצטרף או לעזוב. • לכן, בתכנון אלגוריתמים מבוזרים באינטרנט, יש להתחשב בזמן ההגעה לש"מ נאש.