רקע, מטרות ודרכי פעולה פרופ' מיכל בלר מנכ"לית ראמ"ה יום עיון – לקט ממצאים ממחקרי ראמ"ה

1. רקע, מטרות ודרכי פעולה פרופ' מיכל בלר מנכ"לית ראמ"ה יום עיון – לקט ממצאים ממחקרי ראמ"ה פברואר 2012 מחקרים והערכת פרוייקטים בראמ"ה

3. ניטור אלימות -- השוואה בין תשס"ט ותשע"א מגמות שיפור במרבית המדדים. לא נרשמה הרעה של ממש באף מדד מגמות השיפור פחות ניכרות בשכבות י'-י"א יציבות(שינוי של 2%- עד 2%+) שיפור(3% ומעלה, בכיוון החיובי) הרעה (3% ומעלה, בכיוון השלילי) * כיתות ו' בלבד** נושאים אלו לא נכללו בשאלוני כיתות ד'-ו'

4. ניטור אלימות - עיקר הממצאים • במרבית מדדי האלימות ניכרת מגמת שיפור בין תשס"ט לתשע"א, בשלבי הגיל השונים ובשני מגזרי השפה. בשאר המדדים נרשמה יציבות בין השנים • בפרט, ניכר השיפור (ירידה בשיעורי התלמידים המדווחים על אלימות) במדדים הבאים: • אלימות קשה • אלימות חברתית • אלימות מצד הצוות וכלפי הצוות • אלימות מינית • אלימות בהסעות • שתיית אלכוהול • מגמת השיפור מאפיינת את שני מגזרי השפה, כשהיא בולטת במיוחד בדיווחי תלמידים מבתי"ס דוברי ערבית • מגמת השיפור בין השנים מאפיינת בעיקר את כיתות ד'-ו' ו-ז'-ט'. בדיווחי תלמידים מבתי ספר דוברי עברית בכיתות י'-י"א, נרשמה במרבית המקרים יציבות בין השנים. בדיווחי תלמידים מבתי ספר דוברי ערבית בכיתות י'-י"א נרשם במרבית המדדים שיפור

5. ניטור אלימות (המשך) - עיקר הממצאים בכל אחת מהשנים תשס"ט ותשע"א נמצא כי: • ככל ששלב הגיל גבוה יותר, כך דווח על התרחשות פחותה של מרבית סוגי האלימות זאת, פרט לביצוע אלימות כלפי הצוות, הבאת נשק קר לביה"ס, שתיית אלכוהול ושימוש בסמים -- תופעות בהן הפער שנרשם הוא בכיוון ההפוך • תלמידים בבתי ספר דוברי ערבית מדווחים על יותר תופעות שליליות במרבית המדדים שנבדקו בשאלונים, בהשוואה לתלמידים בבתי ספר דוברי עברית זאת, פרט לאלימות מילולית ולשימוש באלכוהול -- תופעות בהן הפער שנרשם הוא בכיוון ההפוך

6. הערכת תכניות

7. הערכה: הגדרה הערכה היא בחינה שיטתית של ההפעלה (דרך הביצוע) ו/או של התוצאות של תכנית או מדיניות, והשוואתה לסטנדרטים גלויים או סמויים, כאמצעי לשיפור התכנית או המדיניות או לצורך קבלת החלטות בנוגע אליהם. Weiss (1998)

8. מתודה ושאלות מחקר

9. Taylor-Powell, Steele, and Douglah (1996) wrote: “There is no blueprint or recipe for conducting a good evaluation”

10. Quality: Levels of evidence • Randomized trials (true experiment) • Comparison groups (quasi-experiment) • Pre-Post comparison • Correlational studies • Case studies • Anecdotes All evidence is NOT created equal

11. אתיקה מקצועית • ב- 1984 פרסמה "הוועדה המשותפת לסטנדרטים להערכה חינוכית" סטנדרטים להערכה של תכניות אשר אומצו ע"י המכון האמריקאי לסטנדרטים לאומיים ANSI • חמשת העקרונות למעריכי תכניות: • חקירה שיטתית - חקירה מדויקת, אמינה, ברורה, שקופה ומבוססת נתונים • מיומנות -מעריכים מקצועיים ובעלי הכשרה מתאימה • יושרה - יושר והגינות של תהליך ההערכה • הבטחת היושר וההגינות של תהליך ההערכה: מגבלותיו והשלכותיו • חשיפת אינטרסים של המעריך או ניגוד אינטרסים • כבוד לבני אדם - כיבוד הביטחון והערך העצמי של הנבדקים, משתתפי התכנית, הלקוחות ובעלי עניין אחרים • חיסיון הנתונים ואנונימיות • הסכמה מדעת • דיווח אודות ממצאים שליליים • אחריות כלפי רווחתו של הציבור - מגוון האינטרסים והערכים העשויים להיות קשורים ברווחת הציבור • לקיחה בחשבון כלל האינטרסים של כל הנוגעים בדבר (ולא רק ה"לקוח") • חופש המידע

12. הערכת תוכניות ופרויקטים במערכת החינוך

13. מאפייני הערכת תכניות במערכת החינוך • פניות רבות והולכות לראמ"ה להערכת תכניות ופרויקטים • סוגי הבקשות: • בדיקת אפקטיביות (הערכה מסכמת) • בקשות לקבל מידע מהשטח בזמן אמת (הערכה מעצבת) • בקשות לבקרה במסווה של הערכה • במקרים רבים פונים בבקשה להערכה מבלי להגדיר בבירור מהן מטרות ההערכה (או מהן מטרות הפרויקט) • במרבית התכניות - אין מסד נתונים מסודר • שונות וגיוון רב בתכניות המוערכות, הנבדלות זו מזו על-פי: • תכני התוכנית (חינוכי, חברתי, ערכי, מוסדי) • היקף התוכנית • אורך התוכנית • מורכבות התוכנית • אוכלוסיית היעד (שלב גיל, מגזר וכו') • מזמיני מחקר הערכה ובעלי העניין • השלב בו משתלבת הערכת התכנית

14. צרכני המחקר העיקריים הנהלת המשרד: שר, מנכ"ל המינהל הפדגוגי: האגף לחינוך על-יסודי האגף לחינוך יסודי האגף לחינוך קדם-יסודי אגף לתלמידים מחוננים ומצטיינים אגף לקליטת עליה אגף שירות פסיכולוגי ייעוצי אגף חינוך מיוחד מינהל חברה ונוער המינהל להכשרה והתפתחות מקצועית של עובדי הוראה מינהל החינוך הדתי המינהל לחינוך התיישבותי ועליית הנוער המזכירות הפדגוגית מחוזות המשרד הכנסת והציבור בכללותו

15. עקרונות הפעולה של ראמ"ה • הערכת תכניות רחבות היקף שיש בהן יש השקעה גדולה • כניסה לתהליך ההערכה בשלבים מוקדמים של חשיבה ותכנון • מתן מענה למגוון בעלי העניין (אין "לקוח") • תפירת "חליפה" ייחודית ומושכלת לכל פרוייקט (קביעתמערך המחקר ובניית הכלים) • שילוב נכון בין מחקר כמותי לאיכותני (Mixed Models): • מודלים סימולטנים • מודלים דו-שלביים (חוקרני או הסברתי) • איסוף מידע ממגוון אינפורמנטים לקבלת תמונה מקיפה המשקפת את מגוון נקודות המבט של המעורבים בתכנית • מעקב לאורך זמן • מתן דגש על אתיקה מקצועית

16. אבני דרך טיפוסיות • תהליך ראשוני של תיאום ציפיות והתכווננות בין מזמיני ההערכה למבצעיה. דרישות בסיס: • ניסוח ברור ואופרטיבי של מטרות, הבהרת הקשר בין מטרות, דרכי פעולה ותוצאות • קיומו של בסיס נתונים מסודר או איסוף נתוני בקרה ע"י המזמין • גיבוש צוות מחקר: • באופן טיפוסי צוות מורכב ממרכז הפרויקט ומחוקר מוביל נוסף בדיסיפלינה המשלימה (כמותית/ איכותנית) • הקמת ועדת היגוי (בהערכות רחבות היקף ומרכזיות): • פורום הכולל אנשי ראמ"ה ומומחים מבחוץ. ועדת ההיגוי מלווה את תכנית המחקר ומתכנסת בזמנים קבועים על מנת לקבל דיווחי ביניים ולסייע תוך כדי תנועה.

17. אבני דרך טיפוסיות (המשך) • גיבוש של הצעת הערכה הכוללת תכנית, לו"ז ותקציב: • מסמך ההצעה כולל את עיקרי המחקר/ההערכה כפי שיבוצעו בהמשך. • מסמך מחייב הן מבחינת המתודולוגיה המחקרית, הן מבחינת לוחות הזמנים והן מבחינת המסגרת התקציבית. • כאשר מזמין הערכה הוא גורם מחוץ לראמ"ה, מזמין הערכה יבצע העברה תקציבית בכפוף לתכנית המחקר. • סקירת ספרות מתאימה: • באופן טיפוסי, סקירת ספרות תכלול תיאור של הספרות הרלוונטית והעדכנית באשר לסוגיות הנבחנות במחקר ובאשר למתודולוגיה שיעשה בה שימוש, ותיבנה בצורת משפך לקראת שאלות המחקר והשערות המחקר (אם ישנן)

18. אבני דרך טיפוסיות (המשך) • אישור ההצעה ע"י הבאים: • מובילי ההערכה מתחום מתודולוגיה וסטטיסטיקה • מזמיני ההערכה • מנהלת אגף מו"פ • הגורמים האמונים על הצד התקציבי בראמ"ה • מנכ"לית ראמ"ה • בנוסף, ההצעה תובא בפני ועדת ההיגוי (במידה וקיימת) • ביצוע הליך מחקר מקצועי ולבסוף - כתיבת דוח המחקר: • תכנון מפורט של מערך המחקר/הערכה, בניית כלי ההערכה, בניית המדגם, איסוף נתונים, טיפול בנתונים, בדיקת נתונים, עיבוד נתונים, כתיבת הדוח

19. אבני דרך טיפוסיות (המשך) רוויו מקצועי: קריאה של הדוח ע"י גורמים מקצועיים הן מראמ"ה והן מחוץ לראמ"ה. כל תוצר (דוח הערכה, מאמר, דוח מחקר וכיו"ב) עובר רוויו ע"י קוראים שונים: מומחי תוכן ומומחי הערכה פרסום והפצה: דוחות שונים עוברים שלבים שונים של חשיפה, הצגה והפצה. באופן טיפוסי, דוח יוצג תחילה בפני הגורמים המזמינים ובהמשך במעגלים רחבים יותר של מטה המשרד, עד לפרסומו הסופי באתר ראמ"ה. הפקת תועלת והמשך הפצת הידע: שימוש בממצאי ההערכה. שיפור ועדכון התוכניות בעקבות הצגת הממצאים בקרב קהלי יעד ובעלי עניין שונים. ה

20. מדדי תשומות ותוצאות

21. מדדי תשומות • נתונים מנהליים – מאגר נתוני משרד החינוך • שאלונים וסקרים ייעודיים • ניטור ובקרה (חסר במרבית המקרים)

22. כלים ומדדי תוצאה • ראיונות מובנים • תצפיות מובנות • קבוצות מיקוד • שאלונים ייעודיים • נתוני הישגים: מיצ"ב, בגרות, מבחנים ייעודיים • נתוני אקלים וסביבה פדגוגית: סקרי מיצ"ב, סקרים ייעודיים • נתונים ממערכת הערכת סגלי הוראה • נתוני מחקרים ומבחנים בינלאומיים

23. תיאור מחקרים נבחרים

24. התוכניות הנמצאות עתה בשלבי עבודה שונים

25. סוגים של הערכת תכניות ופרויקטים תכניות רחבות היקף: רפורמות מערכתיות ו/או פרויקטים רחבי היקף ומרובי משתתפים. בד"כ במוקד של התעניינות ציבורית תכניות בעלות פוטנציאל להרחבה: תכניות מקומיות, בדרך כלל מוגבלות בהיקף שלהן, אך כאלו המעוררות עניין ונתפסות כבעלות פוטנציאל להרחבה כלל ארצית פרויקטים חינוכיים: תכניות מקומיות, בהיקף מוגבל, כאלה שנמצאות במוקד ההתעניינות של המזמין, אך לא בהכרח במוקד של התעניינות ציבורית איגום תוכניות שונות בראיה מערכתית: בחינה במקובץ של מספר תכניות, בעלות מטרות משותפות ומאפיינים דומים. במקום לבדוק כל תכנית בנפרד, מיפוי של מכלול התכניות ובהמשך בדיקה שלהן

26. מחקרי הערכה רחבי היקף הערכת רפורמת "אופק חדש": יישום, הטמעה ומידת התרומה לאקלים ולהישגים הלימודיים בבתי הספר היסודיים ובחט"ב. מחקר ההערכה כלל איסוף מידע באמצעות מבחנים, שאלונים שהועברו למורים ותלמידים, למנהלים ולהורי התלמידים וכן איסוף מידע איכותני. מערך הערכה (מעצב ומסכם) רב-שנתי. הערכת רפורמת "עוז לתמורה": ליווי הרפורמה מראשיתה. בשלב הראשון ניתן דגש להערכה מעצבת: יישום והטמעה של הרפורמה בחט"ע. בהמשך תיבחן התרומה של הרפורמה לאקלים ולהישגים הלימודיים. מחקר ההערכה כולל איסוף מידע ממנהלים וממורים בקבוצות מיקוד, ראיונות אישיים ושאלונים. הערכת התכנית הלאומית להתאמת מערכת החינוך למאה ה-21: הערכה זו משלבת הערכה מעצבת ומסכמת : א מעקב אחרי תהליכי ההטמעה, היישום והעמדות כלפי התכנית לאורך זמן, לצורך סיוע למובילי התכנית בקבלת החלטות לשיפור אופן יישום התכנית. ב. מחקר מבוקר לבחינת אפקטיביות שילוב של תקשוב משמעותי בכיתות.

27. מחקרי הערכה - פוטנציאל להרחבה הערכת פתיחת מרכזים להשלמת השכלה למבוגרים:מטרת ההערכה היא לבחון באופן השוואתי את מידת התרומה של פתיחת המרכזים על ההישגים הלימודיים ועל פרמטרים של אקלים בית ספרי בבתי ספר שהורי תלמידים בהם משתתפים בקורסים להשלמת השכלה. מערך מחקר ניסויי מבוקר. הערכת מודל בת-ים לחינוך אישי: בחינת תהליכי יישום התכנית, העמדות כלפי התכנית, בדיקה השוואתית של האקלים הפדגוגי והחברתי בבתי הספר, וכן בחינת ההישגים הלימודיים במסגרת המיצ"ב. הערכת התכניות להסבת אקדמאיים להוראה:בחינת העמדות כלפי התכניות בקרב המצטרפים, שיעורי הנשירה וההתמדה והסיבות להן, וכן בחינת התפיסות של צוותי בתי הספר באשר למורים המשתלבים מתוך תכניות אלו. הערכה מעצבת.

28. מחקרי הערכה - פרויקטים חינוכיים מחקרי הערכה - בקשות מאגפים במשרד הערכת תכנית עוגן למניעת נשירה בקרב תלמידים עולים: תכנית של חונכות אישית לתלמידים עולים הנמצאים בסכנת נשירה, ע"י מורים מצוות ביה"ס. במסגרת הערכה נבקש לבחון את העמדות כלפי החונכות בקרב תלמידים ומחנכים. הערכת התכנית לאורח חיים בריא:בחינת העמדות כלפי התכנית של מורים, מנהלים והורים., ובחינת אופן יישומה. הערכה תתמקד גם בבחינת השינוי באורח חיי התלמידים לפני ואחרי התכנית למול קבוצת השוואה. הערכת היישום וההטמעה של תכנית 'אמירים' למצוינות:בחינת אופן יישום התכנית בבתי הספר, תפיסת התכנית על ידי צוותי בתי הספר וצוותי התכנית במחוזות ותפיסת תרומת התכנית לתלמידים, למורים ולאווירת המצוינות הבית ספרית.

29. מחקרי הערכה - איגום תכניות תכניות להעלאת זכאות לבגרות: מיפוי התכניות המרכזיות הפועלות במשרד ואשר מטרתן לקדם את אחוזי הזכאות לבגרות. זיהוי עקרונות הפעולה. בהמשך: תבחן האפשרות לבצע מחקרי הערכה על התכניות המרכזיות. תכניות לעידוד קריאה בגני ילדים: בדיקת עמדות ותפיסות הגננות וההורים כלפי תכניות שונות בגני הילדים המבקשות לעודד קריאה בגיל הרך ("מדף הספרים שלי", "מצעד הספרים" ו"ספריית פיז'מה") מבחינת יישום התכניות והשפעות נתפסות שלהן. מחקרים וניתוחים בנושא תלמידים יוצאי אתיופיה: יוצאי אתיופיה בראי המיצ"ב והמבחנים הבינלאומים; הערכת תכנית ההעשרה של מכון פויירשטיין; הערכת תכנית המגשרים; מעקב אחר הישגי בתי ספר המקבלים תשומות ייחודיות עבור יוצאי אתיופיה; ועוד.

30. דוגמאות למחקרים במערך ניסויי מבוקר

31. בחינת ההשפעות של שילוב טכנולוגיות תקשוב בבתי ספר יסודיים מחקר במערך ניסויי מבוקר

32. הערכת התוכניתעד הלו"םהורים לומדים וילדים מצליחיםמחקר במערך ניסויי מבוקר

33. דילמות וכיווני המשך

34. קשיים ביישום מערך מחקרי מבוקר - כללי • לא ניתן לשמור באורח חשאי מי שויך לקבוצת ניסוי ומי לקבוצת ביקורת (בשונה ממחקרים קליניים) • לא ניתן לשלוט באורח מלא בהתנהלות קבוצת הניסוי ובעקר לא בהתנהלות קבוצת הביקורת במהלך שנות המחקר • יש לחצים להרחבת קבוצת הניסוי באופן שפוגע בייצוגיות שלה • סוגיות אתיות – הרצון להקצות המשאב למי שהכי זקוק לו, מבלי לעכב זאת עד תום המחקר • הפיקוח על המשתנים עלול לפגוע ביכולת ההכללה של הממצאים

35. דילמות ולבטים • התנהלות בתוך שדה ללא נתוני בקרה מסודרים • התנהלות במצבים בהם לא תמיד ברורה למזמינים הסיבה להערכה • המקום של הידע התיאורטי (ושל סקירת הספרות) בתוך תהליך ההערכה • מדינה קטנה מו(ת)קפתשאלונים • מתח בין עיבודים מורכבים לבין רלוונטיות • שילוב נכון בין מחקר איכותני וכמותי (לוגיקה, סגנון כתיבה...) • מהערכת פרויקטים להערכת נושאים? • סקר או מסר? • הקלות שבאיסוף מידע פחות משמעותי ("שביעות רצון") לעומת הקושי באיסוף מידע יותר משמעותי ("דרכי הוראה", מבחנים) • רמת העניין בנושא לאורך זמן והתחלפות ההנהלה הבכירה

36. ההשפעה של מחקרי הערכה על קבלת החלטות ומדיניות חינוכית “A big issue is improving the influence of evaluation on policy. To have a sustained influence, evaluations have to be well-designed and conducted. And there has to be an accumulation of evidence. We shouldn’t think of evaluation as a set of one-shot studies. We should think of it as a continuing effort. In some areas, such as job training, there has been a conscientious accumulation of evidence since the 1960s. Authors have collected and summarized results critically, and they have drawn conclusions about the kinds of programming that work well. In some areas we have not done these kinds of critical reviews to help inform practice and policy. Evaluators should view themselves as part of an ongoing enterprise to develop knowledge for action.” Interview With Carol H. Weiss (1998) http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/interview-with-carol-h.-weiss

41. תודות • לחוקרים, למרצים ולשאר אנשי ראמ"ה השותפים לעשייה • לצוות המומחים והיועצים המלווה אותנו כל השנה • למתדיינים ביום העיון • למארגני יום העיון • לאנשי החינוך העוסקים יום יום בעשייה והטמעת התוכניות • לקהל המשתתף כאן היום