האם אנו מזהים מורה מצליח כשאנו רואים אחד כזה? ניסויים בזיהוי מורים יעילים

Strong, M., Gargen, J., & Hacifazlioglu, O. (2011). Do we know a successful teacher when we see one? Experiments in identification of effective teachers, Journal of Teacher Education, 62(4), 367-382.

מילות מפתח: הוראה יעילה, הערכת מורים, תצפיות

המאמר תורגם מאנגלית ושוכתב לעברית ע"י ד"ר פנינה כץ ממכון מופ"ת

המחקר וקובעי המדיניות מורים ומנהלים מתמקדים היום באיכות ההוראה וביעילות המורים וניתן לומר שהמנבא הטוב ביותר של הישגי תלמידים הוא מורים איכותיים ויעילים (Aaronson, et al.,2007 (Hanushek et al., 2005, Nye et al., 2004. ממצאים מסוג זה משכנעים באשר לחשיבות של המורים יעילים אך אינם מסבירים כיצד לאתר/לזהות מורים כאלה כשצופים בהם. שיטות התצפית הרבות מאוד שפותחו עושות שימוש במגוון של כלים כמו לוחות, סולמות דרוג, רשימות תיוג, טבלאות ותיאורים נרטיביים. הנפוץ בהם הוא תצפית כיתה שיטתית המבוססת על שיטות קידוד ושואפת להיות אובייקטיבית ודורשת מיעוט של החלטות שיפוטיות מן הצופה. תחומים מתודולוגיים המעוררים שאלות בהקשר של תצפיות ככלי מחקרי כוללים את: עניין התוקף והמהימנות, מספר וגודל המדגם הנדרש, דרכי הניתוח ויכולת ההכלה בחתכים של גיל או תחום דעת. תחום מסופק נוסף הוא שרק מעט מחקרים מביאים עדויות לכך שמורים שדורגו כיעילים ומצליחים בתצפיות, אכן מקדמים בפועל את תלמידיהם (Kane et al., 2010, Danielson, 2007).

צפייה במורים והערכת מורים – תצפיות מהוות לרוב חלק מהערכה פורמלית של מורים, בדרך כלל יחד עם מקורות מידע נוספים ובהם דיווחי הורים והישגי תלמידים Medley & Coker,1987,Jacob &) (Lefgren, 2008. אולם חרף המאמצים שחוקרים השקיעו בבניית כלי תצפית להערכה, הם נתפסים כבעלי תוקף נמוך וכמסורבלים/ כבדים מדי מכדי להיות שימושיים כשגרה של מנהלים עסוקים (Peterson, 2000). יש מחקרים המדווחים על מתאם נמוך למדי בין הערכת מנהלים לבין השיגי תלמידים. בין מנהלים נמצאו גם הבדלים, העשויים/עלולים לשקף שיפוטים סופיים, במידת העידון של עיבוד הנתונים ובפרשנות של רמזי מידע שהם מקבלים, אף כי הבדלים אלה.

אופרציות קוגניטיביות – אחד ההסברים למתאם הנמוך יכול להיות שמפתחי הכלים לא לקחו בחשבון ממצאים ממחקרים פסיכולוגיים וקוגניטיביים ביחס לאופרציות קוגניטיביות המשפיעות על שיפוטים של התנהגות אנושית: confirmation bias - הנטייה לחפש ולהדגיש התנסויות התומכות ולא מאתגרות אמונות קיימות, motivating reasoning - הסתכלות סקפטית על נתונים שאינם עולם בקנה אחד עם אמונות קיימות, ו -inattenional blindness - כישלון מלהבחין בגירויים המופיעים בגלוי במהלך התעסקות במטלה תובענית. כל אלה יכולים להיות בעלי השפעה על שיפוט מורים בהתבסס על תצפית(Strong, 2009). יש המבחינים בהקשר זה בדואליות שבתהליכים הקוגניטיביים: אופרציות המבוצעות במהירות ובאינטואיטיביות(א') ואופרציות איטיות ורפלקטיביות יותר(ב'). בתהליכים בקבוצה א' תועדו שגיאות שיטתיות בשיפוטי המורים ע"י מומחים שאופיינו באינטואיטיביות (Kahneman & Frederick, 2005). בשיפוטים מסוג קבוצה ב' הנ"ל יש פחות טעויות, שכן ההערכה מודעת יותר, וניתן לתקנה. בדרך כלל העדר אמינות בשיפוטים אנושיים נובעת מחוסר היכולת או הנטייה להשתמש בתהליך איטי ורפלקטיבי Kahneman,2002) ).

הצורך הכלי הערכה חדש להערכת מורים – החשיבות שביכולת לזהות מורים יעילים מובנת מאליה; השיטה לעשות זאת – אינה. המאמר מדווח על שלוש בדיקות רצופות של הערכת מורים הידועים כיעילים. בכל ניסיון שופרו תנאים ההערכה במונחים של המערכים ושל השיטות. המטרה הייתה למצוא את גבולות הדיוק של השיפוטים הנעשים על ידי מומחים וע"י שופטים שאינם מומחים, ולשקול כיצד ניתן לפתח כלי תצפית מדויק יותר לשיפוט יעילות ההוראה.

שאלות המחקר היו: הסכמה –מהי ההסכמה המתקיימת בין שופטים בעלי רקע שונה בתהליך של הערכת מורים באמצעות תצפיות בקטעים קצרים( slices) של התנהגויות מורים?; דיוק(היכולת להבדיל בין מורים יעילים מעל הממוצע לבין אחרים שמתחתיו) - מהי רמת הדיוק השיפוטי המתקיים בקרב צופים בעלי רקע שונה בהערכת מורים הידועים כיעילים באמצעות תצפיות בקטעים קצרים slices)) של התנהגויות מורים? האם מומחים מדייקים יותר ממי שאינם מומחים? ; קריטריונים – באילו קריטריונים משתמשים שופטים בעלי רקע שונה בהערכת מורים באמצעות תצפיות בקטעים קצרים( slices) של התנהגויות מורים? ; אמון – עד כמה בטוחים השופטים שההערכות שעשו לגבי יעילות המורים מדויקות?.

הניסוי הראשון – נעשה שימוש בנתוני הישגים של תלמידים לחישוב הערך המוסף של המורים. זוהו מורים שציוניהם העידו שיעילותם הייתה, באורח קבוע, גבוהה או נמוכה יותר מהממוצע לאורך שלוש שנים. מתוך שתי הקבוצות הקיצוניות נבחר מדגם של מורים והם צולמו במהלך שיעור. השיעור הוצג למומחים ששפטו את מידת היעילות של המורים - גבוהה או נמוכה. הנחות היסוד לגבי טכניקות הבדיקה נלקחו משני תחומים: א) מתחום הפסיכולוגיה- ניתן לקיים שיפוט על פי קטע (slice) קצר של התנהגות, שינבא יעילות ברמת מהימנות גבוהה ממספר גדול של משתתפים ללא צורך בפגישות מעבדתיות רבות (למשל(Downey et al., 2004;; ב) מתחום החינוך- טכניקת הדיגום כערך-מוסף (VAM), שהיא טכניקה שחוקרי חינוך, קובעי מדיניות ומנהלים משתמשים בה להערכת ההשפעות של מורים או בתי-ספר על למידת תלמידים. בהקשר זה הלמידה נמדדת כמעט תמיד ע"י הישגים במבחנים.
השיעור המרשים של הסכמה בין השופטים הראה כי בהתעלם מהרקע שלהם, השופטים הגיבו לאותן השפעות. בו בזמן רמת הדיוק הייתה נמוכה אף ממה שיכול היה לקרות בבדיקה מקרית. מורים מסוימים דורגו בצורה שגוייה ע"י רוב משמעותי של השופטים, ואחרים – לא.

בניסוי השני נערכה חזרה על הניסוי הראשון עם כמה הבדלים שהתייחסו לנתונים בינלאומיים ותוך בחירה של מורים, קטעי סרטים ויותר שופטים מאזור אחר במדינה אחרת בארה"ב. שאלות המחקר נוסחו בהתאם לשינויים.

תוצאות הניסוי הזה דמו בעיקרון לקודם, כשניכרה רמה גבוהה של הסכמות בין השופטים ומידת הדיוק שיקפה במקרה הטוב מקריות. נראה שהשופטים מגיבים לאותן התנהגויות מורים ומפיקים הערכות שיטתיות שאינן מנבאות יעילות מורים.

בניסוי השלישי בפיתוח מדידה מנבאת יותר, הייתה חזרה שלישית על הניסוי, עם שלושה שינויים מרכזיים: השופטים עברו הכשרה טובה, היה שימוש בכלי מדידה מובנה והתצפית כללה את מלוא השיעורים ולא רק קטעים קצרים. בשיפוט נעשה שימוש ב-CLASS ((Pianta et al., 2008. זהו כלי הכולל 11 ממדים בשלושה תחומים: תמיכה רגשית, ניהול כיתה ותמיכה הוראתית. שאלות המחקר נוסחו בהתאמה לשינויים אלה.

הדירוג שנוצר באמצעות ה- CLASS מעלה שאלות חדשות ומוסיפות משקל לחלק מהפרשנויות של ממצאי שני הניסויים הקודמים.
המאמר מתאר את המהלך והממצאים של כל הניסויים הנ"ל ודיון בכל אחד מהם.

מסקנות

ממצאי המחקר בשני שלביו הראשונים שהעידו על רמת הסכמה גבוהה בין השופטים אך על רמת דיוק נמוכה העלו את השאלה אם מחנכים מסוגלים לזהות מורים יעילים כשהם רואים אותם. ספק זה הוביל אותם לפתח כלי מדידה לניבוי יעילות של מורים. הניסויים שתוארו מראים שהדבר אפשרי. לשאלה כיצד צריך להגדיר הוראה יעילה, בחרו החוקרים בהגדרה צרה: יעילות היא הערך שמורה מוסיף ללמידה במונחים של ציוני מבחנים, זאת חרף הסקפטיות הקיימת לגבי גישה/שיטה זו. הציונים משקיפים, לדעתם, משהו בעל ערך בעיני קובעי מדיניות ובעיני הציבור והם מאמינים שבהצטברות הם מדדו מה שנטען שימדדו.

באקלים הנוכחי של מרוץ לצמרת ושל תמריצים אחרים לאחריותיות, החיפוש אחר מורים יעילים הפך לרחב, לדחוף ולמשפיע, והתקווה היא שכלי צפייה המנבא באופן אמין מורים שהוראתם יעילה יסייע למנהלים למצוא ולתמוך במורים כאלה ובכך לקדם את החינוך.

ביבליוגרפיה

Aaronson, D., et al., (2007).Teachers and student achievement in the Chicago public high school, Journal of Labor Economics, 25(1), 95-135.
Danielson, C. (2007). Enhancing professional practice: a framework for teaching(2nd edition), Alexandria,VA:ASCD.
Downey, C.J., et al., (2004). The three- minute classroom walk-through: changing school supervisory practice one teacher at a time, Thousand Oaks, CA: Corwin Press.
Hanushek, E.A., et al., (2005). The market for teacher quality, (NBER Working Paper 11154).Cambridge, MA: National Bureau of Economic Research.
Jacob, B., & Lefgren, L. (2008). Can principals identify effective teachers? Evidence on subjective performance evaluation in education, Journal of Labor Economics, 26(1), 101-136.
Kahneman, D. (2002). Maps of bounded rationality: a perspective on intuitive judgment and choice, http://nobelprize.org/nobel_prizes/economics/laureates/2002/kahaneman-lecture.pdf
Kahneman, D., & Frederick, S. (2005). A model of heuristic judgment, in: K.J. Holyoak & R.G. Morrison (Eds.), The Cambridge handbook of thinking and reasoning, Cambridge, England: Cambridge Uni. Press, 267-293.
Kane, T.J., et al., (2010). Identifying effective classroom practices using student achievement data (NBER Working Paper 11154), Cambridge, MA: National Bureau of Economic Research.
Medley, D. M., & Coker, H. (1987). The accuracy of principals' judgments of teacher performance, Journal of Educational Research, 80(4), 242-247.
Nye, B., et al., (2004). How large are teacher effects? Educational Evaluation and Policy Analysis, 26(3), 237-257.
Peterson, (2000).
Pianta, R.C., et al., (2008). Classroom Assessment Scoring System (CLASS), Baltimore, MD: Paul H. Brookes.
Strong, M.A. (2009). Effective teacher induction: assessing the evidence, NY,NY: Teachers College Press.