קבלה להוראה וביצועי מורה: עדויות מבתי ספר ציבוריים בוושינגטון הבירה

Jacob, B., Rockoff, J.E., Taylor, E.S., Benjamin, L., & Rosen, R. (2016). Teacher applicant hiring and teacher performance: Evidence from DC public schools, National Bureau of Economic Research.

המאמר סוכם מאנגלית ושוכתב לעברית בידי ד"ר פנינה כץ ממכון מופ"ת

תקציר: הכותבים חקרו את הקשר בין מאפייני מועמדים, תוצאות קבלה לעבודה וביצועי הוראה לאחר מכן. הם השתמשו בנתונים מפורטים על תהליך בקשת עבודה רב-שלבי, וכן בהערכות שנתיות של כל המורים במחוז הנבדק; ההערכות התבססו על קריטריונים שונים. הם זיהו קשר בין הנתונים לבין האפקטיביות הצפויה של מורה, אך לא בין הנתונים לבין הסיכוי לקבלה לעבודה. החוקרים בחרו לנתח את התהליך במחוז זה כי:

א) במחוז זה קיים תהליך בקשת עבודה מרכזי רב-שלבי הנותן מדגם רחב של מועמדים וניתן למצוא בו מגוון של מאפיינים וציונים בעקבות הערכות כתובות, ראיונות אישיים והדגמת שיעורים.

ב) מעבר של כל שלב בתהליך התבסס על עמידה בסף מסוים של ציונים שעזר לחוקרים לבדוק את התהליך.

ג) המחוז מבצע הערכות שנתיות של כל המורים - IMPACT – שבהן נאספים נתונים מגוונים של ביצוע הוראה (מדובר במערכת של תמריצים וגמולים על הוראה ועוד). כך יכלו החוקרים להעריך את ביצועי המורים בכיתות ובתחומי דעת שונים, ולא היה עליהם להגביל את עצמם למדגם מסוים.

מה נמצא במחקר?

א) יש מאפייני רקע ודרכי סינון (ניקוד בראיונות אישיים למשל) שמנבאים במובהק אפקטיביות של מורים.

ב) מדידות אלה נמצאו חלשות בבדיקת הקשר שלהן להסתברות לקבלת עבודה במחוז שנחקר כאן.

ג) לדעת החוקרים קיים טווח סביר לשיפור איכות המורה באמצעות תהליך סינון.

ד) מורים שבקשות העבודה שלהם נמצאו ברבע העליון של האפקטיביות הפוטנציאלית מימשו ביצועי הוראה גבוהים יותר מהממוצע בהשוואה למורים שהיו ברבע התחתון של רצף זה.

ה) המאמר תורם לגוף העבודה הקיים על החשיבות של מדיניות בכוח אדם בתחום של כלכלה וחינוך וכן לספרות העוסקת בסינון עובדים.

בעוד שכלכלנים השיגו רבות בהבנת החשיבות של תמריצים לעובדים, הספרות פחות מוצלחת בהסבר כיצד חברות יכולות למצוא את העובדים המתאימים בראשית הדרך. מחקרים חדשים בדקו את תפקידיהם של הפניות אישיות (Schmutte, 2015), סוכנויות שיבוץ וטכנולוגיות של בחינה אובייקטיביות (במאמר זה) (Hoffman et al., 2015) של תהליך הקבלה/השכירה לעבודה. באמצעות נגישות גדולה יותר למידע מפורט בחברות ובארגונים על קבלת עובדים ועל ביצועיהם לאחר מכן, ניתן ללמוד רבות על הכלכלה של מיון וסינון עובדים.

המאמר הנוכחי כולל: סקירה של ידע קיים בהתייחס לדרכי שכירה ומחקר מוקדם שהיווה בסיס למחקר זה, פרק המתאר פניות של מורים, שכירתם ותהליכי הערכה, ממצאים אמפיריים על סינון, ביצעי הוראה ונשירה ודיון במסקנות המרכזיות העולות מן הממצאים.

1: רקע - הרעיון שברירה ובחירה בין מורים המתקבלים לעבודה חשוב לשיפור החינוך אינו רעיון חדש, אך מוצא תמיכה רבה במחקרים חדשים שתיעדו השפעות של מורים על תוצרים קצרי- וארוכי-טווח של תלמידים (Chetty et al., 2014a, b, Jackson, 2013, 2014). בצד ההמלצה על פיטורי מורים חלשים (Hanushek, 2011, Goldhaber & Theobald, 2013), קיים הרעיון שיעיל יותר לנקוט צעדי ברירה ובחירה כבר בשלב הקבלה לעבודה.

חרף זאת, בניית שיטות מחמירות של בחירת מועמדים נמצאו קשות להפעלה. בחירה על פי הישגים בסיסיים כמו תעודת הוראה והשלמת לימודים אינה תורמת הרבה. כלכלנים מצאו שלקריטריונים אלה אין כוח ניבוי לגבי הבדלים בין יכולות הוראה של מורים (Harris & Sass, 2011). המאמר מציג בפרוט נתונים על בקשות עבודה של מורים, העסקה וביצוע בבתי ספר ציבוריים בוושינגטון בין השנים 2011 ל-2013, במטרה להבין כיצד תהליך מיון עשוי לשפר בחירה ושכירה של מורים איכותיים לעבודה.

2: סקירה של ידע קיים ביחס לדרכי קבלת מורים לעבודה ומחקר קודם רלוונטי למחקר זה – א) חינוך וכלכלה – הספרות העוסקת בנושא מההיבט הכלכלי מועטה. הקריטריונים שנמצאו במחקרים לקבלת מורים מבקשי עבודה:

• לא תמיד בוגרים מצליחים מקבלים עבודה, לא תמיד מיחסים בעלי התפקידים חשיבות מספקת לכישורים קוגניטיביים ולידע דיסציפלינרי.
• יש העדפה קלה למורים מבקשי עבודה שלמדו במוסדות הכשרה סלקטיביים על פני אחרים אך לאו דווקא בעלי הציונים הגבוהים (1996, Ballou ,Hinrich, 2014).
• יש השפעה של המיקום הגיאוגרפי של המועמד (למשל, בארה"ב הועדפו מועמדים מאותה מדינה).
• קבלה על פי ניקוד גבוה יותר במבחני רישוי, למידה במכללות יותר תחרותיות, ניסיון או הישגי תלמידים מוכחים מן העבר (Boyd et al., 2011).
• פיטורי מורים מועמדים (probation) – נמצא שמנהלים נטו יותר לפטר מורים עקב היעדרות וניקוד נמוך של ערך מוסף, ופחות – בעלי איכויות חינוכיות חזקות (תחרותיות מוסד ההכשרה בו למדו, כישלונות עבר במבחני רישוי) (Jacob, 2011).
• בקשות העבודה מקבלות ניקוד המבוסס על חינוך, התאמה (Qualifications) ורישוי, ניסיון, מכתבי המלצה וסיפורים כתובים. הניקוד ניתן ע"י אנשי משאבי אנוש כלליים ובשלב השני, לאחר הסינון הראשון – ע"י סגלי בתי הספר (Goldhaber et al., 2014).

ב) העדפות לקבלת מורים לעבודה – להוציא כלכלה, יש ספרות משמעותית על שכירות מורים לעבודה. המחקרים הללו מתמקדים במאפיינים שמנהלים מחפשים בקבלה לעבודה ובתהליכים שבהם בתי הספר משתמשים לצורך גיוס, סינון ובחירת מורים. מן הממצאים:

• תכונות אישיות שקשה להעריך במהלך ההכשרה עצמה (למשל, יושר, אופי טוב, יכולת עבודה עם עמיתים, כבוד/אהבה לתלמידים).
• שתי שיטות מיון של מנהלים: 1) לשאול את מנהלי המחוזות על דרכי קבלה לעבודה הנהוגות במחוזות; 2) לבדוק את ניסיון המורים בתפקיד האחרון שלהם.
• מבקשי עבודה נדרשים להגיש בקשות כתובות ובהן מידע על רישוי הוראה ומכתבי המלצה. חלק מוזמן גם לראיון, לא נדרשים לרוב: דוגמאות של טקסט כתוב, תלקיט או ביצוע שיעורים.
• לא נמצאו הערכות כתובות ורק חלק קטן מהקולטים לעבודה צפו בשיעור לדוגמה, אף כי ייתכן שקיימת עלייה בהקשר זה (Balter & Duncombe, 2005, Liu & Kardos, 2002).

תוקף הראיונות והצפיות בשיעורים בתהליך המיון – מחקרים רבים עוסקים בפסיכולוגיה יישומית (או "תעשייתית") הבוחנת את כוחם של ראיונות בהעלאת מידע אמין ומדויק על הצלחה פוטנציאלית של מועמדים. חלקם של מחקרים העוסקים בכך בהתייחס להוראה מועט. אין אף מחקר המתמקד בתוקף המנבא של צפייה במדגם שיעורים כחלק מתהליך הקבלה לעבודה.

3: תיאור תהליכי בקשת עבודה, שכירה והערכה של מורים בוושינגטון הבירה כנ"ל (Teach DC) –

• תהליך הקבלה של מורים לעבודה במחוז זה היה מבוזר, ובו מנהלים קיבלו החלטות עצמאיות לגבי קבלה, ותוך התחשבות בהגבלות הקשורות לרישוי ולתעודת הוראה. המנהלים יכלו לקבל מורם ממגוון מקורות ובהם מתכשרים להוראה, קשרים עם תכניות הכשרה מקומיות או דרך מרכז הפניות.
• מ-2009 קיים תהליך מובנה רב-שלבי מרכזי לקבלת מורים לעבודה במחוז. תהליך זה הוא במוקד המאמר. המטרה היא לסנן ולהוציא מועמדים פחות רצויים ולתת למנהלים רשימה של מועמדים "מומלצים" שהשלימו בהצלחה את התהליך.
• המנהלים מקבלים את הרשימות באמצעות מאגר מקוון. אין חובה לבחור במורים אלה, אך נמצא שיש נטייה לבחור בהם.
• הרשימות מאורגנות לפי א"ב, עם קישורים להערכות ועם אפשרויות סינון לפי תחום דעת. אין במחוז מעקב אחר השימוש של המנהלים ברשימות אלה, אם בכלל.
• החוקרים התבססו על תהליך הסינון המקוון בשנים 2011 – 2013. בכל שלב מאלה שלהלן הניקוד הוא בין 1 ל-4. מעבר שלב היה מותנה בהצלחה בשלב הקודם לו. המסיימים נכנסו לרשימות "מומלצים" שהועברו למנהלים.
• אין חובה להגיש בקשת עבודה בדרך הנ"ל כדי להתקבל לעבודה. אחוז המועמדים שהתקבלו לעבודה בין אלה שלא עברו את התהליך המוצע היה רק מעט מתחת לממוצע לעומת מועמדים שעברו את התהליך.
• בין המועמדים שעברו את שלב הדגמת השיעור בהצלחה ונכנסו ל"רשימות המומלצים", החלק שנשכר לעבודה היה 48,40 ו-52 אחוזים בכל אחת משנות המחקר בהתאמה.

שלבי התהליך:

א) הגשת בקשות מקוונות לעבודה מפברואר עד יולי למחוז.

ב) המערכת המקוונת אוספת מידע רקע על המועמד: היסטוריה בתחום החינוך, ניסיון בעבודה, וזכאות לרישוי. מועמדים שאין להם רישוי הוראה בוושינגטון הבירה או שהישגיהם אינם מתאימים לקבלת רישוי לפני תחילת שנת הלימודים אינם מורשים להתקדם, והחוקרים לא ניתחו את בקשותיהם.

ג) הגשה מקוונת של מאמרים בנושאים כלליים בהיקף של 400-200 מילים שהוערכו וקיבלו ניקוד ע"י אחד מכמה סוקרים במחוז (למשל "אסטרטגיות הוראה לתלמידים חלשים", "השימוש בנתוני ציונים של תלמידים") (שלב זה בוטל ב-2012).

ד) הצגת שאלות נוספות למגיש הבקשה שלא הוצגו למנהלים. לא נאמר למועמדים במפורש שפריטים אלה היו שונים בחשיבותם מהמאמרים או מכל מידע אחר.

ה) שאלון רב-בררתי בן 50 שאלות (Haberman, 1993) (Haberman Star Teacher Pre-Screener). מטרת השאלות הנ"ל - לידע מנהלים מהי מידת ההתאמה של מועמד להורות בכיתת בית ספר עירוני. לפי מחקר קודם היה קשר בין הניקוד במבחן זה לבין ביצועי הוראה בכיתה (Rockoff et al., 2011).

ו) שאלות רב-בררתיות למדידת תכונות אישיותיות (Costa & McCrae, 1992) ויכולת להתמיד בהשגת מטרות ארוכות-טווח (Duckworth & Quinn, 2009) (Grit).

ז) הגשת מאמר בתחום הדעת כדי להעריך ידע תוכן פדגוגי וידע של דרכי הוראה. תחום דעת ושכבת גיל (יסודי/חט"ב/תיכון) היו על פי בחירת המועמדים. רוב המועמדים התבקשו להתייחס לתיאור מקרה שכלל תפיסה שגויה של תלמידים ולכתוב מאמר המסביר את הסיטואציה ודרכי פתרונה. מועמדים להוראת מתמטיקה נדרשו לעבור מבחן ידע. מעריכי המאמר ואיכות הכתיבה קיבלו ציון מאנשי המחוז שחושב כממוצע עם ציון אחר כדי להחליט אם המועמד עבר לשלב הבא.

ח) ראיון (ישיר או טלפוני) בן 30 דקות, שנערך ע"י מעריכי המאמרים. הראיון כלל שאלות בחמישה תחומים: מעקב אחר הצלחות, טיפול באתגרים ("ספר/י לי על אתגר התנהגותי משמעותי עם תלמיד"), תרומה לסביבת העבודה, ציפיות גבוהות ולמידה מתמשכת + הצגת שיעור קצר בן 10 דקות: ישירות או מצולם בווידיאו עפ"י בחירת המועמד. ניתן להגיש גם חומרי למידה. ניתן ניקוד משותף לשתי הפעילויות. השיעור הוערך על פי מספר ממדים: 1) ניהול שיעור מאורגן על-פי מטרה, 2) הבהרת תכנים, 3) מעורבות התלמידים בלמידה, 4) בדיקת הבנת התלמידים את הנלמד ו-5) ניצול מירבי של זמן הוראה.

ט) הוראת שיעור מלא בן 30 דקות בפועל או מצולם (מ-2012) לפי הממדים הנ"ל.

י) הערכת מורים: כל מורה נצפה חמש פעמים במהלך השנה, שלוש פעמים ע"י המנהל ופעמיים ע"י "מורה מומחה" הצופה במורים במשרה מלאה בבתי ספר רבים. השיעורים מוערכים על פי משתנים שנקבעו במחוז. שני ממדי הערכה נוספים על הנ"ל (סעיף ח' למעלה): 6) מחויבות לקהיליית בית הספר (שותפות עם הורים ועם עמיתים, תמיכה ביוזמות בית-ספריות וציפיות גבוהות), 7) היעדרויות, איטיות, חוסר כבוד לזולת, כישלון לעמוד במדיניות ובנהלים (core professionalism) – מאפשרים גריעת נקודות.

בכל אחת משנות המחקר היו בערך 2,500 בקשות, מתוכן: כ-13% התקבלו לעבודה בוושינגטון הבירה; 60%- 70% סיימו את משימת המאמר בתחום הדעת, ו-30% – 40% השלימו את הראיון. מספר המסיימים בהצלחה עלה משמעותית מ-2011.

נמצא שלמועמדים שעברו את תהליך הסינון היה סיכוי טוב להתקבל לעבודה, יותר מאשר לאלה שנכשלו בו. כאמור, מתוך המועמדים שנכנסו לרשימות ה"מומלצים" בשנות המחקר 2011 – 2013 קיבלו עבודה 48%, 40% ו-52% בהתאמה. נראה שמועמדים שנכנסים כמומלצים הם בעלי סיכוי גבוה יותר לקבל עבודה, בהנחה שמנהלים משתמשים ברשימות כמאגר של מועמדים למשרות.

לדעת הכותבים קיימת סבירות גבוהה שניתן לשפר את איכות המורים וההוראה כבר בשלב הסינון לקבלה לעבודה.

על פי שיעור הניבוי שהמורים יהיו מורים יעילים נמצא כי רבים לא נשכרו לעבודה חרף העובדה שהיו גבוהים בהערכה זו. יש מועמדים רבים שלא קבלו עבודה למרות שהביצוע המנובא שלהם היה מעל הממוצע של אלה שכן נשכרו לעבודה.

מגבלות המחקר: 1) לא היה לחוקרים מידע מלא על מספר הצעות העבודה ומימושן במחוז, 2) לא ניתן לחוקרים לצפות במועמדים בתהליך הקבלה ובהוראה עצמה.

ביבליוגרפיה

Ballou, D. (1996). Do public schools hire the best applicants? Quarterly Journal of Economics, 111(1), 97-133.

Balter, D., & Duncombe, W.D. (2005). Teachers hiring practices in NY state districts, Report of the Education Finance Research Consortium.

Boyd, D., Lankford, H., Loeb, S., Ronfeldt, M., & Wyckoff, J. (2011). The role of teacher quality in retention and hiring: Using applications to transfer to uncover preferences of teachers and schools, Journal of Policy Analysis and Management, 30(1), 88-110.

Chetty R., Friedman, J.N, & Rockoff, E. (2014). Measuring the impact of teachers 1: Evaluating bias in teacher value-added estimates, American Economics Review, 104(9), 2593-2632.

Chetty, R., John N. Friedman and Jonah E. Rockoff (2014). Measuring the Impacts of Teachers 2: Teacher Value-Added and Student Outcomes in Adulthood , American Economics Review, 104(9), 2633-2679

Dee, T., & Wyckoff, J. (2013). Incentives, selection and teacher performance: Evidence from IMPACT, No. w19529, National Bureau of Economic Research,.

Duckworth, A.L., & Quinn, P.D. (2009). Development and validation of the Short Grit Scale, Journal of Personality Assessment, 91(2), 166-174.

Goldhaber, D., & Theobald, R. (2013). Managing the teacher work force in austere times: The determinants and implications of teacher layoffs, Education Finance and Policy, 8(4), 494-527.

Goldhaber, D., Grout, C., & Huntington-Klein, N. (2014). Screen twice, cut once: Assessing the predictive validity of teacher selection tools, CEDR Working Paper 2014-9, University of Washington, Seatle, WA.

Haberman, M. (1993). Predicting the success of Urban Teachers, Action in Teacher Education, 15(3), 1-5.

Hanushek, E.A. (2011). The Economic Value of Higher Teacher Quality, Economics of Education Review, 30(3), 466-479.

Harris, D.N., & Sass, T.R. (2011). Teacher training, teacher quality and student achievement, Journal of Public Economics, 95(7-8), 798-812.

Hinrich, P. (2014). What kind of teachers are schools looking for? Evidence from a randomized field experiment, Federal Reserve Bank of Cleveland, Working paper, 14-36.

Hoffman, M., Kahn, L.B., & Danielle, L. (2015). Discretion in hiring, NBER Working paper 21709.

Jackson, C.K. (2013). Non-cognitive ability, test scores and teacher quality: Evidence from 9th grade teachers in North Carolina, NBER, Working paper no. 18624.

Jackson, C.K. (2014). Teacher quality at the high-school level: The importance of accounting for tracks, Journal of Labor Economics, 32(4), 645-684.

Jacob, B.A. (2011). Do principals fire the worst teachers? Educational Evaluation and Policy Analysis, 33(4), 403-434.

Liu, E., & Kardos, S.M. (2002). Hiring and professional culture in New Jersey schools, Cambridge: Project on the New Generation of teachers at the Harvard Graduate School of Education.

Rockoff, J.E., Jacob, B.J., Kane, T.J., & Staiger, D.O. (2011). Can you recognize an effective teacher when you recruit one? Education Finance and Policy, 6(1), 43-74.