הערכת הערכות מורים

Darling- Hammond L., (2011). Evaluating Teacher Evaluation: What we know about value-added models and other methods? Phi Delta Kappan

המאמר סוכם מאנגלית ע"י ד"ר פנינה כץ ממכון מופ"ת

מילות מפתח: הערכת מורים, דגמים של הערכה

קיים קונצנזוס רחב בין מורים, חוקרים וקובעי מדיניות שהערכת המורים הקיימת היום ברוב המערכות אינה מסייעת כמעט למורים להשתפר ואינה תומכת בקבלת החלטות פרסונליות. לכן הולכות ומתפתחות גישות חדשות לצורך זה. קיים גם קונצנזוס בדבר חשיבות עדויות מורים על למידת תלמידים כמרכיב בהערכה המורים, בצירוף העדויות על איכות ההוראה.

כיום מקובל להשתמש ב"דגמים של ערך מוסף" (VAM - Value Added Models ) שנבנו כדי להעריך ציוני תלמידים משנה לשנה להערכת מורים. השימוש ב-VAM להערכת המורה הבודד מניח שהישגים הנמדדים בקרב תלמידים של מורה מסוים משקפים את יעילותו של המורה. לפי הנחה זו למידת התלמידים הנמדדת במבחן מושפעת רק מהמורה ללא תלות בקורמים משפיעים אחרים (למשל, התפתחות של תלמידים אחרים בכיתה, היבטים הקשריים כיתתיים ועוד). זאת למרות שמחקרים מצביעים בבירור על השפעות אחרות ובניהם: גורמים בית ספריים (גודל כיתה, זמינות ומהות חומרי למידה, זמן הוראה) תמיכות או קשיים בבתי ובקהילה, צרכים של תלמידים מסוימים והיכולות, הבריאות והנוכחות שלהם, תרבות ביני הגיל והישגיהם, מורים קודמים ומורים אחרים המלמדים בכיתה ועוד. רוב הגורמים האלה אינם נמדדים בדגמי הערכת המורים הקיימים;

בעיות בדגמי VAM להערכת מורים:

אפקטיביות מורים משתנה בצורה משמעותית מכיתה לכיתה ומשנה לשנה ויש הבלים בין מדגם סטטיסטי אחד לאחר(Newton et al., 2010).

אפקטיביות נמדדת של מורים משתנה משמעותית כששיטות סטטיסטיות שונות משמשות להערכת המורים (Briggs & Domingue, 2011).

אפקטיביות מורים משתנה גם כשנעשה שימוש במבחנים שונים, גם באותו תחום דעת (Gates Foundation, 2010).
כל אלה מעלים תהיות בדבר כשלי מדידה של "מורה - הישגי תלמידים במבחנים", ובדבר השפעות של "הוראה למבחן" על חשבון תחומי הוראה אחרים.

דירוג ה-VAM של המורים מושפע מהבדלים בין תלמידיהם – מבחני ה- VAM מתוכננים לזהות השפעות מורים למרות שהתלמידים שהם מלמדים מגיעים אליהם באקראי. דגמים סטטיסטיים אינם יכולים להתאים במלואם לעובדה של פרופורציות מקריות של תלמידים בעלי קשיים גדולים יותר אן תלמידים שציוניהם במבחנים מסורתיים לא ישקפו נכונה את למידתם בכיתה זו או אחרת. גורמים אלה יוצרים הערכות שגויות של יעילות מורים ומפחיתים את התמריץ ללמד את בעלי הצרכים הגדולים ביותר. במחקרים נמצא כי מבחני הערכה אלה מיחסים בצורה שגוייה למורים השפעות על למידה בשעה שהם כלל אינם קשורים לתלמידים המדוברים(Tood & Wolpin, 2003).

דירוג ה-VAM אינו יכול לפרום/לבודד(disentangle) את ההשפעות הרבות על התקדמות תלמיד – לא ניתן להפריד במלואן השפעות מורים מן העבר, השפעות מורים בהווה או תנאי בית-הספר על למידת תלמידים Carrell & West, 2010)), וגם מההשפעה של ההורים. בנוסף, "אפקטיביות מורה" אינה מבנה יציב שניתן לזהותו אפילו בתנאים אידיאלים. מורים יכולים להיות יעילים בצורות מסוימות של הוראה ובאחרות – פחות, בחלקים מסוימים של תוכניות הלימודים ובאחרים – פחות וכד'. נמצא גם שמורים שתלמידיהם הצליחו מאוד בסוף השנה לא שימרו את ההישגים בשנים שלאחר מכן (Braun, 2005). דירוג איכות המורים באמצעות VAM גם אינו עולה תמיד בקנה אחד עם דירוגים של צופים מיומנים או דירוג על פי הגורמים האחרים הנ"ל (Amrein-Beardsley & Collins, In press). לאור הנ"ל רוב החוקרים מסכימים ש- VAM אינו הולם כמדידה בעדיפות ראשונה להערכת המורה הבודד, וכדי לקבל החלטות בסיכון גבוה על מורים או בתי-ספר בודדים(McCaffrey et al., 2005).

גישות אחרות להערכת מורים – למרות הנאמר למעלה הערכות מורים בגישות ה-VAM מתאימות לצורך איתור קבוצות מורים למטרות מחקרים רחבי היקף וגדולי מדגמים. אמנם, לרוב, ממצאים במחקרים אלה אינם משפיעים על שינויים בעבודת המורים הבודדים המשתתפים בהם, אולם ניתוח מסוג זה מספק תובנות רחבות על בסיס עדויות רחב ביחס לשאלות מחקר שונות. למשל , מהי ההשפעה של דרכי הוראה על למידת תלמידים: הבנת תחום הדעת לעומקו ובגמישות, קישור הנלמד לידע קודם של תלמידים, יצירת תמיכה אפקטיבית ללמידה, שימוש באסטרטגיות הוראה המסייעות לתלמידים ליצור קשרים, ליישם מה שנלמד להתנסות בכישורים חדשים ולעקוב בעצמם אחרי למידתם ועוד. במובן זה יש מקום חשוב לגישות הערכה אלה.

שימוש בסטנדרטים מקצועיים להערכת מורה – סטנדרטים מקצועיים פותחו בראשיתם במטרה להעריך מורים ותיקים. לאחר מכן הם פותחו והותאמו להערכת מורים מתחילים ואומצו במסגרות הכשרת מורים ב- 40 מדינות בארה"ב. סטנדרטים אלה הפכו לבסיס יציב יותר להערכת הוראה. בדרך כלל הערכות ביצוע מבקשות מהמורים לתעד את שלבי התכנון והביצוע של הוראה של יחידה מסוימת תוך התאמת הפעולות לסטנדרטים הקיימים, להקליט ולנתח ביקורתית שיעורים ולאסוף ולהעריך עדויות של למידת התלמידים.
מחקרים מצאו שהערכות אלה זיהו מורים יעילים יותר בהעלאת השיגים מאחרים. כמוכן נמצא שמעורבות מורים בתכנון והוראה ברמה ארצית משפרת את עבודתם (Bond et al.,2000, Cavaluzzo, 2004 (Smith et al., 2005. אותן הערכות גם ביחס למורים מתחילים נבאו את הישגי תלמידיהם במבחנים ארציים ( Sato et al., 2008, Wilson & Hallum, 2006 ).

סטנדרטים מקצועיים גם תורגמו לכלי הערכת מורים ברמות מקומיות, ונמצאו קשרים בין דירוג המורים והשיגי התלמידים במבחנים ועדויות שדרכי ההוראה שופרו (Chung, 2008). במחקרים אלה ההערכות התבססו על סטנדרטים ברורים של הוראה, שהוערכה באמצעות עדויות ותצפיות וכן ראיונות עם המורים ומתן משוב על ההוראה (Malinowski, 2004, Rockoff & Speroni, 2010).

במסגרת ה- Gates Foundation פותחו כלים נוספים שפותחו בהתבסס על הערכת מורים על פי סטנדרטים מקצועיים ומתוקפים מול הישגי תלמידים.

בניית שיטות הערכה התומכות בשיפור ובקבלת החלטות - קיימים כלים טובים לסיוע למורים להשתפר ולקבל החלטות. שיטות ההערכה הנזכרות במאמר:

1) שיטות מצליחות המשתמשות בתצפיות-כיתה רבות (4 – 6) הנערכות ע"י מעריכים מקצועיים. מעריכים אלה משתמשים במקורות שונים המשקפים דרכי הוראה של מורים ונותנים להם משוב משמעותי בזמן המתאים (Rothstein, 2011);

2) שיטות ההערכה הכוללות התפתחות מקצועית מתמשכת, חונכות וסיוע בכיתה, הניתנים כדי לסייע למורים לעמוד בסטנדרטים נדרשים. מורים מדווחים על שיפורים בהוראה ובהישגי התלמידים (Solomon et al., 2007);

3) שיטות הערכה הכוללות שילוב של כלי הערכה והדרכה וסיוע של מורים מומחים מאותו תחום דעת ובאותה רמת כיתה המשמשים כחונכים (Van-Lier, 2008);

4) שיטות הערכה המבקשות ממורים לאסוף עדויות ללמידת תלמידים כחלק מהערכת האפקטיביות שלהם.

לסיכום, גישות חדשות להערכת מורים משתמשות בממצאי מחקרים על יעילות מורים. למרות הקשיים הקיימים בשימוש בגישות VAM להערכה ישירה של מורים בודדים, השימוש בהן עשוי לסייע לתיקוף הערכות בצד גישות אחרות. מבחינת הנושא משתמע שראוי להימנע מה- VAM לצורך קבלת החלטות עתירות סיכון ברמה אינדיווידואלית ביחס למורים, בתי ספר או תלמידים. בה במידה ניתן להצביע על כלי הערכה שנמצאו הן כמנבאים תוצאות למידת תלמידים והן – למידת מורים כולל תהליכי הערכה מבוססי סטנדרטים. שימוש במאפיינים כנ"ל עשוי להפוך את תהליכי הערכת המורים להיות חלק שימושי יותר בפיתוח הון אנושי יעיל בהוראה, חלק הנותן מידע מדויק על מורים, משוב מסייע והחלטות מבוססות.

ביבליוגרפיה

Amrein-Beardsley, & Collins, (2013 (In press). The SAS education value-added assessment system (EVAAS): Its intended and unintended effects in a major urban school system. Tempe, AZ: Arizona State University.
Bond, T., et al., (2000). The certification system of the National Board for Professional Teaching Standards: A construct and consequential validity study, Greensboro, NC: Center for Educational Research and Evaluation.
Braun, H. (2005). Using student progress to evaluate teachers: A primer on value-added models. Princeton, NJ: Educational Testing Service.
Briggs, D., & Domingue, B. (2011). Due diligence and the evaluation of teachers: A review of the VAM analysis underlying the effectiveness ranking of LA Unified School District teachers by the LA Times, Boulder, CO: National Education Policy Center.
Carrell, S. & West, J. (2010). Does professor quality matter? Evidence from random assignment of students to professors. Journal of Political Economy, 118 (3).
Cavaluzzo, L. (2004). Is national board certification an effective signal of teacher quality? Alexandria, VA: The CAN Corporation.
Chung, R.R. (2008). Beyond assessment: Performance assessment in teacher education, Teacher Education Quarterly, 35(1), 7-28.
Gates Foundation, Bill & Melinda Gates Foundation Learning about teaching, (2010). Initial findings from the Measures of Effective Teaching Project. Seattle, WA: Author.
McCaffrey, D.F., et al., (2005). Evaluating VAM for teacher accountability, Santa Monica: RAND Corporation.
Malinowski, (2004). The relationship between teacher performance evaluation scores and student achievement: Evidence from Cincinnati. Peabody Journal of Education, 79 (4), 33-53.
Newton, X., et al., (2010). Value-added modeling of teacher effectiveness: An exploration of stability across models and contexts, Educational Policy Analysis Archives, 18(23).
Rockoff, & Speroni, (2010). Subjective and objective evaluations of teacher effectiveness, New York, NY: Columbia University.
Sato, M., et al., (2008). Improving teachers' assessment practices through professional development: The case of national certification, American Educational Research Journal, 45, 669-700.
Smith, T., et al., (2005). An examination of the relationship of the depth of student learning and National Board certification status, Office for Research on Teaching, Appalachian State Uni.
Solomon, et al., (2007). The effectiveness of the Teacher Advancement Program, Washington, DC: National Institute for Excellence in Teaching.
Rothstein, J. (2007). Do value-added models add value? Tracking, fixed effects, and causal inference, CEPS Working Paper No. 159. Cambridge, MA: National Bureau of Economic Research.
Tood, P.E., & Wolpin, K.L. (2003). On the specification and estimation of the production function for cognitive achievement, Economic Journal, 111.
Van Lier, P. (2008). Learning from Ohio’s best teachers: A homegrown model to improve our schools. Policy Matters, Ohio. www.policymattersohio.org/learning-from-ohios-best-teachers-a-homegrown-
Wilson, M, et al., (2011). Investigating the validity of portfolio assessments of beginning teachers: Relationships with student achievement and tests of teacher knowledge, Berkeley, CA: Berkeley Evaluation, Assessment, and Research Center.
Wilson, M,& Hallum, P.J. (2006). Using student achievement test scores as evidence of external validity for indicators of teaching quality: Connecticut's Beginning Educator Support and Training Program, Berkeley, CA: Univ. of CA.