הערכת תלקיט (פורטפוליו): חיפוש אחר קריטריונים להערכה
מאת: Kari Smith , H. Tillema
מקור
Portfolio appraisal: In search of criteria, Teaching and Teacher Education (in press)
המאמר תורגם, סוכם ונערך ע"י ד"ר פנינה כץ, מכון מופ"ת
הערה: כדאי לשים לב לביבליוגרפיה העשירה והמעודכנת בנושא
מבוא
העלאת הסטנדרטים בהערכת תלקיטים הוא נושא שנוי במחלוקת המופיע בשנים האחרונות במחקר החינוכי ((Cochran-Smith,2000S; Sachs,2003; Shephard, 2000. המורים/הסטודנטים מתבקשים לבנות תלקיט ולתעד את הכשירויות המקצועיות שלהם כתנאי שגרתי לקבלת תעודת הוראה (במסגרת ההכשרה ובמסגרת תעודות מתקדמות יותר). אולם יש מחקר מועט על הערכת התלקיטים ועל תהליכי שהמעריכים נוקטים בהן, זאת בעיקר כאשר התלקיטים משמשים להערכה מסכמת (Burns,1999; Smith & Tilema, 2003).באילו קריטריונים עושים המעריכים שימוש? מהי מידת ההסכמה לגבי השימוש בהם ((Heilbronn et al., 2000? כנגד אילו ערובות של אחריותיות הם מיושמים (Cochran-Smith & Fries, 2002)? כיצד מבצעים המעריכים את ההערכה לאור מטרות שונות ולנוכח סטנדרטים מסוימים? מעט המחקרים שנעשו בעניין זה מצביעים על הסתייגות ראשונית של מורי המורים משימוש בקריטריונים קפדניים כדי לא להפריע בתהליך הקניית הכשירויות המקצועיות לסטודנטים שלהם (Darling-Hammond & Snyder, 2000; Zeichner & Wray, 2000).
במסגרת ההכשרה עומדים מורי המורים בפני הדילמה של הדרכה והערכה בו זמנית (Loughran, 2003). יותר מכך, מצאי התבחינים להערכת תלקיטים הקיים באינטרנט מצביע על אי- בהירות בהערכה הנובע מהישענות יתר על ההקשר ועל הנסיבות שבהן נבנה התלקיט (Smith & Tilema, in press). הנחת החוקרים היא שתהליך הערכת התלקיטים עדיין לכוד בהליכים שיפוטיים שאינם פתוחים לבחינה ואין בהם שקיפות ועדיין יש צורך להסבירם ולתארם (Darling-Hammond, 2000).
הערכת תלקיטים
מקובל לראות בתלקיט כלי שימושי ללמידה ולהתפתחות מקצועית והדרישה ממורים לבנות תקליטים במהלך עבודתם הולכת וגדלה (Shulman,1998; Wade & Yarbrough, 1996). עם זאת קיימת אי-בהירות באשר להערכת תלקיטים הנובעת לדעת כותבי המאמר מההנחה היומרנית שאותו תלקיט יכול לשמש הן להערכת מעצבת של תהליך של התפתחות מקצועית והן להערכה מסכמת (Zeichner & Wray, 2000). כתוצאה מכך עומד מחבר התלקיט בפני קונפליקט, שכן הוא נדרש להיות מודע לקריטריונים חיצוניים להערכה וגם לדרישות מורה המורים שיש לו תפקיד דואלי של תומך ושל מעריך. מתח זה בין תמיכה לבין הערכה יוצר מתחים בין קריטריונים להערכת פונקציות שונות של תלקיטים. בניית תלקיט מאפשרת לסטודנטים ולמורים להיות בדיאלוג מקצועי, אך האיכות של דיאלוג זה ומידת ההסכמה בין מורים על משוב לאותו תלקיט אינם ברורים.
בחירת קריטריונים - קיים מתח בין הגישה של קיום מערכת סטנדרטים בסיסית לקביעת איכות התלקיט לבין הטענה שעדיף לקיים סטנדרטים או קווים מנחים ספציפיים ושיפוטיים בידי המעריך. אין הסכמה בין חוקרים לגבי הסטנדרטים והקריטריונים הבסיסיים שצריכים לשמש בהערכת תלקיטים. נראה שיהיה זה לטובת כל השותפים בקהילייה החינוכית המקצועית (מחנכים, סטודנטים, בתי ספר וקובעי מדיניות) אם תאומץ זווית ראייה של אחריות משותפת לשיפור איכות הלמידה וההתפתחות המקצועית (Cochran-Smith & Fries, 2002).על פי עמדה זו, קריטריונים מוסכמים, פתוחים וייחודיים עשויים לשמש כקווים מנחים למורי-מורים ולסטודנטים המשתמשים בתלקיטים, ולשפה משותפת בין כולם בעניין ההערכה. קריטריונים מפורשים להערכה עשויים לשמש גם לבניית פעילויות לפיתוח מקצועי (Delandshere & Arens, 2003; Darling - Hammond et al,1998 ).
יישום קריטריונים – בצד השאלה של בחירת קריטריונים להערכה עולה שאלה נוספת: כיצד מיישמים את הקריטריונים בפועל לקביעת האיכות או הרמה של השגת הסטנדרטים שנקבעו? נראה שהדרך והמידה שבה יש התאמה לסטנדרטים נקבעת תוך כדי ההערכה הממשית. המחקר המוצג כאן בחן לכן את הבחירה והיישום של קריטריונים בהם נעשה שימוש בהערכת תלקיטים באמצעות בירור כיצד נקבעת איכות התלקיט בפרקטיקות ההערכה הקיימות. זאת כדי לבנות טיפולוגיה של שימושים או אוריינטציות שונות של שימוש בקריטריונים בתהליכי הערכה.
השיטה
מסגרת ואוכלוסיה – המחקר בחן קריטריונים להערכת תלקיטים במסגרת הכשרת מורים: באיזו דרך ובאילו קריטריונים מעריכים או מחליטים על ערכו המשתמשים השונים (מעריכים ומוערכים) בתלקיט?
האוכלוסייה כללה 35 מורי-מורים שפעלו כמעריכי תלקיטים ו-67 סטודנטים להוראה בחטיבה העליונה.
14 ממורי המורים המלמדים אנגלית כשפה זרה התבקשו לדרג ולהעריך אותו תלקיט שניתן לכל אחד מהם.
מערך המחקר – המחקר כלל שלושה שלבים:
שלב ראשון: חקר עמדות/דעות על הערכת תלקיטים באמצעות שאלון.
שלב שני: רואיינו 16 ממורי המורים שבמחקר שהעריכו תלקיטים כדי לגלות את השימוש הממשי שלהם בקריטריונים להערכתו: הקשר ההערכה, המטרה המעצבת והמטרה המסכמת, בחירת הקריטריונים והשימוש בהם. נעשה ניתוח מעמיק של התהליך השיפוטי תוך התייחסות לתפישה הדואלית של תפקידו של מורה-המורים.
שלב שלישי: הערכה של תלקיט אחד ע"י קבוצה של מורי מורים. הם התבקשו לכתוב הערות מעצבות, לתת ציון אישי על האיכות וציון על הישגים לאור התלקיט. המטלה היוותה בסיס משותף להשוואות על הדרך בה מעריכים שונים מחליטים על איכות התלקיטים ומהן דרכי השימוש השונות והמגוונות שלהם בהערכה.
כלים - שלב ראשון: שאלון שכלל שלושה תחומים: א. המטרות הממשיות לשימוש בתלקיט; ב. תהליך ציינון והערכת תלקיטים; ג. מדידת ההתאמה של הקריטריונים ככלי לבדיקת איכות התלקיטים. בנוסף כלל השאלון את השאלות הפתוחות הבאות: כשאתה מעריך תלקיט מה צריך להיות בו (ה"מה")?; מה אתה עושה כשאתה בוחן ובודק תלקיט (ה"איך") בהתייחס לנקודות הבאות: באילו קריטריונים אתה משתמש? מה אתה מחפש? כיצד אתה מדווח על השיפוט ועל הציונים? (ראה נספח A הכולל דוגמה לתשובה על השאלות הפתוחות).
שלב שני: ראיון מובנה שמטרתו לבחון את התהליכים הממשיים המתרחשים במתן ציונים וקביעת איכות התלקיטים ע"י המעריכים. השאלות בשאלון עסקו באוריינטציה שיפוטית של המעריך ובאוריינטציה של המעריך כלפי תפקידו כמדריך וכתומך.
שלב שלישי: פורטפוליו אותנטי של סטודנטית בהכשרת מורים להוראת אנגלית כשפה זרה ניתן לקבוצת של 14 מהמעריכים והם התבקשו לכתוב את הערכתם. הפורטפוליו כלל: תצפיות בשיעורים, מערכי שיעורים, רפלקציות אישיות, חומרי למידה שהוכנו ע"י הסטודנטית במהלך שנת התנסות בית ספר תיכון.
ניתוח הממצאים - הנתונים הכמותיים נאספו מהמעריכים והסטודנטים. 28 הפריטים של השאלון מוינו לקטגוריות בשלושה תחומים: מטרה, תהליך, איכות. נעשו עיבודים סטטיסטיים רלוונטיים. הנתונים האיכותיים נותחו כדי לתקף את הממצאים הכמותיים.
ממצאים
תפישות של הערכת תלקיטים
(הממצאים מופיעים בעמודים 8 – 18 ולא יפורטו בסיכום זה.)
דיון
מטרת המחקר הייתה לבחון את הקריטריונים הממשיים בהם עושים מעריכי תלקיטים שימוש. אחת התוצאות המפתיעות היא העדר קריטריונים מפורשים ובעיקר משותפים לכולם. המחקר מראה שאין אחידות, לא במתן הציונים ולא בבחירת קריטריונים להערכה. משמעות הממצא היא שהציונים שהסטודנט מקבל, בהתבסס על התלקיט שלו, הם ציונים סובייקטיביים. הדבר תלוי במידה רבה בזהות המעריך ובהעדפותיו. יש מגוון רחב של קריטריונים ממשיים להערכה בתוך צוות של אותו מוסד ובין מעריכים שונים. משמעות הממצא היא שאין שקיפות והסטודנטים אינם יודעים מה נדרש מהם.
המחקר מראה שגם התפיסות של הסטודנטים ושל המעריכים ביחס למה שחשוב שיהיה בתלקיט שונות. בעוד שהסטודנטים סוברים שההערכה היא בעיקר למטרות ציון על ביצוע, מורי המורים טוענים שהפורטפוליו נועד להתפתחות וללמידה.
בבחינה של התהליך הממשי של ההערכה נמצא שמורי המורים נוהגים, רובם ככולם, להשתמש בהערכות שיפוטיות, לרוב נורמטיביות, המבוססות על קריטריונים של המעריך עצמו עליהם הוא החליט מראש. התפישות האישיות של המעריך על אחריותיות ועל דרכי חונכות של סטודנטים הן בעלות השפעה רבה בתהליך. פרקטיקה נפוצה זו היא בעייתית במובן זה שבניית תלקיט מתרחשת בהקשר מסוים ולמטרה מסוימת ולכן דורשת הערכה "שקופה", אינפורמטיבית, וברת-הצדקה ((Cochran-Smith, 2005.
במחקר נמצא שלמורי המורים המעריכים תלקיטים יש עניין בהתפתחות המקצועית של הסטודנטים שלהם. הם רואים עצמם כזרזים של למידה ורפלקציה ולא כמעריכים "שופטים". סתירה זו מעמידה בפני מורי המורים דילמה בדבר תפישת התפקיד שלהם (Cochran-Smith & Fries, 2002; Edwards et al., 2002)
לפתרון הדילמה מציעים הכותבים שנושאי-ליבה המתייחסים להערכה ימצאו בדיאלוג עם המטרות שהציבו כל הקשורים לתלקיט, זאת כדי להחליט על דרכים נאותות להעריך את איכותו. בתהליך זה תפקיד המעריך הוא בעיקר לבחון את תוכן התלקיט, לעקוב אחריו ולבחנו, זאת תוך התייחסות ליעדים שהוגדרו מראש ולביטוייהם בתלקיט. פרקטיקת ההערכה הופכת אז לבדיקה זהירה של הישגים הן כתהליך מעצב והן כתוצר מסכם, ובונה התלקיט מוזמן להסביר ולהגן על עבודתו לאור המטרות שהוצבו מראש. כך ההערכה הופכת להיות יותר "חקרנית" ופחות "שיפוטית". נושא מרכזי הראוי למחקר ולדיון בין המעורבים בתהליך הוא כיצד לבנות הסכמה על קריטריונים ועל אחריות של הערכה בתוך קהילת מורי המורים.
צריך לומר שכאשר בוחנים את הקריטריונים הממשיים בהם משתמשים מורי מורים בהערכת פורטפוליו בודד (השלב השלישי של המחקר), נראה מהמגוון הרחב של הציונים שהתקבלו שההערכה בעיניהם אינה עניין של מתן ציון גרידא אלא בעיקר של מתן שבח/חיזוק (meriting) לדרך עבודה. תהליך זה מניח מראש שקיים קשר חברתי והקשר שנותנים משמעות לעבודה ואי-אפשר להסתפק רק בתהליך ה"קר" של מתן ציון לפי קריטריונים שהוצבו מראש.
שימוש בקריטריונים כעדות שיפוטית – במקרה זה, התלקיט נתפש כתוצר, כאוסף של חומרים המוצגים לצורך ציון והערכה. מן המחקר עולה שניתן להשתמש בקריטריונים אלה בשתי דרכים שונות:
- כמערכת המבוססת על היגיון או שכל ישר של מה שנראה איכותי. למשל, נאספה כמות מספיקה של חומרי למידה, האוסף מוצג כהלכה, יש מספיק הערות בצד החומרים וכדומה.
- כמערכת של מרשמים נורמטיביים להשגת רמות מינימום. זוהי רמה נוספת מבוססת יותר של קריטריונים המציינים במפורש תבחינים מסוימים המנחים את המעריך. למשל, סוג הכשירויות שיש להציג בתלקיט, ספציפיקציה של עדות שיש לכלול וכיו"ב.
שימוש בקריטריונים כחוקי-אחריותיות / כסטנדרטים – במקרה זה התלקיט מוערך כתוצר לאור מערכת של סטנדרטים קבועים, המתייחסים לשאלה אם העדויות הכלולות בתלקיט מראות השגת מטרות שהוצבו מראש. גם כאן שתי דרכים:
- סטנדרטים כמבטיחי איכות (עם התייחסות חיצונית). הקריטריונים מתייחסים לסטנדרטים חיצוניים שהוצבו ע"י גוף חיצוני הנותן אישור או תעודה. הם מתייחסים לתחומי תוכן או לרמות ביצוע של התפקוד המקצועי.
- הקריטריונים שייכים לתוכנית לימודים מסוימת ומתייחסים לרמות ספציפיות שיש להשיג בתוכנית זו. הכוונה היא שהקריטריונים יכולים להיות מאוד ייחודיים ומותאמים למטרות המעריכים.
שימוש בקריטריונים כ-appraisal ביקורתי - במהותו זהו תהליך שבו התוצרים נבחנים בהתייחס למטרות שהוצבו. במקרה זה, בנוסף לבחינת התלקיט עצמו, נבחנים גם ההקשר שבו נבנה התלקיט, המקורות שלו והמבנה שלו. שימוש זה בקריטריונים להערכה ניתן לבחון משתי זוויות:
- חקר הדרך שבה הושגו מטרות שהוצבו ע"י השותפים בתהליך של מו"מ בו נבנים קריטריונים המקובלים על כולם. הדבר מוביל פעמים רבות לקריטריוני-על: אמון בתוצר, מהימנות העדויות, ביסוס החומרים, אחדות התוצר (Tilema,2003).
- הקריטריונים פועלים כממדים משותפים המכוונים לשיפור איכות הביצוע של בונה התלקיט. ממדים משותפים מופקים מדיון מקצועי ויכולים לכלול ממדים כמו: עושר התוכן, התאמה לסטנדרטים, עדות על ביצוע וצמיחה מקצועית (Sachs,2003).
מתן appraisal, כלומר בחינת התוצר לאור מטרות, דורש בחינה זהירה ומעקב אחר התרומה של הלמידה להישג. במונחים יותר ישירים: האם מה שכלול ומוצג בתלקיט, באמת מראה ונותן עדות על השגת מטרות שנקבעו מראש? התמקדות בשאלה זו עשויה לגשר על פני הדילמה של מורי המורים שמשמשים הן כמדריכים והן כמעריכים.
ביבליוגרפיה
Burns, C. W., (1999). Teaching portfolio and the evaluation of teaching in higher education: Confident claims, questionable support, Studies in Educational Evaluation 25, pp. 131-141.
Cochran-Smith, M.(2005). The new teacher education for better or for worth, Presidential address to the American educational research annual meeting, Montreal.
Cochran-Smith, M., & Fries, M. K.,(2002). The discourse of reform in teacher education: Extending the dialogue, Educational Researcher, 31 (6).
Darling-Hammond, L., (2000). Teacher quality and student achievement: A review of state policy evidence, Education Policy Archives, 8(1), www.epaa.edu
Darling - Hammond, L., et, al., (1998). The role of standards and assessment: A dialogue, In: M. Diez (Ed.), Changing the practice of teacher education: Standards and assessment as a lever foe change, Washington, DC: AACTE Publications.
Darling-Hammond, L., & Snyder, J. (2000). Authentic assessment of teaching in context, Teaching and Teacher Education, 16, pp.523-545.
Delandshere, G., & Arens, S. A.(2003). Examining the quality of the evidence in preservice teacher portfolio, Journal of Teacher Education, 54 (1), pp. 57-73.
Edwards, A., Gilroy, P., Hartley, D. (2002). Rethinking teacher education - Collaborative responses to uncertainty, Routledge, Falmer Press, London.
Heilbronn, R., Jones, C., Bubb, S., & Totterdell, M, (2002). School-based instructor tutors, a challenging role, School Leadership & Management 22(4), pp. 34-45.
Loughran, J. (2003). Knowledge construction and learning to teach, Keynote address for the International of Teachers and Teaching conference, Leiden Uni.
Sachs, J. (2003). Teacher professional standards controlling or developing teaching, Teachers and Teaching, 9 (2), pp. 175-187.
Shephard, L. (2000). The role of assessment in learning culture, Educational Researcher, 29, pp. 4-15.
Shulman, L. S. (1998). Teacher portfolios: A theoretical activity, In: N. Lyons (Ed.), With portfolio in hand: Validating the new teacher professionalism, NY: Teachers College Press.
Smith, K., & Tilema, H. H. (2003). Clarifying different types of portfolio use, Assessment and Evaluation in Higher Education, 26 (6), pp. 625-648.
Smith, K., & Tilema, H. H. (2006). The challenge of assessing portfolios; in search for criteria, In: A. Havens and L. McDowell (Eds.), Balancing dilemmas in assessment and learning in contemporary education, Routeledge Research in Education, London.
Tilema, H. H. (2003). Auditing assessment practices: Establishing quality criteria in the appraisal of competencies in organizations, International Journal of Human Resources Development and Management, 3 (4). Pp. 359-369.
Wade, R. C. & Yarbrough, D. B. (1996). Portfolios: a tool for reflective thinking in teacher education, Teaching and Teacher Education, 12 (1), pp. 63-79.
Zeichner, K. & Wray, S. (2000). The teaching portfolios in US teacher education programs: What we know and what we need to know, Teaching and Teacher Education, 17, pp. 613-621.
המאמר נמצא במרכז המידע הבין-מכללתי במכון מופ"ת
ביבליוגרפיה
Burns, C. W., (1999). Teaching portfolio and the evaluation of teaching in higher education: Confident claims, questionable support, Studies in Educational Evaluation 25, pp. 131-141.
Cochran-Smith, M.(2005). The new teacher education for better or for worth, Presidential address to the American educational research annual meeting, Montreal.
Cochran-Smith, M., & Fries, M. K.,(2002). The discourse of reform in teacher education: Extending the dialogue, Educational Researcher, 31 (6).
Darling-Hammond, L., (2000). Teacher quality and student achievement: A review of state policy evidence, Education Policy Archives, 8(1), www.epaa.edu
Darling – Hammond, L., et, al., (1998). The role of standards and assessment: A dialogue, In: M. Diez (Ed.), Changing the practice of teacher education: Standards and assessment as a lever foe change, Washington, DC: AACTE Publications.
Darling-Hammond, L., & Snyder, J. (2000). Authentic assessment of teaching in context, Teaching and Teacher Education, 16, pp.523-545.
Delandshere, G., & Arens, S. A.(2003). Examining the quality of the evidence in preservice teacher portfolio, Journal of Teacher Education, 54 (1), pp. 57-73.
Edwards, A., Gilroy, P., Hartley, D. (2002). Rethinking teacher education – Collaborative responses to uncertainty, Routledge, Falmer Press, London.
Heilbronn, R., Jones, C., Bubb, S., & Totterdell, M, (2002). School-based instructor tutors, a challenging role, School Leadership & Management 22(4), pp. 34-45.
Loughran, J. (2003). Knowledge construction and learning to teach, Keynote address for the International of Teachers and Teaching conference, Leiden Uni.
Sachs, J. (2003). Teacher professional standards controlling or developing teaching, Teachers and Teaching, 9 (2), pp. 175-187.
Shephard, L. (2000). The role of assessment in learning culture, Educational Researcher, 29, pp. 4-15.
Shulman, L. S. (1998). Teacher portfolios: A theoretical activity, In: N. Lyons (Ed.), With portfolio in hand: Validating the new teacher professionalism, NY: Teachers College Press.
Smith, K., & Tilema, H. H. (2003). Clarifying different types of portfolio use, Assessment and Evaluation in Higher Education, 26 (6), pp. 625-648.
Smith, K., & Tilema, H. H. (2006). The challenge of assessing portfolios; in search for criteria, In: A. Havens and L. McDowell (Eds.), Balancing dilemmas in assessment and learning in contemporary education, Routeledge Research in Education, London.
Tilema, H. H. (2003). Auditing assessment practices: Establishing quality criteria in the appraisal of competencies in organizations, International Journal of Human Resources Development and Management, 3 (4). Pp. 359-369.
Wade, R. C. & Yarbrough, D. B. (1996). Portfolios: a tool for reflective thinking in teacher education, Teaching and Teacher Education, 12 (1), pp. 63-79.
Zeichner, K. & Wray, S. (2000). The teaching portfolios in US teacher education programs: What we know and what we need to know, Teaching and Teacher Education, 17, pp. 613-621.
המאמר נמצא במרכז המידע הבין-מכללתי במכון מופ"ת
yyya
המאמר מאוד חשוב, לכל צוות ההוראה.
הפיקוח של משרד החינוך ואגף הבחינות, בקשו הערכה חלופית פנימית ל- 30% מתוך ה-5 יח"ל בגרות ברוב המקצעות.
השאלה האם המורים יודעים בסופו של דבר להעריך תלקיט.
האם מה שכלול ומוצג בתלקיט, באמת מראה ונותן עדות על השגת מטרות שנקבעו מראש?