הערכת סטודנטים את איכות ההוראה: חד ממדיות, סובייקטיביות והטיות

Radchenko, N. (2020). Student evaluations of teaching: unidimensionality, subjectivity, and biases. Education Economics, 28:6, 549-566, DOI: 10.1080/09645292.2020.1814997

עיקרי הדברים:

• סקרים שממלאים סטודנטים על מרצים נוסדו בשנות הארבעים ככלי לשיפור הוראה
• עם השנים קיבלו משקל בקבלת החלטות על מתן קידום וקביעות למרצים
• זאת, אף שהסקרים רוויים בעיות והטיות, ואין הם כלי אמין לקביעת איכות ההוראה
• על הציונים שמקבלים המרצים מהסטודנטים שלהם משפיעים גורמים בלתי ענייניים
• בין הגורמים: מגדר המרצה, סוג הקורס, גודל הכיתה והשעה ביום שבה נערך הסקר
• באחרונה ניכרת מגמה של נסיגת האקדמיה מהתחשבות בסקרים בעת קידום מרצים

מחקר זה מחזק את הראיות האמפיריות לכך שסקרי ההוראה באקדמיה רוויים בהטיות רבות הקשורות במגדר המרצה; בסוג הקורס (כמותי או איכותני, חובה או רשות); בגודל הכיתה; במגדר הסטודנטים בכיתה; ואפילו בשעה ביום או במזג האוויר שבהם מתבצע הסקר. כל זאת, באופן שמעודד אינפלציית ציונים ופוגע ביכולת להגיע ללמידה מעמיקה. ממצאי המחקר מטילים ספק באפקטיביות של הערכות סטודנטים את איכות ההוראה של המרצים שלהם, ובמדיניות האקדמיה להתחשב בסקרי ההוראה הללו בעת קבלת החלטות לגבי מתן קביעות וקידום למרצים בפקולטה. 

תקציר המאמר

לקריאה נוספת: כל הסיכומים בנושא הערכת הוראה

ראשיתם והתפתחותם של סקרי ההוראה

סקרי ההוראה שממלאים הסטודנטים, student teaching evaluation או בקיצור SET, נהגו על ידי הפסיכולוג האמריקאי א.ט. גאתרי, E.T. Guthrie, ששירת כדיקן באוניברסיטת וושינגטון בשנות הארבעים. באופן מעניין, ההשתתפות בסקרי ההוראה היתה אז התנדבותית מבחינת המרצים. בשנות השישים והשבעים התפשטה השיטה בקרב רוב האוניברסיטאות בצפון אמריקה ככלי תקשורת בין סטודנטים למרצים שמטרתו היתה לשפר את איכות ההוראה. ואולם במקום זאת נהפכה אט-אט השיטה לכלי היחיד שמשמש להעריך את איכות ההוראה של המרצים וכבסיס חשוב להחלטות בענייני קידום וקביעות, למרות ספקות באשר להטיות ולמניפולציות שהשיטה חשופה אליהן.

ספרות המחקר על הטיות סקרי ההוראה

עם ההטיות הללו ניתן למנות מגדר (Mengel et al. 2019), גזע (Dee 2005) ונושא הקורס (Uttl and Smibert 2017). ספרות המחקר חשפה נזקים כגון אינפלציית ציונים (Langbein 2008) וחסמים בדרך ללמידה עמוקה (Sproule 2002).

ייחודו והיקפו של מחקר זה

ייחודו של מחקר זה נעוץ בכך שהוא עורך סינתזה להיבטים שונים של סקרי הוראה שנחקרו באופן נפרד בעבודות קודמות, ומדגיש את הבעיות הסטטיסטיות הכרוכות בסקרים אלה ובראשן טיבם הבלתי-דטרמיניסטי והאיכותני אשר מערער את האפשרות לנתח ולפרש את המידע – עובדה שאינה מוכרת באופן רשמי ועקבי בספרות המחקר.

מחקר זה בוחן את השימוש בסקרי ההוראה גם מהיבטים התנהגותיים ובכלים של כלכלת אושר, ומספק ראיות אמפיריות לחד-ממדיות של התשובות על סקרי ההוראה שהוכרה רק על-ידי Langbein (1994) ולאחריו נשללה בספרות המחקר. אף שהבעיות הסטטיסטיות חשובות מבחינת מדיניות, הדרג הניהולי באקדמיה מתעלם מהן, מפרש לא נכון את הנתונים ומשתמש באמצעים סטטיסטיים בלתי הולמים כדי להעריך את איכות ההוראה.

בנוסף לכך מציג המחקר גורמים בלתי רלוונטיים שעומדים בתשתית תוצאות סקרי ההוראה, מה שהופך אותם למוטים ולבלתי מתאימים לשמש קנה מידה להשוואה בין מרצים. מחקר זה עושה שימוש בנתונים שנלקחו מכ-17 אלף כיתות במדעי החברה ובכ-365 אלף סקרי הוראה שמולאו לגבי יותר מ-2000 מרצים באוניברסיטה אמריקאית בין השנים 2006 ל-2017.

חידוש נוסף של מחקר זה נעוץ בראיות שהוא מביא ראיות להטיה שנגרמת על-ידי תשובותיהם של הסטודנטים הבלתי-מרוצים-ביותר מאז המעבר מסקרים הנערכים בכתב יד בכיתה לסקרים מקוונים שההשתתפות בהם נתונה לבחירת הסטודנטים. גם עניין זה מדגים את טיבם הסובייקטיבי של סקרי ההוראה ומזהיר מפני השימוש בהם לנוכח השפעתם של מקרי קיצון שליליים על ציוני המרצים.

המגמה באקדמיה האמריקאית לסגת מסקרי ההוראה

באחרונה נקבעו תקדימים, למשל של אוניברסיטת דרום קליפורניה ושל אוניברסיטת Ryerson בקנדה, שביטלו את השימוש בסקרי הוראה או לפחות הגבילו אותו באופן שאינם משפיעים על החלטות לגבי קידום או מתן קביעות. מחקר זה מראה כי מגמה זו היא הדרך הנכונה להימנע ממתן השפעה לציונים שרירותיים או נתונים למניפולציות, לאפליות נגד סוגים מסוימים של מרצים ומהמשך אינפלציית הציונים.

מסקנות

המחקר תיעד בעיות סטטיסטיות והטיות בסקרי ההוראה:

מדגמים בלתי מספקים (לעתים רק 10% מהסטודנטים בכיתה משיבים לסקר).

האופי האיכותני והסובייקטיבי של הציונים, ששולל תוקף מהפרשנות המקובלת שניתנת לסקרים ומכלי מדידה מספריים כגון ממוצע ציונים שבניגוד לחציון, מושפע מאוד ממקרי קיצון. מקרי קיצון אלה מקבלים משקל-יתר בסקרי הוראה שההשתתפות בהם אינה בגדר חובה, משום שבסקרים אלה יש ייצוג עודף לסטודנטים הבלתי מרוצים ביותר.

נמצא כי כמה מגורמי ההטיה בסקרי ההוראה חזקים מאחרים. כך למשל, מגדר ורמה נמוכה של סטודנטים משפיעים יותר מגודל הכיתה.

חד ממדיות של סקרי ההוראה, שמתבטא בהתרכזות בתשובות הסטודנטים על שביעות רצונם מהנעשה בכיתה מבלי להתחשב בקטגוריות שונות שפוגעות במרצים מסוג מסוים או בכאלה שמלמדים כיתות מסוג מסוים. כך למשל, נמצא שסטודנטיות נוטות להעניק למרצים ציונים נמוכים יותר מסטודנטים (מה שיפגע במרצים שמלמדים כיתות שבהן יש רוב לסטודנטיות, בהשוואה למרצים שמלמדים כיתות שבהן יש רוב לסטודנטים).

הסטודנטים אינם בהכרח מעריכים מדויקים של איכות ההוראה של מרציהם, בהתחשב בהבדלים הגדולים בכמות ההכשרה והניסיון בין המרצים לסטודנטים.

הציונים בסקרי ההוראה מושפעים מגורמים בלתי ענייניים כמו השעה ביום ותנאי מזג האוויר שבהם הסקר נערך: ככל שמזג האוויר קודר יותר, יורדים הציונים שמקבלים המרצים מהסטודנטים (Braga et al. 2014).

חוסר אחריות של הסטודנטים המשיבים, כמודגם במנעד הגבוה של הציונים שהם מעניקים למרצים גם בפרמטרים אובייקטיביים פשוטים כמו "משך הזמן שלוקח למרצה להחזיר עבודות".

סטודנטים מעניקים חשיבות יתר לגורמים כמו הנאה מלימודים, אלמנטים בידוריים בשיעור וחוסר מאמץ (Stark and Freishtat 2014), כפי שנראה בדוגמה שבה חלוקת עוגיות בשיעור העלתה את ציוני המרצים (Hessler et al. 2018).

סיכום

התוצאות מצביעות על כך שציוני סקרי ההוראה לוקים באפליה ובהטיה בהתאם למגדר המרצה, גודל הכיתה, הציפיות לציונים ולטבעו של הקורס. במיוחד הם מענישים מרצים שמעבירים קורסי חובה, קורסים כמותיים או כיתות גדולות. מרצות נשים נפגעות במיוחד כאשר הן מלמדות תוכן טכני או נותנות ציונים נמוכים. המעבר מסקרי הוראה שנערכים בכיתה לסקרי הוראה מקוונים כרוך בסיכון להגדלת ההטיות הללו משום שבסקרים התנדבותיים יעלה חלקם של הסטודנטים המרוצים והבלתי מרוצים ביותר.

ככלל, תוצאות אלה מצביעות על כך שציוני החציון של סקרי ההוראה אינם משמשים בסיס מועיל להשוואה בין מרצים ולמדידה של יכולת ההוראה שלהם.

ביבליוגרפיה

Braga, M., M. Paccagnella, and M. Pellizzari. 2014. “Evaluating Students’ Evaluations of Professors.” Economics of Education

Review 41: 71–88. doi:10.1016/j.econedurev.2014.04.002

Dee, T. S. 2005. “A Teacher Like Me: Does Race, Ethnicity, Or Gender Matter?” American Economic Review 95 (2): 158–165.

doi:10.1257/000282805774670446

Hessler, M., D. M. Popping, H. Hollstein, H. Ohlenburg, P. H. Arnemann, C. Massoth, L. M. Seidel, A. Zarbock, and M. Wenk

2018. 2018. “Availability of Cookies During An Academic Course Session Affects Evaluation of Teaching.” Medical Education

52: 1064–1072. doi:10.1111/medu.2018.52.issue-10

Langbein, L. I. 1994. “The Validity of Student Evaluations of Teaching.” PS: Political Science and Politics 27 (3): 545–553

Mengel, F., J. Sauermann, and U. Zölitz. 2019. “Gender Bias in Teaching Evaluations.” Journal of the European Economic

Association 17 (2): 535–566. doi:10.1093/jeea/jvx057

Sproule, R. 2002. “The Underdetermination of Instructor Performance by Data From the Student Evaluation of Teaching.”

Economics of Education Review 21 (3): 287–294. doi:10.1016/S0272-7757(01)00025-5

Stark, P., and R. Freishtat. 2014. “An Evaluation of Course Evaluations.” ScienceOpen Research

Uttl, B., and D. Smibert. 2017. “Student Evaluations of Teaching: Teaching Quantitative Courses Can Be Hazardous to

One’s Career.” PeerJ. doi:10.7717/peerj.3299