מחקר הערכה – מהו?

מטרה ומאפיינים

מחקרים במדעי החברה מסווגים, בדרך כלל, למחקרים תיאורטיים, המכוונים למציאת תשובות לשאלות מתוך עניין תיאורטי או סקרנות אינטלקטואלית, ולמחקרים יישומיים, המכוונים לפתרון בעיות מעשיות כדי לשפר איכות, לגלות אם מאפייני תופעה נותנים מענה לצורך או לחסר מסוים. מחקר הערכה הוא דוגמא למחקר יישומי במדעי החברה ולעתים הוא נקרא הערכת תכניות (Babbie, 1994).

מחקר הערכה מתייחס למטרת המחקר יותר מאשר לשיטת מחקר מסוימת. לפי רוסי ופרימן (Rossi & Freeman, 1997). מטרה זו היא להעריך תכניות של התערבות חברתית (כלומר, פעולות בהקשר חברתי עם תוצאות מכוונות כדוגמת תכניות לימוד, שיטות הוראה, חידושים ופרויקטים מגוונים) מבחינת הבסיס המושגי שלהן, התכנון, היישום, וההשפעה של תוכניות אלו.

מחקרי הערכה משקפים את רצונו של החוקר להשפיע, להביא לשינוי בעולם, אולם אי אפשר להתעלם מההשפעה של דרישות מטעם הסמכויות (כמו של משרד החינוך, רשות שלטון מקומי, מוסד לימודי), כי יישום של תוכניות חדשות ועיצוב של פרויקטים קיימים יהיו מלווים בהערכה.

הנושאים במחקר הערכה נקבעים לפי ההיבטים שבעלי העניין רואים כמביאי תועלת, כחשובים לקידום מטרותיהם, ולא לפי מידת התרומה שלהם לדיון אקדמי או לתיאוריה חברתית (Berk, 1995). בעלי העניין כוללים את: קובעי המדיניות ברמת הביצוע וגם ברמת החקיקה, גופים שמנהלים מדיניות ותוכניות ועומדים לבדיקה, אנשים שנותנים שירות לגופים אלה, קבוצות שמייצגות מטרות ונהנות מהתוכניות, ולפעמים משלמי מיסים ואזרחים בכלל.

פאטון (Patton, 2003) מבדיל בין הערכת תכניות כללית לבין הערכת תוכניות הממוקדות- בשימוש (Utilization-focused). הוא מדגיש כי הערכת תוכניות כללית מבוססת על איסוף שיטתי של נתונים לגבי מגוון רחב של נושאים, ומתארת שימושים אפשריים בממצאים. לעומתה, הערכת תוכניות הממוקדת-בשימוש מפרטת את השימושים המכוונים בממצאים עבור המשתמשים בתכנית. אמנם, הערכה הממוקדת-בשימוש דורשת מעבר מהכלל והמופשט, למשל קהל אפשרי ושימוש פוטנציאלי לפרטי ולמוחשי, כמו הקהל המסוים שעושה שימוש ממשי בממצאי ההערכה ומיישם את המלצותיה. על-פי באבי (Babbie, Ibid) ניתן לאפיין מחקר הערכה כמונע על ידי אחד ו/או שני הסגנונות האלה:

§  מחקר אמפירי לגבי מהות ואיכות התערבויות מסוימת, שעונה על שאלות כמו – האם התכנית השיגה את התוצאות הרצויות? האם התכנית הועברה בהצלחה? האם השתמשו במימון בצורה מתאימה? האם ניתן להעריך את יעילות התכנית? האם התכנית עובדת לפי התכנון? האם התכנית מצדיקה את התוצאות? מהי הבעיה (החברתית)? עד כמה הבעיה חמורה? כיצד ניתן לפתור את הבעיה? האם ניתן לעצב תכניות עתידיות? האם ניתן ליישם בצורה מהימנה תכניות עתידיות?

§  מחקר מתודולוגי לגבי איכות ההערכה, שעונה על שאלות כמו – איך מבצעים הערכות טובות? האם מערך מחקר – ההערכה, המדידה, ניתוח הנתונים נבחרו בהתאמה לנושאים המוערכים? איך מבטיחים שבעלי העניין לא יגרמו להטיה של הנתונים? איך מדווחים על הממצאים לבעלי העניין?

תהליך

תחילתו של מחקר הערכה היא בבירור הרקע הקונספטואלי והמשמעות המעשית של תכניות, השקעות, אמנות וערכים ושל התוצאות המצופות, ובקביעת הנושאים שרוצים להעריך.

משהתבררו נושאי ההערכה נקבעים מדדים אופרטיביים המתאימים לכל אחד מן הנושאים, נבחרים קריטריונים לאפיון הצלחה או כישלון על בסיס הסכמה בין בעלי העניין, ומוגדרת האוכלוסייה שהתכנית מתאימה לה (כולל משתנים דמוגרפים שיימדדו כמו מין, גיל וכד').

ביצוע מחקר ההערכה מתבסס על אסטרטגיות מגוונות שבוחר חוקר ההערכה לפי הצורך. אלה נגזרות ממודלים שונים בעלי מאפיינים ייחודיים (Trochim, 2000):

1. מודל מדעי ניסויי המדגיש את חשיבות הדיוק, האובייקטיביות והטיפול בתוקף ובמהימנות המידע המופק.
2. מודלים של מערכות מכוונות- ניהול, המדגישים את הצורך בהבנה של נושאי ההערכה ואת ההכרח בשילוב הערכה במסגרת הרחבה יותר של פעילויות ארגוניות.
3. מודלים נטורליסטים/איכותניים, המדגישים את ערכו של הפירוש האנושי בתהליך ההערכה.
4. מודלים מכווני-משתתף, המדגישים את ערכו של הפירוש האנושי בתהליך ההערכה.

נראה כי מערכי מחקר ניסויי שימושיים במיוחד לביצוע מחקרי הערכה, כי הם מאפשרים את מדידת היעילות וההשפעה של תוכניות המבטיחים כי ממצאי המחקר הם תוצאה של התכנית או החידוש הנמדדים ולא תוצאה של אירועים או משתנים חיצוניים (Gribbons & Herman, 1997). אולם יש לזכור גם את מגבלותיהם – יכולת בדיקה של מספר מצומצם של נושאי הערכה, קשיים לוגיסטיים בהפעלתם, קשיים במיון הנבדקים לקבוצת ניסוי וביקורת אקראית, במיוחד בהערכת החינוך. מערכי המחקר הניסויי כוללים גם מערך ניסויי- אמיתי וגם מערך דמוי-ניסוי. האחרון, למרות הבעייתיות בפירוש הממצאים, נפוץ יותר במחקרי הערכה.

לאחר איסוף נתוני המחקר ועיבוד הנתונים מדווח חוקר ההערכה על הממצאים לבעלי העניין תוך התייחסות לנושאי ההערכה שנבחרו בתחילת התהליך. מתברר כי ההשפעה של מחקר ההערכה נובעת מתהליך ההערכה יותר מאשר ממצאי ההערכה (Patton, 2003). התהליך מסייע לקידום הבנות משותפות, במיוחד לגבי התוצאות: הוא מגדיל את מעורבות המשתתפים ואת תחושתם שהם מובילים ואחראים לתכנית, הוא נותן תמיכה וחיזוק לתכניות קיימות והוא תורם להתפתחות ארגונית. עבור חוקרי ההערכה, השימוש בדרכי חשיבה מדעית הוא טבעי וקל ומהווה חלק מתרבות עבודתם. אולם, עבור מקבלי ההחלטות, קובעי המדיניות ואנשי הביצוע דרכי חשיבה אלה אינן חלק טבעי מהתרבות ועליהם ללמוד וליישם שימוש בהצדקות, במודלים ובערכים המנחים את חוקרי ההערכה. מכאן שבעקבות הלמידה בתהליך ההערכה חלים שינויים בחשיבה ובהתנהגות, שינויים בתכניות או שינויים ארגוניים.

מאחר שמחקר הערכה מתרחש בסיטואציות של החיים, חוקרי הערכה עלולים להיתקל בקשיים בתהליך ההערכה: תלות ברצונם הטוב של המוערכים, מעורבות במאבקים פוליטיים, הכרח לשפוט איכות נושאים על פי מידע לא מספק, התמודדות עם חרדה בקרב מי שעלול להיפגע מהממצאים ועם התנגדות פסיכולוגית של מי שאמור לפעול לפי הממצאים, ביקורת ציבורית שלילית הנובעת מחשש בפגיעה בצנעת הפרט (נבו, 1989).

זאת ועוד, חוקרי ההערכה צריכים להציג את הממצאים בצורה מובנת לאנשים שאינם חוקרים, גם אם הממצאים נוגדים אמונות מושרשות, וגם אם הם שליליים או ביחס הפוך למידת ההשקעה בתכנית.

מחקרי הערכה בהכשרת מורים

בשנים האחרונות הולך ומתרחב המחקר בתחום הכשרת המורים וקרנות מחקר רבות נותנות עידוד למחקר שיסייע בתיאור המתרחש בהכשרה – תפיסות מורים, ציפיות סטודנטים, דרכי מיון, דרכי הערכה, תוכניות לימודים, פרוייקטים ייחודיים, המבנה הארגוני, הפעלת חידושים ועוד. המחקר ברובו יישומי ובעיקרו מכוון להסבר תופעות, לאיתור בעיות ולזיהוי דרכים לעיצוב ולשיפור היבטים שונים במערכת ההכשרה להוראה. נראה כי עידוד מחקרי הערכה הממוקדים-בשימוש עשוי לתרום במידה רבה עוד יותר לפתרון בעיות, לעיצוב ההכשרה ולקידום איכותי. ניקח לדוגמא, קורס כלשהו לסטודנטים בשנתם הראשונה במכללה להכשרת מורים: במסגרת מחקר הערכה נברר מהו הרציונל להוראת הקורס המסוים, ומה הן התוצאות המצופות בסופו. נשתף בעלי עניין כגון סטודנטים ומרצים, מומחי תחום, מנהלי בתי ספר ומפקחים בחינוך – בבחירת הנושאים שחשוב להם להעריך. נאסוף נתונים באמצעות שיטות המתאימות לבירור הנושאים שנבחרו, לדוגמא, שימוש בשאלוני עמדות ובנתונים סטטיסטיים לגבי המצב החברתי-כלכלי של הסטודנטים. בעקבות ניתוח הנתונים ידווחו הממצאים לכל בעלי העניין. ההמלצות יכללו פירוט פעולות ליישום, לדוגמא שינוי בתכנית הקורס או באוכלוסיית הלומדים אותו.

יש סיכוי שמחקר ההערכה יסייע בעיצוב הקורס שתואר וישפיע על איכות ההכשרה להוראה. זאת מאחר שמחקר זה מעוגן במציאות היום-יומית בהכשרה, עוסק בירורי שיטתי של נושאים הרלוונטיים לבעלי העניין, והם אף שותפים בתהליך ההערכה, והדיווח על הממצאים כוללות המלצות מעשיות ליישום.

ביבליוגרפיה

נבו, ד'. (1989). הערכה המביאה תועלת: הערכת פרויקטים חינוכיים וחברתיים. גבעתיים: דפוס פלאי בע"מ.

Babbie, E. (1994). The practice of social research (7th edition). Belmont, CA: Wadsworth publishing company.

Berk R. A. (1995). Publishing evaluation research, Contemporary Sociology, 24 (1), pp. 9-13.

Gribbons, B. & Herman, J. (1997). True and quasi-experimental designs, Practical Assessment, Research & Evaluation, 5 (4), pp. 1-4.

Patton, M.Q. (2003). “Utilization –focused evaluation”. In: T. Kellagan & D.L. Stufflebeam (Eds) International handbook of educational evaluation, Dordrecht, The Netherlands: Klower Academic Publishers.

Rossi. P. H. & Freeman, H. E. (1985). Evaluation: a systematic approach (3rd edition). Beverly Hills, CA: Sage publications.

 Trochim, W. M (2000). The research methods knowledge base (2nd edition)