הערכת קידום ההישגים בכישורי כתיבה בסביבה מתוקשבת

מקור וקרדיט: הלנה קימרון, דר' ריטה סבר (אונ' העברית ועיריית ת"א), חני שלטון ואורית שפריר, צוות מט"ח, מצגת שהוצגה  בכנס מו"ח 2005. 

שאלות מרכזיות:

1. כיצד מזהים התקדמות אישית בהישגים בתחום כה מורכב כמו הבעה בכתב בהיקף רחב של משתתפים (אלפי תלמידים)?
2. כיצד מעריכים פרויקטים שונים עם מטרות שונות (בכתיבה) ואוכלוסיות יעד שונות בגילאים שונים?
3.  כיצד מתאימים את כלי ההערכה לסביבה מתוקשבת

אוכלוסיית המחקר:

שבעה פרויקטים בתחום האוריינות:

• כ- 170 בתי-ספר
• כ- 380 כיתות
• כ- 11400 תלמידים

הנחות יסוד

• אם תלמידים מתקדמים במיומנויות של הבעה בכתב במהלך השתתפותם בפרויקט, אזי הטקסט שהם כותבים בסיום הפרויקט יהיה באיכות טובה יותר מאשר הטקסט שהם כותבים בתחילתו.
• המורים מסוגלים להבחין באופן הוליסטי בין טקסטים מתקדמים יותר (באיכות טובה יותר) לבין טקסטים מתקדמים פחות.

מתודולוגיה

•   מיון הוליסטי של תוצרים על-פי טכניקה של  Q sort
•   קריטריון המובחנות (distinguishability )  ממבחן טיורינג  Turing Test) )

טכניקת "השוואה עיוורת" הוליסטית ביניהם מאפשרת  דגימה אקראית בהיקף רחב של משתתפים

משימת המורה:

         תשס"ג                                                                             תשס"ד

טכניקת השוואה עיוורת

מהימנות בין-שופטים
נבדקו 33 צמדים שהוערכו ע"י מורים שונים.
המדגם כלל בין 15 לבין 42 מורים (בהתאם לפרויקט), 22 מורים בממוצע.
אחוז ההסכמה נע בין 61% לבין 89%, בממוצע 76%.

מסקנה: אפשר "לסמוך" על הערכות מורים לפי טכניקה זו.

מענה לשאלות המרכזיות
באמצעות השוואה הוליסטית של תוצרי כתיבה (שנכתבו לפני ואחרי ההשתתפות בפרוייקט אבל מוערכים בו-זמנית) ,המבוססת על אינטגרציה גמישה של מכלול קריטריונים להערכה

כיצד זיהינו התקדמות אישית בהישגים בתחום כה מורכב כמו הבעה בכתב בהיקף רחב של משתתפים (אלפי תלמידים)?

                        באמצעות:

•  דגימת הטקסטים מתוך אלפי הצמדים
• הערכת הטקסטים באמצעות מעריכים רבים – המורים

כיצד הערכנו פרויקטים שונים עם מטרות שונות (בכתיבה) ואוכלוסיות יעד שונות בגילאים שונים?

            ההבדל בין הפרויקטים בא לידי ביטוי במשימת הכתיבה הניתנת לתלמידים, אך לא בשיטה.

דוגמאות למשימות כתיבה מגוונות:

בחרו באחת מבין שתי הידיעות העיתונאיות שלפניכם. הרחיבו את הידיעה שבחרתם לכתבה או למאמר.

ידיעה 1: עשרה בני אדם טבעו בחוף תל-אביב מאז תחילת עונת הרחצה.
ידיעה 2: משרד החינוך נוקט בצעדים חדשים להגברת המשמעת בבתי ספר.

*  סמנו את צורת הכתיבה שבה כתבתם:

    א.  כתבה
    ב.  מאמר
    ג.  אינני יודע

בעקבות קריאת ספרים שונים (פרויקט "קוראים-כותבים"):

v  דליה לא הצטרפה לחרם על חברתה מירית ושילמה על כך בזה שהחרימו גם אותה. האם כל אחד יכול להתמודד עם מצב כזה כמו דליה, או האם היה בדמות שלה משהו מיוחד שאפשר לה? ("קירות שלא רואים")

v  גיתית מגיעה לשכונת בת גלים ומיד הופכת לדמות בולטת ומשפיעה בחבורת הילדים. מדוע לדעתכם החבורה מוכנה לקבל את גיתית כמנהיגה,  למרות העובדה שהיא זרה וחדשה? ("החטיפה מן המנזר")

אז מה מיוחד בשיטה?

עקרונות:

•  הטקסטים נכתבים בנקודות זמן שונות, אך מוערכים בו זמנית.
•  ההשוואה בין הטקסטים היא בסיס להערכה.
•  ההתייחסות לאיכות הטקסטים היא הוליסטית, לעומת מפרט של פרמטרים.
•  הטכניקה גנרית – רלבנטית למגוון רחב של משימות כתיבה.
•  נעשה שימוש באינטואיציה המקצועית של המורים.
•  אין דרישה למאמץ נוסף ממפתחי/מנחי הפרויקטים ומהמורים המשתתפים.

יתרונות הסביבה המתוקשבת להערכה שלנו:

יתרונות לוגיסטיים:

•   ייעול ההפצה של משימת הערכה/שאלון/מבחן.
•  הפצה נוחה בו וזמנית להיקפים רחבים של אוכלוסיות היעד.
•  חסכון במשאבים  - אין צורך לשכפל, לאחסן. אין צורך בנוכחות המעריך.
•  ייעול באיסוף תוצרי התלמידים – ללא נוכחות פיזית, ללא הובלה ואחסון התוצרים.
•  תהליך של הפקת צמדי הטקסטים עבור המורים הבודקים.
• הצמדת הטקסטים של אותו תלמיד, דגימת הצמדים מתוך האלפים, מחיקה של
• הפרטים המזהים, ערבול אקראי של סדר בין הטקסט המוקדם יותר למאוחר יותר,  עיצוב גרפי והפקה סופית.

יתרונות נוספים:

•  התאמתה של סביבת ההערכה לסביבת הלמידה וההוראה.
•  בדיקת הטקסטים נוחה ואינה מושפעת מכתב יד בלתי ברור.
•  פוטנציאל להערכה פחות פולשנית (unobtrusive) המתבססת על  חומרים אותנטיים.
• שאלון/מבחן משימה ייעודית בפורום פורום פתוח

אתגרים

• להקטין מידת הפולשנות של הערכה, כלומר לאפשר פרוצדורה דומה עבור פורומים פתוחים: שליפת הטקסים המוקדמים והמאוחרים של התלמידים, בלי שהמורים והתלמידים ירגישו בנוכחותה של הערכה.