הערכת תהליכי למידה בעידן הלמידה המתוקשבת – האם סוף סוף קיימות עובדות מוצקות?

מקור:  ירחון משאבי אנוש, ספטמבר-אוקטובר 2006.

המחבר הוא הוא מנכ"ל א-לרנינג פתרונות ידע, דוקטורנט בבית הספר לחינוך, אוניברסיטת תל אביב.

לרוב הערכת למידה עוסקת במדידת תוצאות הלמידה, וגם מדידה זו אינה מדויקת באמת. רוב כלי ההערכה מודדים בעיקר תוצרי למידה או חוות דעת עקיפות. אנשי ההדרכה וההוראה היו שמחים להיות במצב שבו הם יכולים לנתח את תהליך הלמידה ולראות כיצד הוא מתנהל ממש דקה אחר דקה.

המאמר מתאר מערכת הערכה ממוחשבת שפותחה לצורך הערכת תהליכי למידה של אלפי לומדים בקורס הכנה ללימודים פסיכומטריים בישראל. לצורך כך פותח מנגנון המתעד את תהליכי הלמידה ברמה הצמודה ביותר שאפשר לדווח ולתאר. כל קליק של כל לומד בכל רגע נתון בסביבת הלמידה מתועד ונרשם. יתרה מכך, לכל קליק גם יש חותמת זמן המצביעה על השעה בה בוצע אותו קליק – כלומר, לא רק שאנו למדים על מסלול הלמידה שהלומד בחר בו אלא גם, כמה זמן הוא שוהה בכל עמוד ועמוד במערכת הממוחשבת ללמידה. כתוצאה מכך יכולים החוקרים והמורים ללמוד, אל מול למידה המתבצעת על מאסה אדירה של לומדים, את תהליך הלמידה המדויק שהלומד בחר לעצמו מרגע שנכנס לסביבת הלמידה ועד לרגע שיצא ממנה בכל אחת מהפעמים בהן שהה בסביבה.

בתהליך הממוחשב המתבצע באופן רציף נאגר מחסן נתונים המאפשר לנו ללמוד הרבה על תהליכי הלמידה. הוא מאפשר לנו להבין, אולי לראשונה, ובאופן מקיף מאד, מה עובר על הלומד שלנו? כל לומד מתועד ברמת הקליק וניתן להעריך את תהליך הלמידה של כל לומד ולנתח את ההתנהגות של כל לומד בנפרד ולחפש התנהגויות משותפות לכלל הלומדים וסגנונות למידה דומיננטיים. ההערכה המתוארת מבוססת על כלי ה-DATA MINING או ה-WEB MINING, ובעברית: כלים של כריית נתונים או כריית נתוני WEB.

אלו כלים שארגונים עושים בהם שימוש רב במחקרים רבים לצורך ניתוח פעולות ממוחשבות ואיתור דפוסי פעולה והתנהגות. כלים אלו דומים במידה מסוימת לכלים סטטיסטיים – אך הם מתייחסים לכמות שלמה של נחקרים ולא לכמות מדגמית מתוכם והם לרוב מנתחים את הפעילות במימדים נוספים מעבר לאלו של המדע הסטטיסטי, לפחות בכך, שהם לא בהכרח מביאים עמם השערת מחקר אלא – מאתרים בתוך כמות מידע ענקית דפוסים ומגמות דומיננטיים.

השימוש בטכניקה של כריית נתונים רלבנטית בכל מצב בו יש מאגר אדיר של נתונים, ומערכות ממוחשבות מחפשות בו דפוסים קבועים. כך למשל, חברות מסחריות רבות מבצעות תהליכי כריית נתונים על מנת ללמוד יותר על התנהגות המשתמשים במערכות המידע שלהם. המאפיין המשמעותי של מערכות כריית הנתונים הוא היכולת לנטר ולאתר מתוך מאגר ענק רצף של פעולות או התנהגויות שחוזר על עצמו מספיק פעמים עד שנוכל להגדירו כדפוס דומיננטי וללמוד ממנו על ההתנהגות האנושית. כפי שהדבר נעשה בבדיקת אפקטיביות של פרסומת טלביזיה, הוא יכול להיעשות עבור ניתוח של תהליכי למידה.

תהליכי כריית הנתונים שבוצעו בחקר המקרה המתואר במאמר (צעירים המכינים עצמם לפסיכומטרי בסיוע האינטרנט) מאפשרים להסיק מסקנות על תהליכי הלמידה שלהם מתוך תהליכי כריית הנתונים המודדים כל קליק בתהליך הלמידה.

והנה מספר דוגמאות:

משך זמן הלמידה שהקדישו הלומדים בכל ביקור באתר - ישנה טענה רווחת שלפיה לא ניתן "להחזיק" לומדים יותר מעשרים דקות או חצי שעה בתהליך למידה מתוקשב. אולם נמצא, כי בסביבת הלמידה הספציפית של חקר מקרה זה לומדים רבים שהו בסביבת הלמידה אפילו שעות ארוכות. אין בכך כדי להשליך על סביבות אחרות ולומדים אחרים, אלא, ללמד, שישנם לומדים רבים שאינם נרתעים מתהליכי למידה ממושכים וכדאי לתת להם את האפשרות לממש רצון זה ולא לתחום אותם לתהליכי למידה קצרים רק בגלל שלומדים אחרים מתקשים להחזיק מעמד זמן רב מול סביבה מתוקשבת.

משך הלימודים

ניכר כי לומדים רבים "סורקים" עמודים במהירות רבה (שניות אחדות) או מרפרפים על עמודים רבים, לעומת אחרים- שמתעמקים בכל פריט תוכן. מפתח התוכן נדרש לתת מענה לשני סגנונות למידה שכאלו על פי ניתוח של משך שהות הלומדים בכל עמוד ועמוד.

סדר הלמידה

האם למדו לפי סדר הלמידה המומלץ בסביבת הלמידה או שבחרו בדרכים משלהם? כמובן שגם וגם. אחוז גבוה מהלומדים בחר שלא ללמוד לפי סדר ליניארי מסוים כפי שהומלץ. הללו העדיפו להיות תזזיתיים יותר ו"לקפוץ" קדימה ואחורה בין עמודים כאלו ואחרים, כאילו הם "שוחים" בחופשיות במרחבי הסביבה המתוקשבת.

עד כמה אנו מאפשרים היום לסגנון למידה כזה ולצורך אנושי כזה לבוא לידי ביטוי? לפחות לפי חקר מקרה זה – והצטברות הנתונים שלו, מדובר בצורך חזק שחשוב לתת לו מענה.

אלו רק דוגמות ראשוניות לכוח האדיר שיכולים לספק נתונים כאלו בבואנו לפתח הדרכה או להבין טוב יותר את קהל הלומדים שלנו. מי שעוסק בפיתוח הדרכה ומוטרד מהצורך להתאים את הלמידה לקהל היעד שלו יוכל להעלות עוד עשרות שאלות והתחבטויות דומות ולבקש לדעת אילו ממצאים עולים מתוך תיעוד שכזה המבוסס על כריית נתונים.

מפתח הדרכה ירצה לדעת האם כדאי לו להשקיע בעזרי למידה רבים באתר (מנוע חיפוש, מילון, פנקס כיס וירטואלי ועוד) – האם אכן נעשה שימוש בעזרים אלו על ידי הלומדים וכיצד? מפתח הדרכה ירצה לדעת כיצד יגיבו הלומדים לאינטראקציות הרבות הקיימות בסביבת הלמידה? מה האינטראקציה המועדפת ביותר על ידי הלומדים (לפחות בחקר מקרה זה – קורס פסיכומטרי - התשובה הברורה הייתה – לימוד באמצעות משחק).

מפתח ההדרכה גם ירצה לדעת כיצד מגיבים הלומדים למשוב שקיבלו מהמערכת לגבי מצב הידע שלהם? האם נרתעו או נרתמו להשלים פערים מקצועיים שהתגלו בעקבות המשוב? הוא ירצה לברר מתי ועד כמה ביקשו הלומדים לעשות שימוש בעזרה של המערכת ומתי פנו בבקשה למשוב או לסיוע ממומחי התוכן?

כאמור, זהו רק קצה הקרחון של הידע שניתן לצבור על תהליכי הלמידה והכוח שהוא יכול להקנות למפתח תהליכי הלמידה כדי שיוכל לבנות תכנית הדרכה טובה יותר ומותאמת יותר לצרכים הלימודיים של הלומד.

היכולת לזהות באמצעות פרויקט כמתואר בכלליות במאמר זה, סט של סגנונות למידה המאפיינים לומדים, אפילו כמה עשרות סגנונות הכוללים בתוכם, בין השאר, מרכיבים קוגניטיביים ומרכיבים אפקטיביים – יכול לסייע לנו בהתאמת תוכניות למידה לא רק בעולם המתוקשב, אלא אולי – גם בעולם הפרונטאלי. זוהי מהפכה של ממש, מאחר והיא מאפשרת לנו לזהות גם גוונים ותתי גוונים של בחירות, העדפות וסגנונות של לומדים, וזאת, כאמור, בחילוץ נתונים מתוך מאגר שיש בו מיליונים של פריטים וקליקים.

כך לדוגמא, ניתן לנסות ולזהות את 15% הלומדים המצויים באופן קבוע בחלק השמאלי של עקומת גאוס המפורסמת -"הפעמון") ולראות אילו סגנונות למידה מאפיינים את הלומדים המצויים בצד זה של העקומה? כיצד ניתן לסייע להם מתוך ידע זה? האם ניתן לשפר את המוצר באופן שייתן מענה לסגנון הלמידה שלהם- או לחילופין לשפר את ההדרכה ואת ההכוונה שמקבלים לומדים אלו על מנת שיקל עליהם להתמודד עם תהליך הלמידה? כעת, כשאנו יודעים טוב יותר מה בדיוק הם עושים ומה הם לא עושים בזמן הלמידה. זו כאמור רק דוגמא אחת ויש הרבה יותר אפשרויות לחקור.

כיצד בעצם מייצרים תהליך כזה של מדידת למידה מתוקשבת באמצעות כריית נתונים?

מדובר בתהליך מחזורי שראשיתו בקידוד כל עמוד ועמוד בסביבה המתוקשבת, כך ש"לכל עמוד יש שם", או ליתר דיוק – קוד, שכל נגיעה בו מתועדת ונושאת שם. כל הנתונים נצברים למחסן נתונים ענק (warehouse  (data . על המחסן הזה מבוצעים תהליכי כריית נתונים באמצעות ניתוח ועיבוד של המידע הרב ואיתור דפוסים וסגנונות לימוד ומשם נדרש לבצע חיבור של המידע היבש להתנהגות האנושית.

רצף דומיננטי מסוים יצביע על התנהגות מסוימת, או על אופי אנושי. על מי שמעריך את תהליכי הלמידה יהיה לקשר בין הרצף לבין ההתנהגות ולתקף זאת. מכאן הסיטואציה האידיאלית ההיא לקבל החלטה היכן לשפר את המוצר הלימודי המתוקשב בעקבות ההתנהגויות שאותרו ולאחר שיפור המוצר הלימודי, לשוב אל תהליך כריית הנתונים ולראות כיצד מתנהגים הלומדים שלגביהם ביקשנו לתת מענה או להציע שיפור. אלו לא חייבים להיות כמובן אותם לומדים, אלא אותם משתמשים שעונים על הקריטריונים של סגנון הלמידה שלגביו ביקשנו לתת מענה.

זוהי התשתית תהליך הערכה מחזורי אופטימאלי, אך כזה – שאינו דורש משאבים גדולים בעצם ההערכה שלו. מדובר בתשתית שמאפשרת לבצע הערכה מקיפה של תהליכי למידה הנוגעת בכל רגע ורגע בכל לומד ולומד ומאפשרים לבחון איך אפשר לנסות להגיע לכולם באמצעות המוצר, ואולי אפילו לבצע התאמה דינאמית של המוצר תוך כדי זיהוי סגנון הלמידה כך, שהלומד ייהנה מסביבת הלמידה האופטימאלית עבורו.