איך מדבגים טרנספורמרים?

מדריך: איך מדבגים טרנספורמרים?

• קלט – להסתכל על "מה המודל מסתכל" בקלט ולנסות להסביר על פי הקלט את התנהגות המודל (שיטה מוכרת לדוגמה: GradCam)
• התפתחות היצוג הנסתר – להסתכל על השינוי ביצוג הנסתר של המשפט לאורך יצירת המשפט.
• אקטיבציות – להסתכל על האקטיבציות בתוך המודל ולהבין מהן כיצד המודל "רואה" כל חלק במשפט.

• טוקן ראשון: כמעט תמיד ישנו קלאסטר שכל מטרתו היא להסתכל על הטוקן הראשון במשפט.
• ירידות שורה: כמו כן, בטקסט בעל כמה שורות נוצר קלאסטר המסתכל רק על ירידות שורה
• מחזוריות: אותו הדבר עבור כל רכיב מחזורי בטקסט (כמו סוגריים למשל).
• חלוקה לפי משמעות: המודל לומד מפרק את המשפט לרכיבים לפי משמעותם: למשל ביצירת רשימת "מדינות באירופה": ישנו קלאסטר שלם המוקדש רק לשמות מדינות.

• איזורים המתמקדים בחלקים ספציפיים של הטקסט לפי האורך (התחלה , אמצע, סוף). זה מעניין כי המידע היחיד שיש לשכבות אלו לגבי המיקום מגיע מהpositional encoding (שבGPT2 הוא נלמד).
• איזורים הלומדים מאפיינים לשוניים, למשל, גוף דיבור ("הוא", "הם"), פעלים, מילות קישור, ואיזור הלומד צמדי שמות עצם ושמות תואר צמודים.
• איזורים הלומדים להסתכל על תכונות תחביריות כמו פסיקים ונקודות.
• איזורים המסתכלים על הטוקנים הראשונים (תמיד יש כאלו).

• ביצירת טקסט, אנחנו יכולים להשתמש בשיטות אלו כדי לדעת בבירור אילו חלקים במשפט גרמו למודל לאמר את מה שאמר (ומאיזה חלקים התעלם) ובכך לשנות את הפרומפטים שלנו \ לאמן את המודל על משפטים המכילים את החלקים שהתעלם מהם.

• דוגמה פשוטה ביצירת תמונות: כולנו כבר יודעים שמודלים לא טובים בציור אצבעות. אנשי האינטרנט הטובים מנסים בכל כוחם לתקן בעיה זו על ידי פרומפטים מתוחכמים.