סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.
לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:
InfoBERT: Improving Robustness of Language Models from an Information Theoretic Perspective
פינת הסוקר:
המלצת קריאה ממייק: חובה בהחלט לאוהבי נושא של אימון אדוורסרי ותורת המידע. לאחרים מומלץ מאוד
בהירות כתיבה: בינונית פלוס
רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של התקפות אדוורסריות לרשתות נוירונים (בדגש על NLP), הבנה טובה במושגי יסוד של תורת המידע כמו מידע הדדי של משתנים אקראיים.
יישומים פרקטיים אפשריים: אימון מודלי NLP, עמידים להתקפות אדוורסריות.
פרטי מאמר:
לינק למאמר: זמין להורדה.
פורסם בתאריך: 22.03.21, בארקיב.
הוצג בכנס: ICLR 2021
תחום מאמר:
- טרנספורמרים, BERT
- אימון אדוורסארי – adversarial training
- למידת ייצוג – representation learning
כלים ומושגים מתמטיים במאמר:
- צוואר בקבוק מידעי (information bottleneck) ברשתות נוירונים
- מידע הדדי (mutual information)
- (InfoNCE (noise contrastive estimation
תמצית מאמר: לכתבה המלאה >>