סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

InfoBERT: Improving Robustness of Language Models from an Information Theoretic Perspective

פינת הסוקר:

          המלצת קריאה ממייק: חובה בהחלט לאוהבי נושא של אימון אדוורסרי ותורת המידע. לאחרים מומלץ מאוד

          בהירות כתיבה: בינונית פלוס

        רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של התקפות אדוורסריות לרשתות נוירונים (בדגש על NLP), הבנה טובה במושגי יסוד של תורת המידע כמו מידע הדדי של משתנים אקראיים. 

        יישומים פרקטיים אפשריים: אימון מודלי NLP, עמידים להתקפות אדוורסריות.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: רשמי, לא רשמי

      פורסם בתאריך: 22.03.21, בארקיב.

      הוצג בכנס: ICLR 2021

תחום מאמר: 

• טרנספורמרים, BERT
• אימון אדוורסארי – adversarial training
• למידת ייצוג – representation learning

כלים ומושגים מתמטיים במאמר:

• צוואר בקבוק מידעי (information bottleneck) ברשתות נוירונים
• מידע הדדי (mutual information)
• (InfoNCE (noise contrastive estimation

תמצית מאמר:  לכתבה המלאה >>