כתבות עם התגית Armand Joulin

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments


פינת הסוקר:  

           המלצת קריאה ממייק: חובה בטח לאוהבי למידת הייצוג.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות הלוס המנוגד וידע טוב באופטימיזציה.

        יישומים פרקטיים אפשריים: למידה ייצוגים חזקים על דאטהסטים לא מתויגים עם תקציב חישוב מצומצם.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 08.01.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • למידת ייצוג ללא דאטהסט מתויג (SSRL – self-supervised representation learning).
  • SSRL מבוססת על טכניקות קליסטור (Clustering for deep representation learning).

כלים מתמטיים, מושגים וסימונים:

  • מולטי-קרופ – טכניקת אוגמנטציה המבוססת על לקיחת פאטצ'ים קטנים של תמונה ברזולוציות נמוכות שונות.
  • האלגוריתם של סינקהורן קנופ (Sinkhorn-Knopp) לפתרון בעיית הטרנספורט האופטימלי למידות הסתברות דיסקרטיות.

תמצית מאמר: לכתבה המלאה >>

X