סקירה זו נכתבה בשיתוף עם אלכסנדר מולק, Aleksander Molak.
סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו שותפיי ואנוכי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.
לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא:
Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere
פינת הסוקרים:
המלצת קריאה מאלכסנדר וממייק: מומלץ מאוד לחובבי למידה self-supervised ולכל מי שמתעניין בלמידת ייצוג
בהירות כתיבה: בינונית פלוס
ידע מוקדם:
- יסודות תורת ההסתברות ותורת המידה
- יסודות של למידה self-supervised ולמידה ניגודות
יישומים פרקטיים:
- ניתן להשתמש בגישה המוצעת להפקה של ייצוג דאטה טוב יותר מאשר בגישות הקודמות של למידה ניגודית.
פרטי מאמר:
מאמר: כאן
קוד: כאן
פורסם בתאריך: ארקיב, 07.11.2020
הוצג בכנס: ICML, 2020
תחומי מאמר:
- למידה ייצוגית (representation learning)
- למידה ניגודית (contrastive learning)
כלים מתמטיים, מושגים וסימונים:
- לוס ניגודי (Contrastive Loss)
- Radial Basic Function Kernel
- עקרון InfoMax
- התכנסות חלשה (weak convergence) של מידות הסתברות.
