כתבות עם התגית Transformers

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 


TransGAN: Two Transformers Can Make One Strong GAN

פינת הסוקר:  

           המלצת קריאה ממייק: חובה בהחלט (בכל זאת גאן ראשון מבוסס על טרנספורמרים).

          בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בטרנספורמרים וידע בסיסי בגאנים.

        יישומים פרקטיים אפשריים: TransGAN יודע לייצר תמונות כמו כל גאן אך בינתיים התוצאות אינן נראות בקנה מידה של SOTA בתחום כמו StyleGAN2.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 16.02.21, בארקיב.

      הוצג בכנס: טרם ידוע


.תחומי מאמר:

  • טרנספורמרים (Transformers)
  • גאנים (GANs)

כלים מתמטיים, מושגים וסימונים:

  • טרנספורמר לתמונות (visual transformers).
  • שיטות אוגמנטציה גזירות (differentiable augmentations).
  • הוספה של משימה self-supervised (סופר-רזולוציה) לתהליך אימון.
  • אתחול לוקאלי של משקולות self-attention.
  • Frechet Inception Distance (FID).
  • Inception Score.

תמצית מאמר: לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

X