כתבות עם התגית KL divergence

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation


פינת הסוקר:  

       המלצת קריאה ממייק: חובה רק למי שמתעניין Exemplar Models וגם מבין קצת ב- VAE – לאחרים ניתן להסתפק בסקירה :). 

       בהירות כתיבה:  בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות VAE, ידע בסיסי ב- kernel density models.

       יישומים פרקטיים אפשריים: יצירה של דוגמאות חדשות למטרת אוגמנטציה של דטאסטים קיימים למשימות שונות.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: כאן.

      פורסם בתאריך: 04.03.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחום מאמר:

  • variational autoencoder – VAE
  • מודלים גנרטיביים לא פרמטריים שיוצרים דאטה "ישירות מהדוגמאות של סט האימון" (exemplar generative models – EGM).

כלים מתמטיים, מושגים וסימונים:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

VAEBM: A symbiosis between auto-encoders and energy-based models


פינת הסוקר:  

       המלצת קריאה ממייק: מומלץ לאוהבי מודלים גנרטיביים כמו VAE ו-Energy-Based Models להרחבת אופקים, אך לא חובה.

       בהירות כתיבה:  בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרש רקע טוב בשיטות דגימה מתקדמות (דינמיקה של Langevin) והבנה טובה במודלים גנרטיביים.

        יישומים פרקטיים אפשריים: יצירה תמונות באיכות טובה יותר מ-StyleGAN אך עדיין זה לא נראה באופק עקב מורכבותה.


פרטי מאמר:

        לינק למאמר: זמין להורדה.ֿ

        לינק לקוד: לא נמצא בארקיב.

       פורסם בתאריך: 09.02.21, בארקיב.

       הוצג בכנס: ICLR2021.


תחומי מאמר:

  • מודלים גנרטיביים.
  •  (variational auto-encoder (VAE.
  • (energy-based models (EBM.

כלים מתמטיים במאמר: 

  •  Reparameterization trick.
  • דינמיקה של Langevin .
  • markov chain monte-carlo – MCMC.  
  • התפלגות גיבס.

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Improving GAN Training with Probability Ratio Clipping and Sample Reweighting


פינת הסוקר:   

           המלצת קריאה ממייק: מומלץ אך לא חובה לאלו שרוצים להתעמק בשיטות אימון של GANs.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בווסרשטיין גאן וכל מה שקשור אליו, הכרה בסיסית בשיטות מעולם הסטטיסטיקה כמו importance sampling, רקע בסיסי בלמידה באמצעות חיזוקים (Reinforcement learning) .

        יישומים פרקטיים אפשריים: אימון גאן משופר במגוון תרחישים


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: .זמין כאן.

      פורסם בתאריך: 30.10.2020, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • גאנים. 
  • שיטות אימון של גאנים.

כלים מתמטיים, מושגים וסימונים:  

  • וסרשטיין WGAN) GAN).
  • מרחק וסרשטיין (WD).
  • פונקצית ליפשיץ.
  • שיטות וריאציוניות לבעיות אופטימיזציה בתחום הרשתות הגנרטיביות כמו GAN.
  • גישות מתורת למידת החיזוק (RL):  אופטימיזציה של פוליסי (Policy Optimization – PO) דרך פתרון של בעיית אופטימיזציה עם פונקצית מטרה חלופית – surrogate.
  • שיטות דגימה: IM)  Importance Sampling).
  • מרחקים בין מידות הסתברות: מרחק KL ומרחק KL הפוך.
  • אלגוריתמים של EM)  Expectation-Maximization).

תמצית מאמר:  לכתבה המלאה >>

X