כתבות מאת מיכאל ארליכסון

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Soft-IntroVAE: Analyzing and Improving the Introspective Variational AutoEncoder


פינת הסוקר:  

      המלצת קריאה ממייק: מומלץ לאוהבי מודלים גנרטיביים 

      בהירות כתיבה: גבוהה.

     ידע מוקדם

  • הבנה של עקרונות VAE (למשל שימוש ב- ELBO לשערוך של הנראות המירבית).
  • עקרונות אימון של מודלים גנרטיביים עם פונקציית לוס אדוורסארית (משחק mini-max כמו בגאן) – נא לא לבלבל שיטות אלו עם שיטות לאימון רשתות ״חסינות״ נגד התקפות אדוורסריות (adversarial examples).
  • ידע בהסתברות אם אתם רוצים להבין את הפרקים עם ההוכחות.

   יישומים פרקטיים אפשריים: יצירה (אינפרנס) של תמונות באיכות גבוהה בסיבוכיות חישובית של VAE רגיל.


פרטי מאמר:

      מאמר: זמין להורדה.

      קוד: כאן

      פורסם בתאריך: 25.03.21, בארקיב.

      הוצג בכנס: CVPR 2021.


תחומי מאמר:

  • מודלים גנרטייביים ליצירת דאטה ויזואלי (תמונות)

כלים מתמטיים, מושגים וסימונים:

  • ELBO
  • VAE(Variational AutoEncoder)
  • אימון מודלים גנרטיביים עם פונקציית לוס אדוורסרית 

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Taming Transformers for High-Resolution Image Synthesis


פינת הסוקר: 

    המלצת קריאה ממייק: חובה ללא ספק!

    בהירות כתיבה: גבוהה

    ידע מוקדם: הבנה טובה בגאנים, טרנספורמרים ו VQ-VAE די הכרחית להבנת המאמר.

    יישומים פרקטיים אפשריים: יצירת תמונות באיכות מרהיבה (לא פחות!!).


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין כאן (בנוסף יש עוד 3 מימושים ״לא רשמיים״).

    פורסם בתאריך: 21.06.21, בארקיב (v3).

    הוצג בכנס: CVPR 2021.


תחומי מאמר:

  • מודלים גנרטיביים ליצירת דאטה בתחום הויזואלי

ידע מוקדם:

  • VQ-VAE
  • גאנים
  • טרנספורמרים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PonderNet: Learning to Ponder


פינת הסוקר:  

        המלצת קריאה ממייק: מומלץ בעיקר להרחבת אופקים

        בהירות כתיבה:  גבוהה

        ידע מוקדם: הבנה בסיסית ברשתות ובחוקי הסתברות

        יישומים פרקטיים אפשריים:


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.09.2021, בארקיב (v2)

      הוצג בכנס: 8th ICML Workshop on Automated Machine Learning (AutoML 2021)


תחומי מאמר:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)

ידע מוקדם:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)
  • מרחק KL בין התפלגויות
  • התפלגות גיאומטרית 

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

 Diffusion Models Beat GANs on Image Synthesis


פינת הסוקר:  

           המלצת קריאה ממייק: חובה למי שרוצה ללמוד מודלים גנרטיביים פרט לגאנים ול-VAE.

           בהירות כתיבה: בינונית.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה של עקרונות VAE, הבנה של שיטות דגימה מתקדמות כמו דינמיקה של לנגבין.

        יישומים פרקטיים אפשריים: יצירת תמונות יותר "איכותיות" מהגישות המתחרות, קרי גאנים ו-VAE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 01.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • מודלים דיפוזיוניים כלומר Diffusion Denoising Probabilistic Models – DDPM לגנרוט של דאטה ויזואלי.

ידע מוקדם:

  • הבנה טובה בטכניקות מבוססות -variational inference לניתוח פונקציות נראות מירבית (כמו ב- VAE).
  • רקע טוב בהסתברות לא יזיק 🙂

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

DETReg: Unsupervised Pretraining with Region Priors for Object Detection


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים בזיהוי אובייקטים בתמונות.

           בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם DeTR, שיטות למידת ייצוג בצורה unsupervised וטרנספורמרים.

        יישומים פרקטיים אפשריים: pretraining של מודל לזיהוי אובייקטים בדומיינים עם כמות מועטה של דאטה מתויג.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 08.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • זיהוי אובייקטים בתמונה (Object Detection)

ידע מוקדם:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Alias-Free Generative Adversarial Networks


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים במודלים גנרטיביים של הראייה הממוחשבת, לכל האחרים מומלץ מאוד.

           בהירות כתיבה:  גבוהה מינוס.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GAN-ים, הבנה של טכניקות דגימה (downsampling, upsampling) ושחזור אות רציף מדגימותיו (משפט דגימה של נייקוויסטנוסחת שנון-וויטקר).

        יישומים פרקטיים אפשריים: יצירה של תמונות equivariant להזזה ולסיבוב ממרחב לטנטי של GAN.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: הגיט אומר שיצא בספטמבר.

      פורסם בתאריך: 23.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • גאנים
  • מניעת פיקסלים ״קפואים״ (דבוקים) למקום בתמונות מגונרטות.
  • הקטנה של aliasing בתמונות המגונרטות באמצעות גאנים.

כלים מתמטיים, מושגים וסימונים:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Discovery of Interpretable Directions in the GAN Latent Space


פינת הסוקר:        

       המלצת קריאה ממייק: מומלץ לעוסקים ב-GANs לשאר רק אם יש זמן פנוי.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GANs מספיקה.

      יישומים פרקטיים אפשריים: מציאת כיוונים במרחב הלטנטי הגורמים לשינוי של מאפיין ויזואלי בודד של התמונה המגונרטת.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 24.06.2020, בארקיב

      הוצג בכנס: ICML 2020


תחום מאמר:

  • GANs 
  • חקר של המרחב הלטנטי של GANs

כלים מתמטיים, מושגים וסימונים:

  • וקטור (כיוון) בר פירוש (interpretable direction).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא

Contrastive Learning Of Medical Visual Representations From Paired Images And Text


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לעוסקים בתחום של צילום רפואי, לאחרים מומלץ מאוד.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם טכניקות בסיסיות של למידת ייצוג (representation learning) .

      יישומים פרקטיים אפשריים: שיפור איכות של pretraining של רשתות על דאטה מהדומיין הרפואי.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.10.2020, בארקיב

      הוצג בכנס: ICLR 2021


תחום מאמר:

  •  למידת ייצוג (representation learning) לצילומים רפואיים

כלים מתמטיים, מושגים וסימונים:

  • Noise Contrastive Estimation – NCE
  • Contrastive VIsual Representation Learning from Text – ConVIRT

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks 


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאלו שרוצים להבין את התהליכים המתרחשים במהלך אימון של רשתות נוירונים, לשאר מומלץ לעבור על המסקנות בלבד.

       בהירות כתיבה: בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה עמוקה בחדוו"א מתקדם ובתורת האופטימיזציה.

      יישומים פרקטיים אפשריים: מאמר תיאורטי שעשוי לעזור לשפר את תהליכי האימון של רשתות נוירונים.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 03.07.2019, בארקיב

      הוצג בכנס: ICML2019


תחום מאמר: 

  • חקר שיטות אופטימיזציה לאימון של רשתות נוירונים

כלים מתמטיים, מושגים וסימונים:

  • Gradient Descent – GD
  • מטריצת קווריאנס של רשת נוירונים
  • מטריצת קרנל של רשת נוירונים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאנשי NLP, במיוחד לחוקרים העוסקים במודלי שפה, מבוססי טרנספורמרים.

       בהירות כתיבה: גבוהה.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם מודלי שפה, המבוססים על טרנספורמרים כמו BERT ו-GPT.

      יישומים פרקטיים אפשריים: גנרוט טקסטים ברמה גבוהה יותר ובדרך פשוטה יותר מאלו של BERT.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן (בתוך פייטורץי)

      פורסם בתאריך: 29.10.19, בארקיב

      הוצג בכנס: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics


תחומי מאמר: 

  • טרנספורמרים
  • denoising autoencoder
  • מודלים גנרטיביים

תמצית מאמר:  לכתבה המלאה >>

X