סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Language Through a Prism: A Spectral Approach for Multiscale Language Representation

פינת הסוקר:  

      המלצת קריאה ממייק: חובה לאנשי NLP. 

      בהירות כתיבה:  בינוני פלוס.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: ידע בסיסי במודלים של NLP, הבנה בסיסית בשיטות ייצוג של וקטור בתחום התדר (התמרת פוריה או התמרת קוסינוס) 

     יישומים פרקטיים אפשריים: חקירה של תכונות מבניות של מודלי NLP במגוון סקאלות.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 09.11.20, בארקיב.

       הוצג בכנס: NeurIPS2020.

תחומי מאמר: 

• חקר תכונות מודלי NLP עמוקות.

כלים מתמטיים, מושגים וסימונים:

• אנליזה ספקטרלית לגילוי של קשרים במגוון סקאלות בייצוג של טקסט (אמבדינג).
• התמרת קוסינוס דיסקרטית (DCT), התמרת קוסינוס דיסקרטית ההופכית (iDCT).
•  מסנן מעביר נמוכים (LPF), מסנן מעביר גבוהים (HPF), מסנן מעביר פס (BPF).

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation

פינת הסוקר:  

       המלצת קריאה ממייק: חובה רק למי שמתעניין Exemplar Models וגם מבין קצת ב- VAE – לאחרים ניתן להסתפק בסקירה :). 

       בהירות כתיבה:  בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות VAE, ידע בסיסי ב- kernel density models.

       יישומים פרקטיים אפשריים: יצירה של דוגמאות חדשות למטרת אוגמנטציה של דטאסטים קיימים למשימות שונות.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: כאן.

      פורסם בתאריך: 04.03.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.

תחום מאמר:

• variational autoencoder – VAE. 
• מודלים גנרטיביים לא פרמטריים שיוצרים דאטה "ישירות מהדוגמאות של סט האימון" (exemplar generative models – EGM).

כלים מתמטיים, מושגים וסימונים:

• משערך חלון של פארזן (parzen window – PW) או שערוך צפיפות בעזרת קרנל (kernel density estimation – KDE).
• חסם תחתון של ELBO evidence.
• מרחק KL בין מידות הסתברות. 
• מודלים של תערובת גאוסיאנים (gaussian mixture models).
  

  ---

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

VAEBM: A symbiosis between auto-encoders and energy-based models

פינת הסוקר:  

       המלצת קריאה ממייק: מומלץ לאוהבי מודלים גנרטיביים כמו VAE ו-Energy-Based Models להרחבת אופקים, אך לא חובה.

       בהירות כתיבה:  בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרש רקע טוב בשיטות דגימה מתקדמות (דינמיקה של Langevin) והבנה טובה במודלים גנרטיביים.

        יישומים פרקטיים אפשריים: יצירה תמונות באיכות טובה יותר מ-StyleGAN אך עדיין זה לא נראה באופק עקב מורכבותה.

פרטי מאמר:

        לינק למאמר: זמין להורדה.ֿ

        לינק לקוד: לא נמצא בארקיב.

       פורסם בתאריך: 09.02.21, בארקיב.

       הוצג בכנס: ICLR2021.

תחומי מאמר:

• מודלים גנרטיביים.
•  (variational auto-encoder (VAE.
• (energy-based models (EBM.

כלים מתמטיים במאמר: 

•  Reparameterization trick.
• דינמיקה של Langevin .
• markov chain monte-carlo – MCMC.  
• התפלגות גיבס.
  

  ---

תמצית מאמר: לכתבה המלאה >>

כפי שהובטח, גם השנה נארגן גרסה מקומית של כנס CVPR, בה יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס CVPR עצמו. נתחיל ונציין כי אין קשר רשמי לכנס CVPR העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לתת במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודתו.

אנו שמחים לראות שגם השנה מספר רב של חוקרים ישראליים התקבלו ל-CVPR, ועל כן האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים ב-02/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן), והאירוע השני יתקיים ב-03/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

תודה רבה לנותני החסות של האירוע, שאפשרו לנו לקיים אותו זו השנה השלישית: BeyondMinds.

לאחר האירוע כל המצגות של הדוברים והקלטות של ההרצאות ישלחו בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), ויועלו בערוץ טלגרם, בערוץ היוטיוב וגם בעמוד הזה.

לכתבה המלאה >>