סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Alias-Free Generative Adversarial Networks

פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים במודלים גנרטיביים של הראייה הממוחשבת, לכל האחרים מומלץ מאוד.

           בהירות כתיבה:  גבוהה מינוס.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GAN-ים, הבנה של טכניקות דגימה (downsampling, upsampling) ושחזור אות רציף מדגימותיו (משפט דגימה של נייקוויסט, נוסחת שנון-וויטקר).

        יישומים פרקטיים אפשריים: יצירה של תמונות equivariant להזזה ולסיבוב ממרחב לטנטי של GAN.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: הגיט אומר שיצא בספטמבר.

      פורסם בתאריך: 23.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.

תחומי מאמר:

• גאנים
• מניעת פיקסלים ״קפואים״ (דבוקים) למקום בתמונות מגונרטות.
• הקטנה של aliasing בתמונות המגונרטות באמצעות גאנים.

כלים מתמטיים, מושגים וסימונים:

• StyleGAN2
• Translation/rotation equivariance
• התמרת פוריה (Fourier transform)
• Aliasing
• נוסחת אינטרפולציה של Whittaker–Shannon
• מסננים לשחזור אות רציף מדגימותיו (sinc, jinc, מסנן קייזר)
  

  ---

מבוא: לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע השני שלנו בסדרת ML Advanced Methods שנעשים בשיתוף עם Mobileye. בכל אירוע מסוג זה, נסקור מספר עבודות בנושאים מתקדמים בתחום ה-ML ונציג פרקטיקות נפוצות לשימוש במודלים שונים. הפעם יש לנו שני דוברים שידברו על נושאים מרתקים במיוחד בתחום הראייה הממוחשבת -פרטים נוספים בהמשך הכתבה. האירוע יתקיים ב-21.7 בשעה 18:00.

לכתבה המלאה >>

כפי שהובטח, אנו מארגנים גרסה מקומית של כנס ACLi בו יציגו דוברים ישראליים את העבודות אותן הם יציגו בכנס ACL עצמו. השנה, לאור בקשות מהקהל החלטנו לשלב באירוע גם דוברים שהתקבלו ל-NAACL, ועל כן מדובר באירוע משולב.

נתחיל ונציין שאין קשר רשמי לכנסי ACL ו-NAACL העולמיים וכי מדובר על יוזמה קהילתית מקומית שמטרתה לאפשר לחוקרים ישראליים להציג את עבודותיהם בפני הקהילה שלנו. כל הרצאה באירוע תהיה בת 12 דקות ותכלול את הנושאים העיקריים במחקרים.

אנחנו שמחים לראות שמספר החוקרים הישראליים שהתקבלו לאירוע הולך וגדל, ולכן כמו באירועים מקומיים אחרים שארגנו, נפצל את האירוע לשני מועדים שונים. האירוע הראשון יתקיים בתאריך ה-25/07/2020, בשעה 13:00 עד 15:00 (להרשמה לחצו כאן) והאירוע השני יתקיים בתאריך ה-26/07/2020, בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

תודה רבה לספונסרים שלנו שמלווים את האירוע ויקחו בו חלק: Taboola.

כמו תמיד, מצגות הדוברים וההקלטה של האירוע יהיו זמינים כאן, בערוץ הטלגרם ובערוץ היוטיוב שלנו. הם גם ישלחו בצורה מסודרת למנויים על הניוזלטר, אז אם טרם נרשמתם זו ההזדמנות.

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

DeeperGCN: All You Need to Train Deeper GCNs

פינת הסוקר:

    המלצת קריאה מאופיר: לכל המתעניינים ברשתות נוירונים גרפיות, גם אם לא תחום העיסוק העיקרי שלהם – יתכן והמאמר יהיה שימושי גם לתחום הבעיה שלהם

    בהירות קריאה: גבוהה

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: היכרות עם מושגי יסוד של DL, המאמר כולל מיני-סקירה על GNNs

    יישומים פרקטיים אפשריים: הטכניקות המוצגות במאמר מאפשרות שיפור והעמקה של רשתות נוירונים גרפיות באופן כללי, ואינן מוגבלות לארכיטקטורה ספציפית

פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין להורדה.

    פורסם בתאריך: 13/6/20, בארקיב.

    הוצג בכנס: גרסה מוקדמת של המאמר הוצגה בעל פה ב-ICCV2019.

תחומי מאמר:

• רשתות נוירונים גרפיות (GNNs)

כלים מתמטיים, טכניקות, מושגים וסימונים

• פונקציות אגרגציה (Aggregation functions)
• קשרים שיוריים (Residual connections)
• נורמליזציית הודעה (Message normalization)

קישורים להסברים טובים על מושגי יסוד במאמר:

• פונקציות אגרגציה
• קשרים שיוריים
• נורמליזציה
• מבוא על רשתות נוירונים גרפיות
• דיון על הקשיים בהעמקת רשתות נוירונים גרפיות, נכתב לפני פרסום המאמר הנ"ל

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Discovery of Interpretable Directions in the GAN Latent Space

פינת הסוקר:        

       המלצת קריאה ממייק: מומלץ לעוסקים ב-GANs לשאר רק אם יש זמן פנוי.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GANs מספיקה.

      יישומים פרקטיים אפשריים: מציאת כיוונים במרחב הלטנטי הגורמים לשינוי של מאפיין ויזואלי בודד של התמונה המגונרטת.

פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 24.06.2020, בארקיב

      הוצג בכנס: ICML 2020

תחום מאמר:

• GANs 
• חקר של המרחב הלטנטי של GANs

כלים מתמטיים, מושגים וסימונים:

• וקטור (כיוון) בר פירוש (interpretable direction).

תמצית מאמר:  לכתבה המלאה >>

הכתבה בשיתוף Y-Data

בזמן שתעשיית הדאטה בישראל רק הולכת ומתפתחת, יותר ויותר אנשים מחפשים את כרטיס הכניסה לתחום. קורסים והכשרות הם התשובה של רבים לכך, ואחד הקורסים שהצליחו לצבור לעצמם שם בקהילה שלנו הוא התכנית של Y-DATA, אותה אנו מלווים זו השנה השלישית. ההרשמה לקורס פתוחה עד התאריך 10.8.2021 וגם הפעם יש לנו קוד הנחה המקנה לכם 1000 ש"ח הנחה- ML2021. ניתן להשיג מידע נוסף ולהירשם דרך הלינק הזה.

למי שלא מכיר, Y-DATA מבית יאנדקס (Yandex) היא תכנית להכשרת מדעני נתונים, שפונה למי שיש להם ניסיון משמעותי בתכנות ורקע אקדמי רלוונטי המבקשים לעשות הסבה לתחום. המחזור השלישי של התכנית מתקרב לסיום, ובאוקטובר הקרוב יפתח המחזור הרביעי שיכלול כ-50 סטודנטים, שירכשו כלים ויכולות שיאפשרו להם להשתלב בתעשייה עם סיום ההכשרה (ולעתים, אפילו במהלכה). השנה, התכנית אף מפעילה אקסלרטור קריירה שמלווה את הסטודנטים בתהליך חיפוש העבודה ומקנה להם כלים לייעול התהליך.

אחרי שנה כה מטלטלת, רצינו לבדוק מקרוב איך הצליחו החבר'ה ב-Y-DATA להתמודד עם השלכות הקורונה, איך התפתחה התכנית שלהם לאורך השנים ולמה החליטו שלא להמשיך רק בלמידה מרחוק. מעבר לכך, חשוב היה לנו לשמוע מה חושבים הבוגרים של התכנית עליה, וכיצד היא תרמה להם.

הראיון הבא עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל, ישפוך קצת אור על הנושא. לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא

Contrastive Learning Of Medical Visual Representations From Paired Images And Text

פינת הסוקר:        

       המלצת קריאה ממייק: חובה לעוסקים בתחום של צילום רפואי, לאחרים מומלץ מאוד.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם טכניקות בסיסיות של למידת ייצוג (representation learning) .

      יישומים פרקטיים אפשריים: שיפור איכות של pretraining של רשתות על דאטה מהדומיין הרפואי.

פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.10.2020, בארקיב

      הוצג בכנס: ICLR 2021

תחום מאמר:

•  למידת ייצוג (representation learning) לצילומים רפואיים

כלים מתמטיים, מושגים וסימונים:

• Noise Contrastive Estimation – NCE
• Contrastive VIsual Representation Learning from Text – ConVIRT

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה של סקירת מאמרים חשובים בתחום ה-ML/DL, בהם מוצגת בעברית גרסה פשוטה וברורה של מאמרים נבחרים. במידה ותרצו לקרוא את המאמרים הנוספים שסוכמו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקור מאמר שאני שותף בכתיבה שלו, יחד עם שותפים מ-SIRC – Samsung Israel R&D Center:

Layer Folding: Neural Network Depth Reduction using Activation Linearization

מאת: Amir Ben Dror, Niv Zehngut, Avraham Raviv, Evgeny Artyomov, Ran Vitek, Roy Jevnisek.

פינת הסוקר:

    המלצת קריאה: מומלץ מאוד לכל מי שמתעסק ברשתות נוירונים מיועדות למכשירי קצה (מובייל, IoT וכדו').

    בהירות כתיבה: גבוהה.

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם רשתות קונבלוציה. המאמר קל להבנה וכמעט לא מכיל נוסחאות מתמטיות.

    יישומים פרקטיים אפשריים: יצירת רשתות פחות עמוקות המקנות שיפור ב-inference time וצריכת סוללה כמעט ללא פגיעה בדיוק הרשתות.

פרטי מאמר:

    לינק למאמר: זמין כאן

    לינק לקוד: זמין כאן (PyTorch)

    פורסם בתאריך: 17.06.21, בארקיב

רקע ותמצית המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks 

פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאלו שרוצים להבין את התהליכים המתרחשים במהלך אימון של רשתות נוירונים, לשאר מומלץ לעבור על המסקנות בלבד.

       בהירות כתיבה: בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה עמוקה בחדוו"א מתקדם ובתורת האופטימיזציה.

      יישומים פרקטיים אפשריים: מאמר תיאורטי שעשוי לעזור לשפר את תהליכי האימון של רשתות נוירונים.

פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 03.07.2019, בארקיב

      הוצג בכנס: ICML2019

תחום מאמר: 

• חקר שיטות אופטימיזציה לאימון של רשתות נוירונים

כלים מתמטיים, מושגים וסימונים:

• Gradient Descent – GD
• מטריצת קווריאנס של רשת נוירונים
• מטריצת קרנל של רשת נוירונים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאנשי NLP, במיוחד לחוקרים העוסקים במודלי שפה, מבוססי טרנספורמרים.

       בהירות כתיבה: גבוהה.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם מודלי שפה, המבוססים על טרנספורמרים כמו BERT ו-GPT.

      יישומים פרקטיים אפשריים: גנרוט טקסטים ברמה גבוהה יותר ובדרך פשוטה יותר מאלו של BERT.

פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן (בתוך פייטורץי)

      פורסם בתאריך: 29.10.19, בארקיב

      הוצג בכנס: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics

תחומי מאמר: 

• טרנספורמרים
• denoising autoencoder
• מודלים גנרטיביים

תמצית מאמר:  לכתבה המלאה >>