כתבות עם התגית deepnightlearners

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PonderNet: Learning to Ponder


פינת הסוקר:  

        המלצת קריאה ממייק: מומלץ בעיקר להרחבת אופקים

        בהירות כתיבה:  גבוהה

        ידע מוקדם: הבנה בסיסית ברשתות ובחוקי הסתברות

        יישומים פרקטיים אפשריים:


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.09.2021, בארקיב (v2)

      הוצג בכנס: 8th ICML Workshop on Automated Machine Learning (AutoML 2021)


תחומי מאמר:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)

ידע מוקדם:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)
  • מרחק KL בין התפלגויות
  • התפלגות גיאומטרית 

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

You Better Look Twice: a new perspective for designing accurate detectors with reduced computations


פינת הסוקר:  

         המלצת קריאה מאברהם: מומלץ מאוד למתעניינים ב-Computer vision ובפרט בתחום של Object detection.

        בהירות כתיבה: כתוב בצורה פשוטה ומובנת, כולל איורים טובים.

        רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: רקע ב-Vision עוזר אבל לא חובה. אין כמעט משוואות במאמר.

       יישומים פרקטיים אפשריים: רשתות מהירות לזיהוי אובייקטים על גבי מכשירי קצה כמו פלאפונים ומצלמות.


פרטי מאמר:

     לינק למאמר: זמין להורדה.

     לינק לקוד: לא מופיע בארקיב

     פורסם בתאריך: 03.08.21, בארקיב.

     הוצג בכנס: British Machine Vision Conference (BMVC) 2021


תחומי מאמר:

  • זיהוי אובייקטים בתמונות מותאם למכשירי קצה.

ידע מוקדם:

  • רקע ברשתות נוירונים עמוקות מספיקה (החלק הראשון של הסקירה מכיל תיאור קצר של שיטות לזיהוי אובייקטים בתמונה, המספיק להבנת הסקירה)

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Do Transformers Really Perform Bad for Graph Representation?


פינת הסוקר:

המלצת קריאה מאופיר: מאמר חשוב מאוד, המספק את החיבור המתבקש בין ארכיטקטורת הטרנספורמרים שתפסה תאוצה במגוון דומיינים כגון ראייה ממוחשבת ועיבוד שפה טבעית למידע גרפי. ארכיטקטורת out-of-the-box שיכולה לשמש בבעיות גרפיות.

בהירות קריאה: גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם רשתות נוירונים גרפיות וטרנספורמרים.

יישומים פרקטיים אפשריים: כל בעיית מדעי נתונים גרפית עם דאטא רב, כאשר קיימים מספיק משאבי חישוב (בכל זאת, טרנספורמרים).

פרטי מאמר:

לינק למאמר: זמין כאן

לינק לקוד: זמין להורדה 

פורסם בתאריך: 09/06/2021

הוצג בכתב העת: לא ידוע

תחומי מאמר:

  • רשתות נוירונים גרפיות.
  • טרנספורמרים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

מבוא והסבר כללי על תחום המאמר:

ארכיטקטורת הטרנספורמרים צוברת פופולריות רבה בכמה מהתחומים הגדולים במדעי הנתונים – ראייה ממוחשבת, שפה טבעית וזיהוי דיבור. עם זאת, עד הוצאת המאמר לא הצליחו להחיל את הארכיטקטורה על מידע גרפי בהצלחה. במאמר זה הכותבים הצליחו לעשות זאת.

תמצית המאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

 Diffusion Models Beat GANs on Image Synthesis


פינת הסוקר:  

           המלצת קריאה ממייק: חובה למי שרוצה ללמוד מודלים גנרטיביים פרט לגאנים ול-VAE.

           בהירות כתיבה: בינונית.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה של עקרונות VAE, הבנה של שיטות דגימה מתקדמות כמו דינמיקה של לנגבין.

        יישומים פרקטיים אפשריים: יצירת תמונות יותר "איכותיות" מהגישות המתחרות, קרי גאנים ו-VAE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 01.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • מודלים דיפוזיוניים כלומר Diffusion Denoising Probabilistic Models – DDPM לגנרוט של דאטה ויזואלי.

ידע מוקדם:

  • הבנה טובה בטכניקות מבוססות -variational inference לניתוח פונקציות נראות מירבית (כמו ב- VAE).
  • רקע טוב בהסתברות לא יזיק 🙂

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

DETReg: Unsupervised Pretraining with Region Priors for Object Detection


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים בזיהוי אובייקטים בתמונות.

           בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם DeTR, שיטות למידת ייצוג בצורה unsupervised וטרנספורמרים.

        יישומים פרקטיים אפשריים: pretraining של מודל לזיהוי אובייקטים בדומיינים עם כמות מועטה של דאטה מתויג.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 08.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • זיהוי אובייקטים בתמונה (Object Detection)

ידע מוקדם:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Highly accurate protein structure prediction with AlphaFold

פינת הסוקר:

המלצת קריאה מאופיר: קריאה מרתקת, במיוחד למי שמתעניין גם בביואינפורמטיקה. כמות המשאבים שהושקעו במחקר והתוצאות שלו מסחררות. מעבר לחידושים עבור הבעיה הספציפית, מוצגות טכניקות חדשות באופן כללי.

בהירות קריאה: בינונית-גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם למידה עמוקה. בנוסף, מומלצת מאוד היכרות עם מושגים ביואינפורמטיים.

יישומים פרקטיים אפשריים: מדובר בכלי החזק ביותר כיום לניבוי מבנה של חלבונים, והוא צפוי לשמש רבות לקידום מחקר החלבונים בעולם, בין אם למדע בסיסי ובין אם לתחומים כמו הנדסת חלבונים. בנוגע לשימושים מסחריים – DeepMind שחררה את המודל והמשקולות, אך השימוש במשקולות אסור לשימוש מסחרי.


פרטי מאמר:

לינק למאמר: זמין כאן 

לינק לקוד: זמין להורדה 

פורסם בתאריך: 15/07/2021

הוצג בכתב העת: Nature

תחומי מאמר:

  • ניבוי מבנה תלת מימדי של חלבונים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • רשתות נוירונים גרפיות (GNNs).
  • Attention.
  • Skip-connections.

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

DeeperGCN: All You Need to Train Deeper GCNs


פינת הסוקר:

    המלצת קריאה מאופיר: לכל המתעניינים ברשתות נוירונים גרפיות, גם אם לא תחום העיסוק העיקרי שלהם – יתכן והמאמר יהיה שימושי גם לתחום הבעיה שלהם

    בהירות קריאה: גבוהה

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: היכרות עם מושגי יסוד של DL, המאמר כולל מיני-סקירה על GNNs

    יישומים פרקטיים אפשריים: הטכניקות המוצגות במאמר מאפשרות שיפור והעמקה של רשתות נוירונים גרפיות באופן כללי, ואינן מוגבלות לארכיטקטורה ספציפית


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין להורדה.

    פורסם בתאריך: 13/6/20, בארקיב.

    הוצג בכנס: גרסה מוקדמת של המאמר הוצגה בעל פה ב-ICCV2019.


תחומי מאמר:

  • רשתות נוירונים גרפיות (GNNs)

כלים מתמטיים, טכניקות, מושגים וסימונים

  • פונקציות אגרגציה (Aggregation functions)
  • קשרים שיוריים (Residual connections)
  • נורמליזציית הודעה (Message normalization)

קישורים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Discovery of Interpretable Directions in the GAN Latent Space


פינת הסוקר:        

       המלצת קריאה ממייק: מומלץ לעוסקים ב-GANs לשאר רק אם יש זמן פנוי.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GANs מספיקה.

      יישומים פרקטיים אפשריים: מציאת כיוונים במרחב הלטנטי הגורמים לשינוי של מאפיין ויזואלי בודד של התמונה המגונרטת.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 24.06.2020, בארקיב

      הוצג בכנס: ICML 2020


תחום מאמר:

  • GANs 
  • חקר של המרחב הלטנטי של GANs

כלים מתמטיים, מושגים וסימונים:

  • וקטור (כיוון) בר פירוש (interpretable direction).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא

Contrastive Learning Of Medical Visual Representations From Paired Images And Text


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לעוסקים בתחום של צילום רפואי, לאחרים מומלץ מאוד.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם טכניקות בסיסיות של למידת ייצוג (representation learning) .

      יישומים פרקטיים אפשריים: שיפור איכות של pretraining של רשתות על דאטה מהדומיין הרפואי.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.10.2020, בארקיב

      הוצג בכנס: ICLR 2021


תחום מאמר:

  •  למידת ייצוג (representation learning) לצילומים רפואיים

כלים מתמטיים, מושגים וסימונים:

  • Noise Contrastive Estimation – NCE
  • Contrastive VIsual Representation Learning from Text – ConVIRT

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה של סקירת מאמרים חשובים בתחום ה-ML/DL, בהם מוצגת בעברית גרסה פשוטה וברורה של מאמרים נבחרים. במידה ותרצו לקרוא את המאמרים הנוספים שסוכמו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקור מאמר שאני שותף בכתיבה שלו, יחד עם שותפים מ-SIRC – Samsung Israel R&D Center:

Layer Folding: Neural Network Depth Reduction using Activation Linearization

מאת: Amir Ben Dror, Niv Zehngut, Avraham Raviv, Evgeny Artyomov, Ran Vitek, Roy Jevnisek.


פינת הסוקר:

    המלצת קריאה: מומלץ מאוד לכל מי שמתעסק ברשתות נוירונים מיועדות למכשירי קצה (מובייל, IoT וכדו').

    בהירות כתיבה: גבוהה.

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם רשתות קונבלוציה. המאמר קל להבנה וכמעט לא מכיל נוסחאות מתמטיות.

    יישומים פרקטיים אפשריים: יצירת רשתות פחות עמוקות המקנות שיפור ב-inference time וצריכת סוללה כמעט ללא פגיעה בדיוק הרשתות.


פרטי מאמר:

    לינק למאמר: זמין כאן

    לינק לקוד: זמין כאן (PyTorch)

    פורסם בתאריך: 17.06.21, בארקיב


רקע ותמצית המאמר: לכתבה המלאה >>

X