כתבות עם התגית deepnightlearners

חלק א' – מבוא

אחד הנושאים הבולטים בתחום למידה עמוקה בשנה האחרונה הוא Multiple Modalities – שילוב דאטה ממספר דומיינים באותו מודל, כמו למשל מודל המסוגל לעבד יחד וידאו ואודיו, או לחילופין מודל היודע להפוך תמונה לטקסט ולהיפך. כמובן שתחום זה אינו חדש במחקר, אך לאחרונה יש בו חידושים טכנולוגיים פורצי דרך יחד עם תוצאות מדהימות במגוון רחב של משימות. מעבר לעובדה שיש יותר ויותר אפליקציות המשלבות דאטה ממספר דומיינים, מה שמגביר את ההתעניינות בתחום הן מבחינה מחקרית והן מבחינת פיתוח, נראה שיש לפופולריות הזו סיבה מהותית יותר. מודל המשלב בתוכו יכולת לעבד ולשלב דאטה מדומיינים שונים מצליח "להבין" יותר לעומק את המבנה הדאטה שהוא מקבל ועקב כך הביצועים שלו טובים יותר. מחקרים חדשים המתבססים על שילוב של דומיינים מראים תפיסה טבעית יותר של הקלט, מה שמאפשר למודל ללמוד בצורה יותר איכותית. בכתבה זו נסקור אחד הרעיונות המרכזיים לאימון מודלים המשלבים דאטה טקסטואלי וויזואלי. אמנם גישה זו הוצעה כבר בעבר אך היא שוכללה בצורה משמעותית בשנה האחרונה ולא מעט מאמרים עכשוויים מבוססים עליה. נעבור בקצרה על כמה עבודות מרכזיות המציעות שיטות לבניית ייצוג של דאטה מולטימודלי המורכב מטקסט ותמונות. לכתבה המלאה >>

סקירה זו נכתבה בשיתוף עם אלכסנדר מולק, Aleksander Molak.

סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו שותפיי ואנוכי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא: 

Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere


פינת הסוקרים:

    המלצת קריאה מאלכסנדר וממייק: מומלץ מאוד לחובבי למידה self-supervised ולכל מי שמתעניין בלמידת ייצוג

    בהירות כתיבה: בינונית פלוס

    ידע מוקדם

  • יסודות תורת ההסתברות ותורת המידה
  • יסודות של למידה self-supervised ולמידה ניגודות 

    יישומים פרקטיים:

  • ניתן להשתמש בגישה המוצעת להפקה של ייצוג דאטה טוב יותר מאשר בגישות הקודמות של למידה ניגודית.

פרטי מאמר:

    מאמר: כאן

    קוד: כאן

    פורסם בתאריך: ארקיב, 07.11.2020

    הוצג בכנס: ICML, 2020


תחומי מאמר:

  • למידה ייצוגית (representation learning)
  • למידה ניגודית (contrastive learning)

כלים מתמטיים, מושגים וסימונים:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא: 

Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration


פינת הסוקר:  

      המלצת קריאה ממייק ואברהם: שווה קריאה לחובבי למידה ייצוגית (unsupervised learning).

      בהירות כתיבה: בינונית

     ידע מוקדם

  • הבנה בעקרונות הבסיסיים של למידה יצוגית.
  • הבנה בשיטות אימון ניגודיות (contrastive).
  • importance sampling.

   יישומים פרקטיים אפשריים: שיפור באיכות ייצוג של דאטה המופק באמצעות מגוון שיטות של למידה ייצוגית


פרטי מאמר:

      מאמר: זמין להורדה.

      קוד: כאן

      פורסם בתאריך: 15.12.21, בארקיב.

      הוצג בכנס: NeurIPS 2021 Poster


תחומי מאמר:

  • self-supervised learning

כלים מתמטיים, מושגים וסימונים:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Soft-IntroVAE: Analyzing and Improving the Introspective Variational AutoEncoder


פינת הסוקר:  

      המלצת קריאה ממייק: מומלץ לאוהבי מודלים גנרטיביים 

      בהירות כתיבה: גבוהה.

     ידע מוקדם

  • הבנה של עקרונות VAE (למשל שימוש ב- ELBO לשערוך של הנראות המירבית).
  • עקרונות אימון של מודלים גנרטיביים עם פונקציית לוס אדוורסארית (משחק mini-max כמו בגאן) – נא לא לבלבל שיטות אלו עם שיטות לאימון רשתות ״חסינות״ נגד התקפות אדוורסריות (adversarial examples).
  • ידע בהסתברות אם אתם רוצים להבין את הפרקים עם ההוכחות.

   יישומים פרקטיים אפשריים: יצירה (אינפרנס) של תמונות באיכות גבוהה בסיבוכיות חישובית של VAE רגיל.


פרטי מאמר:

      מאמר: זמין להורדה.

      קוד: כאן

      פורסם בתאריך: 25.03.21, בארקיב.

      הוצג בכנס: CVPR 2021.


תחומי מאמר:

  • מודלים גנרטייביים ליצירת דאטה ויזואלי (תמונות)

כלים מתמטיים, מושגים וסימונים:

  • ELBO
  • VAE(Variational AutoEncoder)
  • אימון מודלים גנרטיביים עם פונקציית לוס אדוורסרית 

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Taming Transformers for High-Resolution Image Synthesis


פינת הסוקר: 

    המלצת קריאה ממייק: חובה ללא ספק!

    בהירות כתיבה: גבוהה

    ידע מוקדם: הבנה טובה בגאנים, טרנספורמרים ו VQ-VAE די הכרחית להבנת המאמר.

    יישומים פרקטיים אפשריים: יצירת תמונות באיכות מרהיבה (לא פחות!!).


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין כאן (בנוסף יש עוד 3 מימושים ״לא רשמיים״).

    פורסם בתאריך: 21.06.21, בארקיב (v3).

    הוצג בכנס: CVPR 2021.


תחומי מאמר:

  • מודלים גנרטיביים ליצירת דאטה בתחום הויזואלי

ידע מוקדם:

  • VQ-VAE
  • גאנים
  • טרנספורמרים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PonderNet: Learning to Ponder


פינת הסוקר:  

        המלצת קריאה ממייק: מומלץ בעיקר להרחבת אופקים

        בהירות כתיבה:  גבוהה

        ידע מוקדם: הבנה בסיסית ברשתות ובחוקי הסתברות

        יישומים פרקטיים אפשריים:


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.09.2021, בארקיב (v2)

      הוצג בכנס: 8th ICML Workshop on Automated Machine Learning (AutoML 2021)


תחומי מאמר:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)

ידע מוקדם:

  • מודלים (במקרה הזה רשתות נוירונים) בעלי זמן חישוב אדפטיבי (תלוי במורכבות משימה)
  • מרחק KL בין התפלגויות
  • התפלגות גיאומטרית 

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

You Better Look Twice: a new perspective for designing accurate detectors with reduced computations


פינת הסוקר:  

         המלצת קריאה מאברהם: מומלץ מאוד למתעניינים ב-Computer vision ובפרט בתחום של Object detection.

        בהירות כתיבה: כתוב בצורה פשוטה ומובנת, כולל איורים טובים.

        רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: רקע ב-Vision עוזר אבל לא חובה. אין כמעט משוואות במאמר.

       יישומים פרקטיים אפשריים: רשתות מהירות לזיהוי אובייקטים על גבי מכשירי קצה כמו פלאפונים ומצלמות.


פרטי מאמר:

     לינק למאמר: זמין להורדה.

     לינק לקוד: לא מופיע בארקיב

     פורסם בתאריך: 03.08.21, בארקיב.

     הוצג בכנס: British Machine Vision Conference (BMVC) 2021


תחומי מאמר:

  • זיהוי אובייקטים בתמונות מותאם למכשירי קצה.

ידע מוקדם:

  • רקע ברשתות נוירונים עמוקות מספיקה (החלק הראשון של הסקירה מכיל תיאור קצר של שיטות לזיהוי אובייקטים בתמונה, המספיק להבנת הסקירה)

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Do Transformers Really Perform Bad for Graph Representation?


פינת הסוקר:

המלצת קריאה מאופיר: מאמר חשוב מאוד, המספק את החיבור המתבקש בין ארכיטקטורת הטרנספורמרים שתפסה תאוצה במגוון דומיינים כגון ראייה ממוחשבת ועיבוד שפה טבעית למידע גרפי. ארכיטקטורת out-of-the-box שיכולה לשמש בבעיות גרפיות.

בהירות קריאה: גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם רשתות נוירונים גרפיות וטרנספורמרים.

יישומים פרקטיים אפשריים: כל בעיית מדעי נתונים גרפית עם דאטא רב, כאשר קיימים מספיק משאבי חישוב (בכל זאת, טרנספורמרים).

פרטי מאמר:

לינק למאמר: זמין כאן

לינק לקוד: זמין להורדה 

פורסם בתאריך: 09/06/2021

הוצג בכתב העת: לא ידוע

תחומי מאמר:

  • רשתות נוירונים גרפיות.
  • טרנספורמרים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

מבוא והסבר כללי על תחום המאמר:

ארכיטקטורת הטרנספורמרים צוברת פופולריות רבה בכמה מהתחומים הגדולים במדעי הנתונים – ראייה ממוחשבת, שפה טבעית וזיהוי דיבור. עם זאת, עד הוצאת המאמר לא הצליחו להחיל את הארכיטקטורה על מידע גרפי בהצלחה. במאמר זה הכותבים הצליחו לעשות זאת.

תמצית המאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

 Diffusion Models Beat GANs on Image Synthesis


פינת הסוקר:  

           המלצת קריאה ממייק: חובה למי שרוצה ללמוד מודלים גנרטיביים פרט לגאנים ול-VAE.

           בהירות כתיבה: בינונית.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה של עקרונות VAE, הבנה של שיטות דגימה מתקדמות כמו דינמיקה של לנגבין.

        יישומים פרקטיים אפשריים: יצירת תמונות יותר "איכותיות" מהגישות המתחרות, קרי גאנים ו-VAE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 01.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • מודלים דיפוזיוניים כלומר Diffusion Denoising Probabilistic Models – DDPM לגנרוט של דאטה ויזואלי.

ידע מוקדם:

  • הבנה טובה בטכניקות מבוססות -variational inference לניתוח פונקציות נראות מירבית (כמו ב- VAE).
  • רקע טוב בהסתברות לא יזיק 🙂

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

DETReg: Unsupervised Pretraining with Region Priors for Object Detection


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים בזיהוי אובייקטים בתמונות.

           בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם DeTR, שיטות למידת ייצוג בצורה unsupervised וטרנספורמרים.

        יישומים פרקטיים אפשריים: pretraining של מודל לזיהוי אובייקטים בדומיינים עם כמות מועטה של דאטה מתויג.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 08.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • זיהוי אובייקטים בתמונה (Object Detection)

ידע מוקדם:

מבוא: לכתבה המלאה >>

X