כתבות עם התגית mike erlihson

סקירה זו נכתבה בשיתוף עם אברהם רביב


סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו שותפיי ואנוכי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא:

PIX2SEQ: A LANGUAGE MODELING FRAMEWORK FOR OBJECT DETECTION


פינת הסוקרים:

    המלצת קריאה מאברהם וממייק: מומלץ מאוד לחובבי תחום זיהוי האובייקטים.

    בהירות כתיבה: גבוהה.

    ידע מוקדם

  • יסודות של מודלי שפה.
  • יסודות של שיטות מבוססות רשתות נוירונים לזיהוי אובייקטים.

    יישומים פרקטיים:

  • ניתן ליישם אותה לבניית מודלים לזיהוי אובייקטים בתמונות.

לכתבה המלאה >>

סקירה זו נכתבה בשיתוף עם אלכסנדר מולק, Aleksander Molak.

סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו שותפיי ואנוכי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא: 

Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere


פינת הסוקרים:

    המלצת קריאה מאלכסנדר וממייק: מומלץ מאוד לחובבי למידה self-supervised ולכל מי שמתעניין בלמידת ייצוג

    בהירות כתיבה: בינונית פלוס

    ידע מוקדם

  • יסודות תורת ההסתברות ותורת המידה
  • יסודות של למידה self-supervised ולמידה ניגודות 

    יישומים פרקטיים:

  • ניתן להשתמש בגישה המוצעת להפקה של ייצוג דאטה טוב יותר מאשר בגישות הקודמות של למידה ניגודית.

פרטי מאמר:

    מאמר: כאן

    קוד: כאן

    פורסם בתאריך: ארקיב, 07.11.2020

    הוצג בכנס: ICML, 2020


תחומי מאמר:

  • למידה ייצוגית (representation learning)
  • למידה ניגודית (contrastive learning)

כלים מתמטיים, מושגים וסימונים:

לכתבה המלאה >>

אם יש שני מושגים שזוכים לתשומת לב אדירה בשנים האחרונות אלו סייבר ולמידת מכונה – ולא סתם. שני התחומים טומנים בחובם אתגרים רבים, ודווקא נקודת ההשקה ביניהם עשויה לסייע למצוא פתרונות פורצי דרך חדשים.

יותר ויותר חברות מבינות את הפוטנציאל הקיים בחיבור המולטידיסציפלינרי הזה, ופועלות לשימוש בפתרונות מבוססי ML עבור אתגרים בעולם הסייבר. וגם מנגד, גם חברות מבוססות ML מתמודדות עם אתגרי סייבר, ולעתים גם כאלו שייחודיים להן.

כדי לשפוך אור על החיבור המרתק בין התחומים אנו מארגנים כנס בנושא, בהשתתפות דוברים מהחברות המובילות בתחום. הכנס יתקיים בשותפות עם AWS, Salt Security ו-SentinelOne.

ניתן למצוא את כל ההקלטות של האירוע כאן:

 

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק השביעי של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSSספוטיפיאפל וגם ישירות דרך Podbean. אל תשכחו להירשם כמנויים כדי לא לפספס אף פרק שלנו.

על מה דברנו בפרק הזה?

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

 Diffusion Models Beat GANs on Image Synthesis


פינת הסוקר:  

           המלצת קריאה ממייק: חובה למי שרוצה ללמוד מודלים גנרטיביים פרט לגאנים ול-VAE.

           בהירות כתיבה: בינונית.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה של עקרונות VAE, הבנה של שיטות דגימה מתקדמות כמו דינמיקה של לנגבין.

        יישומים פרקטיים אפשריים: יצירת תמונות יותר "איכותיות" מהגישות המתחרות, קרי גאנים ו-VAE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 01.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • מודלים דיפוזיוניים כלומר Diffusion Denoising Probabilistic Models – DDPM לגנרוט של דאטה ויזואלי.

ידע מוקדם:

  • הבנה טובה בטכניקות מבוססות -variational inference לניתוח פונקציות נראות מירבית (כמו ב- VAE).
  • רקע טוב בהסתברות לא יזיק 🙂

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Discovery of Interpretable Directions in the GAN Latent Space


פינת הסוקר:        

       המלצת קריאה ממייק: מומלץ לעוסקים ב-GANs לשאר רק אם יש זמן פנוי.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של GANs מספיקה.

      יישומים פרקטיים אפשריים: מציאת כיוונים במרחב הלטנטי הגורמים לשינוי של מאפיין ויזואלי בודד של התמונה המגונרטת.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 24.06.2020, בארקיב

      הוצג בכנס: ICML 2020


תחום מאמר:

  • GANs 
  • חקר של המרחב הלטנטי של GANs

כלים מתמטיים, מושגים וסימונים:

  • וקטור (כיוון) בר פירוש (interpretable direction).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא

Contrastive Learning Of Medical Visual Representations From Paired Images And Text


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לעוסקים בתחום של צילום רפואי, לאחרים מומלץ מאוד.

       בהירות כתיבה: גבוהה.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם טכניקות בסיסיות של למידת ייצוג (representation learning) .

      יישומים פרקטיים אפשריים: שיפור איכות של pretraining של רשתות על דאטה מהדומיין הרפואי.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: לא רשמי 1, לא רשמי 2

      פורסם בתאריך: 02.10.2020, בארקיב

      הוצג בכנס: ICLR 2021


תחום מאמר:

  •  למידת ייצוג (representation learning) לצילומים רפואיים

כלים מתמטיים, מושגים וסימונים:

  • Noise Contrastive Estimation – NCE
  • Contrastive VIsual Representation Learning from Text – ConVIRT

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks 


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאלו שרוצים להבין את התהליכים המתרחשים במהלך אימון של רשתות נוירונים, לשאר מומלץ לעבור על המסקנות בלבד.

       בהירות כתיבה: בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה עמוקה בחדוו"א מתקדם ובתורת האופטימיזציה.

      יישומים פרקטיים אפשריים: מאמר תיאורטי שעשוי לעזור לשפר את תהליכי האימון של רשתות נוירונים.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 03.07.2019, בארקיב

      הוצג בכנס: ICML2019


תחום מאמר: 

  • חקר שיטות אופטימיזציה לאימון של רשתות נוירונים

כלים מתמטיים, מושגים וסימונים:

  • Gradient Descent – GD
  • מטריצת קווריאנס של רשת נוירונים
  • מטריצת קרנל של רשת נוירונים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאנשי NLP, במיוחד לחוקרים העוסקים במודלי שפה, מבוססי טרנספורמרים.

       בהירות כתיבה: גבוהה.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם מודלי שפה, המבוססים על טרנספורמרים כמו BERT ו-GPT.

      יישומים פרקטיים אפשריים: גנרוט טקסטים ברמה גבוהה יותר ובדרך פשוטה יותר מאלו של BERT.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן (בתוך פייטורץי)

      פורסם בתאריך: 29.10.19, בארקיב

      הוצג בכנס: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics


תחומי מאמר: 

  • טרנספורמרים
  • denoising autoencoder
  • מודלים גנרטיביים

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Geometric Dataset Distances via Optimal Transport


פינת הסוקר:        

       המלצת קריאה ממייק: חובה למתעניינים בשיטות של domain adaptation.

       בהירות כתיבה: בינונית.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם שיטות domain adaptation והבנה טובה בכל מה שקשור לטרנספורט האופטימלי.

      יישומים פרקטיים אפשריים: מציאת זוגות של דאטהסטים ״נוחים״ לביצוע domain adaptation של מודלים ביניהם.


פרטי מאמר:

      לינק למאמר: זמין להורדה

      לינק לקוד: לא נמצא בארקיב

      פורסם בתאריך: 07.02.20, בארקיב

      הוצג בכנס: NeurIPS2020


תחום מאמר:

  • אדפטציה בין דומיינים (domain adaptation)
  • חקר של דמיון בין דאטהסטים
  • transfer learning 

כלים ומושגים מתמטיים במאמר:


תמצית מאמר:  לכתבה המלאה >>

X