כתבות עם התגית deep learning

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

RETHINKING ATTENTION WITH PERFORMERS


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לאוהבי הטרנספורמרים.

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם תורת הקרנלים, הבנה טובה בפעולת ליבה בטרנספורמרים (self-attention).

        יישומים פרקטיים אפשריים: ניתן להשתמש בגישה המוצעת במאמר עבור כל משימה בה הסיבוכיות הריבועית של מנגנון self-attention של הטרנספורמר הינה בעיה מבחינת משאבי חישוב.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 09.03.21, בארקיב.

      הוצג בכנס: ICLR 2021.


תחומי מאמר:

  • טרנספורמרים בעלי סיבוכיות חישובית נמוכה.

כלים מתמטיים, מושגים וסימונים:

  • מנגנון  SA – self-attention. 
  • קרנלי סופטמקס (softmax kernels).
  • פיצ'רים חיוביים אורתוגונליים רנדומליים (Positive Orthogonal Random Features).

מבוא ותמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Improving GAN Training with Probability Ratio Clipping and Sample Reweighting


פינת הסוקר:   

           המלצת קריאה ממייק: מומלץ אך לא חובה לאלו שרוצים להתעמק בשיטות אימון של GANs.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בווסרשטיין גאן וכל מה שקשור אליו, הכרה בסיסית בשיטות מעולם הסטטיסטיקה כמו importance sampling, רקע בסיסי בלמידה באמצעות חיזוקים (Reinforcement learning) .

        יישומים פרקטיים אפשריים: אימון גאן משופר במגוון תרחישים


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: .זמין כאן.

      פורסם בתאריך: 30.10.2020, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • גאנים. 
  • שיטות אימון של גאנים.

כלים מתמטיים, מושגים וסימונים:  

  • וסרשטיין WGAN) GAN).
  • מרחק וסרשטיין (WD).
  • פונקצית ליפשיץ.
  • שיטות וריאציוניות לבעיות אופטימיזציה בתחום הרשתות הגנרטיביות כמו GAN.
  • גישות מתורת למידת החיזוק (RL):  אופטימיזציה של פוליסי (Policy Optimization – PO) דרך פתרון של בעיית אופטימיזציה עם פונקצית מטרה חלופית – surrogate.
  • שיטות דגימה: IM)  Importance Sampling).
  • מרחקים בין מידות הסתברות: מרחק KL ומרחק KL הפוך.
  • אלגוריתמים של EM)  Expectation-Maximization).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments


פינת הסוקר:  

           המלצת קריאה ממייק: חובה בטח לאוהבי למידת הייצוג.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות הלוס המנוגד וידע טוב באופטימיזציה.

        יישומים פרקטיים אפשריים: למידה ייצוגים חזקים על דאטהסטים לא מתויגים עם תקציב חישוב מצומצם.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 08.01.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • למידת ייצוג ללא דאטהסט מתויג (SSRL – self-supervised representation learning).
  • SSRL מבוססת על טכניקות קליסטור (Clustering for deep representation learning).

כלים מתמטיים, מושגים וסימונים:

  • מולטי-קרופ – טכניקת אוגמנטציה המבוססת על לקיחת פאטצ'ים קטנים של תמונה ברזולוציות נמוכות שונות.
  • האלגוריתם של סינקהורן קנופ (Sinkhorn-Knopp) לפתרון בעיית הטרנספורט האופטימלי למידות הסתברות דיסקרטיות.

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Teaching with Commentaries

של ג'ף הינטון האגדי ושותפיו.


פינת הסוקר:  

           המלצת קריאה ממייק: מומלץ לאוהבי מטה-למידה ובעלי רקע בחדו"א 2 מתקדם.

          בהירות כתיבה: בינונית.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: רקע טוב בתחום מטה-למידה, חדו"א ברמה גבוהה.

        יישומים פרקטיים אפשריים: ניתן להשתמש בגישה זו למשל לזיהוי דוגמאות המשפיעות ביותר על הביצועים או איתור פאטצ'ים בתמונות מהדאטהסט החשובים למשימה במהלך האימון של הרשת.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 5.11.20, בארקיב.

      יוצג בכנס: ICLR 2021.


תחומי מאמר:

  • שיטות אימון של רשתות נוירונים.
  • שיטות מטה למידה (meta-learning) בתחום רשתות הנוירונים.

כלים מתמטיים, מושגים וסימונים:

  • משפט הפונקציה הסתומה.
  • חישוב נגזרת של פונקציה וקטורית דרך ההופכית של מטריצת הסיאן (hessian).
  •  קירוב ניומן (neumann) לחישוב הופכית של אופרטור (מטריצה) לינארי.
  • רשת לומדת פנימית (inner student network).
  • רשת מלמדת (נקראת הרשת המפרשנת במאמר –  commentary network).
  • אימון פנימי/חיצוני (inner/outer optimization).
  •  מטה-אימון ,(meta-training).

תמצית מאמר:
לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

 

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

 Sequence-to-Sequence Contrastive Learning for Text Recognition

פינת הסוקר:  

          המלצת קריאה ממייק: כמעט חובה (לא חייבים אך מומלץ בחום לחסידי למידת הייצוג ואוהבי OCR).

          בהירות כתיבה:  גבוהה.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: בינוני (נדרשת הבנה מסוימת במושגי למידת הייצוג).

         יישומים פרקטיים אפשריים: שיפור ביצועים עבור משימות OCR כמו זיהוי לוחות רישוי, זיהוי של תמרורים עבור מערכות רכב אוטונומי, הקטנת גודל סט אימון מתויג הנדרש לרמת ביצועים נתונה.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 20.12.20, בארקיב.

      הוצג בכנס: NeurIPSi 2020.


תחומי מאמר:

  • למידת ייצוגים במימד נמוך למשימות זיהוי טקסט (כתב יד) בתמונה.
  • למידה מנוגדת (contrastive learning – CL) למשימות מיפוי סדרה לסדרה (sequence-to-sequence tasks – StST) .

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • לוס מנוגד (contrastive loss).
  • אוגמנטציה של דאטה ליצירה של דוגמאות "דומות".
  • רשתות לעיבוד שדאטה סדרתי (sequential) כמו LSTM.

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Regularizing Towards Permutation Invariance in Recurrent Models


פינת הסוקר:  

           המלצת קריאה ממייק: כמעט חובה (לא חייבים אך ממש מומלץ).

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: בינונית מינוס – צריך להבין מה זה RNN ותכונותיו הבסיסיות. בנוסף מומלץ לרענן את הידע הבסיסי בקומבינטוריקה (תמורות) ובתורת הקבוצות (מושגי יסוד).

        יישומים פרקטיים אפשריים: ניתן להשתמש בטכניקה זו בשביל משימות עיבוד סדרות אינווריאנטיות (באופן מלא או חלקי) לסדר איבריהן כמו משימות זיהוי של ענני נקודות,מציאת דמיון בין סטים של אובייקטים, זיהוי אותות ECC וכדומה.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 25.12.20, בארקיב.

      הוצג בכנס: NeurIPSi 2020.


תחומי מאמר:

  • רשתות מסוג RNN.
  • משימות אינווריאנטיות לסדר של קלט.

כלים מתמטיים, מושגים וסימונים:

  • תמורה (פרמוטציה) של סדרת קלט (יסומן כ- p).

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Identifying Mislabeled Data using the Area Under the Margin Ranking


פינת הסוקר:

המלצת קריאה ממייק: כמעט חובה – (לא חובה אבל קרוב לזה 😉 ).

בהירות כתיבה: גבוהה

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם מושגי יסוד של הלמידה העמוקה (בעיקר אלו הקשורות לאימון של רשתות נוירונים).

יישומים פרקטיים אפשריים: אופטימיזציה של תהליך אימון של רשתות נוירונים עי״ זיהוי של דוגמאות מתיוגות תוך כדי האימון.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: כאן.

פורסם בתאריך: 23.12.2021, בארקיב. 

הוצג בכנס: NeurIPS 2020.

תחומי מאמר:

  • זיהוי דוגמאות בעלות לייבלים שגויים בתהליך אימון של רשתות נוירונים.

כלים מתמטיים הסימונים:

  • לוגיטים (logits):  פלט של השכבה האחרונה של רשת סיווג (לפני הנרמול softmax/sigmoid).

תחומים בהם ניתן להשתמש בגישה המוצעת:

  • למידה semi-supervised.
  • אוגמנטציה של דאטהסטים.

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PreTrained Image Processing Transformer

פינת הסוקר:

המלצת קריאה ממייק: רק עם קשה לכם להירדם בלילה (שווה לאלו שמתעסקים במשימות low-level בתחום עיבוד תמונה).

בהירות כתיבה:  בינוני מינוס.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם מושגי יסוד של DL.

יישומים פרקטיים אפשריים: הגישה המוצעת במאמר יכולה לשמש כשיטת אימון למשימות כמו סופר-רזולוציה, ניקוי רעש רגיל או הסרת רעש גשם (deraining) עבור דאטהסטים קטנים.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: לא הצלחתי לאתר.

פורסם בתאריך: 03.12.20, בארקיב.

הוצג בכנס: לא מצאתי מידע על כך.


תחומי מאמר:

  • למידה עם משימות מרובות (multi-task learning – MLT). 
  • למידה מנוגדת (contrastive learning – CL).

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • טרנספורמר ויזואלי (הפועל על פאטצ'ים של תמונות).
  • לוס מנוגד (contrastive loss).
  • משימות low-level של הראייה הממוחשבת כמו סופר-רזולוציה, ניקוי רעשים וכדומה.

לינקים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

כפי שהובטח, אני מארגן גרסה מקומית של כנס ICML בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

האירוע יתקיים ב6.7 בשעה 18:00 עד השעה 21:00 (לחצו כאן כדי להוסיף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרםבערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לכתבה המלאה >>

תגיות: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
X