כתבות בנושא Deep Learning

סקירה זו היא חלק מפינה קבועה של סקירת מאמרים חשובים בתחום ה-ML/DL, בהם מוצגת בעברית גרסה פשוטה וברורה של מאמרים נבחרים. במידה ותרצו לקרוא את המאמרים הנוספים שסוכמו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקור מאמר שאני שותף בכתיבה שלו, יחד עם שותפים מ-SIRC – Samsung Israel R&D Center:

Layer Folding: Neural Network Depth Reduction using Activation Linearization

מאת: Amir Ben Dror, Niv Zehngut, Avraham Raviv, Evgeny Artyomov, Ran Vitek, Roy Jevnisek.


פינת הסוקר:

    המלצת קריאה: מומלץ מאוד לכל מי שמתעסק ברשתות נוירונים מיועדות למכשירי קצה (מובייל, IoT וכדו').

    בהירות כתיבה: גבוהה.

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם רשתות קונבלוציה. המאמר קל להבנה וכמעט לא מכיל נוסחאות מתמטיות.

    יישומים פרקטיים אפשריים: יצירת רשתות פחות עמוקות המקנות שיפור ב-inference time וצריכת סוללה כמעט ללא פגיעה בדיוק הרשתות.


פרטי מאמר:

    לינק למאמר: זמין כאן

    לינק לקוד: זמין כאן (PyTorch)

    פורסם בתאריך: 17.06.21, בארקיב


רקע ותמצית המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks 


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאלו שרוצים להבין את התהליכים המתרחשים במהלך אימון של רשתות נוירונים, לשאר מומלץ לעבור על המסקנות בלבד.

       בהירות כתיבה: בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה עמוקה בחדוו"א מתקדם ובתורת האופטימיזציה.

      יישומים פרקטיים אפשריים: מאמר תיאורטי שעשוי לעזור לשפר את תהליכי האימון של רשתות נוירונים.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן

      פורסם בתאריך: 03.07.2019, בארקיב

      הוצג בכנס: ICML2019


תחום מאמר: 

  • חקר שיטות אופטימיזציה לאימון של רשתות נוירונים

כלים מתמטיים, מושגים וסימונים:

  • Gradient Descent – GD
  • מטריצת קווריאנס של רשת נוירונים
  • מטריצת קרנל של רשת נוירונים

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension


פינת הסוקר:        

       המלצת קריאה ממייק: חובה לאנשי NLP, במיוחד לחוקרים העוסקים במודלי שפה, מבוססי טרנספורמרים.

       בהירות כתיבה: גבוהה.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם מודלי שפה, המבוססים על טרנספורמרים כמו BERT ו-GPT.

      יישומים פרקטיים אפשריים: גנרוט טקסטים ברמה גבוהה יותר ובדרך פשוטה יותר מאלו של BERT.


פרטי מאמר:

      לינק למאמר: זמין כאן

      לינק לקוד: זמין כאן (בתוך פייטורץי)

      פורסם בתאריך: 29.10.19, בארקיב

      הוצג בכנס: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics


תחומי מאמר: 

  • טרנספורמרים
  • denoising autoencoder
  • מודלים גנרטיביים

תמצית מאמר:  לכתבה המלאה >>

Hebrew version

English version

كما في السّنوات السَابقة، هذه السَنة أيضًا أجرينا الاستطلاع السّنوي لمجتمع MDLI، بهدف رسم تخطيط للاتجاهات المختلفة عند العاملين في مجال الـ Data Science والـ Machine Learning. لقد قام عدد كبير من المجيبين والمجيبات بتعبئة استطلاعنا السنوي- 1,250 شخصًا – انجاز عظيم بكل المقاييس. قام عمري غولدشتين، مُطور خوارزميات، عالِم معطيات وصاحب المدونة "قائم على المعطيات"، بتحليل معطيات الاستطلاع. من خلالها قُمنا بإنتاج تقرير الأجور لمجتمع MDLI لعام 2021، وإلى جانب ذلك قُمنا بتطوير حاسبة الأجر مخصصة لمهن المعلوماتية (داتا) في البلاد.

في الأسابيع القربية سوف نُضيف إلى الموقع عددًا من التقارير الإضافية والتي ستتضمن نتائج الاستطلاع، من بينها: كيف تم بناء حاسبة الأجور الجديدة، وضع فجوات الأجور بين الجنسين في السّوق وتحليل الوظائف المختلفة ومجالات المسؤولية التي تُرافقها. تقرير الأجر الكامل هو الجزء الأول من السّلسلة، وهو معروض هنا أمامكم/ن.

في التقرير التّالي سنقوم بتقسيم معطيات الأجر التي ذُكرت في الاستطلاع بحسب الوظيفة، الدراسة، المستوى الاداري، الجنس وغيرها. عندما نحلل تأثير الإجابات المختلفة على الأجر، نحن بالتأكيد معرّضون لتأثيرات مُتغيرات مُتداخلة. على سبيل المثال، متوسط الأجر في الاستطلاع كان 38,500 شاقل شهريًا للعاملين في تل أبيب، مقابل 26,700 شاقل شهري بالمتوسط في القدس. هذه المعطيات قد تكون عملية لكل من يفكر بالانتقال من العاصمة إلى تل أبيب أو العكس، لكن بالتأكيد لا يمكن توقع قفزة في الأجر بقيمة 12,000 شاقل فقط اعتمادًا على تغيير مكان الإقامة. هل عروض العمل مختلفة في تل أبيب؟ أو متوسط مستوى الدراسة؟ لا حدّ للتداخلات التي يمكننا القيام بها وللعلاقات السّببية التي يمكن البحث عنها. في هذا التقرير سوف نستكفي بالتداخلات حول متغيرين أو ثلاثة في كل مرة ولن نعرض فقط متوسط كل فئة، بل أيضًا مقاييس إحصائية أخرى والتي قد علمتنا عن التوزيع كله.

ملاحظة: بسبب حرصنا الشديد على خصوصية المجيبين (وعلى قدرة شمولية الاستنتاجات) لن يتم عرض أي معلومة وسيتم تجميع المعطيات لـكل 10 عينات على الأقل.

حاسبة الأجر

قبل أن نبدأ، مثلما ذكرنا، في هذه السّنة سوف نقدم لأول مرة حاسبة الأجر لمجتمع MDLI التي تعتمد على نتائج الاستطلاع. محاولة إيجاد معلومات عن الأجر في مجال الهايتك تنتهي في معظم الأحيان بجداول أجور في شركات التوظيف المختلفة. هذه الجداول عملية، لكنها لا تتمتع بالشّفافية إطلاقًا – كيف تم حساب الأجور؟ ما هو حجم العينة وما هي المدة زمنية تم قياسها خلالها؟ ما هو مفهوم المجال؟ إلخ.  تمكننا معطياتنا من بناء جدول أجور بديل في الشكل المقبول، وعن طريق حاسبة الأجور تستطيعون أن تحصلوا أيضًا على المجال التي تتواجد فيه 50% من العينات (أو أين يتوقع النموذج أن تتواجد 50% من العينات) وليس فقط التوقعات المتوسطة. ندعوكم لتجربة الحاسبة عبر الرّابط التالي.

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Geometric Dataset Distances via Optimal Transport


פינת הסוקר:        

       המלצת קריאה ממייק: חובה למתעניינים בשיטות של domain adaptation.

       בהירות כתיבה: בינונית.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם שיטות domain adaptation והבנה טובה בכל מה שקשור לטרנספורט האופטימלי.

      יישומים פרקטיים אפשריים: מציאת זוגות של דאטהסטים ״נוחים״ לביצוע domain adaptation של מודלים ביניהם.


פרטי מאמר:

      לינק למאמר: זמין להורדה

      לינק לקוד: לא נמצא בארקיב

      פורסם בתאריך: 07.02.20, בארקיב

      הוצג בכנס: NeurIPS2020


תחום מאמר:

  • אדפטציה בין דומיינים (domain adaptation)
  • חקר של דמיון בין דאטהסטים
  • transfer learning 

כלים ומושגים מתמטיים במאמר:


תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

 Meta-Learning Requires Meta-Augmentation 

פינת הסוקר:        

       המלצת קריאה ממייק: מומלץ לאוהבי מטה-למידה אך לא חובה

       בהירות כתיבה: גבוהה

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת הבנה טובה של מושגי יסוד של תמום מטה-למידה (meta-learning).

       יישומים פרקטיים אפשריים: שיפור ביצועים במשימות של מטה-למידה באמצעות אוגמנטציה של לייבלים.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 04.11.21, בארקיב.

      הוצג בכנס: NeurIPS2020


תחום מאמר:

  •  שיטות אוגמנטציה למטה-למידה (meta-learning)
  • שיטות התמודדת עם אוברפיטינג (overfitting) במטה-למידה

כלים ומושגים מתמטיים במאמר:

  • אפיזודה של משימת מטה-למידה
  • למידה N-way, K-shot
  • זיכרון (memorization) במשימות מטה-למידה
  • אנטרופיה מותנית (conditional entropy – CE)
  • אוגמנטציה שומרת CE 

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

InfoBERT: Improving Robustness of Language Models from an Information Theoretic Perspective


פינת הסוקר:

          המלצת קריאה ממייק: חובה בהחלט לאוהבי נושא של אימון אדוורסרי ותורת המידע. לאחרים מומלץ מאוד

          בהירות כתיבה: בינונית פלוס

        רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם עקרונות של התקפות אדוורסריות לרשתות נוירונים (בדגש על NLP), הבנה טובה במושגי יסוד של תורת המידע כמו מידע הדדי של משתנים אקראיים. 

        יישומים פרקטיים אפשריים: אימון מודלי NLP, עמידים להתקפות אדוורסריות.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: רשמי, לא רשמי

      פורסם בתאריך: 22.03.21, בארקיב.

      הוצג בכנס: ICLR 2021


תחום מאמר: 

  • טרנספורמרים, BERT
  • אימון אדוורסארי – adversarial training
  • למידת ייצוג – representation learning

כלים ומושגים מתמטיים במאמר:

  • צוואר בקבוק מידעי (information bottleneck) ברשתות נוירונים
  • מידע הדדי (mutual information)
  • (InfoNCE (noise contrastive estimation

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation


פינת הסוקר:

            המלצת קריאה ממייק:  מומלץ למביני עניין בטכניקות מורכבות ל -domain adaptation.

           בהירות כתיבה: בינונית

           רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה עמוקה בתכונות של מרחקים שונים בין מידות הסתברות והבנה טובה בבעיות אופטימיזציה עם אילוצים. הבנה בטרנספורט אופטימלי רצויה גם כן. 

          יישומים פרקטיים אפשריים: ניתן להשתמש בגישה זו לאימון של גאנים כאשר סט האימון חשוד ללהכיל דוגמאות זרות וגם כן למשימות UDA.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

      פורסם בתאריך: 12.10.20, בארקיב.

      הוצג בכנס: NeurIPS 2020


תחום מאמר: 

  • מרחק בין דאטהסטים עם אווטליירים (outliers)
  • מודלים גנרטיביים (GANs)
  • אדפטצית דומיינים בלתי מונחית  (unsupervised domain adaptation – UDA)

כלים מתמטיים, מושגים וסימונים:

  • טרנספורט אופטימלי (OT)
  • טרנספורט אופטימלי רובסטי (ROT)
  • טרנספורט אופטימלי בלתי מאוזן (UOT)
  • מרחק וסרשטיין (WD), מרחק f ומרחק chi-2 בין מידות הסתברות (f-divergence)
  • בעיות אופטימיזציה מינימקס (minimax problems)
  • פונקציות ליפשיץ עם מקדם 1 (Lip-1)
  • דוגמאות לא טיפוסיות או אווטליירים (OL)

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

CoMatch: Semi-supervised Learning with Contrastive Graph Regularization


פינת הסוקר:  

            המלצת קריאה ממייק: מאוד מומלץ.

            בהירות כתיבה: בינונית פלוס

           רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנת של עקרונות הלמידה הניגודית (contrastive learning) וידע בסיסי בגרפים

          יישומים פרקטיים אפשריים: הפקה של ייצוגים חזקים של דאטה עבור משימות של self-supervised/semi-cosupervised learning.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 21.03.21, בארקיב.

      הוצג בכנס: לא הצלחתי לאתר.


תחומי מאמר: 

  • (Semi-Supervised Learning (SmSL
  • (Self-Supervised Learning (SSL

כלים מתמטיים, מושגים וסימונים:

  • (Self-Supervised Contrastive Learning (SSCL
  • SSL/SmSL מבוסס על מינימיזציה של אנטרופיה 
  • SmSL המבוסס על גרף של דמיונות
  • פסאודו לייבלים (תוצאת הרצת רשת סיווג על דאטה לא מתויג)
  • יישור התפלגות (distribution alignment) עבור פסאודו לייבלים

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Learning to summarize from human feedback


פינת הסוקר:  

           המלצת קריאה ממייק: מאוד מומלץ.

           בהירות כתיבה: גבוהה מינוס

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בשיטות הקיימות של abstractive summarization , בטרנספורמרים וידע בסיסי ב-reinforcement learning.

          יישומים פרקטיים אפשריים: אימון של מודלים לתמצות אבסטרקטיבי עם עם פחות דאטה מתויג.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן

     פורסם בתאריך: 27.10.20, בארקיב.

     הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • תמצות אבסטרקטיבי (abstractive summarization) של טקסטים
  • למידה באמצעות חיזוקים (RL – reinforcement learning)

כלים מתמטיים, מושגים וסימונים:

  •  טרנספורמרים
  • פונקצית מטרה סרוגייט (surrogate objective – F_sur)
  •  (proximal policy optimization (PPO
  • שיטות אזור אימון (trust region TR)
  • פונקציית גמול (reward function)
  • מרחק KL
  • מבחן ROUGE

תמצית מאמר:  לכתבה המלאה >>

X