↓ הכתבות הכי חדשות ↓

English version

Arabic version

כמו בשנים קודמות, גם השנה קיימנו את הסקר השנתי של קהילת MDLI, במטרה למפות מגמות שונות בקרב העוסקים בתחומי ה-Data Science וה-Machine Learning. השנה מספר יוצא דופן של משיבים ומשיבות מילאו את הסקר השנתי שלנו – 1,250 איש – הישג מכובד לכל הדעות. עמרי גולדשטיין, מפתח אלגוריתמים, מדען נתונים ובעל הבלוג "מבוסס נתונים", ניתח את נתוני הסקר. מתוכם הפקנו את דו"ח השכר של קהילת MDLI לשנת 2021, ולצד זאת פיתחנו מחשבון שכר ייעודי עבור מקצועות הדאטה בארץ.

בשבועות הקרובים יועלו לאתר מספר דו"חות נוספים שיכילו ניתוחים שונים של תוצאות הסקר, ביניהם: כיצד נבנה מחשבון השכר החדש שלנו, מצב פערי השכר המגדריים בשוק וניתוח התפקידים השונים ותחומי האחריות הנלווים אליהם. דו"ח השכר המלא הוא החלק הראשון בסדרה, והוא מובא כאן לפניכם/ן.

בדו"ח הנ"ל נפלח את נתוני השכר שעלו בסקר לפי תפקיד, השכלה, רמת בכירות, גיל, ניסיון, מגדר ועוד. כשמנתחים את ההשפעה של התשובות השונות על השכר, אנחנו כמובן חשופים להשפעה של משתנים מתערבים. למשל, השכר הממוצע בסקר היה 38,500 ש"ח בחודש עבור מי שעובדים בתל אביב, לעומת 26,700 ש"ח בחודש בממוצע בירושלים. הנתונים האלו עשויים להיות שימושיים עבור מי ששוקל מעבר מהבירה לתל אביב או להיפך, אבל בוודאי לא ניתן לצפות לקפיצה של כ-12,000 ש"ח בשכר רק כתלות בשינוי מקום מגורים. אולי היצע המשרות שונה בתל אביב? או רמת ההשכלה הממוצעת? אין סוף לחיתוכים שניתן לעשות ולקשרים הסיבתיים שניתן לחפש. בדו"ח הזה נסתפק בחיתוכים סביב שניים או שלושה משתנים בכל פעם ונציג עבור כל קטגוריה לא רק את הממוצע, אלא גם מדדים סטטיסטיים אחרים שילמדו אותנו על ההתפלגות כולה.

הערה: מתוך שמירה קנאית מאוד על פרטיות המשיבים (ועל יכולת ההכללה מהמסקנות) לא תוצג שום נקודת דאטה בודדת והנתונים יהיו תמיד באגרגציה של לכל הפחות 10 דגימות.

מחשבון השכר

לפני שנתחיל, כפי שציינו, השנה נשיק לראשונה את מחשבון השכר של קהילת MDLI שמבוסס על נתוני הסקר. ניסיון למצוא מידע על שכר במקצועות ההיי-טק מסתיים לרוב בטבלאות שכר של חברות השמה שונות. הטבלאות האלו שימושיות, אך אינן שקופות בשום צורה – כיצד חושבו המשכורות? מה גודל המדגם ולאורך כמה זמן נמדד? מה משמעות הטווח? וכו'. הנתונים שלנו מאפשרים לבנות טבלת שכר אלטרנטיבית בפורמט המקובל, ובמחשבון השכר תוכלו גם לקבל את הטווח בו נמצאות 50% מהדגימות (או איפה המודל חוזה שיהיו 50% מהדגימות) ולא רק את התחזית הממוצעת. מוזמנים להתנסות במחשבון בלינק הבא. לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Discriminator Rejection Sampling


פינת הסוקר:  

       המלצת קריאה ממייק: חובה לאוהבי גאנים ודי מומלץ עבור האחרים. 

       בהירות כתיבה:  בינונית פלוס.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה בשיטות אימון של גאנים, ידע בסיסי בשיטות דגימה כמו Rejection Sampling.

     יישומים פרקטיים אפשריים: גנרוט תמונות יותר איכותיות עם גאנים.


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: לא אותר.

    פורסם בתאריך: 26.02.19, בארקיב.

    הוצג בכנס: ICLR 2019.


תחום מאמר:

  • חקר שיטות גנרוט דוגמאות באמצעות גאנים מאומנים.

כלים מתמטיים, מושגים וסימונים:

  • גאנים (GANs).
  • Rejection Sampling.

תמצית מאמר: לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע שאנחנו מקיימים עם אלביט בשם "Risks and Opportunities in the AI World". האירוע יתקיים ב4.5 בשעה 18:00 ויכלול שלוש הרצאות טכניות ומקצועיות. בהמשך אנחנו נעלה את כל המצגות וההקלטה של האירוע לעמוד הזה.

ניתן להירשם לאירוע דרך הלינק הזה.

ההרצאות:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Sharpness-Aware Minimization for Efficiently Improving Generalization

פינת הסוקר:  

          המלצת קריאה ממייק: חובה לאלו שמתעניינים מה קורה מאחורי הקלעים בתהליך אימון של רשתות נוירונים.

          בהירות כתיבה:  גבוהה מאוד.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרת טובה עם שיטות אופטימיזציה עבור בעיות עם משתנים מרובים.

        יישומים פרקטיים אפשריים: שיפור יכולת הכללה של רשתות על ידי החלפת בעיית מזעור לוס הרגילה ב-SAM.


פרטי מאמר:

 לינק למאמר: זמין להורדה.

  לינק לקוד: כאן.

 פורסם בתאריך: 04.12.20, בארקיב.

 הוצג בכנס:ICLR 2021.


תחום מאמר:

  • חקר שיטות אופטימיזציה לאימון של רשתות נוירונים.

כלים מתמטיים, מושגים וסימונים:

  • יכולת הכללה של רשת נוירונים.
  • Gradient Descent -GD.
  • הסיאן (Hessian) של פונקציה.
  • בעיית הנורמה הדואלית (dual norm problem).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Representation Learning via Invariant Causal Mechanisms


פינת הסוקר:  

         המלצת קריאה ממייק: מומלץ לאוהבי למידת ייצוג, בעלי ידע בסיסי בתורת הסיבתיות.

         בהירות כתיבה:  בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם כלים מלמידת ייצוג ומתורת הסיבתיות.

        יישומים פרקטיים אפשריים: שיפור ביצועים לכל שיטת למידת ייצוג המבוססת NCE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא נמצא בארקיב.

      פורסם בתאריך: 15.10.20, בארקיב.

      הוצג בכנס: ICLR 2021 Poster.


תחום מאמר: 

  • למידת ייצוג (representation learning).
  • תורת הסיבתיות.

כלים מתמטיים, מושגים וסימונים:

  • גרף סיבתיות של מודל הסתברותי.
  •  InfoNCE – Contrastive Predictive Coding.
  •  לוס ניגוד – NCE.
  • מרחק KL בין התפלגויות.
  •  עידון של משימת למידה (task refinement).


תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

RETHINKING ATTENTION WITH PERFORMERS


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לאוהבי הטרנספורמרים.

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות בסיסית עם תורת הקרנלים, הבנה טובה בפעולת ליבה בטרנספורמרים (self-attention).

        יישומים פרקטיים אפשריים: ניתן להשתמש בגישה המוצעת במאמר עבור כל משימה בה הסיבוכיות הריבועית של מנגנון self-attention של הטרנספורמר הינה בעיה מבחינת משאבי חישוב.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 09.03.21, בארקיב.

      הוצג בכנס: ICLR 2021.


תחומי מאמר:

  • טרנספורמרים בעלי סיבוכיות חישובית נמוכה.

כלים מתמטיים, מושגים וסימונים:

  • מנגנון  SA – self-attention. 
  • קרנלי סופטמקס (softmax kernels).
  • פיצ'רים חיוביים אורתוגונליים רנדומליים (Positive Orthogonal Random Features).

מבוא ותמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Improving GAN Training with Probability Ratio Clipping and Sample Reweighting


פינת הסוקר:   

           המלצת קריאה ממייק: מומלץ אך לא חובה לאלו שרוצים להתעמק בשיטות אימון של GANs.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בווסרשטיין גאן וכל מה שקשור אליו, הכרה בסיסית בשיטות מעולם הסטטיסטיקה כמו importance sampling, רקע בסיסי בלמידה באמצעות חיזוקים (Reinforcement learning) .

        יישומים פרקטיים אפשריים: אימון גאן משופר במגוון תרחישים


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: .זמין כאן.

      פורסם בתאריך: 30.10.2020, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • גאנים. 
  • שיטות אימון של גאנים.

כלים מתמטיים, מושגים וסימונים:  

  • וסרשטיין WGAN) GAN).
  • מרחק וסרשטיין (WD).
  • פונקצית ליפשיץ.
  • שיטות וריאציוניות לבעיות אופטימיזציה בתחום הרשתות הגנרטיביות כמו GAN.
  • גישות מתורת למידת החיזוק (RL):  אופטימיזציה של פוליסי (Policy Optimization – PO) דרך פתרון של בעיית אופטימיזציה עם פונקצית מטרה חלופית – surrogate.
  • שיטות דגימה: IM)  Importance Sampling).
  • מרחקים בין מידות הסתברות: מרחק KL ומרחק KL הפוך.
  • אלגוריתמים של EM)  Expectation-Maximization).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments


פינת הסוקר:  

           המלצת קריאה ממייק: חובה בטח לאוהבי למידת הייצוג.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות הלוס המנוגד וידע טוב באופטימיזציה.

        יישומים פרקטיים אפשריים: למידה ייצוגים חזקים על דאטהסטים לא מתויגים עם תקציב חישוב מצומצם.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 08.01.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • למידת ייצוג ללא דאטהסט מתויג (SSRL – self-supervised representation learning).
  • SSRL מבוססת על טכניקות קליסטור (Clustering for deep representation learning).

כלים מתמטיים, מושגים וסימונים:

  • מולטי-קרופ – טכניקת אוגמנטציה המבוססת על לקיחת פאטצ'ים קטנים של תמונה ברזולוציות נמוכות שונות.
  • האלגוריתם של סינקהורן קנופ (Sinkhorn-Knopp) לפתרון בעיית הטרנספורט האופטימלי למידות הסתברות דיסקרטיות.

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 


TransGAN: Two Transformers Can Make One Strong GAN

פינת הסוקר:  

           המלצת קריאה ממייק: חובה בהחלט (בכל זאת גאן ראשון מבוסס על טרנספורמרים).

          בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בטרנספורמרים וידע בסיסי בגאנים.

        יישומים פרקטיים אפשריים: TransGAN יודע לייצר תמונות כמו כל גאן אך בינתיים התוצאות אינן נראות בקנה מידה של SOTA בתחום כמו StyleGAN2.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 16.02.21, בארקיב.

      הוצג בכנס: טרם ידוע


.תחומי מאמר:

  • טרנספורמרים (Transformers)
  • גאנים (GANs)

כלים מתמטיים, מושגים וסימונים:

  • טרנספורמר לתמונות (visual transformers).
  • שיטות אוגמנטציה גזירות (differentiable augmentations).
  • הוספה של משימה self-supervised (סופר-רזולוציה) לתהליך אימון.
  • אתחול לוקאלי של משקולות self-attention.
  • Frechet Inception Distance (FID).
  • Inception Score.

תמצית מאמר: לכתבה המלאה >>

הכתבה נכתבה בשיתוף עם Razor Labs

מי שעוקב אחרי הפוסטים והמאמרים שאני כותב יודע עד כמה אני שם דגש רב על כל תחום הלימודים ופיתוח הקריירה. בארץ, כפי שבוודאי אתם יודעים, יש מחסור עצום באנשי ML טובים וישנן הכשרות רבות שנפתחו בשנים האחרונות שמטרתן היא לצמצם את הפער שנוצר ולשלב עוד עובדים איכותיים באקוסיסטם. כפועל יוצא מכך, החליטה חברת Razor Labs להקים את Future Learning, אקדמיית הבינה המלאכותית הראשונה בישראל, אשר מטרתה להכשיר מהנדסים מחוננים ומצטיינים לעסוק ב-Deep Learning באופן המשלב ידע תאורטי ומעשי.

למי שלא מכיר, ההכשרה של Razor Labs בתחום קיימת מזה 3 שנים ועד כה, הכשירה מעל ל-50 מהנדסים בשבעה מחזורים, כאשר כ- 85% מהם השתלבו בחברות הקבוצה (Razor & Axon) בתום הכשרתם. בנוסף לכך, במהלך השנה האחרונה זכתה האקדמיה להכרה רשמית מרשות החדשנות כגוף להכשרות מהנדסי AI, וכן זכתה כגוף המוביל להקמת מאגד מרכז הכשרות לאומי לבינה מלאכותית יחד עם חמש חברות מובילות במשק הישראלי.

מאחר ומדובר על אחת ההכשרות הרציניות והמוכרות בתחום שלנו, רציתי לחקור לעומק על התוכנית של Razor Labs כדי להבין בצורה טובה יותר מה כולל הקורס והאם הוא באמת יכול להיות מפתח כניסה לעולם ה-ML. על מנת לעשות זאת, שוחחתי עם מלקמו אלמו, מנהל Future Learning ועם מיכאל זולוטוב, ה-CTO של Razor Labs כדי שיספרו לי קצת על מאחורי הקלעים של הקורס. לפני שנתחיל, אציין כי ההרשמה לקורס פתוחה כעת עד ה-4.4 וניתן להירשם דרך הלינק הבא.

Future Learning Bootcamp לכתבה המלאה >>

X