כפי שהובטח, גם השנה נארגן גרסה מקומית של כנס CVPR, בה יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס CVPR עצמו. נתחיל ונציין כי אין קשר רשמי לכנס CVPR העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לתת במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודתו.

אנו שמחים לראות שגם השנה מספר רב של חוקרים ישראליים התקבלו ל-CVPR, ועל כן האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים ב-02/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן), והאירוע השני יתקיים ב-03/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

תודה רבה לנותני החסות של האירוע, שאפשרו לנו לקיים אותו זו השנה השלישית: BeyondMinds,

לאחר האירוע כל המצגות של הדוברים והקלטות של ההרצאות ישלחו בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), ויועלו בערוץ טלגרם, בערוץ היוטיוב וגם בעמוד הזה.

לכתבה המלאה >>

כמו בשנים קודמות, גם השנה קיימנו את הסקר השנתי של קהילת MDLI, במטרה למפות מגמות שונות בקרב העוסקים בתחומי ה-Data Science וה-Machine Learning. השנה מספר יוצא דופן של משיבים ומשיבות מילאו את הסקר השנתי שלנו – 1,250 איש – הישג מכובד לכל הדעות. עמרי גולדשטיין, מפתח אלגוריתמים, מדען נתונים ובעל הבלוג "מבוסס נתונים", ניתח את נתוני הסקר. מתוכם הפקנו את דו"ח השכר של קהילת MDLI לשנת 2021, ולצד זאת פיתחנו מחשבון שכר ייעודי עבור מקצועות הדאטה בארץ.

בשבועות הקרובים יועלו לאתר מספר דו"חות נוספים שיכילו ניתוחים שונים של תוצאות הסקר, ביניהם: כיצד נבנה מחשבון השכר החדש שלנו, מצב פערי השכר המגדריים בשוק וניתוח התפקידים השונים ותחומי האחריות הנלווים אליהם. דו"ח השכר המלא הוא החלק הראשון בסדרה, והוא מובא כאן לפניכם/ן.

בדו"ח הנ"ל נפלח את נתוני השכר שעלו בסקר לפי תפקיד, השכלה, רמת בכירות, גיל, ניסיון, מגדר ועוד. כשמנתחים את ההשפעה של התשובות השונות על השכר, אנחנו כמובן חשופים להשפעה של משתנים מתערבים. למשל, השכר הממוצע בסקר היה 38,500 ש"ח בחודש עבור מי שעובדים בתל אביב, לעומת 26,700 ש"ח בחודש בממוצע בירושלים. הנתונים האלו עשויים להיות שימושיים עבור מי ששוקל מעבר מהבירה לתל אביב או להיפך, אבל בוודאי לא ניתן לצפות לקפיצה של כ-12,000 ש"ח בשכר רק כתלות בשינוי מקום מגורים. אולי היצע המשרות שונה בתל אביב? או רמת ההשכלה הממוצעת? אין סוף לחיתוכים שניתן לעשות ולקשרים הסיבתיים שניתן לחפש. בדו"ח הזה נסתפק בחיתוכים סביב שניים או שלושה משתנים בכל פעם ונציג עבור כל קטגוריה לא רק את הממוצע, אלא גם מדדים סטטיסטיים אחרים שילמדו אותנו על ההתפלגות כולה.

הערה: מתוך שמירה קנאית מאוד על פרטיות המשיבים (ועל יכולת ההכללה מהמסקנות) לא תוצג שום נקודת דאטה בודדת והנתונים יהיו תמיד באגרגציה של לכל הפחות 10 דגימות.

מחשבון השכר

לפני שנתחיל, כפי שציינו, השנה נשיק לראשונה את מחשבון השכר של קהילת MDLI שמבוסס על נתוני הסקר. ניסיון למצוא מידע על שכר במקצועות ההיי-טק מסתיים לרוב בטבלאות שכר של חברות השמה שונות. הטבלאות האלו שימושיות, אך אינן שקופות בשום צורה – כיצד חושבו המשכורות? מה גודל המדגם ולאורך כמה זמן נמדד? מה משמעות הטווח? וכו'. הנתונים שלנו מאפשרים לבנות טבלת שכר אלטרנטיבית בפורמט המקובל, ובמחשבון השכר תוכלו גם לקבל את הטווח בו נמצאות 50% מהדגימות (או איפה המודל חוזה שיהיו 50% מהדגימות) ולא רק את התחזית הממוצעת. מוזמנים להתנסות במחשבון בלינק הבא. לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע שאנחנו מקיימים עם אלביט בשם "Risks and Opportunities in the AI World". האירוע יתקיים ב4.5 בשעה 18:00 ויכלול שלוש הרצאות טכניות ומקצועיות. בהמשך אנחנו נעלה את כל המצגות וההקלטה של האירוע לעמוד הזה.

ההרצאות:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Sharpness-Aware Minimization for Efficiently Improving Generalization

פינת הסוקר:  

          המלצת קריאה ממייק: חובה לאלו שמתעניינים מה קורה מאחורי הקלעים בתהליך אימון של רשתות נוירונים.

          בהירות כתיבה:  גבוהה מאוד.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרת טובה עם שיטות אופטימיזציה עבור בעיות עם משתנים מרובים.

        יישומים פרקטיים אפשריים: שיפור יכולת הכללה של רשתות על ידי החלפת בעיית מזעור לוס הרגילה ב-SAM.

פרטי מאמר:

 לינק למאמר: זמין להורדה.

  לינק לקוד: כאן.

 פורסם בתאריך: 04.12.20, בארקיב.

 הוצג בכנס:ICLR 2021.

תחום מאמר:

• חקר שיטות אופטימיזציה לאימון של רשתות נוירונים.

כלים מתמטיים, מושגים וסימונים:

• יכולת הכללה של רשת נוירונים.
• Gradient Descent -GD.
• הסיאן (Hessian) של פונקציה.
• בעיית הנורמה הדואלית (dual norm problem).
  

  ---

תמצית מאמר:  לכתבה המלאה >>

הכתבה נכתבה בשיתוף עם Razor Labs

מי שעוקב אחרי הפוסטים והמאמרים שאני כותב יודע עד כמה אני שם דגש רב על כל תחום הלימודים ופיתוח הקריירה. בארץ, כפי שבוודאי אתם יודעים, יש מחסור עצום באנשי ML טובים וישנן הכשרות רבות שנפתחו בשנים האחרונות שמטרתן היא לצמצם את הפער שנוצר ולשלב עוד עובדים איכותיים באקוסיסטם. כפועל יוצא מכך, החליטה חברת Razor Labs להקים את Future Learning, אקדמיית הבינה המלאכותית הראשונה בישראל, אשר מטרתה להכשיר מהנדסים מחוננים ומצטיינים לעסוק ב-Deep Learning באופן המשלב ידע תאורטי ומעשי.

למי שלא מכיר, ההכשרה של Razor Labs בתחום קיימת מזה 3 שנים ועד כה, הכשירה מעל ל-50 מהנדסים בשבעה מחזורים, כאשר כ- 85% מהם השתלבו בחברות הקבוצה (Razor & Axon) בתום הכשרתם. בנוסף לכך, במהלך השנה האחרונה זכתה האקדמיה להכרה רשמית מרשות החדשנות כגוף להכשרות מהנדסי AI, וכן זכתה כגוף המוביל להקמת מאגד מרכז הכשרות לאומי לבינה מלאכותית יחד עם חמש חברות מובילות במשק הישראלי.

מאחר ומדובר על אחת ההכשרות הרציניות והמוכרות בתחום שלנו, רציתי לחקור לעומק על התוכנית של Razor Labs כדי להבין בצורה טובה יותר מה כולל הקורס והאם הוא באמת יכול להיות מפתח כניסה לעולם ה-ML. על מנת לעשות זאת, שוחחתי עם מלקמו אלמו, מנהל Future Learning ועם מיכאל זולוטוב, ה-CTO של Razor Labs כדי שיספרו לי קצת על מאחורי הקלעים של הקורס. לפני שנתחיל, אציין כי ההרשמה לקורס פתוחה כעת עד ה-4.4 וניתן להירשם דרך הלינק הבא.

Future Learning Bootcamp לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Teaching with Commentaries

של ג'ף הינטון האגדי ושותפיו.

פינת הסוקר:  

           המלצת קריאה ממייק: מומלץ לאוהבי מטה-למידה ובעלי רקע בחדו"א 2 מתקדם.

          בהירות כתיבה: בינונית.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: רקע טוב בתחום מטה-למידה, חדו"א ברמה גבוהה.

        יישומים פרקטיים אפשריים: ניתן להשתמש בגישה זו למשל לזיהוי דוגמאות המשפיעות ביותר על הביצועים או איתור פאטצ'ים בתמונות מהדאטהסט החשובים למשימה במהלך האימון של הרשת.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 5.11.20, בארקיב.

      יוצג בכנס: ICLR 2021.

תחומי מאמר:

• שיטות אימון של רשתות נוירונים.
• שיטות מטה למידה (meta-learning) בתחום רשתות הנוירונים.

כלים מתמטיים, מושגים וסימונים:

• משפט הפונקציה הסתומה.
• חישוב נגזרת של פונקציה וקטורית דרך ההופכית של מטריצת הסיאן (hessian).
•  קירוב ניומן (neumann) לחישוב הופכית של אופרטור (מטריצה) לינארי.
• רשת לומדת פנימית (inner student network).
• רשת מלמדת (נקראת הרשת המפרשנת במאמר –  commentary network).
• אימון פנימי/חיצוני (inner/outer optimization).
•  מטה-אימון ,(meta-training).

תמצית מאמר:
לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

 Sequence-to-Sequence Contrastive Learning for Text Recognition

פינת הסוקר:  

          המלצת קריאה ממייק: כמעט חובה (לא חייבים אך מומלץ בחום לחסידי למידת הייצוג ואוהבי OCR).

          בהירות כתיבה:  גבוהה.

          רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: בינוני (נדרשת הבנה מסוימת במושגי למידת הייצוג).

         יישומים פרקטיים אפשריים: שיפור ביצועים עבור משימות OCR כמו זיהוי לוחות רישוי, זיהוי של תמרורים עבור מערכות רכב אוטונומי, הקטנת גודל סט אימון מתויג הנדרש לרמת ביצועים נתונה.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 20.12.20, בארקיב.

      הוצג בכנס: NeurIPSi 2020.

תחומי מאמר:

• למידת ייצוגים במימד נמוך למשימות זיהוי טקסט (כתב יד) בתמונה.
• למידה מנוגדת (contrastive learning – CL) למשימות מיפוי סדרה לסדרה (sequence-to-sequence tasks – StST) .

כלים מתמטיים, טכניקות, מושגים וסימונים:

• לוס מנוגד (contrastive loss).
• אוגמנטציה של דאטה ליצירה של דוגמאות "דומות".
• רשתות לעיבוד שדאטה סדרתי (sequential) כמו LSTM.

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

A causal view of compositional zero-shot recognition

פינת הסוקר:  

      המלצת קריאה ממייק: מומלץ בחום לבעלי ידע בתחומים רלוונטיים.

      בהירות כתיבה:  גבוהה.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נחוץ רקע טוב בהסתברות והבנה בסיסית של עקרונות הסיבתיות.

    יישומים פרקטיים אפשריים: אפשר להשתמש ברעיון זה בשביל לבנות מודל ליצירת דוגמאות (נגיד, תמונות) המכילות שילובים של אובייקטים שלא מופיעים בסט האימון.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: .זמין כאן

      פורסם בתאריך: 01.11.2020, בארקיב.

      הוצג בכנס: NeurIPSi 2020.

תחומי מאמר:

• למידת zero-shot ZS.
• הכללה הרכבתית (compositional generalization)- יכולת לזהות שילובים חדשים (שלא נראו ביחד קודם) של מרכיבים (פיצ'רים) ידועים.

כלים מתמטיים, מושגים וסימונים:

• הסקה סיבתית: גרף סיבתיות, פיצ'רים מערבבים (confounding), התערבות (intervention) לפיצ'רים.
• למידת ייצוגי דאטה מופרדים (disentangled representations).
• קריטריון מידע של הילברט-שמידט (HSIC): כלי שערוך של מידת אי תלות בין שני מדגמים של משתנים אקראיים.
• שערוך פריקות של ייצוגי דאטה לא מתויג (PIDA).

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Regularizing Towards Permutation Invariance in Recurrent Models

פינת הסוקר:  

           המלצת קריאה ממייק: כמעט חובה (לא חייבים אך ממש מומלץ).

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: בינונית מינוס – צריך להבין מה זה RNN ותכונותיו הבסיסיות. בנוסף מומלץ לרענן את הידע הבסיסי בקומבינטוריקה (תמורות) ובתורת הקבוצות (מושגי יסוד).

        יישומים פרקטיים אפשריים: ניתן להשתמש בטכניקה זו בשביל משימות עיבוד סדרות אינווריאנטיות (באופן מלא או חלקי) לסדר איבריהן כמו משימות זיהוי של ענני נקודות,מציאת דמיון בין סטים של אובייקטים, זיהוי אותות ECC וכדומה.

פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 25.12.20, בארקיב.

      הוצג בכנס: NeurIPSi 2020.

תחומי מאמר:

• רשתות מסוג RNN.
• משימות אינווריאנטיות לסדר של קלט.

כלים מתמטיים, מושגים וסימונים:

• תמורה (פרמוטציה) של סדרת קלט (יסומן כ- p).

תמצית מאמר:

לכתבה המלאה >>

הכתבה בשיתוף פעולה אינטל.

הקורונה עדיין איתנו, מה שאומר שלא מעט כנסים עוברים לאונליין ואפשר ליהנות מהם מכל נקודה בעולם. אחד הכנסים שעשה את המעבר הזה לאונלין הוא כנס "AI Week" שהתקיים בפעם האחרונה עם יותר מ-3000 משתתפים באוניברסיטת תל אביב ועכשיו עבר גם הוא למתכונת דיגיטלית. לשמחתנו, הסרת המגבלות הפיזיות גרמה לכך שיש לנו אג'נדה מגוונת מאוד עם חוקרים חזקים ודמויות מפתח בתחום ה-AI מכל העולם, וגם הקהילה שלנו, Machine & Deep Learning Israel, היא פרטנרית של הכנס. חלק מהדוברים המעניינים שיהיו בכנס הם מחברת אינטל, שיזמה את האירוע והיא גם נותנת החסות הראשית השנה. 

בבלוג פוסט הזה נספר לכם על ההרצאות המעניינות שתשמעו מאינטל וגם על הרצאות נוספות כלליות שכדאי לכם להכיר. באתר הכנס תמצאו גם יריד וירטואלי, שמהווה חלופה לביתני נותני החסויות וכן אפשרות ליצור קשרים עם שאר המשתתפים בכנס. כפי שציינו, הכנס עתיד להימשך שלושה ימים ויכלול הרצאות ופאנלים בטכניים ומקצועיים. מה שמרשים לא פחות הוא רשימת הדוברים מחו"ל שייקחו חלק באירוע אשר כוללת כמה מהשמות המוכרים ביותר בתעשייה: פרופסור  Fei-Fei Li מסטנפורד, פרופסור Tomaso Poggio מ-MIT, פרופסור Mariarosaria Taddeo מאוקספורד ועוד רבים וטובים אחרים.

נזכיר כי הכנס יתקיים בין ה-22.4 לבין ה-24.2 וניתן להירשם לכנס בחינם ולקרוא את האג'נדה המלאה דרך הלינק הזה.  לכתבה המלאה >>