אני שמח להזמין אתכם לאירוע השני שלנו בסדרת ML Advanced Methods שנעשים בשיתוף עם Mobileye. בכל אירוע מסוג זה, נסקור מספר עבודות בנושאים מתקדמים בתחום ה-ML ונציג פרקטיקות נפוצות לשימוש במודלים שונים. הפעם יש לנו שני דוברים שידברו על נושאים מרתקים במיוחד בתחום הראייה הממוחשבת -פרטים נוספים בהמשך הכתבה. האירוע יתקיים ב-21.7 בשעה 18:00.

לכתבה המלאה >>

הכתבה בשיתוף Y-Data

בזמן שתעשיית הדאטה בישראל רק הולכת ומתפתחת, יותר ויותר אנשים מחפשים את כרטיס הכניסה לתחום. קורסים והכשרות הם התשובה של רבים לכך, ואחד הקורסים שהצליחו לצבור לעצמם שם בקהילה שלנו הוא התכנית של Y-DATA, אותה אנו מלווים זו השנה השלישית. ההרשמה לקורס פתוחה עד התאריך 10.8.2021 וגם הפעם יש לנו קוד הנחה המקנה לכם 1000 ש"ח הנחה- ML2021. ניתן להשיג מידע נוסף ולהירשם דרך הלינק הזה.

למי שלא מכיר, Y-DATA מבית יאנדקס (Yandex) היא תכנית להכשרת מדעני נתונים, שפונה למי שיש להם ניסיון משמעותי בתכנות ורקע אקדמי רלוונטי המבקשים לעשות הסבה לתחום. המחזור השלישי של התכנית מתקרב לסיום, ובאוקטובר הקרוב יפתח המחזור הרביעי שיכלול כ-50 סטודנטים, שירכשו כלים ויכולות שיאפשרו להם להשתלב בתעשייה עם סיום ההכשרה (ולעתים, אפילו במהלכה). השנה, התכנית אף מפעילה אקסלרטור קריירה שמלווה את הסטודנטים בתהליך חיפוש העבודה ומקנה להם כלים לייעול התהליך.

אחרי שנה כה מטלטלת, רצינו לבדוק מקרוב איך הצליחו החבר'ה ב-Y-DATA להתמודד עם השלכות הקורונה, איך התפתחה התכנית שלהם לאורך השנים ולמה החליטו שלא להמשיך רק בלמידה מרחוק. מעבר לכך, חשוב היה לנו לשמוע מה חושבים הבוגרים של התכנית עליה, וכיצד היא תרמה להם.

הראיון הבא עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל, ישפוך קצת אור על הנושא. לכתבה המלאה >>

Hebrew version

English version

كما في السّنوات السَابقة، هذه السَنة أيضًا أجرينا الاستطلاع السّنوي لمجتمع MDLI، بهدف رسم تخطيط للاتجاهات المختلفة عند العاملين في مجال الـ Data Science والـ Machine Learning. لقد قام عدد كبير من المجيبين والمجيبات بتعبئة استطلاعنا السنوي- 1,250 شخصًا – انجاز عظيم بكل المقاييس. قام عمري غولدشتين، مُطور خوارزميات، عالِم معطيات وصاحب المدونة "قائم على المعطيات"، بتحليل معطيات الاستطلاع. من خلالها قُمنا بإنتاج تقرير الأجور لمجتمع MDLI لعام 2021، وإلى جانب ذلك قُمنا بتطوير حاسبة الأجر مخصصة لمهن المعلوماتية (داتا) في البلاد.

في الأسابيع القربية سوف نُضيف إلى الموقع عددًا من التقارير الإضافية والتي ستتضمن نتائج الاستطلاع، من بينها: كيف تم بناء حاسبة الأجور الجديدة، وضع فجوات الأجور بين الجنسين في السّوق وتحليل الوظائف المختلفة ومجالات المسؤولية التي تُرافقها. تقرير الأجر الكامل هو الجزء الأول من السّلسلة، وهو معروض هنا أمامكم/ن.

في التقرير التّالي سنقوم بتقسيم معطيات الأجر التي ذُكرت في الاستطلاع بحسب الوظيفة، الدراسة، المستوى الاداري، الجنس وغيرها. عندما نحلل تأثير الإجابات المختلفة على الأجر، نحن بالتأكيد معرّضون لتأثيرات مُتغيرات مُتداخلة. على سبيل المثال، متوسط الأجر في الاستطلاع كان 38,500 شاقل شهريًا للعاملين في تل أبيب، مقابل 26,700 شاقل شهري بالمتوسط في القدس. هذه المعطيات قد تكون عملية لكل من يفكر بالانتقال من العاصمة إلى تل أبيب أو العكس، لكن بالتأكيد لا يمكن توقع قفزة في الأجر بقيمة 12,000 شاقل فقط اعتمادًا على تغيير مكان الإقامة. هل عروض العمل مختلفة في تل أبيب؟ أو متوسط مستوى الدراسة؟ لا حدّ للتداخلات التي يمكننا القيام بها وللعلاقات السّببية التي يمكن البحث عنها. في هذا التقرير سوف نستكفي بالتداخلات حول متغيرين أو ثلاثة في كل مرة ولن نعرض فقط متوسط كل فئة، بل أيضًا مقاييس إحصائية أخرى والتي قد علمتنا عن التوزيع كله.

ملاحظة: بسبب حرصنا الشديد على خصوصية المجيبين (وعلى قدرة شمولية الاستنتاجات) لن يتم عرض أي معلومة وسيتم تجميع المعطيات لـكل 10 عينات على الأقل.

حاسبة الأجر

قبل أن نبدأ، مثلما ذكرنا، في هذه السّنة سوف نقدم لأول مرة حاسبة الأجر لمجتمع MDLI التي تعتمد على نتائج الاستطلاع. محاولة إيجاد معلومات عن الأجر في مجال الهايتك تنتهي في معظم الأحيان بجداول أجور في شركات التوظيف المختلفة. هذه الجداول عملية، لكنها لا تتمتع بالشّفافية إطلاقًا – كيف تم حساب الأجور؟ ما هو حجم العينة وما هي المدة زمنية تم قياسها خلالها؟ ما هو مفهوم المجال؟ إلخ.  تمكننا معطياتنا من بناء جدول أجور بديل في الشكل المقبول، وعن طريق حاسبة الأجور تستطيعون أن تحصلوا أيضًا على المجال التي تتواجد فيه 50% من العينات (أو أين يتوقع النموذج أن تتواجد 50% من العينات) وليس فقط التوقعات المتوسطة. ندعوكم لتجربة الحاسبة عبر الرّابط التالي.

לכתבה המלאה >>

Hebrew version

Arabic version

As in previous years, this year we ran the MDLI community’s annual survey, so as to map various trends among those who work in the data science and machine learning fields. This year, an exceptional number of respondents completed our annual survey – 1,250 people – a respectable achievement by all counts. Omri Goldstein, an algorithm developer, data scientist, and creator of the “Data-driven” blog analyzed the survey’s findings. We used his analysis to generate the MDLI community’s 2021 annual payroll report. We also developed a dedicated salary calculator for data professionals in Israel.

In the coming weeks, several additional reports highlighting the survey’s results will be uploaded to the website. They will cover topics such as the following: how we built our new salary calculator, the status of gender pay gaps in the market, and the analysis of various roles and their associated responsibilities. The full payroll report is the first publication on the matter to be released, and it can be viewed, in its entirety, below.

In this report, we will segment the salary data according to position, education, seniority, age, experience, gender, and other metrics. When analyzing the influence of various responses on the salary, we are, of course, exposed to the influence of intervening variables. For example, the average salary mentioned in the survey was 38,500 NIS per month for those working in Tel Aviv, as opposed to 26,600 NIS per month for those working in Jerusalem. These findings are likely to be useful to people considering a move from the capital to Tel Aviv (or vice versa. That being said, one cannot expect a roughly 12,000 NIS salary jump based on relocation alone. Perhaps the available positions are different in Tel Aviv (variety and quantity)? Or, maybe the average education level is the cause? There is no end to lines that can be drawn and the environmental links that can be identified. In this report, we will rely on intersections between 2-3 variables at a time and will present the average salary, as well as other statistical metrics for each category. This, so as to learn as much as possible about the distribution as a whole.

Note: No singular data points will be presented, so as to fastidiously protect the privacy of each and every respondent (and our ability to learn from the conclusions). Data presented will always be an aggregation of at least 10 samples.

The Salary Calculator

Before we get started, we’d like to circle back to the MDLI community’s new salary calculator, which we will be launching for the first time this year, based on insights from the survey. Attempts to find salary information on high-tech professions generally lead to various recruitment company’s salary charts. These charts are useful, but are in no way transparent; how are the salaries calculated? What is the sample size and how long was the sample studied? What is the significance of the range? The questions go on. Our findings enabled us to build an alternative salary chart in the accepted format, and our salary calculator will allow you to view the range within which 50% of the sample respondents earn (or where the model predicts 50% of the respondents will be); not just the average forecast. You can try our calculator out here.

לכתבה המלאה >>

אנחנו שמחים לבשר שגם השנה נארגן גרסה מקומית של הכנס ICML, בה יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לתת במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי.

מדהים לראות שגם השנה מספר רב של חוקרים ישראליים התקבלו לאירוע הבינלאומי, ועל כן האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים ב-11/07/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן), והאירוע השני יתקיים ב-14/07/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

לאחר האירוע כל המצגות של הדוברים והקלטות של ההרצאות ישלחו בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), ויועלו בערוץ טלגרם, בערוץ היוטיוב וגם בעמוד הזה.

לכתבה המלאה >>

כפי שסיפרנו לכם בעבר, השנה השקנו לראשונה מחשבון שכר לכל מקצועות הדאטה המבוסס על נתוני הסקר השנתי של קהילת MDLI. בפוסט הבא רצינו לחלוק איתכם את הרציונל שעומד מאחוריי פיתוח המחשבון, לספר מה מייחד אותו ואיך הוא יכול לספק ערך לחברי הקהילה.

לכתבה המלאה >>

כפי שהובטח, גם השנה נארגן גרסה מקומית של כנס CVPR, בה יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס CVPR עצמו. נתחיל ונציין כי אין קשר רשמי לכנס CVPR העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לתת במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודתו.

אנו שמחים לראות שגם השנה מספר רב של חוקרים ישראליים התקבלו ל-CVPR, ועל כן האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים ב-02/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן), והאירוע השני יתקיים ב-03/06/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

תודה רבה לנותני החסות של האירוע, שאפשרו לנו לקיים אותו זו השנה השלישית: BeyondMinds.

לאחר האירוע כל המצגות של הדוברים והקלטות של ההרצאות ישלחו בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), ויועלו בערוץ טלגרם, בערוץ היוטיוב וגם בעמוד הזה.

לכתבה המלאה >>

English version

Arabic version

כמו בשנים קודמות, גם השנה קיימנו את הסקר השנתי של קהילת MDLI, במטרה למפות מגמות שונות בקרב העוסקים בתחומי ה-Data Science וה-Machine Learning. השנה מספר יוצא דופן של משיבים ומשיבות מילאו את הסקר השנתי שלנו – 1,250 איש – הישג מכובד לכל הדעות. עמרי גולדשטיין, מפתח אלגוריתמים, מדען נתונים ובעל הבלוג "מבוסס נתונים", ניתח את נתוני הסקר. מתוכם הפקנו את דו"ח השכר של קהילת MDLI לשנת 2021, ולצד זאת פיתחנו מחשבון שכר ייעודי עבור מקצועות הדאטה בארץ.

בשבועות הקרובים יועלו לאתר מספר דו"חות נוספים שיכילו ניתוחים שונים של תוצאות הסקר, ביניהם: כיצד נבנה מחשבון השכר החדש שלנו, מצב פערי השכר המגדריים בשוק וניתוח התפקידים השונים ותחומי האחריות הנלווים אליהם. דו"ח השכר המלא הוא החלק הראשון בסדרה, והוא מובא כאן לפניכם/ן.

בדו"ח הנ"ל נפלח את נתוני השכר שעלו בסקר לפי תפקיד, השכלה, רמת בכירות, גיל, ניסיון, מגדר ועוד. כשמנתחים את ההשפעה של התשובות השונות על השכר, אנחנו כמובן חשופים להשפעה של משתנים מתערבים. למשל, השכר הממוצע בסקר היה 38,500 ש"ח בחודש עבור מי שעובדים בתל אביב, לעומת 26,700 ש"ח בחודש בממוצע בירושלים. הנתונים האלו עשויים להיות שימושיים עבור מי ששוקל מעבר מהבירה לתל אביב או להיפך, אבל בוודאי לא ניתן לצפות לקפיצה של כ-12,000 ש"ח בשכר רק כתלות בשינוי מקום מגורים. אולי היצע המשרות שונה בתל אביב? או רמת ההשכלה הממוצעת? אין סוף לחיתוכים שניתן לעשות ולקשרים הסיבתיים שניתן לחפש. בדו"ח הזה נסתפק בחיתוכים סביב שניים או שלושה משתנים בכל פעם ונציג עבור כל קטגוריה לא רק את הממוצע, אלא גם מדדים סטטיסטיים אחרים שילמדו אותנו על ההתפלגות כולה.

הערה: מתוך שמירה קנאית מאוד על פרטיות המשיבים (ועל יכולת ההכללה מהמסקנות) לא תוצג שום נקודת דאטה בודדת והנתונים יהיו תמיד באגרגציה של לכל הפחות 10 דגימות.

מחשבון השכר

לפני שנתחיל, כפי שציינו, השנה נשיק לראשונה את מחשבון השכר של קהילת MDLI שמבוסס על נתוני הסקר. ניסיון למצוא מידע על שכר במקצועות ההיי-טק מסתיים לרוב בטבלאות שכר של חברות השמה שונות. הטבלאות האלו שימושיות, אך אינן שקופות בשום צורה – כיצד חושבו המשכורות? מה גודל המדגם ולאורך כמה זמן נמדד? מה משמעות הטווח? וכו'. הנתונים שלנו מאפשרים לבנות טבלת שכר אלטרנטיבית בפורמט המקובל, ובמחשבון השכר תוכלו גם לקבל את הטווח בו נמצאות 50% מהדגימות (או איפה המודל חוזה שיהיו 50% מהדגימות) ולא רק את התחזית הממוצעת. מוזמנים להתנסות במחשבון בלינק הבא. לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע שאנחנו מקיימים עם אלביט בשם "Risks and Opportunities in the AI World". האירוע יתקיים ב4.5 בשעה 18:00 ויכלול שלוש הרצאות טכניות ומקצועיות. בהמשך אנחנו נעלה את כל המצגות וההקלטה של האירוע לעמוד הזה.

ההרצאות:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Sharpness-Aware Minimization for Efficiently Improving Generalization

פינת הסוקר:  

          המלצת קריאה ממייק: חובה לאלו שמתעניינים מה קורה מאחורי הקלעים בתהליך אימון של רשתות נוירונים.

          בהירות כתיבה:  גבוהה מאוד.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרת טובה עם שיטות אופטימיזציה עבור בעיות עם משתנים מרובים.

        יישומים פרקטיים אפשריים: שיפור יכולת הכללה של רשתות על ידי החלפת בעיית מזעור לוס הרגילה ב-SAM.

פרטי מאמר:

 לינק למאמר: זמין להורדה.

  לינק לקוד: כאן.

 פורסם בתאריך: 04.12.20, בארקיב.

 הוצג בכנס:ICLR 2021.

תחום מאמר:

• חקר שיטות אופטימיזציה לאימון של רשתות נוירונים.

כלים מתמטיים, מושגים וסימונים:

• יכולת הכללה של רשת נוירונים.
• Gradient Descent -GD.
• הסיאן (Hessian) של פונקציה.
• בעיית הנורמה הדואלית (dual norm problem).
  

  ---

תמצית מאמר:  לכתבה המלאה >>