הקורונה טרפה את הקלפים בלא מעט תחומים אשר השתנו מהקצה אל הקצה. אחד הענפים שהכי נפגע בעקבות הקורונה הוא ענף הכנסים, שכבר לא יכל להתקיים במתכונת הנוכחית שלו. כנסים מקומיים, וגם בינלאומיים כמובן, מאוד חשובים לקהילת ה-ML ופעמים רבות משמשים כפלטפורמה מצוינת ללמידה, החלפת רעיונות וגם כאופציה להכיר פנים מול פנים אנשים מהתחום. אחד הכנסים המשמעותיים שמתקיימים מידי שנה בארץ הוא כנס (IMVC (Israel Machine Vision conference  שהפך לאחד מהכנסים החשובים בארץ בתחום ה-ML והראייה הממוחשבת (הוא מתקיים זו השנה ה-11). השנה, בדיוק כמו בשנה שעברה, אנחנו מקיימים שיתוף פעולה עם הכנס ומעניקים לחברי MDLI קוד הנחה: MDLI15 (המעניק 15% הנחה).

כחלק משיתוף הפעולה קיימתי ראיון עם ד"ר חן שגיב, אחת ממייסדות הכנס ששתפה אותנו בלא מעט תובנות על עולם ה-DL ו-CV ולצד זאת גם על הדרך שבה הקורונה השפיעה על הכנס כולו. מעל כל זה, חן ספרה לנו על כמה הרצאות מאוד חשובות שכדאי לכם לשמוע ב-IMVC 2020.

מה מתוכנן לנו השנה וכיצד IMVC 2020 הולך להיות מיוחד?

חן: "כמובן שהבסיס לכנס הוא התוכן שלו – וגם השנה אני חושבת שהצלחנו להביא תוכן רב, מצוין ומגוון: גיטה קוטיניוק, ג'רארד מדיוני בשיחה 1-1, מיכל אירני, שי שליו שוורץ, אמיר גלוברזון, טלי דקל, טל הסנר, טל ארבל, נדב כהן, נתנאל בוביס, מיכאל ברונשטיין ומתן פרוטר. מעבר לזה יש למעלה מ- 30 הרצאות וארבעה פנלים. השנה נערוך אירוע פתיחה כבר ברביעי בערב והכנס יתקיים בחמישי בין 12:00 ל- 19:00 בערב".

לכתבה המלאה >>

אחת השאלות הנפוצות ביותר בתחום ה-DS/ML היא איך להיכנס לתחום. בעקבות העליה בפופלאריות של עולם הבינה המלאכותית עוד ועוד אנשים מעוניינים לעשות את צעדיהם הראשונים בעולם זה, אך לא תמיד יודעים כיצד. כדי לעשות סדר בנושא ועל מנת לפרוש בפני אלו שבראשית דרכם את האופציות השונות העומדות בפניהם, הוזמנתי על ידי עמית בן דור לשיחה מקיפה על הנושא כחלק מהפודקאסט המצליח "עושים תוכנה". כך יצא שהקלטנו שני פרקים מלאים אשר עוסקים בסוגיה ממספר זוויות שונות – החל מהסבר פשוט לכל תפקיד בתחום ועד טיפים מתקדמים לאיך אפשר להתברג בתעשיית ה-ML בארץ.

בפרק הראשון, הסברנו תחילה מדוע התחום צובר תאוצה רבה כל כך בשנים האחרונות ומה המוטיבציה של אנשים רבים לנסות להצטרף אליו. דברנו על המשכורות הגבוהות, הפיתוח בחזית העשייה, הפן המחקרי של העבודה ועוד סיבות נוספות. לאחר מכן, ורגע לפני שאנחנו צוללים לאיך אפשר להיכנס לתחום, שטחנו בפני המאזינים את מגוון התפקידים הרחב שיש בעולם ה-AI והסברנו בצורה פשוטה מה מגדיר כל תפקיד, מה תחום העיסוק שלו ובמה הוא שונה משאר התפקידים. התייחסנו כמובן לתפקידי ה-Data scientist, Data Analyst, חוקר ועוד. זו הזדמנות מצוינת עבור כל מי שלא היה בטוח בהבדלים בין התפקידים, להבין כעת מה מבדיל כל תפקיד ותפקיד.

Listen to "[עושים תוכנה] איך נכנסים לעולם הData science? המתכון המלא" on Spreaker.

לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע השני בסדרת אירועי MDLI ops שיעניק דגש לצד הטכני יותר של העבודה היומיומית. אירועים אלו יעניקו במה לחברות ישראליות שפועלות בתחום, מה שיאפשר להן להגיע לקהל רחב יותר של משתמשים. במקביל אירועים אלו יאפשרו לחברי הקהילה לשתף מתודולוגיות עבודה נכונות או כלים אחרים מומלצים שהם חלק משגרת העבודה שלהם. האירוע הראשון כולל 3 הרצאות מגוונות ומעניינות שיעסקו כל אחת בכלי או בעיה נפוצה בעת אימון מודלים. האירוע יתקיים בתאריך ה-09.9.2020 בשעה 18:00 ויועבר בשידור חי לחברי הקבוצה. כדי שאוכל לדעת באיזה כלי לשדר את האירוע, מה שיושפע מכמות הנרשמים, חשוב להירשם בלינק המצורף כדי שאוכל לדעת כיצד להיערך לכך בהתאם.

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה

רשימת ההרצאות: לכתבה המלאה >>

ההסכם שהוכרז בין ישראל לאיחוד האמירויות עורר עניין רב בקרב אזרחי שתי המדינות, וניכר כי שיתוף פעולה עמוק ביניהן במגוון רחב של נושאים נמצא ממש מעבר לפינה. לצד ההתרגשות, חשוב להדגיש כי על אף שמדובר על הכרזה רשמית שהגיעה רק עכשיו, מדינת ישראל וחברות מקומיות רבות פועלות כבר שנים רבות במדינות המפרץ ומכרו להן טכנולוגיות שונות. נכון, במרבית המקרים היה מדובר בעסקאות סייבר שנחתמו בחדרי חדרים, אך יש עוד תחום שיכול להוציא את שיתוף הפעולה בין המדינות מהמחשכים לחזית הפיתוח הטכנולוגי – הבינה המלאכותית.

גורמי ממשל באיחוד האמירויות הבינו כבר לפני כמה שנים כי מדובר בתחום שצפוי לחולל מהפיכה טכנולוגית וכלכלית, והחליטו לעשות הכל כדי לתפוס מקום בשורה הראשונה. כפועל יוצא מכך, באוקטובר 2017 איחוד האמירויות הפכה למדינה הראשונה בעולם שמינתה שר לבינה מלאכותית. המינוי של עמר סלטאן אלעלמאא' (Omar Al Olama) לשר האחראי על התחום היא ראיה למידת הרצינות שמעניקה הממשלה במפרץ לתחום, ועד כמה חשובה לה ההובלה בטכנולוגיה זו דווקא. לכתבה המלאה >>

סיכום תחרות זו עלה כחלק מפוסט של ים פלג.

1. אסטרטגית Cross Validation טובה.
2. ניקוי טוב של הנתונים.
3. הנדסת פיצ'רים טובה.
4. מציאת טריקים\"רמאויות קטנות" בדאטה או במטריקה.
5. מודל טוב.
6. אופטימיזציה טובה להיפרפרמטרים.
7. שיטה טובה לאנסמבל [בדגש על סטאקינג].
8. שיטה טובה לאוגמנטציות (גם בזמן האימון וגם בזמן ההרצה – TTA).
9. כוח מחשוב. זה תמיד עוזר.
10. מזל. (כן כן! מזל מאוד עוזר)

לכתבה המלאה >>

סיכום זה נכתב כחלק מפוסט של Yuval Reina

על התחרות

הקבוצה

לכתבה המלאה >>

כפי שהובטח, אנו מארגנים גרסה מקומית של כנס ACLi בו יציגו דוברים ישראליים את העבודות אותן הם הציגו בכנס ACL עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ACL העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-ACL, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-27/08/2020, בשעה 18:00 עד 21:00 והאירוע השני יתקיים בתאריך ה-30/08/2020, בשעה 18:00 עד 21:00.

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לכתבה המלאה >>

כפי שהובטח, אני מארגן גרסה מקומית של כנס ECCV בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ECCV עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ECCV העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-ECCV, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-17/08/2020, בשעה 18:00 עד 21:00 (הוסף ליומןן) והאירוע השני יתקיים בתאריך ה-18/08/2020, בשעה 18:00 עד 21:00 (הוסף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים

17/08 לכתבה המלאה >>

Gradient Origin Networks

Sam Bond-Taylor, Chris G. Willcocks

אמלק:

Gradient Origin Networks הן סוג חדש של רשתות שעוזרות לנו למפות את המרחב הלטנטי של דטה-סט מסויים, עם רשתות קטנות ופשוטות יותר לאימון מ-GANs ו-VAE. המאמר עושה זאת תוך כדי ניצול של התחום המגניב החדש שנקרא Implicit Representation Learning .

הקדמה:

אז כדי להבין את המשמעות של הרשתות האלה אנחנו דבר ראשון צריכים ללמוד על תחום שלם שאני כמעט ולא הכרתי אותו לפני שקראתי את המאמר: Implicit Representation. המטרה של התחום באופן כללי היא לייצג סיגנלים, כמו תמונות, מודלים תלת-מימדיים או כל סוג אחר של אותות בתור רשת נוירונים שממפה קואורדינטה במרחב של הסיגנל לערך של הסיגנל בקואוקדינטה הזאת.

מה זה אומר? קל להסביר את זה בתמונה:
נניח תמונה שהיא 32 על 32 פיקסלים ויש בתוכה את הספרה "5". המטרה היא לייצר רשת שמקבלת כל מיקום של פיקסל בתמונה ובתורה מוציאה ערך בין 0-1 לפי הערך של הפיקסל בתמונה שאנו מנסים לייצג. באופן זה, אנחנו מאמנים את הרשת כבעיית ריגרסיה פשוטה שמטרתה היא לסווג את הפיקסלים. אם ניתן לרשת בתור Input את הערכים (0,0) היא תביא לנו את הערך 0, ואם נביא לה את הערכים (7, 10) היא תביא לנו את הערך 1.

דרך פעולה זו טובה משתי סיבות מרכזיות:

א. זאת דרך למפות מידע (כלשהו) בהסתמך על מורכבות, ולא בהסתמך על הרזולוציה שלו. אם נרצה לשמור בפורמט PNG את אותו מספר "5" ברזולוציה פי 2 יותר גבוהה נצטרך פי 4 יותר זכרון, פה הרשת לומדת את המהות של הסיגנל ולכן יכול להכיל מידע בכל רזולוציה שנבחר לייצא.

ב. אנחנו יודעים לעשות מלא דברים עם רשתות. אנחנו יודעים לצמצם, לחקור ולהריץ אותן ביעילות על כל מיני פלטפורמות. דמיינו שלא משנה אם תפתחו משחק מחשב תלת-מימדי, תרנדרו תמונה מהאינטרנט או תפתחו מסמך וורד, מה שבעצם תורידו זאת רשת נוירונים שיודעת למפות מיקום (נקודת X,Y,Z בעולם המשחק, נקודות X,Y בתמונה או מיקום מילה במסמך) למשמעות (הפוליגון שבמיקום הזה, ערך ה-RGB או המילה עצמה).

אני לא ארחיב פה לעומק על המשמעויות הנוספות של התחום הזה ועל למה לדעתי הוא מאוד מבטיח, אבל לכל מי שרוצה להרחיב אני ממליץ לקרוא על SIREN Networks. זה מאמר שלדעתי בעתיד יחשב ממש מכונן ויש לו כמה טריקים מגניבים שעוזרים למפות את הדוגמאות בצורה יותר טובה, לדוגמא סינוס בתור אקטיבציה. לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>