כפי שהובטח, אני מארגן גרסה מקומית של כנס ECCV בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ECCV עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ECCV העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-ECCV, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-17/08/2020, בשעה 18:00 עד 21:00 (הוסף ליומןן) והאירוע השני יתקיים בתאריך ה-18/08/2020, בשעה 18:00 עד 21:00 (הוסף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לינק לזום:

Join Zoom Meeting
https://zoom.us/j/93929231754?pwd=NFR3M2xHM2N2Q2FZQXFUempDZFk3QT09

Meeting ID: 939 2923 1754
Passcode: 817495

רשימת דוברים

17/08 לכתבה המלאה >>

Gradient Origin Networks

Sam Bond-Taylor, Chris G. Willcocks

אמלק:

Gradient Origin Networks הן סוג חדש של רשתות שעוזרות לנו למפות את המרחב הלטנטי של דטה-סט מסויים, עם רשתות קטנות ופשוטות יותר לאימון מ-GANs ו-VAE. המאמר עושה זאת תוך כדי ניצול של התחום המגניב החדש שנקרא Implicit Representation Learning .

הקדמה:

אז כדי להבין את המשמעות של הרשתות האלה אנחנו דבר ראשון צריכים ללמוד על תחום שלם שאני כמעט ולא הכרתי אותו לפני שקראתי את המאמר: Implicit Representation. המטרה של התחום באופן כללי היא לייצג סיגנלים, כמו תמונות, מודלים תלת-מימדיים או כל סוג אחר של אותות בתור רשת נוירונים שממפה קואורדינטה במרחב של הסיגנל לערך של הסיגנל בקואוקדינטה הזאת.

מה זה אומר? קל להסביר את זה בתמונה:
נניח תמונה שהיא 32 על 32 פיקסלים ויש בתוכה את הספרה "5". המטרה היא לייצר רשת שמקבלת כל מיקום של פיקסל בתמונה ובתורה מוציאה ערך בין 0-1 לפי הערך של הפיקסל בתמונה שאנו מנסים לייצג. באופן זה, אנחנו מאמנים את הרשת כבעיית ריגרסיה פשוטה שמטרתה היא לסווג את הפיקסלים. אם ניתן לרשת בתור Input את הערכים (0,0) היא תביא לנו את הערך 0, ואם נביא לה את הערכים (7, 10) היא תביא לנו את הערך 1.

דרך פעולה זו טובה משתי סיבות מרכזיות:

א. זאת דרך למפות מידע (כלשהו) בהסתמך על מורכבות, ולא בהסתמך על הרזולוציה שלו. אם נרצה לשמור בפורמט PNG את אותו מספר "5" ברזולוציה פי 2 יותר גבוהה נצטרך פי 4 יותר זכרון, פה הרשת לומדת את המהות של הסיגנל ולכן יכול להכיל מידע בכל רזולוציה שנבחר לייצא.

ב. אנחנו יודעים לעשות מלא דברים עם רשתות. אנחנו יודעים לצמצם, לחקור ולהריץ אותן ביעילות על כל מיני פלטפורמות. דמיינו שלא משנה אם תפתחו משחק מחשב תלת-מימדי, תרנדרו תמונה מהאינטרנט או תפתחו מסמך וורד, מה שבעצם תורידו זאת רשת נוירונים שיודעת למפות מיקום (נקודת X,Y,Z בעולם המשחק, נקודות X,Y בתמונה או מיקום מילה במסמך) למשמעות (הפוליגון שבמיקום הזה, ערך ה-RGB או המילה עצמה).

אני לא ארחיב פה לעומק על המשמעויות הנוספות של התחום הזה ועל למה לדעתי הוא מאוד מבטיח, אבל לכל מי שרוצה להרחיב אני ממליץ לקרוא על SIREN Networks. זה מאמר שלדעתי בעתיד יחשב ממש מכונן ויש לו כמה טריקים מגניבים שעוזרים למפות את הדוגמאות בצורה יותר טובה, לדוגמא סינוס בתור אקטיבציה. לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

כפי שהובטח, אני מארגן גרסה מקומית של כנס ICML בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

האירוע יתקיים ב6.7 בשעה 18:00 עד השעה 21:00 (לחצו כאן כדי להוסיף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לכתבה המלאה >>

המדריך עלה כפוסט של ים פלג בקבוצת Machine & Deep Learning Israel

פוסט זה נכתב על ידי עומר קורן, מנכ״ל Webiks

בחודשים האחרונים הייתי חבר בצוות שפעל מטעם מפא"ת ובחן את השימושיות של טכנולוגיות בינה מלאכותית בהתמודדות של גופים שונים בישראל עם משבר הקורונה. העבודה שלי התבססה על דאטה פתוח מהארץ ומהעולם. אני חושב שהייתה לי פרספקטיבה מעניינת על המפגש בין "הקהילה" שלנו, קהילת הדאטה-סיינס, למידת המכונה והבינה המלאכותית בישראל, לבין "המדינה" – משרד הבריאות, משרדי ממשלה ומוסדות נוספים.

מהפרספקטיבה הזו אני מרשה לעצמי לומר שאני חושב שפספסנו כאן הזדמנות אדירה להביא חדשנות פתוחה ושימושית מתוך המפגש הזה. במבחן התוצאה, אנחנו, בתור קהילה, לדעתי, נכשלנו. לא תרמנו תרומה משמעותית להתמודדות של מדינת ישראל עם משבר הקורונה.

זה לא פוסט של הלקאה עצמית. זה גם לא פוסט של ריסוס האשמות כלפי אחרים. זה פוסט של הסתכלות ביקורתית על העבר מתוך תקווה ללמוד ולהשתפר בעתיד. צעד אחד קטן של Backpropagation, אם תרצו.

נהוג לומר בימים אלו "הקורונה כאן כדי להישאר" ו"אנחנו צריכים ללמוד לחזור לשגרה בנוכחות קורונה" – וברוח זו אני חושב שעדיין לא מאוחר לתקן טעויות שעשינו. בניגוד לאחרים אני לא חושב שהבעיה היא בעיה מהותית, שמסיבה אינטרינזית כזו או אחרת דאטה-סיינס פשוט לא יכול לעזור להתמודדות עם פנדמיות. להיפך, אני חושב שהבעיה היא בעיה של התנהלות ושל דינמיקה, ואת אלו אפשר ואפילו קל, אולי, לשנות ולשפר.

אתחיל מלתאר שתי דוגמאות ל"פספוסים". שני נושאים שבהם הקהילה שלנו, לדעתי, יכלה לתרום תרומה משמעותית להתמודדות של מדינת ישראל עם המשבר. אחרי הדוגמאות לפספוסים אנסה להציע קצת הסברים.  לכתבה המלאה >>

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

Pruning neural networks without any data by iteratively conserving synaptic flow

H. TANAKA, D. KUNIN, D. YAMINS, S. GANGULI (NTT + STANFORD)

מאמר שלדעתי הוא סופר משפיע, שילוב של עבודה מתמטית טובה, נושא עם חשיבות סופר פרקטית ובסוף גם קוד פתוח. יש פה הקדמה תיאורטית שלדעתי עוזרת להבין למה המאמר חשוב, ממליץ לקרוא אותה לכל מי שלא שוחה ממש בתחום של PRUNING.

לכתבה המלאה >>

הקורונה שינתה לא מעט מהמציאות אותה אנו מכירים: מסעדות נסגרו, פארקים ננעלו, לימודים בוטלו ושוק העבודה השתנה מן הקצה לקצה. בעוד שרבים מהדברים חזרו לתלם בהדרגה, שוק העבודה ככל הנראה לא יחזור לקדמותו בעתיד הנראה לעין.

בין אם יש להן ברירה או לא, חברות רבות במשק שמות דגש רב על צמצום כוח אדם, תכנון מחדש ועל הדבר החשוב ביותר כעת: התייעלות. אין מקום לטעויות, כולם צריכים להיות חדים כדי לאפשר לחברה להמשיך לתפקד. אם זה לא מספיק, בעקבות הקיצוצים צריך לעשות את אותה כמות עבודה שבעבר הייתה תחת אחריות של כמה אנשים. לא קשה להבין שיהיה מאוד קשה למגזר העסקי, וגם הציבורי, לשמור על רמות תפקוד גבוהה כל כך בכלים הקיימים העומדים לרשותו. ומי כאן כדי לעזור למין האנושי אם לא הבינה המלאכותית?

חשוב להבהיר: לא מדובר על טור דעה בשבחי הבינה המלאכותית ועד כמה היא עתידה לשנות את חיינו ולהיטיב איתם. את הטיעונים הללו נשמור לימי שגרה בהם לעולם יש פנאי להתעסק בשיפור אורח חייו ולא בהישרדות. הטור הנוכחי מתייחס לצד הפחות "סקסי" של בינה מלאכותית ויעסוק בחשיבות שילובה באחורי הקלעים של הארגון, ולא בהכרח בחזית המוצר או השירות של חברה זו או אחרת. אנחנו לא מדברים כבר על פיתוחים כמו רכב אוטונומי או רובוט משוכלל, אלא על הפעולות הבסיסיות ביותר שקורות בארגון ואותן הבינה המלאכותית יכולה לבצע. המטרה הסופית היא להשתמש בבינה מלאכותית כדי להוריד את העומס מהעובדים, או כמו שאני אוהב להסתכל על כך – לשפר את הנצילות שלהם.

לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

כפי שהובטח, אני מארגן גרסה מקומית של כנס CVPR בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס CVPR עצמו. נתחיל ונציין כי אין קשר רשמי לכנס CVPR העולמית וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-CVPR, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-07/06/2020, בשעה 18:00 עד 21:00 (הוסף ליומן) והאירוע השני יתקיים בתאריך ה-11/06/2020, בשעה 18:00 עד 21:00 (הוסף ליומן). תודה רבה גם ל-Applied Materials שלקחו חסות על האירוע ואיפשרו לו להתקיים.

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (7.6):

לכתבה המלאה >>