כתבות עם התגית Amazon

כפי שהובטח, אני מארגן גרסה מקומית של כנס CVPR בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס CVPR עצמו. נתחיל ונציין כי אין קשר רשמי לכנס CVPR העולמית וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-CVPR, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-07/06/2020, בשעה 18:00 עד 21:00 (הוסף ליומן) והאירוע השני יתקיים בתאריך ה-11/06/2020, בשעה 18:00 עד 21:00 (הוסף ליומן). תודה רבה גם ל-Applied Materials שלקחו חסות על האירוע ואיפשרו לו להתקיים.

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (7.6):

לכתבה המלאה >>

בשבוע שעבר התחלתי ניסוי קטן שבו אני מפרסם גם כאן בבלוג את כל הפוסטים החשובים שעלו בקבוצה בשבוע החולף (לצד הפרסום בניוזלטר). בשבוע שעבר קבלתי פידבקים מעולים לכן אני ממשיך עם כך גם השבוע. דרך אגב, אתם יכולים למצוא את הניוזלטר המלא בלינק הבא (יש בו מידע על המיטאפ שלו ועל כל המשרות החדשות שהתווספו ללוח משרות). אם אתם רוצים לקבל את הניוזלטר בצורה אוטומטית פשוט תירשמו כאן.

כפי שאתם יכולים לראות השבוע היה לנו שבוע מצוין עם לא מעט תוכן איכותי בקבוצה. מרבית הדיונים שנפתחו היו סביב עבודות ומאמרים חדשים שנכתבו לאחורנה והצליחו ליצור עניין רב בקרב חברי הקהילה. לשמחתי השבוע היו גם כמה מאמרים ופוסטים שנכתבו על ידי חברה הקבוצה עצמם מה שתמיד מצוין ויוצר דיונים מעולים.

Group's Highlights from last week

1. Imry Kissos from Amazon shared an interesting blog post from Google with the title "TF-Ranking: A Scalable TensorFlow Library for Learning-to-Rank". Imry also shared this great content: "Unsupervised Deep Learning – Google DeepMind & Facebook Artificial Intelligence NeurIPS 2018".

2. Amitai Armon from Intel shared with us an article they released at NeurIPS 2018. The article name is "Automated Testing of Graphics Units by Deep-Learning Detection of Visual Anomalies".

3. Yonatan Hadar from YellowRoad made us all feel much better with his new article: "Top Examples of Why Data Science is Not Just .fit().predict()".

4. Yam Peleg from Deep Trading open our eyes with this great article: "Auto-Keras: Efficient Neural Architecture Search with Network Morphism".

5. Rani Horev from Snip shared a new cool tool that he developed which will make your life easier next time you would find a new article.

6. Assaf Shocher from Weizmann Institute of Science shared an article he wrote with Shai Bagon, Phillip Isola, and Michal Irani. The article name is: "Internal Distribution Matching for Natural Image Retargeting". If you need to read only one post, make it this one.

7. Bonus: The one and only, Gal Yona from Cellebrite started a very important poll. Don't miss it.

קוראי הניוזלטר האדוקים, בוודאי יודעים שאני מסכם מידי שבוע את כל הפוסטים החשובים ביותר שעלו בקבוצת פייסבוק של הקהילה. כל שבוע אני סורק את הקבוצה ומחפש אחר הדיונים המרתקים ביותר שהתקיימו ומרכז את כולם במקום אחד כדי שאתם תוכלו לוודא שלא פספסתם אף נושא חשוב שעלה באותו השבוע. לאחרונה קבלתי הרבה בקשות להעביר את הפורמט של הסיכום השבועי למקום שיהיה יותר קל לשתף אותו ולשלוח לחברים. לכן, אני אתחיל לכתוב גם כאן בבלוג את הסיכום השבועי. חשוב לי להדגיש שבכל מקרה אשלח את הסיכום השבועי כלינק מסודר בניוזלטר, ככה שלא הרבה הולך להשתנות.

דרך אגב, אם אתם רוצים לוודא שאתם לא מפספסים את הסיכום השבועי, פשוט תירשמו לניוזלטר וככה תוכלו להישאר מעודכנים תמיד. כל שישי בבוקר יחכה לכם בתיבת המייל ניוזלטר חדש עם מידע שחשוב שתכירו. עוד סיבה ממש טובה להירשם לניוזלטר היא שאני מעדכן שם מידי פעם על כל מיני יוזמות ושיתופי פעולה שאני עובד עליהם הרבה לפני שהם עולים לקבוצה (ככה אני יכול לבדוק את התגובות לפני 🙂 ). בקיצור אל תפספסו.

עוד הערה קטנה, הסיכום השבועי ימשיך להיות באנגלית כי ככה יותר קל לכתוב אותו בצורה רציפה ללא ערבוב של האנגלית והעברית. נתחיל?

לכתבה המלאה >>

הערה: המדריך קיים גם בשפה האנגלית במידה ותרצו לשתף עם גורמים אחרים.

החלטתם שאתם רוצים לקנות מחשב לצורכי אימון אלגוריתמים לומדים. או שאולי אתם פשוט עובדים בארגון בו המושגים האלה נזרקים לא מעט לחלל, ואתם רוצים להבין קצת טוב יותר במה מדובר. זה לא עסק נורא פשוט, ולכן החלטנו לכתוב את המדריך הזה. יש הרבה דרכים להסתכל על נושא החומרה בתחום ופה אנסה לדבוק באחת מהן.

מי אני?

אני ניר בן-צבי, חוקר deep learning וחובב חומרה עוד מהימים הזוהרים בהם הייתי מפרק ומרכיב מחשבים בזמן שחברים שיחקו כדורסל (גם את זה ניסיתי, חזרתי לחומרה די מהר). בשנים האחרונות יצא לי לייעץ לא מעט בנושא לחברים בכל מני ארגונים, וזה הוביל להחלטה לרכז את מעט הידע שצברתי למדריך שפה מולכם. היום אני עובד בחברת trigo שעושה הרבה דברים מעניינים בתחום הזה, וחלק מהידע שצברתי הגיע מבניית מחשבי האימון הראשונים שלפני לפני כ-3 שנים.

הערה לגבי עדכון המדריך

בחלקים מסוימים במדריך בחרתי לציין אם החלק הרלוונטי מעודכן או לא. המדריך כולו מתעדכן מפעם לפעם, אבל הגרסה המקורית שלו בת כמעט 4 שנים.
זה די מדהים כמה שדברים מסוימים לא משתנים במיוחד. למשל, בין נובמבר 2018 לאפריל 2020, NVIDIA לא עדכנה את המאיצים הגרפיים שלה – לא את אלו המיועדים ל-data centers (סדרת Tesla) ולא את אלו המיועדים למשתמשים פרטיים (סדרת GeForce). אינטל, מנגד, הספיקה לרענן את המעבדים שלה פעמיים ובדרך לשלישית. המהפכה שהיה ניתן לצפות לה עם הדור האחרון של המעבדים של AMD לא קרתה כלל.

אז למה שהמדריך הזה יישאר רלוונטי בכלל בעתיד? קודם כל, אני משתדל לעדכן אותו כשעולה צורך. בנוסף, השתדלתי ברענון האחרון להוריד מהמדריך את החלקים שהיו ספציפיים-מדי לדור מסוים של רכיב חומרה. לדוגמא, אינטל מעדכנים את המעבדים שלהם כל הזמן, אבל אני לא בטוח שסדרה 10 שאמורה לצאת השנה תביא בשורה מיוחדת לעוסקים ב-deep learning על GPUs, ולכן החלק הרלוונטי במדריך מנסה להיות גנרי מספיק.

עוד הערה חשובה – הנושא של ״מחשב ל-deep learning״ הרבה יותר מוכר ומובן היום בשוק העולמי והמקומי, יש הרבה יותר מידע זמין באינטרנט ובניגוד ללפני כמה שנים רכישת מחשב מורכב-מראש נהיה דבר מעט יותר משתלם.

כמה מילים לגבי מחשבים ניידים

המדריך הזה לא מיועד לבחירת מחשבים ניידים לאימון מודלים, ודעתו של הכותב היא שאין כזה דבר יותר. בעבר היה הגיון מסוים ברכישת מחשב נייד (בעיקר מחשבים המיועדים לגיימרים) עם כרטיס מסך חזק שמסוגל להתמודד עם טעינה של מודלים מורכבים יחסית. המצב היום הוא שהארכיטקטורות המודרניות כל כך ״כבדות״ מבחינת משאבי חישוב דרושים (בעיקר GPU memory) שאני לא רואה הגיון ברכישת מחשב כזה. גם מחשב הגיימינג החזק ביותר – כאלו שאי אפשר לקרוא להם ״ניידים״ בשום צורה (והם נקראים בצדק DTR – Desktop Replacement) – יכולים במקרה הטוב להריץ מודלים כאלה על minibatches קטנים ולא ייאפשרו אימון, אפילו לא fine-tune על דאטאסט קטן. אציין שוב (1) שזו דעתי ו-(2) שההיכרות שלי היא עם עולם הראייה הממוחשבת ועד כמה שאני יודע בתחומים אחרים שעושים שימוש ב-deep learning אפשר בהחלט להסתפק ב-GPU memory צנוע לצרכי לימוד.

בעידן בו גוגל מספקים T4 ו-P100 בחינם על בסיס Colab, אני לא רואה סיבה להשקיע במחשב חזק ויקר. כמובן שעדיין כדאי מאוד להשקיע במחשב חזק, עם די זיכרון (16 זה הסטנדרט) וליבות. 

ומה עם כרטיסי מסך ניידים?

אני מודה שאני לא מכיר מספיק את העולם הזה, ולא ראיתי כרטיסים כאלה בשימוש נרחב שאינו לגיימינג. בסופו של דבר עדין מדובר בכרטיס מסך בודד, שכנראה לא יהיה חזק מספיק בשביל שימושים רציניים (כל דבר שאינו משחקים לצרכי לימוד עצמי). 

אתחיל מלחלק את האפשרויות הקיימות בפנינו לארבע קטגוריות עיקריות:

מה במדריך?

  1. מחשב שולחני פשוט יחסית עם כרטיס גרפי בודד.
  2. מחשב הזהה למחשב מס׳ 1, הנבדל ממנו בכך שיש לו שני כרטיסים גרפיים (או הכנה לכרטיס גרפי נוסף בעתיד).
  3. מחשב לאימון ״כבד״ – כלומר, מחשב בעל ארבעה כרטיסים גרפיים ומעלה.
  4. מחשבים לאימון כבד אף יותר, כאשר 8 מאיצים גרפיים זה בד״כ המקסימום (ראו הערה בהמשך).

לכתבה המלאה >>

פוסט זה ירכז משרות בתחום ה-Machine Learning בישראל. ברשימה למטה ניתן למצוא חברות גדולות, סטארטאפים ומעבדות מחקר אקדמאיות המחפשות עובדים במגוון תחומים.

בימים אלו אני עובד על השקה של לוח משרות חדש ומתקדם, במידה ואתם מעוניינים להוסיף משרה אתם מוזמנים לפנות אלי במייל: uri@machinelearning.co.il

רוצים לקבל גישה ללוח משרות החדש לפני כולם? היכנסו לקישור הבא.

 

לכתבה המלאה >>

X