כתבות עם התגית deep learning

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

כפי שהובטח, אני מארגן גרסה מקומית של כנס ICML בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

האירוע יתקיים ב6.7 בשעה 18:00 עד השעה 21:00 (לחצו כאן כדי להוסיף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרםבערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לכתבה המלאה >>

תגיות: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

 

Pruning neural networks without any data by iteratively conserving synaptic flow


H. TANAKA, D. KUNIN, D. YAMINS, S. GANGULI (NTT + STANFORD)

מאמר שלדעתי הוא סופר משפיע, שילוב של עבודה מתמטית טובה, נושא עם חשיבות סופר פרקטית ובסוף גם קוד פתוח. יש פה הקדמה תיאורטית שלדעתי עוזרת להבין למה המאמר חשוב, ממליץ לקרוא אותה לכל מי שלא שוחה ממש בתחום של PRUNING.

לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

בצורה קצת יותר מפורטת. למה לעשות תואר שני, איך לעשות תואר שני, וכל הסיבות למה אתם לא עושים או רוצים לעשות תואר שני ולמה הן לא רלוונטיות. אזהרה: פוסט ארוך!

קצת רקע, ראיינתי בשנתיים וחצי האחרונות למעלה מ150 מועמדים לתפקידי דאטה סאיינטיסט. אני שומר על ראש פתוח ולכן ראיינתי כמעט כל סוג אפשרי

1. אנשים ותיקים מאוד בהיי-טק שלאחרונה נכנסו לתחום.

2. אנשים שעשו תואר ראשון (ואולי גם שני ושלישי) ואז עשו קורס של אחת המכללות למיניהן (בלי להזכיר שמות) כולל תוכניות מאוד אינטנסיביות שחלק כאן מכירים.

3. אנשים כמעט בלי רקע בתחום אבל עם רקע מתמטי\מדעי חזק מאוד.

4. אנשים שעובדים כבר כמה שנים בתחום.

5. אנשים שסיימו עכשיו תואר שני בתחום.

6. אנשים שסיימו תואר ראשון ולקחו כמה קורסים + פרויקט.

בלי להיכנס כרגע להכללות ובלי לפגוע באף אחד, ותוך הסתייגות שתמיד תמיד יש יוצאי דופן, להפתעתי (שוב, כי אני מנסה לשמור על ראש פתוח), מי שהפגינו את היכולות הטובות ביותר בראיונות היו אלו שעשו תואר שני בתחום (או לכל הפחות קרוב לתחום) עם סטייה קלה לאנשים שעשו תואר שני או שלישי אחר (למשל פיזיקה, ביולוגיה, מתמטיקה) עם רקע של הצטיינות ונכנסו לתחום לאחרונה דרך המחקר שלהם, עבודה שלהם, או עצמאית. כמובן שאלה שעשו תואר שני וכבר עובדים כמה שנים בתחום היו טובים, אבל אלה למרבה הצער נדירים ביותר.

קצת רקע נוסף שלא תחשבו שאני סתם איזה מתנשא שזורק עליכם "תעשו תואר שני" בלי שיש לכם אפשרות, אז אני התחלתי תואר שני במדעי המחשב, בגיל 30, כשהייתי עם שני ילדים, אחרי שנתיים בתעשייה ועם תואר ראשון בהנדסה (כלומר הרבה השלמות לתואר השני) ועם זה שהייתי צריך גם לעבוד במקביל לחלק מהתואר. וכן, היו אתי בתואר השני לא מעט אנשים כאלה (פחות או יותר), כולם סיימו וכולם עובדים היום בתחום.

אז נתחיל משאלת השאלות, למה בכלל לעשות תואר שני?

לכתבה המלאה >>

הוצאת הספרים Springer שחררה מאות ספרים במגוון רחב של נושאים בחינם לקהל הרחב. הרשימה, אשר כוללת 408 ספרים בסה"כ, מכסה מגוון רחב של נושאים מדעיים וטכנולוגים. כדי לחסוך לכם את המעבר על כך הספרים, ריכזתי ברשימה אחת את כל הספרים (65 במספר) שרלוונטים לתחום הדאטה. בין הספרים תוכלו למצוא כאלה שעוסקים בצד המתמטי של התחום (אלגברה, סטטיסטיקה ועוד) ולצידם גם ספרים מתקדמים יותר על DL ונושאים מתקדמים אחרים. לצד כל אלה, ישנם כמה ספרים טובים בשפות תכנות שונות כדוגמת פיתון, R מטלב ועוד. מומלץ לפתוח דרך המחשב כדי לראות את הרשימה המלאה בצורה נוחה. 

לכתבה המלאה >>

לאחר הרבה הכנות והפקת לקחים מהקורס הקודם, גיל, ניר, ערן ואני שמחים להודיע כי אנחנו פותחים מחזור נוסף של MDLI Course – קורס מבוא ל-Deep Learning של הקהילה. בבלוג הזה אנחנו נשתף אתכם במידע על הקורס השנה וכמובן נפרסם לינק להרשמה לקראת המחזור השלישי.

למי שלא מכיר: בשנתיים האחרונות החלטנו, ארבעת האדמינים בקבוצה, לקחת את הקורס המוכר של סטנפורד "CS231n: Convolutional Neural Networks for Visual Recognition" ולהעביר אותו בצורה פורנטלית ובעברית באופן התנדבותי לחלוטין. הקורס הועבר לקבוצה של 60 סטודנטים שהגיעו מידי שבוע במשך ארבעה חודשים לגוגל קמפוס כדי ללמוד על התחום. לאחר ארבעת החודשים הצמדנו לבוגרים מנטורים מהתעשייה לטובת פרויקטי גמר המציגים את הידע הנרכש בקורס עצמו.

שני המחזורים הקודמים היו הצלחה. אלו שצלחו את הקורס עד סופו רכשו סט כלים חדש וידע שעזר לחלקם למצוא עבודות חדשות, או לעשות שינוי קריירה בתוך הארגון בהם הם עובדים. השנה אנחנו מתכוונים להפוך את הקורס למקצועי עוד יותר וליישם את כל הלקחים שהפקנו מהמחזור הקודם. אנחנו נוסיף הדרכות על שירות הענן של גוגל, תרגולים סביב עבודות הבית (הודות למתן פרידמן -מצטיין המחזור הראשון) וחיבור חזק יותר לתעשייה בפרויקטי הגמר. כפועל יוצא מכך זה אומר שרף הסינון עולה והרצינות שאנחנו מצפים מהמחזור החדש עולה גם היא.

כמו כן, קחו בחשבון שהקורס הוא מאוד Hands On ומתמטי לכן נדרשים גם ידע מתמטי וגם ידע תכנותי ברמה גבוהה (אלגברה לינארית, חד"וא, הסתברות ופיתון). ידע זה קריטי להבנת הקורס ולהכנת מטלות הבית השונות לכן אנא הירשמו רק אם יש לכם שליטה מספקת בנושאים הנ"ל.

אנחנו מציינים את הנהלים כבר עכשיו, לפני ההרשמה עצמה, כדי שתוכלו לעבור על כל התנאים ולהבין שהם מתאימים לכם. אנחנו לא מתכוונים לעגל פינות והמשמעת הנוקשה נועדה כדי שכל אחד שנבחר יפיק את המירב מהקורס ויצדיק את העובדה שדווקא הוא נבחר על פני מועמד אחר. בדיוק כמו בשנה הקודמת, גם הפעם אנחנו נקפיד על ייצוג שווה בין נשים וגברים בקורס, אך אין זה אומר שנקודה זו משפיעה על הסינון עצמו או על הרף הנדרש.

נהלים חשובים של הקורס:

לכתבה המלאה >>

השנה, בדיוק כמו שנה שעברה, קיימנו סקר מקיף אודות מגוון רחב של נושאים בקרב חברי קהילת MDLI. הסקר בא לבחון אלמנטים הנוגעים בתנאי העסקה, אתגרים יומיים, כלים נפוצים שבשימוש ועוד עבור אלו שעוסקים במקצעות הדאטה. בסקר הנוכחי השיבו 569 איש בסה"כ (לעומת 225 בשנה שעברה) אשר מייצגים בצורה נרחבת את כל הקשת הישראלית בתחום. המידע נאסף עד חודש מרץ 2019 ועדכני לנקודת זמן זו. בדו"ח הבא נציג את התוצאות הישירות שעלו מתוך הסקר ולצד זאת מספר ניתוחי עומק שביצע עומרי גולדשיין על הנתונים וזאת כדי לחשוף קשרים ורבדים עמוקים יותר בין הנתונים. השאלון נבנה משני חלקים עיקריים: חלק ראשון אישי ותעסוקתי ולצידו, חלק שני מקצועי וטכני יותר. בסקירה הזו, נציג לכם את התובנות העיקריות שעלו מהסקר ואת המסקנות לכל מי שבתעשייה זו.

אחד האלמנטים העיקריים בדו"ח הוא נושא השכר הממוצע בתחום בהתאם לניסיון בתעשייה והשכלה אקדמית. השנה הסקר כלל תשובות של כ-402 איש העוסקים בתחום במשרה מלאה – מה שמעניק תמונת מצב טובה על התחום. עומרי פיתח שני מודלים שיסייעו לכם לחזות מה אמור להיות השכר הממוצע שלכם בהם תוכלו לעשות שימוש. אחד מפרויקטי ההמשך של הסקר הוא הכנת מחשבון שכר בו יהיה ניתן להזין פרטים אודתיכם ולאחר מכן לקבל את השכר הממוצע עבור אנשים עם פרופיל זהה. מתוך הבנה כי על אף שמדובר על מספר גדול ביחס לסקרי שכר אחרים, הנתונים עדיין יכולים להיות לא מדויקים במקרים מסוימים ולכן נרצה להוסיף דוגמאות נוספות. מחשבון שכר זה יעלה בשבועות הקרובים ויאפשר גם מתן פידבק על התוצאות לשם שמירתו עדכני לאורך זמן. לכתבה המלאה >>

עדכון 2020: רוצים לשמוע על התכנית החדשה של Y-DATA ועל העדכונים של 2020? כנסו לכתבה העדכנית בנושא.

אחת השאלות הנפוצות ביותר שאני שומע מידי שבוע היא: "איך להיכנס לתחום של Data Science". בעקבות הפריחה והשגשוג של התחום כולו, ישנו ביקוש רב להיכנס לעולמות אלו ורבים מחפשים את ההכשרה שתאפשר להם להשיג את דריסת הרגל הראשונה שלהם. מי שעוקב אחרי הפרסומים שלי וקורא כאן באתר, יודע עד כמה אני עובד קשה כדי לעזור לכמה שיותר אנשים להיכנס לתחום וכיצד אנחנו משקיעים מאמצים רבים כדי להגדיל את הקהילה המקומית בישראל.

לשם כך, יצרתי שיתוף פעולה עמוק עם חברת יאנדקס, אשר ייסדה סניף מקומי של Y-DATA – תכנית הכשרה מקיפה בתחום ה-Data Science. כחלק משיתוף פעולה זה אני מסייע ליאנדקס לאתר מועמדים מצוינים שיוכלו להתקבל לתוכנית.

כפי שאתם בוודאי יודעים, לפני שאני מבצע שיתופי פעולה שכאלה אני חוקר לעומק ולומד על תוכניות הלימוד ועל הגורמים שמנהלים את ההכשרה. כפועל יוצא מכך, קיימתי ראיון עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל ועם פרופסור ליאור רוקח אשר מלווה את התוכנית מהצד האקדמי כחלק משיתוף הפעולה עם אוניברסיטת בן גוריון. בראיון אנחנו נצלול פנימה ונבחן לעומק את הקורס הנ"ל, נשמע על מקרי הצלחה מהמחזור הקודם וכמובן נעמוד על הצדדים האקדמיים של קורס זה.

מי את תוכנית Y-DATA?

השאלה הראשונה שלי לקוסטיה הייתה מה היא בעצם תוכנית Y-DATA ומאיפה התוכנית הזו הגיעה אלינו? מדובר אחרי הכל בתוכנית חדשה יחסית בנוף הישראלי. "Y-DATA היא אכן תוכנית חדשה אבל בימים האלה המחזור הראשון שלה מסיים את הלימודים בקמפוס של אונ' תל אביב ומציג את פרויקטי הגמר שלהם לקהל הרחב. התוכנית  צמחה מתוך ההכרה שעד לאחרונה לא היו בארץ מספיק מסלולים מסודרים להכשרה בסיסית במדעי הנתונים ולמידה חישובית. לאחרונה נפתחו בעידוד המועצה להשכלה גבוהה מספר תוכניות ייעודיות לתואר ראשון בתחום זה (כגון תכנית "הנדסת נתונים ומידע" בטכניון והתכנית "הנדסת נתונים" באוניברסיטת בן גוריון בנגב),  אולם יעברו עוד מספר שנים עד שהתלמידים שלהן יסיימו את הלימודים וישתלבו בתעשייה. המחסור מורגש במיוחד בכל הנוגע לתכניות שרלוונטיות לאנשים שכבר יש להם רקע טכני משמעותי, ועובדים כיום בתפקידי פיתוח ומחקר והיו רוצים ללמוד באופן מסודר את התחום של למידה חישובית בלי לעזוב הכל ולעצור את החיים לשנתיים-שלוש לצורך הלימודים, שהתוצאה בסיומם לא ידועה מראש." הסביר קוסטיה.  לכתבה המלאה >>

סיכום זה נכתב על ידי Gal Hever בהתבסס על פוסט זה.

 

שלב ראשון – חשיבה:

כתבו רשימה עם כל השאלות/השערות המעניינות שעולות לכם/ן על הדאטה.

שלב שני – סטטיסטיקות וויזואליזציות:

  • בדיקת מאפיינים בסיסיים כגון: nunique value_counts, nrows, max, min, isna().sum() , dtypes.
  • pandas profiling
  • אחוזונים
  • היסטוגרמות
  • סוגי התפלגות של כל feature
  • מדדי ספירמן בין משתנים.
  • מציאת חריגים
  • בדיקת קורלציות
  • פרופורציות של קבוצות
  • scatter plot matrix
  • Feature importance
  • בדיקת מקרי קיצון (גבול עליון ותחתון) וגם מקרה רגיל באופן פרטני
  • הצגת הדאטה בצורה הטבעית וחקירת המבנה
  • חוקי אסוסיאציות
  • לכל משתנה לבדוק אם יש לו מדד מרכזי אחד או שהוא mixed
  • הצגה של קרוס קורלציות

סוגי ויזואליזציות לפי סוג הדאטה:
לכתבה המלאה >>

בימים האחרונים הגיע לארץ ג'ף דין, סגן נשיא בכיר וראש תחום בינה מלאכותית בגוגל. הוא ללא ספק אחת הדמויות הבכירות ביותר בעולם בנושא ה-AI – רוקסטאר של העולם שלי.
 
אתמול הייתה לי הזכות לקחת חלק באירוע מצומצם שהתקיים בגוגל קמפוס בו הוא דיבר בצורה חופשית על הדרך שבה גוגל משתמשת ב-AI כדי לפתור בעיות עולמיות. החל מזיהוי שטפונות ועד לגילוי מוקדם של מחלות – כל אלה פרויקטים של גוגל שכבר רצים ומצליחים להראות תוצאות מרהיבות. לקראת הסוף הוא הגיע לשקף שבו מדבר על הכללים והעקרונות שמנחים את גוגל בעת פיתוח מודלים מתקדמים. ג'ף ציין כי הם שמים דגש מאוד גדול כדי לגרום לאלגוריתמים שלהם להיות כמה שיותר הוגנים ואף הראה שורה ארוכה של מאמרים שפורסמו שעוסקים בדיוק בסוגיה הזו.
 
בחלק הזה הרגשתי צורך עז לשאול אותו על איך הם עושים את זה בפרקטיקה. זה נחמד שיש מסמך פומבי אבל מאוד סקרן אותי לדעת איך זה פוגש אותם ביום יום. להפתעתי המוחלטת, ג'ף הביא תשובה מאוד מסקרנת שחשפה, בפעם הראשונה עד כמה שידוע לי, על איך נראה תהליך שכזה בגוגל. ג'ף התחיל והסביר שהדבר הראשון שהם עושים, אשר בעל חשיבות רבה עבורם, הוא להסביר את העקרונות האלה לכל העובדים שמתעסקים בפיתוח מסוג זה. ג'ף ממש הדגיש כי יש לו חשיבות רבה לכך שזה לא יהיה "סתם מסמך פומבי" אלא משהו שכל עובד מכיר.

לכתבה המלאה >>

X