כתבות עם התגית deep learning

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Regularizing Towards Permutation Invariance in Recurrent Models


פינת הסוקר:  

           המלצת קריאה ממייק: כמעט חובה (לא חייבים אך ממש מומלץ).

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: בינונית מינוס – צריך להבין מה זה RNN ותכונותיו הבסיסיות. בנוסף מומלץ לרענן את הידע הבסיסי בקומבינטוריקה (תמורות) ובתורת הקבוצות (מושגי יסוד).

        יישומים פרקטיים אפשריים: ניתן להשתמש בטכניקה זו בשביל משימות עיבוד סדרות אינווריאנטיות (באופן מלא או חלקי) לסדר איבריהן כמו משימות זיהוי של ענני נקודות,מציאת דמיון בין סטים של אובייקטים, זיהוי אותות ECC וכדומה.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא הצלחתי לאתר.

      פורסם בתאריך: 25.12.20, בארקיב.

      הוצג בכנס: NeurIPSi 2020.


תחומי מאמר:

  • רשתות מסוג RNN.
  • משימות אינווריאנטיות לסדר של קלט.

כלים מתמטיים, מושגים וסימונים:

  • תמורה (פרמוטציה) של סדרת קלט (יסומן כ- p).

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Identifying Mislabeled Data using the Area Under the Margin Ranking


פינת הסוקר:

המלצת קריאה ממייק: כמעט חובה – (לא חובה אבל קרוב לזה 😉 ).

בהירות כתיבה: גבוהה

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם מושגי יסוד של הלמידה העמוקה (בעיקר אלו הקשורות לאימון של רשתות נוירונים).

יישומים פרקטיים אפשריים: אופטימיזציה של תהליך אימון של רשתות נוירונים עי״ זיהוי של דוגמאות מתיוגות תוך כדי האימון.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: כאן.

פורסם בתאריך: 23.12.2021, בארקיב. 

הוצג בכנס: NeurIPS 2020.

תחומי מאמר:

  • זיהוי דוגמאות בעלות לייבלים שגויים בתהליך אימון של רשתות נוירונים.

כלים מתמטיים הסימונים:

  • לוגיטים (logits):  פלט של השכבה האחרונה של רשת סיווג (לפני הנרמול softmax/sigmoid).

תחומים בהם ניתן להשתמש בגישה המוצעת:

  • למידה semi-supervised.
  • אוגמנטציה של דאטהסטים.

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PreTrained Image Processing Transformer

פינת הסוקר:

המלצת קריאה ממייק: רק עם קשה לכם להירדם בלילה (שווה לאלו שמתעסקים במשימות low-level בתחום עיבוד תמונה).

בהירות כתיבה:  בינוני מינוס.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם מושגי יסוד של DL.

יישומים פרקטיים אפשריים: הגישה המוצעת במאמר יכולה לשמש כשיטת אימון למשימות כמו סופר-רזולוציה, ניקוי רעש רגיל או הסרת רעש גשם (deraining) עבור דאטהסטים קטנים.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: לא הצלחתי לאתר.

פורסם בתאריך: 03.12.20, בארקיב.

הוצג בכנס: לא מצאתי מידע על כך.


תחומי מאמר:

  • למידה עם משימות מרובות (multi-task learning – MLT). 
  • למידה מנוגדת (contrastive learning – CL).

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • טרנספורמר ויזואלי (הפועל על פאטצ'ים של תמונות).
  • לוס מנוגד (contrastive loss).
  • משימות low-level של הראייה הממוחשבת כמו סופר-רזולוציה, ניקוי רעשים וכדומה.

לינקים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

כפי שהובטח, אני מארגן גרסה מקומית של כנס ICML בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.

האירוע יתקיים ב6.7 בשעה 18:00 עד השעה 21:00 (לחצו כאן כדי להוסיף ליומן).

כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרםבערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.

לכתבה המלאה >>

תגיות: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

 

Pruning neural networks without any data by iteratively conserving synaptic flow


H. TANAKA, D. KUNIN, D. YAMINS, S. GANGULI (NTT + STANFORD)

מאמר שלדעתי הוא סופר משפיע, שילוב של עבודה מתמטית טובה, נושא עם חשיבות סופר פרקטית ובסוף גם קוד פתוח. יש פה הקדמה תיאורטית שלדעתי עוזרת להבין למה המאמר חשוב, ממליץ לקרוא אותה לכל מי שלא שוחה ממש בתחום של PRUNING.

לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

בצורה קצת יותר מפורטת. למה לעשות תואר שני, איך לעשות תואר שני, וכל הסיבות למה אתם לא עושים או רוצים לעשות תואר שני ולמה הן לא רלוונטיות. אזהרה: פוסט ארוך!

קצת רקע, ראיינתי בשנתיים וחצי האחרונות למעלה מ150 מועמדים לתפקידי דאטה סאיינטיסט. אני שומר על ראש פתוח ולכן ראיינתי כמעט כל סוג אפשרי

1. אנשים ותיקים מאוד בהיי-טק שלאחרונה נכנסו לתחום.

2. אנשים שעשו תואר ראשון (ואולי גם שני ושלישי) ואז עשו קורס של אחת המכללות למיניהן (בלי להזכיר שמות) כולל תוכניות מאוד אינטנסיביות שחלק כאן מכירים.

3. אנשים כמעט בלי רקע בתחום אבל עם רקע מתמטי\מדעי חזק מאוד.

4. אנשים שעובדים כבר כמה שנים בתחום.

5. אנשים שסיימו עכשיו תואר שני בתחום.

6. אנשים שסיימו תואר ראשון ולקחו כמה קורסים + פרויקט.

בלי להיכנס כרגע להכללות ובלי לפגוע באף אחד, ותוך הסתייגות שתמיד תמיד יש יוצאי דופן, להפתעתי (שוב, כי אני מנסה לשמור על ראש פתוח), מי שהפגינו את היכולות הטובות ביותר בראיונות היו אלו שעשו תואר שני בתחום (או לכל הפחות קרוב לתחום) עם סטייה קלה לאנשים שעשו תואר שני או שלישי אחר (למשל פיזיקה, ביולוגיה, מתמטיקה) עם רקע של הצטיינות ונכנסו לתחום לאחרונה דרך המחקר שלהם, עבודה שלהם, או עצמאית. כמובן שאלה שעשו תואר שני וכבר עובדים כמה שנים בתחום היו טובים, אבל אלה למרבה הצער נדירים ביותר.

קצת רקע נוסף שלא תחשבו שאני סתם איזה מתנשא שזורק עליכם "תעשו תואר שני" בלי שיש לכם אפשרות, אז אני התחלתי תואר שני במדעי המחשב, בגיל 30, כשהייתי עם שני ילדים, אחרי שנתיים בתעשייה ועם תואר ראשון בהנדסה (כלומר הרבה השלמות לתואר השני) ועם זה שהייתי צריך גם לעבוד במקביל לחלק מהתואר. וכן, היו אתי בתואר השני לא מעט אנשים כאלה (פחות או יותר), כולם סיימו וכולם עובדים היום בתחום.

אז נתחיל משאלת השאלות, למה בכלל לעשות תואר שני?

לכתבה המלאה >>

הוצאת הספרים Springer שחררה מאות ספרים במגוון רחב של נושאים בחינם לקהל הרחב. הרשימה, אשר כוללת 408 ספרים בסה"כ, מכסה מגוון רחב של נושאים מדעיים וטכנולוגים. כדי לחסוך לכם את המעבר על כך הספרים, ריכזתי ברשימה אחת את כל הספרים (65 במספר) שרלוונטים לתחום הדאטה. בין הספרים תוכלו למצוא כאלה שעוסקים בצד המתמטי של התחום (אלגברה, סטטיסטיקה ועוד) ולצידם גם ספרים מתקדמים יותר על DL ונושאים מתקדמים אחרים. לצד כל אלה, ישנם כמה ספרים טובים בשפות תכנות שונות כדוגמת פיתון, R מטלב ועוד. מומלץ לפתוח דרך המחשב כדי לראות את הרשימה המלאה בצורה נוחה. 

לכתבה המלאה >>

לאחר הרבה הכנות והפקת לקחים מהקורס הקודם, גיל, ניר, ערן ואני שמחים להודיע כי אנחנו פותחים מחזור נוסף של MDLI Course – קורס מבוא ל-Deep Learning של הקהילה. בבלוג הזה אנחנו נשתף אתכם במידע על הקורס השנה וכמובן נפרסם לינק להרשמה לקראת המחזור השלישי.

למי שלא מכיר: בשנתיים האחרונות החלטנו, ארבעת האדמינים בקבוצה, לקחת את הקורס המוכר של סטנפורד "CS231n: Convolutional Neural Networks for Visual Recognition" ולהעביר אותו בצורה פורנטלית ובעברית באופן התנדבותי לחלוטין. הקורס הועבר לקבוצה של 60 סטודנטים שהגיעו מידי שבוע במשך ארבעה חודשים לגוגל קמפוס כדי ללמוד על התחום. לאחר ארבעת החודשים הצמדנו לבוגרים מנטורים מהתעשייה לטובת פרויקטי גמר המציגים את הידע הנרכש בקורס עצמו.

שני המחזורים הקודמים היו הצלחה. אלו שצלחו את הקורס עד סופו רכשו סט כלים חדש וידע שעזר לחלקם למצוא עבודות חדשות, או לעשות שינוי קריירה בתוך הארגון בהם הם עובדים. השנה אנחנו מתכוונים להפוך את הקורס למקצועי עוד יותר וליישם את כל הלקחים שהפקנו מהמחזור הקודם. אנחנו נוסיף הדרכות על שירות הענן של גוגל, תרגולים סביב עבודות הבית (הודות למתן פרידמן -מצטיין המחזור הראשון) וחיבור חזק יותר לתעשייה בפרויקטי הגמר. כפועל יוצא מכך זה אומר שרף הסינון עולה והרצינות שאנחנו מצפים מהמחזור החדש עולה גם היא.

כמו כן, קחו בחשבון שהקורס הוא מאוד Hands On ומתמטי לכן נדרשים גם ידע מתמטי וגם ידע תכנותי ברמה גבוהה (אלגברה לינארית, חד"וא, הסתברות ופיתון). ידע זה קריטי להבנת הקורס ולהכנת מטלות הבית השונות לכן אנא הירשמו רק אם יש לכם שליטה מספקת בנושאים הנ"ל.

אנחנו מציינים את הנהלים כבר עכשיו, לפני ההרשמה עצמה, כדי שתוכלו לעבור על כל התנאים ולהבין שהם מתאימים לכם. אנחנו לא מתכוונים לעגל פינות והמשמעת הנוקשה נועדה כדי שכל אחד שנבחר יפיק את המירב מהקורס ויצדיק את העובדה שדווקא הוא נבחר על פני מועמד אחר. בדיוק כמו בשנה הקודמת, גם הפעם אנחנו נקפיד על ייצוג שווה בין נשים וגברים בקורס, אך אין זה אומר שנקודה זו משפיעה על הסינון עצמו או על הרף הנדרש.

נהלים חשובים של הקורס:

לכתבה המלאה >>

השנה, בדיוק כמו שנה שעברה, קיימנו סקר מקיף אודות מגוון רחב של נושאים בקרב חברי קהילת MDLI. הסקר בא לבחון אלמנטים הנוגעים בתנאי העסקה, אתגרים יומיים, כלים נפוצים שבשימוש ועוד עבור אלו שעוסקים במקצעות הדאטה. בסקר הנוכחי השיבו 569 איש בסה"כ (לעומת 225 בשנה שעברה) אשר מייצגים בצורה נרחבת את כל הקשת הישראלית בתחום. המידע נאסף עד חודש מרץ 2019 ועדכני לנקודת זמן זו. בדו"ח הבא נציג את התוצאות הישירות שעלו מתוך הסקר ולצד זאת מספר ניתוחי עומק שביצע עומרי גולדשיין על הנתונים וזאת כדי לחשוף קשרים ורבדים עמוקים יותר בין הנתונים. השאלון נבנה משני חלקים עיקריים: חלק ראשון אישי ותעסוקתי ולצידו, חלק שני מקצועי וטכני יותר. בסקירה הזו, נציג לכם את התובנות העיקריות שעלו מהסקר ואת המסקנות לכל מי שבתעשייה זו.

אחד האלמנטים העיקריים בדו"ח הוא נושא השכר הממוצע בתחום בהתאם לניסיון בתעשייה והשכלה אקדמית. השנה הסקר כלל תשובות של כ-402 איש העוסקים בתחום במשרה מלאה – מה שמעניק תמונת מצב טובה על התחום. עומרי פיתח שני מודלים שיסייעו לכם לחזות מה אמור להיות השכר הממוצע שלכם בהם תוכלו לעשות שימוש. אחד מפרויקטי ההמשך של הסקר הוא הכנת מחשבון שכר בו יהיה ניתן להזין פרטים אודתיכם ולאחר מכן לקבל את השכר הממוצע עבור אנשים עם פרופיל זהה. מתוך הבנה כי על אף שמדובר על מספר גדול ביחס לסקרי שכר אחרים, הנתונים עדיין יכולים להיות לא מדויקים במקרים מסוימים ולכן נרצה להוסיף דוגמאות נוספות. מחשבון שכר זה יעלה בשבועות הקרובים ויאפשר גם מתן פידבק על התוצאות לשם שמירתו עדכני לאורך זמן. לכתבה המלאה >>

X