כתבות בנושא Deep Learning

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies


פינת הסוקר:  

           המלצת קריאה ממייק: מומלץ מאוד אך לא חובה (זהירות: מתמטיקה קצת קשוחה בפנים).

          בהירות כתיבה:  גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת רקע מוצק בתורת האינפורמציה וכלים מאנליזה פונקציונלית בנוסף להבנה עמוקה בסוגיות העולות באימון של מודלים מולטימודליים.

        יישומים פרקטיים אפשריים: שיפור ביצועים באימון מסווגים לבעיות מולטימודליות עם חוסר איזון בין מודים שונים.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 21.10.20, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • מסווגים לבעיות מולטימודליות.
  • שיטות רגולריזציה. 

כלים מתמטיים, מושגים וסימונים:

  • אנטרופיה פונקציונלית (FE).
  • אינפורמצית פישר פונקציונלית.
  • אי שוויונות לוגו של סובולב ושל פואנקרה.
  • טנזוריזציה במרחבי הסתברות מכפליים (product probability spaces).

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Supermasks in Superposition


פינת הסוקר: 

           המלצת קריאה ממייק: מומלץ מאוד – יש במאמר שני רעיונות מגניבים.

          בהירות כתיבה:  בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה בסיסית בתחום למידה מתמשכת (continual learning), בלמידה מתמשכת וברשתות הופפילד.

        יישומים פרקטיים אפשריים:  בניית רשת נוירונים גדולה עם משקלים קבועים המשמשת לביצוע משימות מרובות (דומות באופי).


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 22.10.20, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • שיטות למידה מתמשכת (continual learning) עם רשתות נוירונים.
  • למידת משימות מרובות (multi-task learning) עם רשתות נוירונים.

כלים מתמטיים, מושגים וסימונים:

  • מסכות בינאריות על משקלים ברשתות נוירונים.
  • שכחה קטסטרופלית ברשתות נוירונים
  •  רשתות הופפילד ( HN).
  • אנטרופיה (זה המושג המרכזי שעליו המאמר בנוי).

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Identifying Mislabeled Data using the Area Under the Margin Ranking


פינת הסוקר:

המלצת קריאה ממייק: כמעט חובה – (לא חובה אבל קרוב לזה 😉 ).

בהירות כתיבה: גבוהה

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם מושגי יסוד של הלמידה העמוקה (בעיקר אלו הקשורות לאימון של רשתות נוירונים).

יישומים פרקטיים אפשריים: אופטימיזציה של תהליך אימון של רשתות נוירונים עי״ זיהוי של דוגמאות מתיוגות תוך כדי האימון.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: כאן.

פורסם בתאריך: 23.12.2021, בארקיב. 

הוצג בכנס: NeurIPS 2020.

תחומי מאמר:

  • זיהוי דוגמאות בעלות לייבלים שגויים בתהליך אימון של רשתות נוירונים.

כלים מתמטיים הסימונים:

  • לוגיטים (logits):  פלט של השכבה האחרונה של רשת סיווג (לפני הנרמול softmax/sigmoid).

תחומים בהם ניתן להשתמש בגישה המוצעת:

  • למידה semi-supervised.
  • אוגמנטציה של דאטהסטים.

תמצית מאמר:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PreTrained Image Processing Transformer

פינת הסוקר:

המלצת קריאה ממייק: רק עם קשה לכם להירדם בלילה (שווה לאלו שמתעסקים במשימות low-level בתחום עיבוד תמונה).

בהירות כתיבה:  בינוני מינוס.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם מושגי יסוד של DL.

יישומים פרקטיים אפשריים: הגישה המוצעת במאמר יכולה לשמש כשיטת אימון למשימות כמו סופר-רזולוציה, ניקוי רעש רגיל או הסרת רעש גשם (deraining) עבור דאטהסטים קטנים.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: לא הצלחתי לאתר.

פורסם בתאריך: 03.12.20, בארקיב.

הוצג בכנס: לא מצאתי מידע על כך.


תחומי מאמר:

  • למידה עם משימות מרובות (multi-task learning – MLT). 
  • למידה מנוגדת (contrastive learning – CL).

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • טרנספורמר ויזואלי (הפועל על פאטצ'ים של תמונות).
  • לוס מנוגד (contrastive loss).
  • משימות low-level של הראייה הממוחשבת כמו סופר-רזולוציה, ניקוי רעשים וכדומה.

לינקים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners# עם סקירה של מאמר מבית אמזון בתחום הלמידה העמוקה. המאמר הנסקר היום: 

GAN-Control: Explicitly Controllable GANs

פינת הסוקר: 

המלצת קריאה ממייק: חובה לאוהבי גאנים.

בהירות כתיבה: טובה מאוד.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת הבנה טובה בארכיטקטורות עכשוויות של הגאנים (StyleGAN2) וידע בסיסי בנושא אימון של הגאנים. בנוסף נדרשת הבנה בסיסית של עקרונות הלמידה המנוגדת.

יישומים פרקטיים אפשריים:  יצירה של תמונות פוטוריאליסטיות בעלות מכלול מוגדר של פיצ'רים ויזואליים כגון גיל, תנוחת ראש, צבע שיער וכדומה בכמה דומיינים כמו תמונות פנים מצוירות ותמונות פרצופים של חיות. 


פרטי מאמר: 

לינק למאמר: זמין כאן

לינק לקוד: לא שותף בארקיב

פורסם בתאריך: 07.01.21, בארקיב

הוצג בכנס: לא ידוע


תחומי מאמר:

  • גאנים (GANs).

כלים מתמטיים, טכניקות, מושגים וסימונים:

 

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

AVAE: Adversarial Variational AutoEncoder

תאריך פרסום: 21.12.2020

הוצג בכנס: טרם ידוע

תחומי מאמר:

כלים מתמטיים, טכניקות, מושגים וסימונים:


בהירות כתיבה: בינונית מינוס 

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת הבנה עמוקה ב- VAE, גאנים ותכונותיהם בשביל להבין לעומק את הרעיון הבסיסי של המאמר. שליטה בכלים מתמטיים מתחום ההסתברות והסטטיסטיקה נחוצה להבנת המאמר.

יישומים פרקטיים אפשריים: גינרוט תמונות באיכות גבוהה עם VAE (סוג של 😀 ).

המלצת קריאת ממייק: מומלץ לבעלי ידע עמוק ב- VAE, גאנים ובעלי ידע מוצק בהסתברות בתור אתגר. לכתבה המלאה >>

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

 

Pruning neural networks without any data by iteratively conserving synaptic flow


H. TANAKA, D. KUNIN, D. YAMINS, S. GANGULI (NTT + STANFORD)

מאמר שלדעתי הוא סופר משפיע, שילוב של עבודה מתמטית טובה, נושא עם חשיבות סופר פרקטית ובסוף גם קוד פתוח. יש פה הקדמה תיאורטית שלדעתי עוזרת להבין למה המאמר חשוב, ממליץ לקרוא אותה לכל מי שלא שוחה ממש בתחום של PRUNING.

לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

בצורה קצת יותר מפורטת. למה לעשות תואר שני, איך לעשות תואר שני, וכל הסיבות למה אתם לא עושים או רוצים לעשות תואר שני ולמה הן לא רלוונטיות. אזהרה: פוסט ארוך!

קצת רקע, ראיינתי בשנתיים וחצי האחרונות למעלה מ150 מועמדים לתפקידי דאטה סאיינטיסט. אני שומר על ראש פתוח ולכן ראיינתי כמעט כל סוג אפשרי

1. אנשים ותיקים מאוד בהיי-טק שלאחרונה נכנסו לתחום.

2. אנשים שעשו תואר ראשון (ואולי גם שני ושלישי) ואז עשו קורס של אחת המכללות למיניהן (בלי להזכיר שמות) כולל תוכניות מאוד אינטנסיביות שחלק כאן מכירים.

3. אנשים כמעט בלי רקע בתחום אבל עם רקע מתמטי\מדעי חזק מאוד.

4. אנשים שעובדים כבר כמה שנים בתחום.

5. אנשים שסיימו עכשיו תואר שני בתחום.

6. אנשים שסיימו תואר ראשון ולקחו כמה קורסים + פרויקט.

בלי להיכנס כרגע להכללות ובלי לפגוע באף אחד, ותוך הסתייגות שתמיד תמיד יש יוצאי דופן, להפתעתי (שוב, כי אני מנסה לשמור על ראש פתוח), מי שהפגינו את היכולות הטובות ביותר בראיונות היו אלו שעשו תואר שני בתחום (או לכל הפחות קרוב לתחום) עם סטייה קלה לאנשים שעשו תואר שני או שלישי אחר (למשל פיזיקה, ביולוגיה, מתמטיקה) עם רקע של הצטיינות ונכנסו לתחום לאחרונה דרך המחקר שלהם, עבודה שלהם, או עצמאית. כמובן שאלה שעשו תואר שני וכבר עובדים כמה שנים בתחום היו טובים, אבל אלה למרבה הצער נדירים ביותר.

קצת רקע נוסף שלא תחשבו שאני סתם איזה מתנשא שזורק עליכם "תעשו תואר שני" בלי שיש לכם אפשרות, אז אני התחלתי תואר שני במדעי המחשב, בגיל 30, כשהייתי עם שני ילדים, אחרי שנתיים בתעשייה ועם תואר ראשון בהנדסה (כלומר הרבה השלמות לתואר השני) ועם זה שהייתי צריך גם לעבוד במקביל לחלק מהתואר. וכן, היו אתי בתואר השני לא מעט אנשים כאלה (פחות או יותר), כולם סיימו וכולם עובדים היום בתחום.

אז נתחיל משאלת השאלות, למה בכלל לעשות תואר שני?

לכתבה המלאה >>

תחום ה-Data Science צבר תאוצה רבה בשנה האחרונה ונראה שישנם עוד ועוד אנשים שרוצים לסלול את דרכם פנימה לעולם זה. מגמה זו הובילה אותי בשנה שעברה ליצור שיתוף פעולה עם Y-DATA – תוכנית ההכשרה של יאנדקס. כפועל יוצא משיתוף פעולה זה הכנתי כתבה מקיפה על התוכנית הלימודית של Y-DATA בה צללנו לעומק של הסילבוס ולמדנו להכיר לראשונה את המהות של התכנית והדגש הרב שהיא שמה על התכנים האקדמיים. שנה שלמה עברה מאז ויאנדקס ממשיכה בכל הכוח ופותחת מחזור נוסף לתכנית ההכשרה שלה שכוללת הפעם תכנים רבים נוספים. ומעל כל זאת, החידוש האמיתי של המחזור הנוכחי הוא האפשרות להשתתף בתכנית במודל "לימודים מבוססי הצלחה" ולשלם על הקורס רק במידה ואכן הצלחתם למצוא עבודה בתחום.

לפני שאנחנו צוללים פנימה לשינויים, נסביר קצת מה היא תכנית Y-DATA ומה עומד מאחוריה. מי שירצה לקרוא על כך בהרחבה מוזמן כמובן לעיין בכתבה שהכנתי בשנה שעברה אשר מופיעה בפסקה הקודמת. Y-DATA היא בעצם תוכנית הכשרה בתחומי הדאטה אשר פונה למועמדים בעלי רקע אקדמי עשיר ו\או נסיון של כמה שנים לפחות בכתיבת קוד אשר רוצים לעשות הסבה לתחום ה-Data Science. התכנית היא שלוחה של בית הספר למדעי הנתונים של חברת יאנדקס (YSDA), הפעיל מזה מעל לעשור במספר ערים ברוסיה. התכנית חרטה על דגלה להכשיר את הסטודנטים שלה לשוק העבודה ולספק להם כלים של ממש, כאלה שיאפשרו להם למצוא עבודה במהרה בסיום הקורס. בשנה שעברה המחזור הראשון של התוכנית בארץ הפך במהרה להצלחה רצינית – בין היתר בזכות פרויקטי הגמר המרשימים שעליהם עוד נדבר בהמשך. כפי שציינתי, השנה התכנית עברה מקצה שדרוגים רחב והתאימה את עצמה לשוק הדינמי הישראלי.

כדי להכיר לעומק את כל השינויים שנעשו בתוכנית, ולכדי לשמוע מידע נוסף על תוכנית המלגות החדשה, קיימתי ראיון עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל. כמו כן, חשוב לי לציין כי בדומה לשנה שעברה, גם השנה אנחנו מקיימים שיתוף פעולה עם יאנדקס, מה שמקנה לכם 1,000 שקל הנחה בשימוש בקוד MDLI. באתר ההרשמה.

תשלום מבוסס הצלחה

לכתבה המלאה >>

X