כתבות עם התגית Imagenet

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments


פינת הסוקר:  

           המלצת קריאה ממייק: חובה בטח לאוהבי למידת הייצוג.

          בהירות כתיבה: בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות הלוס המנוגד וידע טוב באופטימיזציה.

        יישומים פרקטיים אפשריים: למידה ייצוגים חזקים על דאטהסטים לא מתויגים עם תקציב חישוב מצומצם.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן. 

      פורסם בתאריך: 08.01.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחומי מאמר:

  • למידת ייצוג ללא דאטהסט מתויג (SSRL – self-supervised representation learning).
  • SSRL מבוססת על טכניקות קליסטור (Clustering for deep representation learning).

כלים מתמטיים, מושגים וסימונים:

  • מולטי-קרופ – טכניקת אוגמנטציה המבוססת על לקיחת פאטצ'ים קטנים של תמונה ברזולוציות נמוכות שונות.
  • האלגוריתם של סינקהורן קנופ (Sinkhorn-Knopp) לפתרון בעיית הטרנספורט האופטימלי למידות הסתברות דיסקרטיות.

תמצית מאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

PreTrained Image Processing Transformer

פינת הסוקר:

המלצת קריאה ממייק: רק עם קשה לכם להירדם בלילה (שווה לאלו שמתעסקים במשימות low-level בתחום עיבוד תמונה).

בהירות כתיבה:  בינוני מינוס.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות עם מושגי יסוד של DL.

יישומים פרקטיים אפשריים: הגישה המוצעת במאמר יכולה לשמש כשיטת אימון למשימות כמו סופר-רזולוציה, ניקוי רעש רגיל או הסרת רעש גשם (deraining) עבור דאטהסטים קטנים.


פרטי מאמר:

לינק למאמר: זמין להורדה.

לינק לקוד: לא הצלחתי לאתר.

פורסם בתאריך: 03.12.20, בארקיב.

הוצג בכנס: לא מצאתי מידע על כך.


תחומי מאמר:

  • למידה עם משימות מרובות (multi-task learning – MLT). 
  • למידה מנוגדת (contrastive learning – CL).

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • טרנספורמר ויזואלי (הפועל על פאטצ'ים של תמונות).
  • לוס מנוגד (contrastive loss).
  • משימות low-level של הראייה הממוחשבת כמו סופר-רזולוציה, ניקוי רעשים וכדומה.

לינקים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סיכום תחרות זו עלה כחלק מפוסט של ים פלג.

קבוצת MelANOVA:
על התחרות:
מלנומה – סרטן שרוב גידולו מתחילים בעור.
דיאגנוזה למלנומה כוללת בין היתר התבוננות בנקודות חן ושומות.
הבעיה ברורה: אנחנו מקבלים תמונות של שומות -> צריכים להחזיר: "כן סרטני" / "לא סרטני".
התחרות רצה שנה אחרי שנה כבר כמה שנים ברציפות.
את התחרות פתחנו במקום הראשון.
הגשה של ספי ונתי מהרצת האלגוריתם שפיתחו לתחרות של שנה שעברה.
אף אחד מאיתנו לא חשב שהמצב ימשיך כך לאורך זמן, ישבנו וחשבנו על אסטרטגיה מנצחת להמשך התחרות.
אז איך מנצחים תחרויות מדע נתונים? [מסודר לפי סדר חשיבות]
  1. אסטרטגית Cross Validation טובה.
  2. ניקוי טוב של הנתונים.
  3. הנדסת פיצ'רים טובה.
  4. מציאת טריקים\"רמאויות קטנות" בדאטה או במטריקה.
  5. מודל טוב.
  6. אופטימיזציה טובה להיפרפרמטרים.
  7. שיטה טובה לאנסמבל [בדגש על סטאקינג].
  8. שיטה טובה לאוגמנטציות (גם בזמן האימון וגם בזמן ההרצה – TTA).
  9. כוח מחשוב. זה תמיד עוזר.
  10. מזל. (כן כן! מזל מאוד עוזר)

לכתבה המלאה >>

סיכום זה נכתב כחלק מפוסט של Yuval Reina

על התחרות

כפי שנכתב התחרות מתרכזת בזיהוי של מלנומה בתמונות של כתמים ונקודות חן שונות.
תחרות כזו מתקיימת כבר מספר שנים על פלטפורמות שונות (לאו דווקא Kaggle), כאשר החידוש השנה הוא ברצון לראות האם ניתן להשתמש במספר תמונות מאותו חולה לשם שיפור דיוק הגילוי.
המידע הוא תמונות + ID של החולה ומספר נתונים על החולה – גיל (בעת צילום התמונה), מין, על התמונה – מיקום, איזה סוג כתם זוהה (נקודת חן/מלנומה/וכו') וה Target – כן/לא מלנומה.
הקריטריון של התחרות היה AUC – ROC
האתגר העיקרי בתחרות הוא המספר הקטן של תמונות עם Target=1 . מכיוון שרצו להביא תמונות רבות מכל חולה (בין בודדות ל 200, בממוצע כ 20), ומכיוון שמרבית התמונות, גם בחולה עם מלנומה, הן ללא מלנומה, רק כ 2% מהתמונות היו עם Target=1.
הדבר הקשה על בניית המודלים, אבל יותר מכך עשה שמות ב LB של התחרות. ב Public LB היו רק 78 תמונות חיוביות מתוך מעל 3000 תמונות וב Private LB היו כנראה רק כ 170 תמונות חיוביות.
כתוצאה מכך בסוף התחרות היה Shakeup עצום: המקום הראשון הסופי היה במקום 886 לפי ה Public LB ומעטים מה 50 הראשונים היו בעמדה לקבלת מדליה לפני כן. (המשמעות של הדבר בעיניי היא שהתחרות למעשה נכשלה, המקומות הגבוהים הם די שרירותיים לפי התאמתם ל Private LB).

הקבוצה

אני הייתי חלק מקבוצת Yuval & nosound שכללה אותי ואת nosound שהוא ZAHAR CHIKISHEV (גם ישראלי). זו הפעם הרביעית שאנו משתפים פעולה בקאגל, עד כה בצורה מוצלחת למדי (2*זהב, 2*כסף)
את התחרות סיימנו במקום ה 29 (לפני ה Shakeup היינו במקום שני אבל רק בגלל שזכר מומחה ל LB Probing ושלושה ימים לפני הסיום הגיש פתרון כמעט מושלם שהציב אותנו במקום שני עם התוצאה, הלא אמיתית של 0.9913).

לכתבה המלאה >>

X