כתבות עם התגית Kaggle

מוזמנים להשתתף בתחרות של יחידת המו״פ במפא"ת (MAFAT Challenge) – תחרות למידת מכונה שעוסקת ב- WiFi Sensing, חישה על בסיס אותות WiFi!

הפוסט פורסם לראשונה בקהילה שלנו על ידי ערן דהן ומובא כאן במסגרת שיתוף פעולה שלנו עם מפא"ת. כל מי שמעוניין, מוזמן להירשם ולהתחרות (הקישור להרשמה בסוף הפוסט).

פרטים על התחרות

זו התחרות השלישית בסדרה של תחרויות שמפא"ת עורכת בסיועה של חברת ווביקס – במטרה ליצור חיבורים לא טריוויאליים בין האתגרים הטכנולוגיים-מבצעיים שמעניינים את מפא"ת לבין קהילת הדאטה-סיינס והחוקרים בארץ ובעולם. התחרויות הקודמות עסקו בניתוח של צילומי אוויר ובקלסיפיקציה של מידע מכ"מי.

התחרות פתוחה לכולם. מי שירשם לתחרות יקבל גישה לדאטה-סט ייחודי שאספנו ותייגנו – דאטה-סט שכולל סדרות זמן של RSSI – עוצמת האות המתקבלת על ידי המקלט ברשת WiFi שנוצרת בין מכשירי קצה שממוקמים במיקומים שונים בתוך ומחוץ לחדר לבין נתב שנמצא בתוך החדר – במצבים שונים של נוכחות אנשים בחדר.

לכתבה המלאה >>

סיכום תחרות זו עלה כחלק מפוסט של ים פלג.

קבוצת MelANOVA:
על התחרות:
מלנומה – סרטן שרוב גידולו מתחילים בעור.
דיאגנוזה למלנומה כוללת בין היתר התבוננות בנקודות חן ושומות.
הבעיה ברורה: אנחנו מקבלים תמונות של שומות -> צריכים להחזיר: "כן סרטני" / "לא סרטני".
התחרות רצה שנה אחרי שנה כבר כמה שנים ברציפות.
את התחרות פתחנו במקום הראשון.
הגשה של ספי ונתי מהרצת האלגוריתם שפיתחו לתחרות של שנה שעברה.
אף אחד מאיתנו לא חשב שהמצב ימשיך כך לאורך זמן, ישבנו וחשבנו על אסטרטגיה מנצחת להמשך התחרות.
אז איך מנצחים תחרויות מדע נתונים? [מסודר לפי סדר חשיבות]
  1. אסטרטגית Cross Validation טובה.
  2. ניקוי טוב של הנתונים.
  3. הנדסת פיצ'רים טובה.
  4. מציאת טריקים\"רמאויות קטנות" בדאטה או במטריקה.
  5. מודל טוב.
  6. אופטימיזציה טובה להיפרפרמטרים.
  7. שיטה טובה לאנסמבל [בדגש על סטאקינג].
  8. שיטה טובה לאוגמנטציות (גם בזמן האימון וגם בזמן ההרצה – TTA).
  9. כוח מחשוב. זה תמיד עוזר.
  10. מזל. (כן כן! מזל מאוד עוזר)

לכתבה המלאה >>

סיכום זה נכתב כחלק מפוסט של Yuval Reina

על התחרות

כפי שנכתב התחרות מתרכזת בזיהוי של מלנומה בתמונות של כתמים ונקודות חן שונות.
תחרות כזו מתקיימת כבר מספר שנים על פלטפורמות שונות (לאו דווקא Kaggle), כאשר החידוש השנה הוא ברצון לראות האם ניתן להשתמש במספר תמונות מאותו חולה לשם שיפור דיוק הגילוי.
המידע הוא תמונות + ID של החולה ומספר נתונים על החולה – גיל (בעת צילום התמונה), מין, על התמונה – מיקום, איזה סוג כתם זוהה (נקודת חן/מלנומה/וכו') וה Target – כן/לא מלנומה.
הקריטריון של התחרות היה AUC – ROC
האתגר העיקרי בתחרות הוא המספר הקטן של תמונות עם Target=1 . מכיוון שרצו להביא תמונות רבות מכל חולה (בין בודדות ל 200, בממוצע כ 20), ומכיוון שמרבית התמונות, גם בחולה עם מלנומה, הן ללא מלנומה, רק כ 2% מהתמונות היו עם Target=1.
הדבר הקשה על בניית המודלים, אבל יותר מכך עשה שמות ב LB של התחרות. ב Public LB היו רק 78 תמונות חיוביות מתוך מעל 3000 תמונות וב Private LB היו כנראה רק כ 170 תמונות חיוביות.
כתוצאה מכך בסוף התחרות היה Shakeup עצום: המקום הראשון הסופי היה במקום 886 לפי ה Public LB ומעטים מה 50 הראשונים היו בעמדה לקבלת מדליה לפני כן. (המשמעות של הדבר בעיניי היא שהתחרות למעשה נכשלה, המקומות הגבוהים הם די שרירותיים לפי התאמתם ל Private LB).

הקבוצה

אני הייתי חלק מקבוצת Yuval & nosound שכללה אותי ואת nosound שהוא ZAHAR CHIKISHEV (גם ישראלי). זו הפעם הרביעית שאנו משתפים פעולה בקאגל, עד כה בצורה מוצלחת למדי (2*זהב, 2*כסף)
את התחרות סיימנו במקום ה 29 (לפני ה Shakeup היינו במקום שני אבל רק בגלל שזכר מומחה ל LB Probing ושלושה ימים לפני הסיום הגיש פתרון כמעט מושלם שהציב אותנו במקום שני עם התוצאה, הלא אמיתית של 0.9913).

לכתבה המלאה >>

X