אני שמח להזמין אתכם לאירוע הראשון שלנו בסדרת ML Advanced Methods שנעשים בשיתוף עם Mobileye. בכל אירוע מסוג זה, נסקור מספר עבודות בנושאים מתקדמים בתחום ה-ML ונציג פרקטיקות נפוצות לשימוש במודלים חזקים. באירוע הראשון שלנו, לצד שתי הרצאות שעליהן נרחיב בהמשך, יהיה גם סשן של שאלות ותשובות עם פרוספור שי שליו שוורץ בו הוא יוכל להשיב על נושאים מגוונים בתחום ה-ML והרכב האוטונומי. האירוע יתקיים ב-9.12 בשעה 18:00.
ההרשמה מתבצעת דרך הלינק הזה (הוסיפו ליומן).כתבות בנושא כללי
מתלבטים לגבי ניסוחים באנגלית? התוסף הזה של AI21 Labs יפתור לכם את הבעיות
מאת אורי אליאבייב, 17 בנובמבר 2020
תחום עיבוד השפה הטבעית (NLP), על אף היותו ותיק מאוד, יצר הרבה כותרות בשנה האחרונה הודות לפריצות דרך של צוותי מחקר רבים בעולם. פריצות דרך אלה יצרו מודלים מדויקים אשר מצליחים להצטיין בצורה מרשימה למדי במגוון רחב של משימות ומבחנים. על אף כל ההתקדמות הרבה שנעשתה בתחום, ישנו קושי מהותי לקחת את הפיתוחים שנעשו במעבדה ולהמירם למוצרים מוגמרים שיכולים לשרת את הקהל הרחב. זו בעיה נפוצה בעולם ה-ML, אך בתחום חמקמק כמו השפה האנושית נראה כי מדובר על משימה קשה אף יותר. עם כל זאת, לפני כמה שבועות השיקה חברת AI21 Labs הישראלית מוצר חדש בשם "Wordtune" אשר נראה כי מצליח לשלב בין שני העולמות: מודלי שפה איכותיים לצד מוצר צרכני ברמה גבוהה.
מדובר בתוסף לדפדפן אשר מסייע לכם לשפר את האנגלית. חשוב להדגיש: המטרה העיקרית שלו היא לא לתקן שגיאות כתיב או לזהות טעויות הקלדה – מטרתו היא לסייע למשתמש לכתוב טקסט ברמה גבוהה יותר. דמיינו שיש לכם עורך צמוד שאתם יכולים להתייעץ איתו בסוגיות שונות: כיצד לכתוב את הטקסט בצורה רשמית יותר, איך להשתמש בביטוי מסוים, איך לקצר משפט ארוך כדי שיהיה נהיר יותר וכו'. כל אחד מאותם פיצ'רים הוא משימה לא פשוטה בתחום ה-NLP, כזאת שנחקרת על ידי חוקרים רבים מגופי מחקר שונים. בשבועות האחרונים, גם לפני ההשקה הרשמית, יצא לי להשתמש ב-Wordtune במגוון רחב של מקרים (כתיבת מיילים, ניוזלטרים, הצעות מחיר ועוד) ואני חייב לציין שהכלי הזה השאיר אצלי חותם לא קטן.
לאחר ההתקנה הפשוטה מהחנות של כרום, Wordtune בעצם מתלבש על כל תיבת טקסט עליה אתם עובדים – מפוסט פשוט בפייסבוק ועד מייל רשמי מהעבודה. ברגע שאתם מתחילים לכתוב באנגלית, התוסף נכנס לפעולה ומסמן עבורכם מילים שהוא יכול למצוא להן תחליפים מתאימים. זה הפיצ'ר הכי פשוט שלו – הפיצ'רים המתקדמים יותר, ויש לא מעט כאלה, עוסקים ביכולות של Wordtune לעזור לכם להתנסח בצורה טובה יותר. אחד מאותם פיצ'רים הוא היכולת לכתוב את אותו משפט בדיוק בצורה רשמית או קלילה, כאשר כל מה שצריך לעשות הוא לסמן את המשפט ולתת ל-Wordtune לחשוב על ניסוחים אחרים. לאחר כמה שניות תופיע תיבה קטנה לצד המשפט עם ניסוחים שונים, כאשר כל שינוי משמעותי ייצבע בסגול וידגיש בפניכם את ההמלצה של Wordtune.
Applied ML seminars – Synthetic Data (אירוע)
מאת אורי אליאבייב, 16 בנובמבר 2020
אני שמח להזמין אתכם לאירוע הראשון שלנו בסדרת Applied ML seminars שנעשים בשיתוף עם Applied Materials. בכל אירוע מסוג זה, ניקח נושא אחד שמעניין את הקהילה ונדבר עליו בהרחבה מכמה זוויות שונות. לאירוע הראשון בחרנו לדבר על נושא שלא מעט מחברי הקהילה עוסקים בו: דאטה סינתטי. באירוע נדבר על שימושים שונים בדאטה מסוג זה, נלמד על טיפים על איך לעשות בו שימוש ולבסוף גם נבין איך אפשר להשתמש בו גם עד לפרודקשיין. האירוע יתקיים ב-25.11 בשעה 17:00 ויכלול שלושה דוברים מחברות שונות.
ניתן להירשם לאירוע דרך הלינק הזה (הוסיפו ליומן).
כל מה שצריך לדעת על IMVC 2020 – כנס הראייה הממוחשבת הגדול בישראל
מאת אורי אליאבייב, 25 באוקטובר 2020
הקורונה טרפה את הקלפים בלא מעט תחומים אשר השתנו מהקצה אל הקצה. אחד הענפים שהכי נפגע בעקבות הקורונה הוא ענף הכנסים, שכבר לא יכל להתקיים במתכונת הנוכחית שלו. כנסים מקומיים, וגם בינלאומיים כמובן, מאוד חשובים לקהילת ה-ML ופעמים רבות משמשים כפלטפורמה מצוינת ללמידה, החלפת רעיונות וגם כאופציה להכיר פנים מול פנים אנשים מהתחום. אחד הכנסים המשמעותיים שמתקיימים מידי שנה בארץ הוא כנס (IMVC (Israel Machine Vision conference שהפך לאחד מהכנסים החשובים בארץ בתחום ה-ML והראייה הממוחשבת (הוא מתקיים זו השנה ה-11). השנה, בדיוק כמו בשנה שעברה, אנחנו מקיימים שיתוף פעולה עם הכנס ומעניקים לחברי MDLI קוד הנחה: MDLI15 (המעניק 15% הנחה).
כחלק משיתוף הפעולה קיימתי ראיון עם ד"ר חן שגיב, אחת ממייסדות הכנס ששתפה אותנו בלא מעט תובנות על עולם ה-DL ו-CV ולצד זאת גם על הדרך שבה הקורונה השפיעה על הכנס כולו. מעל כל זה, חן ספרה לנו על כמה הרצאות מאוד חשובות שכדאי לכם לשמוע ב-IMVC 2020.
מה מתוכנן לנו השנה וכיצד IMVC 2020 הולך להיות מיוחד?
חן: "כמובן שהבסיס לכנס הוא התוכן שלו – וגם השנה אני חושבת שהצלחנו להביא תוכן רב, מצוין ומגוון: גיטה קוטיניוק, ג'רארד מדיוני בשיחה 1-1, מיכל אירני, שי שליו שוורץ, אמיר גלוברזון, טלי דקל, טל הסנר, טל ארבל, נדב כהן, נתנאל בוביס, מיכאל ברונשטיין ומתן פרוטר. מעבר לזה יש למעלה מ- 30 הרצאות וארבעה פנלים. השנה נערוך אירוע פתיחה כבר ברביעי בערב והכנס יתקיים בחמישי בין 12:00 ל- 19:00 בערב".
המסלול הנכון לקריירה בבינה מלאכותית [פודקאסט עושים תוכנה]
מאת אורי אליאבייב, 6 בספטמבר 2020
אחת השאלות הנפוצות ביותר בתחום ה-DS/ML היא איך להיכנס לתחום. בעקבות העליה בפופלאריות של עולם הבינה המלאכותית עוד ועוד אנשים מעוניינים לעשות את צעדיהם הראשונים בעולם זה, אך לא תמיד יודעים כיצד. כדי לעשות סדר בנושא ועל מנת לפרוש בפני אלו שבראשית דרכם את האופציות השונות העומדות בפניהם, הוזמנתי על ידי עמית בן דור לשיחה מקיפה על הנושא כחלק מהפודקאסט המצליח "עושים תוכנה". כך יצא שהקלטנו שני פרקים מלאים אשר עוסקים בסוגיה ממספר זוויות שונות – החל מהסבר פשוט לכל תפקיד בתחום ועד טיפים מתקדמים לאיך אפשר להתברג בתעשיית ה-ML בארץ.
בפרק הראשון, הסברנו תחילה מדוע התחום צובר תאוצה רבה כל כך בשנים האחרונות ומה המוטיבציה של אנשים רבים לנסות להצטרף אליו. דברנו על המשכורות הגבוהות, הפיתוח בחזית העשייה, הפן המחקרי של העבודה ועוד סיבות נוספות. לאחר מכן, ורגע לפני שאנחנו צוללים לאיך אפשר להיכנס לתחום, שטחנו בפני המאזינים את מגוון התפקידים הרחב שיש בעולם ה-AI והסברנו בצורה פשוטה מה מגדיר כל תפקיד, מה תחום העיסוק שלו ובמה הוא שונה משאר התפקידים. התייחסנו כמובן לתפקידי ה-Data scientist, Data Analyst, חוקר ועוד. זו הזדמנות מצוינת עבור כל מי שלא היה בטוח בהבדלים בין התפקידים, להבין כעת מה מבדיל כל תפקיד ותפקיד.
Listen to "[עושים תוכנה] איך נכנסים לעולם הData science? המתכון המלא" on Spreaker.
תגיות: Data Analyst, data scientist, data scientist קורס, NVIDIA, Riskified, אלעד כהן, הכשרות data science, הכשרות Deep learning, הכשרות Machine learning, טבלאת שכר data science, טבלת שכר data scientist, כניסה לעולם ה-AI, כניסה לעולם ה-ML, לימודי AI, למידה חישובית, למידה עמוקה, ספר deep learning, ספר machine learning, ספר למידה חישובית, ספר למידה עמוקה, עמית בן דור, עמית מנדלבאום, קורס data science, קורס Deep learning, קורס machine learning, קורס למידה חישובית, קורס למידה עמוקה, קריירה AI, שכר data science, שכר data scientist
#2 MDLI ops – פרטים ורישום
מאת אורי אליאבייב, 1 בספטמבר 2020
אני שמח להזמין אתכם לאירוע השני בסדרת אירועי MDLI ops שיעניק דגש לצד הטכני יותר של העבודה היומיומית. אירועים אלו יעניקו במה לחברות ישראליות שפועלות בתחום, מה שיאפשר להן להגיע לקהל רחב יותר של משתמשים. במקביל אירועים אלו יאפשרו לחברי הקהילה לשתף מתודולוגיות עבודה נכונות או כלים אחרים מומלצים שהם חלק משגרת העבודה שלהם. האירוע הראשון כולל 3 הרצאות מגוונות ומעניינות שיעסקו כל אחת בכלי או בעיה נפוצה בעת אימון מודלים. האירוע יתקיים בתאריך ה-09.9.2020 בשעה 18:00 ויועבר בשידור חי לחברי הקבוצה. כדי שאוכל לדעת באיזה כלי לשדר את האירוע, מה שיושפע מכמות הנרשמים, חשוב להירשם בלינק המצורף כדי שאוכל לדעת כיצד להיערך לכך בהתאם.
כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה
ניתן להירשם בלינק הבא.רשימת ההרצאות: לכתבה המלאה >>
תגיות: allegro, Ariel Biller, DAGsHub, Dev ops, Edo Liberty, Guy Smoilovsky, HyperCube, MDLI ops, ML ops
לא רק סייבר: נירמול היחסים עם איחוד האמירויות יכול להביא בשורה בתחום הבינה המלאכותית
מאת אורי אליאבייב, 27 באוגוסט 2020
ההסכם שהוכרז בין ישראל לאיחוד האמירויות עורר עניין רב בקרב אזרחי שתי המדינות, וניכר כי שיתוף פעולה עמוק ביניהן במגוון רחב של נושאים נמצא ממש מעבר לפינה. לצד ההתרגשות, חשוב להדגיש כי על אף שמדובר על הכרזה רשמית שהגיעה רק עכשיו, מדינת ישראל וחברות מקומיות רבות פועלות כבר שנים רבות במדינות המפרץ ומכרו להן טכנולוגיות שונות. נכון, במרבית המקרים היה מדובר בעסקאות סייבר שנחתמו בחדרי חדרים, אך יש עוד תחום שיכול להוציא את שיתוף הפעולה בין המדינות מהמחשכים לחזית הפיתוח הטכנולוגי – הבינה המלאכותית.
גורמי ממשל באיחוד האמירויות הבינו כבר לפני כמה שנים כי מדובר בתחום שצפוי לחולל מהפיכה טכנולוגית וכלכלית, והחליטו לעשות הכל כדי לתפוס מקום בשורה הראשונה. כפועל יוצא מכך, באוקטובר 2017 איחוד האמירויות הפכה למדינה הראשונה בעולם שמינתה שר לבינה מלאכותית. המינוי של עמר סלטאן אלעלמאא' (Omar Al Olama) לשר האחראי על התחום היא ראיה למידת הרצינות שמעניקה הממשלה במפרץ לתחום, ועד כמה חשובה לה ההובלה בטכנולוגיה זו דווקא. לכתבה המלאה >>
סיכום תחרות Kaggle SIIM-ISIC Melanoma Classification (קבוצת MelANOVA)
מאת ים פלג, 23 באוגוסט 2020
סיכום תחרות זו עלה כחלק מפוסט של ים פלג.
קבוצת MelANOVA:
על התחרות:
מלנומה – סרטן שרוב גידולו מתחילים בעור.
דיאגנוזה למלנומה כוללת בין היתר התבוננות בנקודות חן ושומות.
הבעיה ברורה: אנחנו מקבלים תמונות של שומות -> צריכים להחזיר: "כן סרטני" / "לא סרטני".
התחרות רצה שנה אחרי שנה כבר כמה שנים ברציפות.
את התחרות פתחנו במקום הראשון.
הגשה של ספי ונתי מהרצת האלגוריתם שפיתחו לתחרות של שנה שעברה.
אף אחד מאיתנו לא חשב שהמצב ימשיך כך לאורך זמן, ישבנו וחשבנו על אסטרטגיה מנצחת להמשך התחרות.
אז איך מנצחים תחרויות מדע נתונים? [מסודר לפי סדר חשיבות]
- אסטרטגית Cross Validation טובה.
- ניקוי טוב של הנתונים.
- הנדסת פיצ'רים טובה.
- מציאת טריקים\"רמאויות קטנות" בדאטה או במטריקה.
- מודל טוב.
- אופטימיזציה טובה להיפרפרמטרים.
- שיטה טובה לאנסמבל [בדגש על סטאקינג].
- שיטה טובה לאוגמנטציות (גם בזמן האימון וגם בזמן ההרצה – TTA).
- כוח מחשוב. זה תמיד עוזר.
- מזל. (כן כן! מזל מאוד עוזר)
תגיות: AugMix, auto-encoder, BatchNorm, Coarse dropout, Cutmix, CutOut, Decoder, DenseNet, EfficientNet, FastAI, GAN, Group Convolutions, Imagenet, Kaggle, Lior Rokach, Melanoma Classification, MelANOVA, Mixup, Nathaniel Shimoni, Nir Malbin, Pretraining Weights, PyTorch, RandomBrightness, Seffi Cohen, Self-Supervision, SIIM-ISIC, SIIM-ISIC Melanoma Classification, TensorFlow, TPU, VQVAutoEncoder, Yam Peleg
סיכום זה נכתב כחלק מפוסט של Yuval Reina
על התחרות
כפי שנכתב התחרות מתרכזת בזיהוי של מלנומה בתמונות של כתמים ונקודות חן שונות.
תחרות כזו מתקיימת כבר מספר שנים על פלטפורמות שונות (לאו דווקא Kaggle), כאשר החידוש השנה הוא ברצון לראות האם ניתן להשתמש במספר תמונות מאותו חולה לשם שיפור דיוק הגילוי.
המידע הוא תמונות + ID של החולה ומספר נתונים על החולה – גיל (בעת צילום התמונה), מין, על התמונה – מיקום, איזה סוג כתם זוהה (נקודת חן/מלנומה/וכו') וה Target – כן/לא מלנומה.
הקריטריון של התחרות היה AUC – ROC
האתגר העיקרי בתחרות הוא המספר הקטן של תמונות עם Target=1 . מכיוון שרצו להביא תמונות רבות מכל חולה (בין בודדות ל 200, בממוצע כ 20), ומכיוון שמרבית התמונות, גם בחולה עם מלנומה, הן ללא מלנומה, רק כ 2% מהתמונות היו עם Target=1.
הדבר הקשה על בניית המודלים, אבל יותר מכך עשה שמות ב LB של התחרות. ב Public LB היו רק 78 תמונות חיוביות מתוך מעל 3000 תמונות וב Private LB היו כנראה רק כ 170 תמונות חיוביות.
כתוצאה מכך בסוף התחרות היה Shakeup עצום: המקום הראשון הסופי היה במקום 886 לפי ה Public LB ומעטים מה 50 הראשונים היו בעמדה לקבלת מדליה לפני כן. (המשמעות של הדבר בעיניי היא שהתחרות למעשה נכשלה, המקומות הגבוהים הם די שרירותיים לפי התאמתם ל Private LB).
הקבוצה
אני הייתי חלק מקבוצת Yuval & nosound שכללה אותי ואת nosound שהוא ZAHAR CHIKISHEV (גם ישראלי). זו הפעם הרביעית שאנו משתפים פעולה בקאגל, עד כה בצורה מוצלחת למדי (2*זהב, 2*כסף)
את התחרות סיימנו במקום ה 29 (לפני ה Shakeup היינו במקום שני אבל רק בגלל שזכר מומחה ל LB Probing ושלושה ימים לפני הסיום הגיש פתרון כמעט מושלם שהציב אותנו במקום שני עם התוצאה, הלא אמיתית של 0.9913).
תגיות: Attention, ColorJitter, Concatenate, Cross Entropy, CutOut, Embedding, Flip, Focal Loss, Fully Connected, HairAdd, Imagenet, imbalance, Kaggle, LB probing, Melanoma Classification, Metadata, Mixed Integer Programming, Random ResizeCrop, Rotation, SIIM-ISIC, softmax, Transformer Encoder, Yuval Reina, ZAHAR CHIKISHEV
ריכוז מידע על ACLi הראשון
מאת אורי אליאבייב, 20 באוגוסט 2020
כפי שהובטח, אנו מארגנים גרסה מקומית של כנס ACLi בו יציגו דוברים ישראליים את העבודות אותן הם הציגו בכנס ACL עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ACL העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא להביא במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם. כל הרצאה בכנס תהייה בת 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו.
השנה, בעקבות מספר הגבוה מאוד שלי חוקרים ישראליים שהתקבלו ל-ACL, האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים בתאריך ה-27/08/2020, בשעה 18:00 עד 21:00 והאירוע השני יתקיים בתאריך ה-30/08/2020, בשעה 18:00 עד 21:00.
כמו כן, לאחר האירוע אשלח את כל המצגות והוידאו בצורה מסודרת בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), בערוץ טלגרם, בערוץ היוטיוב וגם אעדכן את העמוד הזה . ההרשמה לאירוע מתבצעת דרך הטופס הזה.
תגיות: Adva Wolf, AI21 Labs, Amit Seker. Reut Tsarfaty, Amnon Shashua, and other recent advances in pre-training, Ankit Gupta, Assaf Toledo, Associate Professor, Avi Caciularu, Bar Ilan University, Bar Ilan University / The Allen Institute for Artificial Intelligence (AI2), Barak Lenz, Bart, Bayesian Hierarchical Words Representation Learning, Break It Down: A Question Understanding Benchmark, CausaLM: Causal Model Explanation Through Counterfactual Language Models, Christopher Ré. Hila Gonen, Da-Cheng Juan, Dafna Shahaf. Yosi Mass, Dan Lahav, Dan Padnos, Daniel Deutch, David Konopnicki. Roy Bar-Haim, Deep Contextualized Self-training for Low Resource Dependency Parsing, DICTA & Bar Ilan University, Djamé Seddah, Fahim Dalvi, Francesco Piccinno, Frederic Sala, From Arguments to Key Points: Towards Automatic Argument Summarization, From SPMRL to NMRL: What did we learn and unlearn in a decade of parsing MRLs, Getting the ##life out of Living: Can word pieces model complex morphology?, Google, Haggai Roitman, Hassan Sajjad, Hebrew University, Hila Gonen, IBM Research AI, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora, James Glass. Adva Wolf, Julian Martin Eisenschlos. Shaltiel Shmidman, Language (Re)modelling: Towards Embodied Language Understanding, Low-Dimensional Hyperbolic Knowledge Graph Embeddings, Matt Gardner, Michael Twito, Michal Jacovi, Microsoft / Tel Aviv university, Miriam RL Petruck, Nadir Durrani, Nakdan: Professional Hebrew Diacritizer, Noam Koenigstein. Amir Feder, Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection, Obtaining Faithful Interpretations from Compositional Neural Networks, Omri Abend, Or Dagan, Or Sharir, Ori Ram, other members: . Aryeh Tiktinsky, other members: . Reut Tsarfaty, other members: Carmel Rabinovitz, other members: Dan Barket, other members: Hassan Sajjad, other members: Ines Chami, other members: John M. Wu, other members: Lilach Eden, other members: Omer Levy. Eyal Ben David, other members: Oren Barkan, other members: Stav Klein. Ofir Press, other members: Yoav Goldberg, other members: Yoav Goldberg. Amir Feder, Out of the Echo Chamber: Detecting Countering Debate Speeches, PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models, PhD Student, Predicting In-game Actions from Interviews of NBA Players, Probing Classifiers and Similarity Measures for Analyzing Language Representations, pyBART: Evidenvce-based syntactic transformations for IE, Ranit Aharonov, Research scientist, researcher, Reut Tsarfaty. Yonatan Belinkov, roBERTa, Roee Aharoni, Roi Reichart., Roi Reichart. Yonatan Belinkov, Roni Friedman, Sandwich Transformers, Senior lecturer, SenseBERT: Driving Some Sense into BERT, Sentior Researcher, Shai-Shalev Shwartz, Similarity Analysis of Contextual Word Representation Models, Simple, SpanBERT, Stanford / Google Research, Stav Klein, Sujith Ravi, TAPAS: Weakly Supervised Table Parsing via Pre-training, Technion, Tel Aviv University, Tel Aviv University / Facebook AI Research, Tel Aviv University / Google, Tel Aviv University / The Allen Institute for Artificial Intelligence (AI2), Thomas Müller, Tom Hope, Towards Faithfully Interpretable NLP Systems: How should we define and evaluate faithfulness?, University of Washington, Unsupervised Domain Clusters in Pretrained Language Models, Unsupervised FAQ Retrieval with Question Generation and BERT, Uri Shalit, Yoav Goldberg, Yoav Kantor, Yoav Shoham. Idan Rejwan
