כתבות בנושא Machine Learning

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

פוסט זה נכתב על ידי עומר קורן, מנכ״ל Webiks

בחודשים האחרונים הייתי חבר בצוות שפעל מטעם מפא"ת ובחן את השימושיות של טכנולוגיות בינה מלאכותית בהתמודדות של גופים שונים בישראל עם משבר הקורונה. העבודה שלי התבססה על דאטה פתוח מהארץ ומהעולם. אני חושב שהייתה לי פרספקטיבה מעניינת על המפגש בין "הקהילה" שלנו, קהילת הדאטה-סיינס, למידת המכונה והבינה המלאכותית בישראל, לבין "המדינה" – משרד הבריאות, משרדי ממשלה ומוסדות נוספים.

מהפרספקטיבה הזו אני מרשה לעצמי לומר שאני חושב שפספסנו כאן הזדמנות אדירה להביא חדשנות פתוחה ושימושית מתוך המפגש הזה. במבחן התוצאה, אנחנו, בתור קהילה, לדעתי, נכשלנו. לא תרמנו תרומה משמעותית להתמודדות של מדינת ישראל עם משבר הקורונה.

זה לא פוסט של הלקאה עצמית. זה גם לא פוסט של ריסוס האשמות כלפי אחרים. זה פוסט של הסתכלות ביקורתית על העבר מתוך תקווה ללמוד ולהשתפר בעתיד. צעד אחד קטן של Backpropagation, אם תרצו.

נהוג לומר בימים אלו "הקורונה כאן כדי להישאר" ו"אנחנו צריכים ללמוד לחזור לשגרה בנוכחות קורונה" – וברוח זו אני חושב שעדיין לא מאוחר לתקן טעויות שעשינו. בניגוד לאחרים אני לא חושב שהבעיה היא בעיה מהותית, שמסיבה אינטרינזית כזו או אחרת דאטה-סיינס פשוט לא יכול לעזור להתמודדות עם פנדמיות. להיפך, אני חושב שהבעיה היא בעיה של התנהלות ושל דינמיקה, ואת אלו אפשר ואפילו קל, אולי, לשנות ולשפר.

אתחיל מלתאר שתי דוגמאות ל"פספוסים". שני נושאים שבהם הקהילה שלנו, לדעתי, יכלה לתרום תרומה משמעותית להתמודדות של מדינת ישראל עם המשבר. אחרי הדוגמאות לפספוסים אנסה להציע קצת הסברים.  לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

בצורה קצת יותר מפורטת. למה לעשות תואר שני, איך לעשות תואר שני, וכל הסיבות למה אתם לא עושים או רוצים לעשות תואר שני ולמה הן לא רלוונטיות. אזהרה: פוסט ארוך!

קצת רקע, ראיינתי בשנתיים וחצי האחרונות למעלה מ150 מועמדים לתפקידי דאטה סאיינטיסט. אני שומר על ראש פתוח ולכן ראיינתי כמעט כל סוג אפשרי

1. אנשים ותיקים מאוד בהיי-טק שלאחרונה נכנסו לתחום.

2. אנשים שעשו תואר ראשון (ואולי גם שני ושלישי) ואז עשו קורס של אחת המכללות למיניהן (בלי להזכיר שמות) כולל תוכניות מאוד אינטנסיביות שחלק כאן מכירים.

3. אנשים כמעט בלי רקע בתחום אבל עם רקע מתמטי\מדעי חזק מאוד.

4. אנשים שעובדים כבר כמה שנים בתחום.

5. אנשים שסיימו עכשיו תואר שני בתחום.

6. אנשים שסיימו תואר ראשון ולקחו כמה קורסים + פרויקט.

בלי להיכנס כרגע להכללות ובלי לפגוע באף אחד, ותוך הסתייגות שתמיד תמיד יש יוצאי דופן, להפתעתי (שוב, כי אני מנסה לשמור על ראש פתוח), מי שהפגינו את היכולות הטובות ביותר בראיונות היו אלו שעשו תואר שני בתחום (או לכל הפחות קרוב לתחום) עם סטייה קלה לאנשים שעשו תואר שני או שלישי אחר (למשל פיזיקה, ביולוגיה, מתמטיקה) עם רקע של הצטיינות ונכנסו לתחום לאחרונה דרך המחקר שלהם, עבודה שלהם, או עצמאית. כמובן שאלה שעשו תואר שני וכבר עובדים כמה שנים בתחום היו טובים, אבל אלה למרבה הצער נדירים ביותר.

קצת רקע נוסף שלא תחשבו שאני סתם איזה מתנשא שזורק עליכם "תעשו תואר שני" בלי שיש לכם אפשרות, אז אני התחלתי תואר שני במדעי המחשב, בגיל 30, כשהייתי עם שני ילדים, אחרי שנתיים בתעשייה ועם תואר ראשון בהנדסה (כלומר הרבה השלמות לתואר השני) ועם זה שהייתי צריך גם לעבוד במקביל לחלק מהתואר. וכן, היו אתי בתואר השני לא מעט אנשים כאלה (פחות או יותר), כולם סיימו וכולם עובדים היום בתחום.

אז נתחיל משאלת השאלות, למה בכלל לעשות תואר שני?

לכתבה המלאה >>

תחום ה-Data Science צבר תאוצה רבה בשנה האחרונה ונראה שישנם עוד ועוד אנשים שרוצים לסלול את דרכם פנימה לעולם זה. מגמה זו הובילה אותי בשנה שעברה ליצור שיתוף פעולה עם Y-DATA – תוכנית ההכשרה של יאנדקס. כפועל יוצא משיתוף פעולה זה הכנתי כתבה מקיפה על התוכנית הלימודית של Y-DATA בה צללנו לעומק של הסילבוס ולמדנו להכיר לראשונה את המהות של התכנית והדגש הרב שהיא שמה על התכנים האקדמיים. שנה שלמה עברה מאז ויאנדקס ממשיכה בכל הכוח ופותחת מחזור נוסף לתכנית ההכשרה שלה שכוללת הפעם תכנים רבים נוספים. ומעל כל זאת, החידוש האמיתי של המחזור הנוכחי הוא האפשרות להשתתף בתכנית במודל "לימודים מבוססי הצלחה" ולשלם על הקורס רק במידה ואכן הצלחתם למצוא עבודה בתחום.

לפני שאנחנו צוללים פנימה לשינויים, נסביר קצת מה היא תכנית Y-DATA ומה עומד מאחוריה. מי שירצה לקרוא על כך בהרחבה מוזמן כמובן לעיין בכתבה שהכנתי בשנה שעברה אשר מופיעה בפסקה הקודמת. Y-DATA היא בעצם תוכנית הכשרה בתחומי הדאטה אשר פונה למועמדים בעלי רקע אקדמי עשיר ו\או נסיון של כמה שנים לפחות בכתיבת קוד אשר רוצים לעשות הסבה לתחום ה-Data Science. התכנית היא שלוחה של בית הספר למדעי הנתונים של חברת יאנדקס (YSDA), הפעיל מזה מעל לעשור במספר ערים ברוסיה. התכנית חרטה על דגלה להכשיר את הסטודנטים שלה לשוק העבודה ולספק להם כלים של ממש, כאלה שיאפשרו להם למצוא עבודה במהרה בסיום הקורס. בשנה שעברה המחזור הראשון של התוכנית בארץ הפך במהרה להצלחה רצינית – בין היתר בזכות פרויקטי הגמר המרשימים שעליהם עוד נדבר בהמשך. כפי שציינתי, השנה התכנית עברה מקצה שדרוגים רחב והתאימה את עצמה לשוק הדינמי הישראלי.

כדי להכיר לעומק את כל השינויים שנעשו בתוכנית, ולכדי לשמוע מידע נוסף על תוכנית המלגות החדשה, קיימתי ראיון עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל. כמו כן, חשוב לי לציין כי בדומה לשנה שעברה, גם השנה אנחנו מקיימים שיתוף פעולה עם יאנדקס, מה שמקנה לכם 1,000 שקל הנחה בשימוש בקוד MDLI. באתר ההרשמה.

תשלום מבוסס הצלחה

לכתבה המלאה >>

נכתב במקור כפוסט בקבוצת Machine & Deep learning Israel

אני רואה שיש פה לאחרונה הרבה דיונים על פרוייקטים ומה כדאי לעשות. הקדשתי לנושא הזה הרבה מחשבה לאחרונה לקראת הקורס שאני מתחיל ללמד באונ' ת"א ואני רוצה לחלוק פה את המחשבות שלי בתקווה שיעזרו לכמה אנשים למקד את המאמצים שלהם. הפוסט הזה מביע את דעתי האישית בלבד, ואין לי דאטא שיתמוך בה אז כל אחד מוזמן לפרש לפי ראות עיניו.

“If we have data, let’s look at data. If all we have are opinions, let’s go with mine.” -Jim Barkdale

אז קודם כל למה שתקשיבו לי בכלל?

חוץ מזה שאני ד"ר בתחום (חשמל בת"א חקרתי קבלת החלטות דינמית), אני גם בתעשייה כבר 4 וחצי שנים, הייתי מוביל טכנולוגי, הקמתי צוות ובדרך להקים עוד אחד (ובדרך ריאיינתי לפחות עשרות אנשים), ואם אתם אוהבים את גאמפא אז גם הייתי שנתיים במיקרוסופט ועבודות שלי הוצגו בכנסים פנימיים של החברה בנוסף לכנסים אקדמיים ולמוצרים מאד מצליחים. אפילו פרצתי דרך בתחום או שניים, אבל זה כבר נושא לפוסט אחר (וחלק מזה בכלל אסור לי לספר).

אז עכשיו אחרי שחפרתי מספיק על הניסיון שלי, מה אני מציע?

לכתבה המלאה >>

בתקופה האחרונה אנחנו שומעים לא מעט על תחום ה-DeepFake ועל יכולתם של אלגורתמים מסוימים לזייף קטעי וידאו ברמת דיוק גבוהה למדי, ולמעשה ליצור תוכן שלא הוסרט מעולם. תוסיפו לכך את העובדה ש"חסמי הכניסה" ירדו באופן משמעותי (היום לא צריך צוות של חוקרים מומחים ועלויות הפיתוח זניחות יחסית) ותקבלו קרקע פוריה ללא מעט זיופים.

ההתקדמות הטכנולוגית הזו גרמה ללא מעט גופים וחברות ברחבי העולם להבין כי חוקי המשחק השתנו. כל אותם גופים הבינו כי עליהם למצוא פתרונות טכנולוגיים שיוכלו לסייע להם בתהליך אימות המידע שמגיע אליהם – משימה קשה הרבה יותר מאשר "רק" ליצור את התוכן המזויף. לכתבה המלאה >>

כפי שצוין בפוסט, אנחנו מארגנים גרסה מקומית של כנס NeurIPSi בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס NeurIPS עצמו. נתחיל ונציין כי אין קשר רשמי לכנס NeurIPS העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לאפשר לאלו שלא ייקחו חלק בכנס ליהנות מתכנים והרצאות ברמה המקצועית הגבוהה ביותר. האירוע יתקיים בתאריך ה28/11/2019, בשעה 18:00, במשרדי Akamai (תוצרת הארץ 8, תל אביב – בניין ToHa קומה 17) ויכלול הרצאות בנות 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו. כמו כן, לאחר האירוע אשלח את כל החומרים בצורה מסודרת בניוזלטר של הקהילה וגם אעדכן את העמוד הזה (הירשמו לניוזלטר כדי להישאר מעודכנים).

בנוסף להרצאות של NeurIPS, תהייה לנו גם הופעת אורח של תמר רוט שחם שתציג את המאמר: "SinGAN: Learning a Generative Model from a Single Natural Image" שזכה ל-Best paper ב-ICCV. המאמר נכתב בשיתוף טלי דקל ותומר מיכאלי.

ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (מתעדכן): לכתבה המלאה >>

עריכה:
ההרשמה כבר הגיעה למספר מאוד גבוה של אנשים ולכן אני פותח רשימת המתנה עבור כל מי שלא הספיק להירשם: http://bit.ly/2ktLogQ

כפי שהובטח, אני עושה פיילוט ראשוני ומארגן גרסה מקומית של כנס ICCV בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICCV עצמו. בכנס הנ"ל יוצגו גם שתי עבודות מכנס IJAIC. נתחיל ונציין כי אין קשר רשמי לכנס ICCVI או IJAIC העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לאפשר לאלו שלא ייקחו חלק בכנס ליהנות מתכנים והרצאות ברמה המקצועית הגבוהה ביותר. האירוע יתקיים בתאריך ה25/09/2019, בשעה 18:00, במיקרוסופט ריאקטור ויכלול כ-14 הרצאות בנות 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו. כמו כן, לאחר האירוע אשלח את כל החומרים בצורה מסודרת בניוזלטר של הקהילה וגם אעדכן את העמוד הזה (הירשמו לניוזלטר כדי להישאר מעודכנים). ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (מתעדכן):

לכתבה המלאה >>

לאחר למעלה מתשעה חודשים, בערב תצוגת פרויקטי גמר, הגיע לסופו בתחילת השבוע ה-MDLI Course – קורס ההתנדבותי שארגנו Eran PazGil LeviNir Ben-Zvi ואנוכי. הקורס שהועבר היה זהה לקורס CS231n: Convolutional Neural Networks for Visual Recognition של אוניברסיטת סטנפורד. לאחר ארבעה חודשים של קורס, חיברנו לסטודנטים שלנו מנטורים מהתעשייה, שהנחו אותם לאורך כל פרויקט הגמר. לאחר סיום העבודה על הרעיונות השונים שלהם, הסטודנטים שלנו הציגו את הפרויקטים שלהם בדמו דיי מיוחד שארגנו לכבודם בגוגל קמפוס.

בערב זה הוצגו שמונה פרויקטים מרתקים שסיכמו את כל מה שהסטודנטים שלנו למדו בחודשים האחרונים. כל פרויקט היה ייחודי ומעניין, ואף גרם לסטודנטים "לכלכך" קצת את הידיים ובאמת להרגיש איך זה לעבוד על אתגר אמיתי מקצה לקצה. ואם זה לא מספיק, גם בערב הזה, בדיוק כמו בקורס, יחס הגברים והנשים שהציגו היה זהה. בהמשך הכתבה תוכלו לראות את כל המצגות אותן הציגו הסטודנטים ואף את פרטיהם ליצירת קשר ולמידע נוסף.

זו הזדמנות מעולה גם להודות לכל המנטורים שנרתמו ועזרו לסטודנטים שלנו בפרויקטי הגמר. כולם, ללא יוצא מן הכלל, עבדו צמוד איתם לאורך כל הפרויקט וידעו תמיד ללוות ולכוון שצריך. המנטורים מוזכרים במצגות עצמן ואנחנו קוראים מכאן לחברות נוספות שרוצות לקחת חלק בפרויקטי בשנה הבאה לפנות אלינו כבר עכשיו.

תודה נוספת היא לכל הצוות בגוגל שהעניק לנו מעטפת אדירה והדוקה שסייעה לנו הרבות לצלוח את הקורס בכזו הצלחה. תודה ראשונה וענקית היא ל Naama Yanko שדאגה לקרדיטים בענן לכל הסטודנטים שלנו לקורס (וגם לתוספות הגדולות בזמן העבודה על פרויקטי הגמר). תודה עצומה, לכל הצוות המקצועי של הקמפוס שאירח אותנו במשך ארבעה חודשים בכל שבוע ותמיד היו שם בשבילינו.

נשמח גם להודות ל Matan Friedmann, בוגר הקורס הראשון שלנו, שהצטרף כמתרגל במחזור הזה וסייע לנו לא מעט בשמירה על הרמה הגבוהה של הסטודנטים. זו דוגמא מדהימה לדרך שהבוגרים שלנו משתלבים בחזרה כדי לסייע לקהילה ועד כמה הם הפכו להיות חזקים בתחום. מתן כמובן ימשיך איתנו בשנה הבאה ויעזור לנו להרים את הרמה של הסטודנטים הבאים אפילו מעבר.

תודה גדולה גם כמובן לכל הסטודנטים שלנו שהתמידו ועבדו קשה כדי לגרום לערב הזה להיות ברמה הגבוהה ביותר. תודה גם לכל האורחים שלנו מהתעשייה שהגיעו לשמוע על הפרויקטים, לשאול שאלות ולהתרשם מהעשייה של הסטודנטים.

נשאלנו הרבה פעמים אם ומתי נפתח קורס נוסף והיכן אפשר להתעדכן על כך. אנחנו מאמינים כי כן נפתח מחזור נוסף והוא ככל הנראה יתקיים בחודש נובמבר כמו בפעם הקודמת. ניתן להתעדכן בקבוצה ואני ממליץ גם להירשם לניוזלטר כדי להבטיח שלא תפספסו את הפרסום בגלל האלגוריתם של פייסבוק. אם אתם רוצים להיות בטוחים במאה אחוז, הצטרפו לערוץ הטלגם החדש שלנו. בנוסף לכך אני ממליץ לבקר בשתי כתבות שכתבתי בנושא שיכולות לסייע למי שרוצה להתחיל גם הוא להיכנס לתחום: קורסים מומלצים וספרים ממולצים. בנוסף לכך, מי שמחפש קורסים ומתלבט במה לבחור, גם לזה כתבתי מדריך מקיף. מי שכבר פועל בתחום ומחפש עבודה מוזמן להיכנס ללוח המשרות שלנו שמתעדכן על בסיס יומי.

ועוד נקודה אחת אחרונה, יש לכם עבודה שמתאימה לבוגרים שלנו? תרגישו חופשי לפנות אליהם ישירות או לפנות אלינו כדי לעשות את החיבור. אנחנו יכולים להמליץ עליהם בעיניים עצומות.

פרויקטים:

לכתבה המלאה >>

עדכון 2020: רוצים לשמוע על התכנית החדשה של Y-DATA ועל העדכונים של 2020? כנסו לכתבה העדכנית בנושא.

אחת השאלות הנפוצות ביותר שאני שומע מידי שבוע היא: "איך להיכנס לתחום של Data Science". בעקבות הפריחה והשגשוג של התחום כולו, ישנו ביקוש רב להיכנס לעולמות אלו ורבים מחפשים את ההכשרה שתאפשר להם להשיג את דריסת הרגל הראשונה שלהם. מי שעוקב אחרי הפרסומים שלי וקורא כאן באתר, יודע עד כמה אני עובד קשה כדי לעזור לכמה שיותר אנשים להיכנס לתחום וכיצד אנחנו משקיעים מאמצים רבים כדי להגדיל את הקהילה המקומית בישראל.

לשם כך, יצרתי שיתוף פעולה עמוק עם חברת יאנדקס, אשר ייסדה סניף מקומי של Y-DATA – תכנית הכשרה מקיפה בתחום ה-Data Science. כחלק משיתוף פעולה זה אני מסייע ליאנדקס לאתר מועמדים מצוינים שיוכלו להתקבל לתוכנית.

כפי שאתם בוודאי יודעים, לפני שאני מבצע שיתופי פעולה שכאלה אני חוקר לעומק ולומד על תוכניות הלימוד ועל הגורמים שמנהלים את ההכשרה. כפועל יוצא מכך, קיימתי ראיון עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל ועם פרופסור ליאור רוקח אשר מלווה את התוכנית מהצד האקדמי כחלק משיתוף הפעולה עם אוניברסיטת בן גוריון. בראיון אנחנו נצלול פנימה ונבחן לעומק את הקורס הנ"ל, נשמע על מקרי הצלחה מהמחזור הקודם וכמובן נעמוד על הצדדים האקדמיים של קורס זה.

מי את תוכנית Y-DATA?

השאלה הראשונה שלי לקוסטיה הייתה מה היא בעצם תוכנית Y-DATA ומאיפה התוכנית הזו הגיעה אלינו? מדובר אחרי הכל בתוכנית חדשה יחסית בנוף הישראלי. "Y-DATA היא אכן תוכנית חדשה אבל בימים האלה המחזור הראשון שלה מסיים את הלימודים בקמפוס של אונ' תל אביב ומציג את פרויקטי הגמר שלהם לקהל הרחב. התוכנית  צמחה מתוך ההכרה שעד לאחרונה לא היו בארץ מספיק מסלולים מסודרים להכשרה בסיסית במדעי הנתונים ולמידה חישובית. לאחרונה נפתחו בעידוד המועצה להשכלה גבוהה מספר תוכניות ייעודיות לתואר ראשון בתחום זה (כגון תכנית "הנדסת נתונים ומידע" בטכניון והתכנית "הנדסת נתונים" באוניברסיטת בן גוריון בנגב),  אולם יעברו עוד מספר שנים עד שהתלמידים שלהן יסיימו את הלימודים וישתלבו בתעשייה. המחסור מורגש במיוחד בכל הנוגע לתכניות שרלוונטיות לאנשים שכבר יש להם רקע טכני משמעותי, ועובדים כיום בתפקידי פיתוח ומחקר והיו רוצים ללמוד באופן מסודר את התחום של למידה חישובית בלי לעזוב הכל ולעצור את החיים לשנתיים-שלוש לצורך הלימודים, שהתוצאה בסיומם לא ידועה מראש." הסביר קוסטיה.  לכתבה המלאה >>

X