כתבות בנושא Deep Learning

אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות:

  1. החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות)
  2. יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות טובות)
  3. אין קוד פתוח.

הבעיה השלישית היא כמובן הכי חמורה, כי כדי שאני אנסה להטמיע מאמר בתוך פרוייקט שאני עובד עליו כדאי שזה יהיה משהו קל להטמעה. בעיה מספר אחת גם חמורה כי אני רוצה לדעת שגם אם אני כבר השקעתי את הזמן להשתמש בטריק אז שהסיכויים גבוהים שזה באמת יעזור.

אז עם הפתיח הזה, בואו נדבר על:

ReZero is All You Need: Fast Convergence at Large Depth

Bachlechner, B. Majumder, H. Mao, G. Cottrell, J. McAuley (UC San Diego, 2020)

לכתבה המלאה >>

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

 

Pruning neural networks without any data by iteratively conserving synaptic flow


H. TANAKA, D. KUNIN, D. YAMINS, S. GANGULI (NTT + STANFORD)

מאמר שלדעתי הוא סופר משפיע, שילוב של עבודה מתמטית טובה, נושא עם חשיבות סופר פרקטית ובסוף גם קוד פתוח. יש פה הקדמה תיאורטית שלדעתי עוזרת להבין למה המאמר חשוב, ממליץ לקרוא אותה לכל מי שלא שוחה ממש בתחום של PRUNING.

לכתבה המלאה >>

נכתב על ידי עמית מנדלבוים, Director, Mellanox AI @ Nvidia, כפוסט בקבוצה MDLI (ממליץ להיכנס לקרוא גם את התגובות).

——————————————-

בצורה קצת יותר מפורטת. למה לעשות תואר שני, איך לעשות תואר שני, וכל הסיבות למה אתם לא עושים או רוצים לעשות תואר שני ולמה הן לא רלוונטיות. אזהרה: פוסט ארוך!

קצת רקע, ראיינתי בשנתיים וחצי האחרונות למעלה מ150 מועמדים לתפקידי דאטה סאיינטיסט. אני שומר על ראש פתוח ולכן ראיינתי כמעט כל סוג אפשרי

1. אנשים ותיקים מאוד בהיי-טק שלאחרונה נכנסו לתחום.

2. אנשים שעשו תואר ראשון (ואולי גם שני ושלישי) ואז עשו קורס של אחת המכללות למיניהן (בלי להזכיר שמות) כולל תוכניות מאוד אינטנסיביות שחלק כאן מכירים.

3. אנשים כמעט בלי רקע בתחום אבל עם רקע מתמטי\מדעי חזק מאוד.

4. אנשים שעובדים כבר כמה שנים בתחום.

5. אנשים שסיימו עכשיו תואר שני בתחום.

6. אנשים שסיימו תואר ראשון ולקחו כמה קורסים + פרויקט.

בלי להיכנס כרגע להכללות ובלי לפגוע באף אחד, ותוך הסתייגות שתמיד תמיד יש יוצאי דופן, להפתעתי (שוב, כי אני מנסה לשמור על ראש פתוח), מי שהפגינו את היכולות הטובות ביותר בראיונות היו אלו שעשו תואר שני בתחום (או לכל הפחות קרוב לתחום) עם סטייה קלה לאנשים שעשו תואר שני או שלישי אחר (למשל פיזיקה, ביולוגיה, מתמטיקה) עם רקע של הצטיינות ונכנסו לתחום לאחרונה דרך המחקר שלהם, עבודה שלהם, או עצמאית. כמובן שאלה שעשו תואר שני וכבר עובדים כמה שנים בתחום היו טובים, אבל אלה למרבה הצער נדירים ביותר.

קצת רקע נוסף שלא תחשבו שאני סתם איזה מתנשא שזורק עליכם "תעשו תואר שני" בלי שיש לכם אפשרות, אז אני התחלתי תואר שני במדעי המחשב, בגיל 30, כשהייתי עם שני ילדים, אחרי שנתיים בתעשייה ועם תואר ראשון בהנדסה (כלומר הרבה השלמות לתואר השני) ועם זה שהייתי צריך גם לעבוד במקביל לחלק מהתואר. וכן, היו אתי בתואר השני לא מעט אנשים כאלה (פחות או יותר), כולם סיימו וכולם עובדים היום בתחום.

אז נתחיל משאלת השאלות, למה בכלל לעשות תואר שני?

לכתבה המלאה >>

תחום ה-Data Science צבר תאוצה רבה בשנה האחרונה ונראה שישנם עוד ועוד אנשים שרוצים לסלול את דרכם פנימה לעולם זה. מגמה זו הובילה אותי בשנה שעברה ליצור שיתוף פעולה עם Y-DATA – תוכנית ההכשרה של יאנדקס. כפועל יוצא משיתוף פעולה זה הכנתי כתבה מקיפה על התוכנית הלימודית של Y-DATA בה צללנו לעומק של הסילבוס ולמדנו להכיר לראשונה את המהות של התכנית והדגש הרב שהיא שמה על התכנים האקדמיים. שנה שלמה עברה מאז ויאנדקס ממשיכה בכל הכוח ופותחת מחזור נוסף לתכנית ההכשרה שלה שכוללת הפעם תכנים רבים נוספים. ומעל כל זאת, החידוש האמיתי של המחזור הנוכחי הוא האפשרות להשתתף בתכנית במודל "לימודים מבוססי הצלחה" ולשלם על הקורס רק במידה ואכן הצלחתם למצוא עבודה בתחום.

לפני שאנחנו צוללים פנימה לשינויים, נסביר קצת מה היא תכנית Y-DATA ומה עומד מאחוריה. מי שירצה לקרוא על כך בהרחבה מוזמן כמובן לעיין בכתבה שהכנתי בשנה שעברה אשר מופיעה בפסקה הקודמת. Y-DATA היא בעצם תוכנית הכשרה בתחומי הדאטה אשר פונה למועמדים בעלי רקע אקדמי עשיר ו\או נסיון של כמה שנים לפחות בכתיבת קוד אשר רוצים לעשות הסבה לתחום ה-Data Science. התכנית היא שלוחה של בית הספר למדעי הנתונים של חברת יאנדקס (YSDA), הפעיל מזה מעל לעשור במספר ערים ברוסיה. התכנית חרטה על דגלה להכשיר את הסטודנטים שלה לשוק העבודה ולספק להם כלים של ממש, כאלה שיאפשרו להם למצוא עבודה במהרה בסיום הקורס. בשנה שעברה המחזור הראשון של התוכנית בארץ הפך במהרה להצלחה רצינית – בין היתר בזכות פרויקטי הגמר המרשימים שעליהם עוד נדבר בהמשך. כפי שציינתי, השנה התכנית עברה מקצה שדרוגים רחב והתאימה את עצמה לשוק הדינמי הישראלי.

כדי להכיר לעומק את כל השינויים שנעשו בתוכנית, ולכדי לשמוע מידע נוסף על תוכנית המלגות החדשה, קיימתי ראיון עם קוסטיה קילימניק, מנהל תוכנית Y-DATA בישראל. כמו כן, חשוב לי לציין כי בדומה לשנה שעברה, גם השנה אנחנו מקיימים שיתוף פעולה עם יאנדקס, מה שמקנה לכם 1,000 שקל הנחה בשימוש בקוד MDLI. באתר ההרשמה.

תשלום מבוסס הצלחה

לכתבה המלאה >>

הבלוג פוסט נכתב במקור כפוסט על ידי יואב רמון בקבוצת Machine & Deep learning Israel

טוב, אז כמו שכתבתי אתמול ההרשמה השנה ל-ICASSP (International Conference on Acoustics, Speech, and Signal Processing) פתוחה וזאת הזדמנות מצויינת לחוות את הכנס הזה. רציתי לתת פה טעימה קטנה עם מאמר שבדיוק פורסם בכנס. זה מאמר שמאוד הרשים אותי והוא בתחום שיוצא לי לקרוא עליו הרבה לאחרונה, Text To Speech, אז החלטתי לכתוב עליו פה.

אז בשביל להתחיל להסביר את המאמר נסביר דבר ראשון איך מערכת TTS קלאסית עובדת:


1. נאסוף דאטא של דוגמאות רבות מאותו דובר (שעה+, לעתים אפילו יותר) שצריכות להיות מאוד נקיות ובאיכות מאוד גבוהה. את הדוגמאות האלה נצטרך לתמלל.


2. נאמן משהו שנקרא Vocoder (תוכנתי, לא פיזי) – המטרה של ה-Vocoder היא לייצר מייצוג קומפקטי של האודיו (בדרך כלל Mel scaled magnitude of STFT) בחזרה את הסיגנל הנקי. אחת הסיבות שעושים את האימון הזה בנפרד בדרך כלל היא שכדי לאמן Vocoder לא צריך לתמלל את הדוגמאות, ולכן אפשר לאמן אותו פשוט על כמויות גדולות של דוגמאות איכותיות. כמובן, אימון כזה הוא גם יותר ארוך ולכן ייקח יותר זמן. ישנן דוגמאות רבות ל-Vocoders כאלה, אבל המפורסם מכולם הוא Wavenet אם כי כבר מזמן הוא לא SOTA משום בחינה. זה קצת כמו ה-ResNet של עולם הקול.
לכתבה המלאה >>

נכתב במקור כפוסט בקבוצת Machine & Deep learning Israel

אני רואה שיש פה לאחרונה הרבה דיונים על פרוייקטים ומה כדאי לעשות. הקדשתי לנושא הזה הרבה מחשבה לאחרונה לקראת הקורס שאני מתחיל ללמד באונ' ת"א ואני רוצה לחלוק פה את המחשבות שלי בתקווה שיעזרו לכמה אנשים למקד את המאמצים שלהם. הפוסט הזה מביע את דעתי האישית בלבד, ואין לי דאטא שיתמוך בה אז כל אחד מוזמן לפרש לפי ראות עיניו.

“If we have data, let’s look at data. If all we have are opinions, let’s go with mine.” -Jim Barkdale

אז קודם כל למה שתקשיבו לי בכלל?

חוץ מזה שאני ד"ר בתחום (חשמל בת"א חקרתי קבלת החלטות דינמית), אני גם בתעשייה כבר 4 וחצי שנים, הייתי מוביל טכנולוגי, הקמתי צוות ובדרך להקים עוד אחד (ובדרך ריאיינתי לפחות עשרות אנשים), ואם אתם אוהבים את גאמפא אז גם הייתי שנתיים במיקרוסופט ועבודות שלי הוצגו בכנסים פנימיים של החברה בנוסף לכנסים אקדמיים ולמוצרים מאד מצליחים. אפילו פרצתי דרך בתחום או שניים, אבל זה כבר נושא לפוסט אחר (וחלק מזה בכלל אסור לי לספר).

אז עכשיו אחרי שחפרתי מספיק על הניסיון שלי, מה אני מציע?

לכתבה המלאה >>

בתקופה האחרונה אנחנו שומעים לא מעט על תחום ה-DeepFake ועל יכולתם של אלגורתמים מסוימים לזייף קטעי וידאו ברמת דיוק גבוהה למדי, ולמעשה ליצור תוכן שלא הוסרט מעולם. תוסיפו לכך את העובדה ש"חסמי הכניסה" ירדו באופן משמעותי (היום לא צריך צוות של חוקרים מומחים ועלויות הפיתוח זניחות יחסית) ותקבלו קרקע פוריה ללא מעט זיופים.

ההתקדמות הטכנולוגית הזו גרמה ללא מעט גופים וחברות ברחבי העולם להבין כי חוקי המשחק השתנו. כל אותם גופים הבינו כי עליהם למצוא פתרונות טכנולוגיים שיוכלו לסייע להם בתהליך אימות המידע שמגיע אליהם – משימה קשה הרבה יותר מאשר "רק" ליצור את התוכן המזויף. לכתבה המלאה >>

כפי שצוין בפוסט, אנחנו מארגנים גרסה מקומית של כנס NeurIPSi בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס NeurIPS עצמו. נתחיל ונציין כי אין קשר רשמי לכנס NeurIPS העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לאפשר לאלו שלא ייקחו חלק בכנס ליהנות מתכנים והרצאות ברמה המקצועית הגבוהה ביותר. האירוע יתקיים בתאריך ה28/11/2019, בשעה 18:00, במשרדי Akamai (תוצרת הארץ 8, תל אביב – בניין ToHa קומה 17) ויכלול הרצאות בנות 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו. כמו כן, לאחר האירוע אשלח את כל החומרים בצורה מסודרת בניוזלטר של הקהילה וגם אעדכן את העמוד הזה (הירשמו לניוזלטר כדי להישאר מעודכנים).

בנוסף להרצאות של NeurIPS, תהייה לנו גם הופעת אורח של תמר רוט שחם שתציג את המאמר: "SinGAN: Learning a Generative Model from a Single Natural Image" שזכה ל-Best paper ב-ICCV. המאמר נכתב בשיתוף טלי דקל ותומר מיכאלי.

ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (מתעדכן): לכתבה המלאה >>

לאחר הרבה הכנות והפקת לקחים מהקורס הקודם, גיל, ניר, ערן ואני שמחים להודיע כי אנחנו פותחים מחזור נוסף של MDLI Course – קורס מבוא ל-Deep Learning של הקהילה. בבלוג הזה אנחנו נשתף אתכם במידע על הקורס השנה וכמובן נפרסם לינק להרשמה לקראת המחזור השלישי.

למי שלא מכיר: בשנתיים האחרונות החלטנו, ארבעת האדמינים בקבוצה, לקחת את הקורס המוכר של סטנפורד "CS231n: Convolutional Neural Networks for Visual Recognition" ולהעביר אותו בצורה פורנטלית ובעברית באופן התנדבותי לחלוטין. הקורס הועבר לקבוצה של 60 סטודנטים שהגיעו מידי שבוע במשך ארבעה חודשים לגוגל קמפוס כדי ללמוד על התחום. לאחר ארבעת החודשים הצמדנו לבוגרים מנטורים מהתעשייה לטובת פרויקטי גמר המציגים את הידע הנרכש בקורס עצמו.

שני המחזורים הקודמים היו הצלחה. אלו שצלחו את הקורס עד סופו רכשו סט כלים חדש וידע שעזר לחלקם למצוא עבודות חדשות, או לעשות שינוי קריירה בתוך הארגון בהם הם עובדים. השנה אנחנו מתכוונים להפוך את הקורס למקצועי עוד יותר וליישם את כל הלקחים שהפקנו מהמחזור הקודם. אנחנו נוסיף הדרכות על שירות הענן של גוגל, תרגולים סביב עבודות הבית (הודות למתן פרידמן -מצטיין המחזור הראשון) וחיבור חזק יותר לתעשייה בפרויקטי הגמר. כפועל יוצא מכך זה אומר שרף הסינון עולה והרצינות שאנחנו מצפים מהמחזור החדש עולה גם היא.

כמו כן, קחו בחשבון שהקורס הוא מאוד Hands On ומתמטי לכן נדרשים גם ידע מתמטי וגם ידע תכנותי ברמה גבוהה (אלגברה לינארית, חד"וא, הסתברות ופיתון). ידע זה קריטי להבנת הקורס ולהכנת מטלות הבית השונות לכן אנא הירשמו רק אם יש לכם שליטה מספקת בנושאים הנ"ל.

אנחנו מציינים את הנהלים כבר עכשיו, לפני ההרשמה עצמה, כדי שתוכלו לעבור על כל התנאים ולהבין שהם מתאימים לכם. אנחנו לא מתכוונים לעגל פינות והמשמעת הנוקשה נועדה כדי שכל אחד שנבחר יפיק את המירב מהקורס ויצדיק את העובדה שדווקא הוא נבחר על פני מועמד אחר. בדיוק כמו בשנה הקודמת, גם הפעם אנחנו נקפיד על ייצוג שווה בין נשים וגברים בקורס, אך אין זה אומר שנקודה זו משפיעה על הסינון עצמו או על הרף הנדרש.

נהלים חשובים של הקורס:

לכתבה המלאה >>

עריכה:
ההרשמה כבר הגיעה למספר מאוד גבוה של אנשים ולכן אני פותח רשימת המתנה עבור כל מי שלא הספיק להירשם: http://bit.ly/2ktLogQ

כפי שהובטח, אני עושה פיילוט ראשוני ומארגן גרסה מקומית של כנס ICCV בו יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICCV עצמו. בכנס הנ"ל יוצגו גם שתי עבודות מכנס IJAIC. נתחיל ונציין כי אין קשר רשמי לכנס ICCVI או IJAIC העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לאפשר לאלו שלא ייקחו חלק בכנס ליהנות מתכנים והרצאות ברמה המקצועית הגבוהה ביותר. האירוע יתקיים בתאריך ה25/09/2019, בשעה 18:00, במיקרוסופט ריאקטור ויכלול כ-14 הרצאות בנות 12 דקות בהן כל מרצה יציג את הנושאים העיקריים בעבודה שלו. כמו כן, לאחר האירוע אשלח את כל החומרים בצורה מסודרת בניוזלטר של הקהילה וגם אעדכן את העמוד הזה (הירשמו לניוזלטר כדי להישאר מעודכנים). ההרשמה לאירוע מתבצעת דרך הטופס הזה.

רשימת דוברים (מתעדכן):

לכתבה המלאה >>

X