כתבות עם התגית machine learning

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Do Transformers Really Perform Bad for Graph Representation?


פינת הסוקר:

המלצת קריאה מאופיר: מאמר חשוב מאוד, המספק את החיבור המתבקש בין ארכיטקטורת הטרנספורמרים שתפסה תאוצה במגוון דומיינים כגון ראייה ממוחשבת ועיבוד שפה טבעית למידע גרפי. ארכיטקטורת out-of-the-box שיכולה לשמש בבעיות גרפיות.

בהירות קריאה: גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם רשתות נוירונים גרפיות וטרנספורמרים.

יישומים פרקטיים אפשריים: כל בעיית מדעי נתונים גרפית עם דאטא רב, כאשר קיימים מספיק משאבי חישוב (בכל זאת, טרנספורמרים).

פרטי מאמר:

לינק למאמר: זמין כאן

לינק לקוד: זמין להורדה 

פורסם בתאריך: 09/06/2021

הוצג בכתב העת: לא ידוע

תחומי מאמר:

  • רשתות נוירונים גרפיות.
  • טרנספורמרים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

מבוא והסבר כללי על תחום המאמר:

ארכיטקטורת הטרנספורמרים צוברת פופולריות רבה בכמה מהתחומים הגדולים במדעי הנתונים – ראייה ממוחשבת, שפה טבעית וזיהוי דיבור. עם זאת, עד הוצאת המאמר לא הצליחו להחיל את הארכיטקטורה על מידע גרפי בהצלחה. במאמר זה הכותבים הצליחו לעשות זאת.

תמצית המאמר:

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק הראשון של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אנחנו בעתיד הקרוב נוסיף עוד פלטפורמות ומקורות האזנה (יכול להיות שכעת חלק מהלינקים טרם עובדים). לכתבה המלאה >>

לינק לגוגל פודקאסט.
לינק לאפל פודקאסט.

הפרק בשיתוף "להבין את סין".

האם סין תנצח במרוץ ?

ב-2017 הציג הממשל הסיני את התכנית האסטרטגית שלו לבינה מלאכותית, שמטרת העל שלה היא ביסוס סין כמובילה העולמית במחקר, פיתוח ויישום בינה מלאכותית עד שנת 2030. התוכנית למעשה מהווה המשך ישיר ונדבך קריטי ביישום תכנית החומש ה-13 (2016-2020) והתכנית האסטרטגית "Made in China 2025" ששמה לה למטרה להעלות את סין במעלה שרשרת הערך הגלובלית ולהפוך מ"מהמפעל של העולם" לכלכלה חדשנית המבוססת על תעשיות עתירות-ידע ושירותים מתקדמים – תוך הקטנה דרסטית של התלות ברכיבי ליבה תוצרת חוץ (כמו שבבים, מערכות הפעלה, רכיבי מנועים מתקדמים וכו').

תכנית זו, השואבת את השראתה מהתוכנית הגרמנית "תעשייה 4.0", נועדה לקדם את יכולותיה ולחזק את מעמדה של סין בזירה הבינלאומית מבחינה כלכלית, מחקרית וגיאו-פוליטית, כמו גם לשפר את איכות החיים, הביטחון, הרווחה והיציבות החברתית בסין אל מול השינויים החברתיים והדמוגרפיים (ובראשם הזדקנות האוכלוסייה) שהיא עוברת.  הממשל מזהה מספר תעשיות "חוד החנית" שבהן על התעשייה הסינית להתמקד – חלל, רובוטיקה, אנרגיה ירוקה, IoT, תשתיות תחבורה, רפואה ועוד.   הממשל הסיק שהמשותף לכל התעשיות הוא חשיבות הבינה המלאכותית כדי להשיג בהן את פריצות דרך הטכנולוגיות הבאות.    וכך נוצרה לה "תכנית פיתוח הדור החדש של האינטליגנציה המלאכותית", או בשמה הקליט יותר:  AI 2030.

כמיטב המסורת של התוכניות האסטרטגיות מבית היוצר של הממשל הסיני – מדובר בתוכנית מקיפה ומפורטת, שנועדה להנחות ולמקד את כל הגופים הרלוונטיים במשק הסיני על מטרות ברורות, יעדים מדידים, סקטורים מועדפים וכו'. ננסה לסכם כאן את עיקרי התוכנית ודרכי הפעולה המרכזיות, ולעמוד על היתרונות והחסרונות המרכזיים של סין בכדי להשיג את מטרותיה.

עיקרי התוכנית:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Highly accurate protein structure prediction with AlphaFold

פינת הסוקר:

המלצת קריאה מאופיר: קריאה מרתקת, במיוחד למי שמתעניין גם בביואינפורמטיקה. כמות המשאבים שהושקעו במחקר והתוצאות שלו מסחררות. מעבר לחידושים עבור הבעיה הספציפית, מוצגות טכניקות חדשות באופן כללי.

בהירות קריאה: בינונית-גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם למידה עמוקה. בנוסף, מומלצת מאוד היכרות עם מושגים ביואינפורמטיים.

יישומים פרקטיים אפשריים: מדובר בכלי החזק ביותר כיום לניבוי מבנה של חלבונים, והוא צפוי לשמש רבות לקידום מחקר החלבונים בעולם, בין אם למדע בסיסי ובין אם לתחומים כמו הנדסת חלבונים. בנוגע לשימושים מסחריים – DeepMind שחררה את המודל והמשקולות, אך השימוש במשקולות אסור לשימוש מסחרי.


פרטי מאמר:

לינק למאמר: זמין כאן 

לינק לקוד: זמין להורדה 

פורסם בתאריך: 15/07/2021

הוצג בכתב העת: Nature

תחומי מאמר:

  • ניבוי מבנה תלת מימדי של חלבונים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

  • רשתות נוירונים גרפיות (GNNs).
  • Attention.
  • Skip-connections.

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

DeeperGCN: All You Need to Train Deeper GCNs


פינת הסוקר:

    המלצת קריאה מאופיר: לכל המתעניינים ברשתות נוירונים גרפיות, גם אם לא תחום העיסוק העיקרי שלהם – יתכן והמאמר יהיה שימושי גם לתחום הבעיה שלהם

    בהירות קריאה: גבוהה

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: היכרות עם מושגי יסוד של DL, המאמר כולל מיני-סקירה על GNNs

    יישומים פרקטיים אפשריים: הטכניקות המוצגות במאמר מאפשרות שיפור והעמקה של רשתות נוירונים גרפיות באופן כללי, ואינן מוגבלות לארכיטקטורה ספציפית


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין להורדה.

    פורסם בתאריך: 13/6/20, בארקיב.

    הוצג בכנס: גרסה מוקדמת של המאמר הוצגה בעל פה ב-ICCV2019.


תחומי מאמר:

  • רשתות נוירונים גרפיות (GNNs)

כלים מתמטיים, טכניקות, מושגים וסימונים

  • פונקציות אגרגציה (Aggregation functions)
  • קשרים שיוריים (Residual connections)
  • נורמליזציית הודעה (Message normalization)

קישורים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

אנחנו שמחים לבשר שגם השנה נארגן גרסה מקומית של הכנס ICML, בה יציגו דוברים ישראליים את העבודות אותן הם הולכים להציג בכנס ICML עצמו. נתחיל ונציין כי אין קשר רשמי לכנס ICML העולמי וכי מדובר על יוזמה קהילתית מקומית שמטרתה היא לתת במה לחוקרים הישראלים ולאפשר להקהילה המקומית להיחשף לעבודתם לפני הכנס הבינלאומי.

מדהים לראות שגם השנה מספר רב של חוקרים ישראליים התקבלו לאירוע הבינלאומי, ועל כן האירוע המקומי יפוצל לשני אירועים בשני תאריכים שונים. האירוע הראשון יתקיים ב-11/07/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן), והאירוע השני יתקיים ב-14/07/2021 בשעה 13:00 עד 15:00 (להרשמה לחצו כאן).

לאחר האירוע כל המצגות של הדוברים והקלטות של ההרצאות ישלחו בניוזלטר של הקהילה (הירשמו לניוזלטר כדי להישאר מעודכנים), ויועלו בערוץ טלגרם, בערוץ היוטיוב וגם בעמוד הזה.

לכתבה המלאה >>

כפי שסיפרנו לכם בעבר, השנה השקנו לראשונה מחשבון שכר לכל מקצועות הדאטה המבוסס על נתוני הסקר השנתי של קהילת MDLI. בפוסט הבא רצינו לחלוק איתכם את הרציונל שעומד מאחוריי פיתוח המחשבון, לספר מה מייחד אותו ואיך הוא יכול לספק ערך לחברי הקהילה.

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Perceiver: General Perception with Iterative Attention


פינת הסוקר:  

       המלצת קריאה ממייק: חובה (!!) לאוהבי הטרנספורמרים, לאחרים מומלץ מאוד (הרעיון ממש מגניב).

       בהירות כתיבה:  בינונית פלוס.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם ארכיטקטורת הטרנספורמר וידע בסיסי בסיבוכיות.

      יישומים פרקטיים אפשריים: טרנספורמרים בעלי סיבוכיות נמוכה המותאמים לעיבוד סדרות ארוכות של דאטה (פאטצ'ים של תמונה, פריימים של וידאו, טקסט ארוך וכדומה).


פרטי מאמר:

     לינק למאמר: זמין להורדה.

     לינק לקוד: כאן, כאן וכאן (לא רשמיים).

    פורסם בתאריך: 04.03.21, בארקיב.

    הוצג בכנס: טרם ידוע.


תחום מאמר:

  • טרנספורמרים בעלי סיבוביות חישוב ואחסון נמוכות.

כלים מתמטיים, מושגים וסימונים:

יסודות ארכיטקטורת הטרנספורמרים.


מבוא:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Sharpness-Aware Minimization for Efficiently Improving Generalization

פינת הסוקר:  

          המלצת קריאה ממייק: חובה לאלו שמתעניינים מה קורה מאחורי הקלעים בתהליך אימון של רשתות נוירונים.

          בהירות כתיבה:  גבוהה מאוד.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרת טובה עם שיטות אופטימיזציה עבור בעיות עם משתנים מרובים.

        יישומים פרקטיים אפשריים: שיפור יכולת הכללה של רשתות על ידי החלפת בעיית מזעור לוס הרגילה ב-SAM.


פרטי מאמר:

 לינק למאמר: זמין להורדה.

  לינק לקוד: כאן.

 פורסם בתאריך: 04.12.20, בארקיב.

 הוצג בכנס:ICLR 2021.


תחום מאמר:

  • חקר שיטות אופטימיזציה לאימון של רשתות נוירונים.

כלים מתמטיים, מושגים וסימונים:

  • יכולת הכללה של רשת נוירונים.
  • Gradient Descent -GD.
  • הסיאן (Hessian) של פונקציה.
  • בעיית הנורמה הדואלית (dual norm problem).

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Representation Learning via Invariant Causal Mechanisms


פינת הסוקר:  

         המלצת קריאה ממייק: מומלץ לאוהבי למידת ייצוג, בעלי ידע בסיסי בתורת הסיבתיות.

         בהירות כתיבה:  בינונית פלוס.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם כלים מלמידת ייצוג ומתורת הסיבתיות.

        יישומים פרקטיים אפשריים: שיפור ביצועים לכל שיטת למידת ייצוג המבוססת NCE.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: לא נמצא בארקיב.

      פורסם בתאריך: 15.10.20, בארקיב.

      הוצג בכנס: ICLR 2021 Poster.


תחום מאמר: 

  • למידת ייצוג (representation learning).
  • תורת הסיבתיות.

כלים מתמטיים, מושגים וסימונים:

  • גרף סיבתיות של מודל הסתברותי.
  •  InfoNCE – Contrastive Predictive Coding.
  •  לוס ניגוד – NCE.
  • מרחק KL בין התפלגויות.
  •  עידון של משימת למידה (task refinement).


תמצית מאמר:  לכתבה המלאה >>

X