כתבות עם התגית deep learning

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

Do Transformers Really Perform Bad for Graph Representation?


פינת הסוקר:

המלצת קריאה מאופיר: מאמר חשוב מאוד, המספק את החיבור המתבקש בין ארכיטקטורת הטרנספורמרים שתפסה תאוצה במגוון דומיינים כגון ראייה ממוחשבת ועיבוד שפה טבעית למידע גרפי. ארכיטקטורת out-of-the-box שיכולה לשמש בבעיות גרפיות.

בהירות קריאה: גבוהה.

רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: נדרשת היכרות עם רשתות נוירונים גרפיות וטרנספורמרים.

יישומים פרקטיים אפשריים: כל בעיית מדעי נתונים גרפית עם דאטא רב, כאשר קיימים מספיק משאבי חישוב (בכל זאת, טרנספורמרים).

פרטי מאמר:

לינק למאמר: זמין כאן

לינק לקוד: זמין להורדה 

פורסם בתאריך: 09/06/2021

הוצג בכתב העת: לא ידוע

תחומי מאמר:

  • רשתות נוירונים גרפיות.
  • טרנספורמרים.

כלים מתמטיים, טכניקות, מושגים וסימונים:

מבוא והסבר כללי על תחום המאמר:

ארכיטקטורת הטרנספורמרים צוברת פופולריות רבה בכמה מהתחומים הגדולים במדעי הנתונים – ראייה ממוחשבת, שפה טבעית וזיהוי דיבור. עם זאת, עד הוצאת המאמר לא הצליחו להחיל את הארכיטקטורה על מידע גרפי בהצלחה. במאמר זה הכותבים הצליחו לעשות זאת.

תמצית המאמר:

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק הראשון של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אנחנו בעתיד הקרוב נוסיף עוד פלטפורמות ומקורות האזנה (יכול להיות שכעת חלק מהלינקים טרם עובדים). לכתבה המלאה >>

לינק לגוגל פודקאסט.
לינק לאפל פודקאסט.

הפרק בשיתוף "להבין את סין".

האם סין תנצח במרוץ ?

ב-2017 הציג הממשל הסיני את התכנית האסטרטגית שלו לבינה מלאכותית, שמטרת העל שלה היא ביסוס סין כמובילה העולמית במחקר, פיתוח ויישום בינה מלאכותית עד שנת 2030. התוכנית למעשה מהווה המשך ישיר ונדבך קריטי ביישום תכנית החומש ה-13 (2016-2020) והתכנית האסטרטגית "Made in China 2025" ששמה לה למטרה להעלות את סין במעלה שרשרת הערך הגלובלית ולהפוך מ"מהמפעל של העולם" לכלכלה חדשנית המבוססת על תעשיות עתירות-ידע ושירותים מתקדמים – תוך הקטנה דרסטית של התלות ברכיבי ליבה תוצרת חוץ (כמו שבבים, מערכות הפעלה, רכיבי מנועים מתקדמים וכו').

תכנית זו, השואבת את השראתה מהתוכנית הגרמנית "תעשייה 4.0", נועדה לקדם את יכולותיה ולחזק את מעמדה של סין בזירה הבינלאומית מבחינה כלכלית, מחקרית וגיאו-פוליטית, כמו גם לשפר את איכות החיים, הביטחון, הרווחה והיציבות החברתית בסין אל מול השינויים החברתיים והדמוגרפיים (ובראשם הזדקנות האוכלוסייה) שהיא עוברת.  הממשל מזהה מספר תעשיות "חוד החנית" שבהן על התעשייה הסינית להתמקד – חלל, רובוטיקה, אנרגיה ירוקה, IoT, תשתיות תחבורה, רפואה ועוד.   הממשל הסיק שהמשותף לכל התעשיות הוא חשיבות הבינה המלאכותית כדי להשיג בהן את פריצות דרך הטכנולוגיות הבאות.    וכך נוצרה לה "תכנית פיתוח הדור החדש של האינטליגנציה המלאכותית", או בשמה הקליט יותר:  AI 2030.

כמיטב המסורת של התוכניות האסטרטגיות מבית היוצר של הממשל הסיני – מדובר בתוכנית מקיפה ומפורטת, שנועדה להנחות ולמקד את כל הגופים הרלוונטיים במשק הסיני על מטרות ברורות, יעדים מדידים, סקטורים מועדפים וכו'. ננסה לסכם כאן את עיקרי התוכנית ודרכי הפעולה המרכזיות, ולעמוד על היתרונות והחסרונות המרכזיים של סין בכדי להשיג את מטרותיה.

עיקרי התוכנית:

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

DETReg: Unsupervised Pretraining with Region Priors for Object Detection


פינת הסוקר:  

           המלצת קריאה ממייק: חובה לעוסקים בזיהוי אובייקטים בתמונות.

           בהירות כתיבה: גבוהה.

         רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: נדרשת היכרות עם DeTR, שיטות למידת ייצוג בצורה unsupervised וטרנספורמרים.

        יישומים פרקטיים אפשריים: pretraining של מודל לזיהוי אובייקטים בדומיינים עם כמות מועטה של דאטה מתויג.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 08.06.21, בארקיב.

      הוצג בכנס: טרם ידוע.


תחומי מאמר:

  • זיהוי אובייקטים בתמונה (Object Detection)

ידע מוקדם:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אנו סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותבים גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום נבחר לסקירה המאמר שנקרא:

DeeperGCN: All You Need to Train Deeper GCNs


פינת הסוקר:

    המלצת קריאה מאופיר: לכל המתעניינים ברשתות נוירונים גרפיות, גם אם לא תחום העיסוק העיקרי שלהם – יתכן והמאמר יהיה שימושי גם לתחום הבעיה שלהם

    בהירות קריאה: גבוהה

    רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת המאמר: היכרות עם מושגי יסוד של DL, המאמר כולל מיני-סקירה על GNNs

    יישומים פרקטיים אפשריים: הטכניקות המוצגות במאמר מאפשרות שיפור והעמקה של רשתות נוירונים גרפיות באופן כללי, ואינן מוגבלות לארכיטקטורה ספציפית


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: זמין להורדה.

    פורסם בתאריך: 13/6/20, בארקיב.

    הוצג בכנס: גרסה מוקדמת של המאמר הוצגה בעל פה ב-ICCV2019.


תחומי מאמר:

  • רשתות נוירונים גרפיות (GNNs)

כלים מתמטיים, טכניקות, מושגים וסימונים

  • פונקציות אגרגציה (Aggregation functions)
  • קשרים שיוריים (Residual connections)
  • נורמליזציית הודעה (Message normalization)

קישורים להסברים טובים על מושגי יסוד במאמר:

מבוא והסבר כללי על תחום המאמר: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא:

CoMatch: Semi-supervised Learning with Contrastive Graph Regularization


פינת הסוקר:  

            המלצת קריאה ממייק: מאוד מומלץ.

            בהירות כתיבה: בינונית פלוס

           רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנת של עקרונות הלמידה הניגודית (contrastive learning) וידע בסיסי בגרפים

          יישומים פרקטיים אפשריים: הפקה של ייצוגים חזקים של דאטה עבור משימות של self-supervised/semi-cosupervised learning.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: זמין כאן.

      פורסם בתאריך: 21.03.21, בארקיב.

      הוצג בכנס: לא הצלחתי לאתר.


תחומי מאמר: 

  • (Semi-Supervised Learning (SmSL
  • (Self-Supervised Learning (SSL

כלים מתמטיים, מושגים וסימונים:

  • (Self-Supervised Contrastive Learning (SSCL
  • SSL/SmSL מבוסס על מינימיזציה של אנטרופיה 
  • SmSL המבוסס על גרף של דמיונות
  • פסאודו לייבלים (תוצאת הרצת רשת סיווג על דאטה לא מתויג)
  • יישור התפלגות (distribution alignment) עבור פסאודו לייבלים

תמצית מאמר:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation


פינת הסוקר:  

       המלצת קריאה ממייק: חובה רק למי שמתעניין Exemplar Models וגם מבין קצת ב- VAE – לאחרים ניתן להסתפק בסקירה :). 

       בהירות כתיבה:  בינונית.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה טובה בעקרונות VAE, ידע בסיסי ב- kernel density models.

       יישומים פרקטיים אפשריים: יצירה של דוגמאות חדשות למטרת אוגמנטציה של דטאסטים קיימים למשימות שונות.


פרטי מאמר:

      לינק למאמר: זמין להורדה.

      לינק לקוד: כאן.

      פורסם בתאריך: 04.03.21, בארקיב.

      הוצג בכנס: NeurIPS 2020.


תחום מאמר:

  • variational autoencoder – VAE
  • מודלים גנרטיביים לא פרמטריים שיוצרים דאטה "ישירות מהדוגמאות של סט האימון" (exemplar generative models – EGM).

כלים מתמטיים, מושגים וסימונים:

מבוא: לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Perceiver: General Perception with Iterative Attention


פינת הסוקר:  

       המלצת קריאה ממייק: חובה (!!) לאוהבי הטרנספורמרים, לאחרים מומלץ מאוד (הרעיון ממש מגניב).

       בהירות כתיבה:  בינונית פלוס.

       רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: היכרות בסיסית עם ארכיטקטורת הטרנספורמר וידע בסיסי בסיבוכיות.

      יישומים פרקטיים אפשריים: טרנספורמרים בעלי סיבוכיות נמוכה המותאמים לעיבוד סדרות ארוכות של דאטה (פאטצ'ים של תמונה, פריימים של וידאו, טקסט ארוך וכדומה).


פרטי מאמר:

     לינק למאמר: זמין להורדה.

     לינק לקוד: כאן, כאן וכאן (לא רשמיים).

    פורסם בתאריך: 04.03.21, בארקיב.

    הוצג בכנס: טרם ידוע.


תחום מאמר:

  • טרנספורמרים בעלי סיבוביות חישוב ואחסון נמוכות.

כלים מתמטיים, מושגים וסימונים:

יסודות ארכיטקטורת הטרנספורמרים.


מבוא:  לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה אני סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמתי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.


לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרתי לסקירה את המאמר שנקרא: 

Discriminator Rejection Sampling


פינת הסוקר:  

       המלצת קריאה ממייק: חובה לאוהבי גאנים ודי מומלץ עבור האחרים. 

       בהירות כתיבה:  בינונית פלוס.

      רמת היכרות עם כלים מתמטיים וטכניקות של ML/DL הנדרשים להבנת מאמר: הבנה בשיטות אימון של גאנים, ידע בסיסי בשיטות דגימה כמו Rejection Sampling.

     יישומים פרקטיים אפשריים: גנרוט תמונות יותר איכותיות עם גאנים.


פרטי מאמר:

    לינק למאמר: זמין להורדה.

    לינק לקוד: לא אותר.

    פורסם בתאריך: 26.02.19, בארקיב.

    הוצג בכנס: ICLR 2019.


תחום מאמר:

  • חקר שיטות גנרוט דוגמאות באמצעות גאנים מאומנים.

כלים מתמטיים, מושגים וסימונים:

  • גאנים (GANs).
  • Rejection Sampling.

תמצית מאמר: לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע שאנחנו מקיימים עם אלביט בשם "Risks and Opportunities in the AI World". האירוע יתקיים ב4.5 בשעה 18:00 ויכלול שלוש הרצאות טכניות ומקצועיות. בהמשך אנחנו נעלה את כל המצגות וההקלטה של האירוע לעמוד הזה.

ניתן להירשם לאירוע דרך הלינק הזה.

ההרצאות:

לכתבה המלאה >>

X