חלק א' – מבוא

אחד הנושאים הבולטים בתחום למידה עמוקה בשנה האחרונה הוא Multiple Modalities – שילוב דאטה ממספר דומיינים באותו מודל, כמו למשל מודל המסוגל לעבד יחד וידאו ואודיו, או לחילופין מודל היודע להפוך תמונה לטקסט ולהיפך. כמובן שתחום זה אינו חדש במחקר, אך לאחרונה יש בו חידושים טכנולוגיים פורצי דרך יחד עם תוצאות מדהימות במגוון רחב של משימות. מעבר לעובדה שיש יותר ויותר אפליקציות המשלבות דאטה ממספר דומיינים, מה שמגביר את ההתעניינות בתחום הן מבחינה מחקרית והן מבחינת פיתוח, נראה שיש לפופולריות הזו סיבה מהותית יותר. מודל המשלב בתוכו יכולת לעבד ולשלב דאטה מדומיינים שונים מצליח "להבין" יותר לעומק את המבנה הדאטה שהוא מקבל ועקב כך הביצועים שלו טובים יותר. מחקרים חדשים המתבססים על שילוב של דומיינים מראים תפיסה טבעית יותר של הקלט, מה שמאפשר למודל ללמוד בצורה יותר איכותית. בכתבה זו נסקור אחד הרעיונות המרכזיים לאימון מודלים המשלבים דאטה טקסטואלי וויזואלי. אמנם גישה זו הוצעה כבר בעבר אך היא שוכללה בצורה משמעותית בשנה האחרונה ולא מעט מאמרים עכשוויים מבוססים עליה. נעבור בקצרה על כמה עבודות מרכזיות המציעות שיטות לבניית ייצוג של דאטה מולטימודלי המורכב מטקסט ותמונות. לכתבה המלאה >>

סקירה זו נכתבה בשיתוף עם אלכסנדר מולק, Aleksander Molak.

סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקר מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו שותפיי ואנוכי, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא: 

Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

פינת הסוקרים:

    המלצת קריאה מאלכסנדר וממייק: מומלץ מאוד לחובבי למידה self-supervised ולכל מי שמתעניין בלמידת ייצוג

    בהירות כתיבה: בינונית פלוס

    ידע מוקדם: 

• יסודות תורת ההסתברות ותורת המידה
• יסודות של למידה self-supervised ולמידה ניגודות 

    יישומים פרקטיים:

• ניתן להשתמש בגישה המוצעת להפקה של ייצוג דאטה טוב יותר מאשר בגישות הקודמות של למידה ניגודית.
  

  ---

פרטי מאמר:

    מאמר: כאן

    קוד: כאן

    פורסם בתאריך: ארקיב, 07.11.2020

    הוצג בכנס: ICML, 2020

תחומי מאמר:

• למידה ייצוגית (representation learning)
• למידה ניגודית (contrastive learning)

כלים מתמטיים, מושגים וסימונים:

• לוס ניגודי (Contrastive Loss)
• Radial Basic Function Kernel
• עקרון InfoMax 
• התכנסות חלשה (weak convergence) של מידות הסתברות.
  

  ---

   

לכתבה המלאה >>

אם יש שני מושגים שזוכים לתשומת לב אדירה בשנים האחרונות אלו סייבר ולמידת מכונה – ולא סתם. שני התחומים טומנים בחובם אתגרים רבים, ודווקא נקודת ההשקה ביניהם עשויה לסייע למצוא פתרונות פורצי דרך חדשים.

יותר ויותר חברות מבינות את הפוטנציאל הקיים בחיבור המולטידיסציפלינרי הזה, ופועלות לשימוש בפתרונות מבוססי ML עבור אתגרים בעולם הסייבר. וגם מנגד, גם חברות מבוססות ML מתמודדות עם אתגרי סייבר, ולעתים גם כאלו שייחודיים להן.

כדי לשפוך אור על החיבור המרתק בין התחומים אנו מארגנים כנס בנושא, בהשתתפות דוברים מהחברות המובילות בתחום. הכנס יתקיים בשותפות עם AWS, Salt Security ו-SentinelOne.

ניתן למצוא את כל ההקלטות של האירוע כאן:

לכתבה המלאה >>

מוזמנים להשתתף בתחרות של יחידת המו״פ במפא"ת (MAFAT Challenge) – תחרות למידת מכונה שעוסקת ב- WiFi Sensing, חישה על בסיס אותות WiFi!

הפוסט פורסם לראשונה בקהילה שלנו על ידי ערן דהן ומובא כאן במסגרת שיתוף פעולה שלנו עם מפא"ת. כל מי שמעוניין, מוזמן להירשם ולהתחרות (הקישור להרשמה בסוף הפוסט).

פרטים על התחרות

זו התחרות השלישית בסדרה של תחרויות שמפא"ת עורכת בסיועה של חברת ווביקס – במטרה ליצור חיבורים לא טריוויאליים בין האתגרים הטכנולוגיים-מבצעיים שמעניינים את מפא"ת לבין קהילת הדאטה-סיינס והחוקרים בארץ ובעולם. התחרויות הקודמות עסקו בניתוח של צילומי אוויר ובקלסיפיקציה של מידע מכ"מי.

התחרות פתוחה לכולם. מי שירשם לתחרות יקבל גישה לדאטה-סט ייחודי שאספנו ותייגנו – דאטה-סט שכולל סדרות זמן של RSSI – עוצמת האות המתקבלת על ידי המקלט ברשת WiFi שנוצרת בין מכשירי קצה שממוקמים במיקומים שונים בתוך ומחוץ לחדר לבין נתב שנמצא בתוך החדר – במצבים שונים של נוכחות אנשים בחדר.

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק ה-11 של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אל תשכחו להירשם כמנויים כדי לא לפספס אף פרק שלנו.
לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק העשירי של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אל תשכחו להירשם כמנויים כדי לא לפספס אף פרק שלנו.

לכתבה המלאה >>

סקירה זו היא חלק מפינה קבועה בה שותפיי ואנוכי סוקרים מאמרים חשובים בתחום ה-ML/DL, וכותב גרסה פשוטה וברורה יותר שלהם בעברית. במידה ותרצו לקרוא את המאמרים הנוספים שסיכמנו, אתם מוזמנים לבדוק את העמוד שמרכז אותם תחת השם deepnightlearners.

לילה טוב חברים, היום אנחנו שוב בפינתנו deepnightlearners עם סקירה של מאמר בתחום הלמידה העמוקה. היום בחרנו לסקירה את המאמר שנקרא: 

Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration

פינת הסוקר:  

      המלצת קריאה ממייק ואברהם: שווה קריאה לחובבי למידה ייצוגית (unsupervised learning).

      בהירות כתיבה: בינונית

     ידע מוקדם: 

• הבנה בעקרונות הבסיסיים של למידה יצוגית.
• הבנה בשיטות אימון ניגודיות (contrastive).
• importance sampling.

   יישומים פרקטיים אפשריים: שיפור באיכות ייצוג של דאטה המופק באמצעות מגוון שיטות של למידה ייצוגית

פרטי מאמר:

      מאמר: זמין להורדה.

      קוד: כאן

      פורסם בתאריך: 15.12.21, בארקיב.

      הוצג בכנס: NeurIPS 2021 Poster

תחומי מאמר:

• self-supervised learning

כלים מתמטיים, מושגים וסימונים:

• Importance sampling
• Radon-Nykodim derivative

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק התשיעי של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אל תשכחו להירשם כמנויים כדי לא לפספס אף פרק שלנו. לכתבה המלאה >>

אני שמח להזמין אתכם לאירוע השלישי שלנו בסדרת Applied ML seminars שנעשים בשיתוף עם Applied Materials. בכל אירוע מסוג זה, ניקח נושא אחד שמעניין את הקהילה ונדבר עליו בהרחבה מכמה זוויות שונות. באירוע הזה נדבר על מקרה שמאוד נפוץ בקרב חברי הקהילה: מה עושים אם יש לנו טעויות בתיוגים, דאטה מועט או אפילו סתם דאטה לא מאוזן בצורה משמעותית. אלו בעיות שכל אחד נתקל בהם במהלך העבודה שלו ובאירוע זה יהיו לנו שלושה דוברים שידברו על האתגרים האלו בבעיות סגמנטציה (כמובן שניתן ללמוד מזה על עולמות תוכן נוספים).

האירוע יתקיים באופן וירטואלי ב-1.3 בשעה 18:00 ויכלול שלושה דוברים מחברות שונות.

ההקלטה המלאה של האירוע:

לכתבה המלאה >>

אנחנו שמחים להזמין אתכם לפרק התשיעי של ExplAInable במתכונת החדשה שלו. הפודקאסט יעסוק במגוון רחב של נושאים בתחום ה-ML ובכל פרק נסקור נושא אחד ספציפי. את הפודקאסט מגישים אורי גורן ותמיר נווה – שנינו יועצים בתחום ה-ML אשר מגיעים מרקעים מגוונים ומעניינים. אם אתם רוצים לשמוע עוד קצת עלינו ועל הפודקאסט החדש, אתם יכולים להאזין לפרק 0 שהכנו שמסביר קצת עלינו ועל מאחורי הקלעים של היוזמה הזו.

אנחנו בימים אלו מתחילים להעלות את הפרקים לכל הפלטפורמות השונות ובינתיים אתם יכולים להגיע אלינו דרך RSS, ספוטיפי, אפל וגם ישירות דרך Podbean. אל תשכחו להירשם כמנויים כדי לא לפספס אף פרק שלנו.

לכתבה המלאה >>