הכירו את DeepText: מנוע הבנת הטקסט החדש של פייסבוק

פייסבוק חשפה לפני זמן קצר כלי חדש בשם DeepText המשמש את החברה לניתוח הפוסטים שמפורסמים מידי יום ברשת החברתית. בפועל DeepText הוא מנוע הבנת טקסט מבוסס Deep Learning העושה שימוש ברשתות נוירונים בכדי להבין את המשמעות והמהות של כל אלמנט במשפט. לאחר ניתוח זה, המטרה של DeepText היא לספק תובנה חד משמעית על המידע שנמסר באותו הטקסט ואף לזקק אותו לכדי פעולה או סיטואציה כלשהי.

DeepText בשירות פייסבוק

אין זה סוד שפייסבוק מנסה ללמוד עלינו כמה שיותר על סמך האינטראקציות הרבות שאנחנו מבצעים בה – לייקים, תגובות, שיתופים וכו’. עם זאת, כיום מרבית התוכן שמועלה לפייסבוק הוא טקסט, בין אם זה כפוסטים או כתגובות, האוגר בתוכו מידע יקר מאוד המסוגל לעזור לפייסבוק להבין בצורה טובה יותר מה קורה בפועל בחיים שלנו. עם זאת, מדובר על אתגר לא קטן והבנת מהות הטקסט היא משימה קשה מאוד לפיצוח. תוסיפו לכך את העובדה שמרבית השיח ברשת החברתית מבוסס על סלאנג ושיבושי מילים ותקבלו משימה מורכבת למדי שמצריכה גמישות רבה מצידם של מפתחי פייסבוק. לדוגמא, ניתן להבין אמירה מסוג “I like blackberry” בשני מובנים – האחד מתייחס לפרי עצמו והשני מתכוון לסמארטפון של היצרנית הקנדית.

פייסבוק רותמת את DeepText  במספר דרכים מגוונות היכולות לסייע להם להציע פתרונות ממוקדים יותר למשתמשיה ברחבי העולם. אחת הדוגמאות שציינה פייסבוק עצמה היא מודעות מכירה של חפצים להן יש פורמט מיוחד בקבוצות שונות. כיום משתמש יכול לפרסם הודעה כללית בסגנון “מוכר שני S7, כל אחד ב-3,200, איסוף מהצפון הישן” והיא תיוותר כך ללא כל התערבות מצידה של פייסבוק. בעתיד, בזכות DeepText כמובן, תוכל פייסבוק להציע לאותו משתמש לפרסם את הפוסט ישירות כהודעת מכירה בה נמכרים שני [מכשירי] Samsung Galaxy] S7], כל אחד [בעלות של] 3,200 [שקל] כאשר האיסוף יהיה מהצפון הישן [תל אביב]. דוגמא פשוטה זו מראה כיצד מעוניינת פייסבוק לשפר את חווית השימוש בפיצ’רים השונים שלה, כל זאת באמצעות הבנה טובה יותר של הטקסט המפורסם אצלה.

כמובן שלא ניתן לדבר על טקסט מבלי להזכיר את פלטפורמת הבוטים החדשה שחשפה החברה לפני זמן קצר. אחד המכשולים הגדולים ביותר שעומדים בפני בוטים כיום הוא היכולת שלהם להבין בצורה מהירה מה המשתמש רוצה מהם. כיום במרבית הבוטים, כולל סירי וכדומה, ישנו צורך לדבר בצורה מאוד שבלונית ומוגדרת מראש כדי לבצע פעולות כאלה או אחרות. DeepText יוכל לסייע למפתחי בוטים “לשבור” את עקומת הלמידה וזאת באמצעות שימוש בשפה חופשית הדומה לזה שהמשתמש היה מדבר בה אם היה משוחח עם בן אדם.

הבנה אמיתית של הטקסט מקנה למפתחים סט כלים חדש בו הם יכולים לדחוף קדימה את היכולות של הבוט שלהם וכפועל יוצא מכך להציע שירותים מתקדמים יותר וחווית משתמש משופרת ביחס למצב היום. פייסבוק העניקה דוגמה קצרה לדרך בה ניתן לממש טכניקה זו בכל הקשור להזמנת מונית. בדוגמא ניתן לראות כיצד המערכת יודעת להבחין בדיוק רב מתי מדובר על מקרה שבו המשתמש רוצה להזמין מונית ומתי מדובר על משפטים בשדה הסמנטי, אך ללא כל קשר אמיתי להזמנת מונית.

Word embeddings

בכדי להגיע לרמת הדיוק הגבוהה בהבנה של הטקסט, פייסבוק בחרה להשתמש בטכניקה מוכרת בשם word embeddings המעניקה ייצוג במרחב לכל מילה המוזנת במערכת, מה שיוצר אזורים שלמים בהם ישנן מילים בעלות שדה סמנטי זהה. על אותן המילים ניתן לבצע פעולות חישוביות אשר לבסוף מאפשרות למערכת להבין את הקשרים הלוגים בין מילה ומילה בצורה מהירה וקלה יותר.

לדוגמא ניקח את המשוואה הבאה: King – Queen = Man – Woman
ומכאן להסיק לבד כי: King – Man + Woman = Queen

טכניקה זו מאפשרת ל DeepText של פייסבוק ליצור קשרים וחיבורים בין מילים שונות ובכך להבין לעומק מה הכוונה שמסתתרת מאחורי כל פוסט ופוסט. יתרה מכך, השימוש בייצוג מסוג זה ולא בייצוג מספרי יבש מאפשר לפייסבוק להשמיש את DeepText ב-20 שפות שונות. ההיגיון אומר שמרבית הקשרים הלוגים המצויים בשפה אחת, יהיו זהים ללא מעט שפות אחרות. פייסבוק, באמצעות ניתוח של אלפי פוסטים בשנייה, מסוגלת ליצור מיפוי של שפות רבות ובדרך זו להגיע כמעט לרמת הבנה אנושית בכל אותן 20 שפות.

טקסט + תמונה

על אף החדשות המסעירות על הפיתוח החדש של פייסבוק, גם החברה עצמה מבינה כי ישנם עוד אתגרים רבים לפניה. אחד מאותם אתגרים הוא להמשיך לייצר מידע מקוטלג המשמש בסיס לכל תהליך הלימוד שעושים האלגוריתמים של DeepText. ככל שלמערכת יהיו יותר נתונים ומידע רחב יותר שכבר מפורש, כך היא תוכל היא להשתפר עם הזמן ולהציג תוצאות מדויקות יותר. חלק מפריצת הדרך ב-DeepText טמונה בעובדה שפייסבוק השתמשו במספר טכניקות המאפשרות למערכת להשתמש במידע יחסית מצומצם וזאת כדי לא להזדקק לכמות אדירה של מידע מקוטלג.

עם זאת, עדיין ישנו צורך במידע מקוטלג מה שמחייב את פייסבוק למצוא דרכים יצירתיות לארגן ולסדר את המידע. אחת מהדרכים שהוצעו הוא שאיבת מידע מתוך עמודי פייסבוק בעלי זיקה לתחום מסוים. ניתן להניח כי כל הפוסטים בעמוד של חברת “באג” למשל יעסקו במוצרי אלקטרוניקה, גאגדטים וכו’. מערכת זו, הקרויה PageSpace, תעשה שימוש ב-DeepText לשם הבנת הטקסט וניתוחו וכך תוכל לקבל מידע שהוא “חצי מקוטלג” ובכך להקל על מלאכת סינון והבנת המילים.

אם לא די בכך, פייסבוק מבינה כי לעיתים גם טקסט לכשעצמו איננו מספיק כדי להבין את הסיפור שמאחורי הפוסט. לשם כך היא שוקדת בימים אלו לשלב כוחות בין עולם הטקסט לבין עולם התמונה והוידאו. ברגע שהמערכת של פייסבוק תרצה לנתח פוסט מסוים היא תיקח בחשבון לא רק את המלל אלא תכניס למשוואה גם את שאר המדיה הקיימת בפוסט ותנסה להסיק מסקנות משולבות. לדוגמא אם משתמש כלשהו יעלה תמונה בה מצולמים בני משפחה עם גור כלבים ויוסיף את הכיתוב “חבר משפחה חדש נוסף” פייסבוק לא תנתח את הטקטס לבד ותחשוב שהתווסף למשפחה תינוק חדש, אלא תסיק מהתמונה כי המשפחה אימצה גור כלבים חדש לביתה.

דיבור צפוף

DeepText יכולה כמובן להיות שימושית למדי בעוד מגוון רחב של תחומי פעילות ואף עתידה לסייע לפיסבוק במגוון רחב של אמצעים – כאשר פרסום ממוקד הוא ככל הנראה אחד מהם. מסקרן יהיה לראות עד כמה נרגיש את ההשפעה של המערכת החדשה בחווית השימוש שלנו בפייסבוק ועד כמה DeepText תהייה משמעותית מאחורי הקלעים.

נכון לעכשיו פייסבוק לא אמרה דבר על פתיחת DeepText לקהל הרחב או הפיכתו לפרויקט קוד פתוח כלשהו. במידה והיא אכן תסכים לעשות זו מדובר על מנוע חזק במיוחד שיוכל להטיב עם לא מעט מפתחים שעוסקים בתחום.

עדכון: גוגל חשפה כלי דומה בשם Cloud Natural Language API שפתוח לקהל הרחב.

רוצים עוד מאיפה שזה הגיע? הצטרפו לניוזלטר שלנו דרך הקישור הבא.

קרדיט תמונות – Techcrunch
מקור – פייסבוק