האם נגענו בתקרת הזכוכית של ה-Transformers? ראיון בלעדי עם גלעד לוי מחברת Manifold

בפרק האחרון של פודקאסט Hidden Layers מבית MDLI, אירחתי את גלעד לוי, מייסד מעבדת המחקר Manifold. גלעד מציג מסלול יוצא דופן בתעשייה המקומית: הוא החל את לימודיו האקדמיים בטכניון כבר בגיל 15, העביר שם קורס מתקדם על בניית מודלי שפה מאפס, וכעת בגיל 22 מנהל מעבדה עצמאית המתמקדת בפיתוח ארכיטקטורות בינה מלאכותית מן היסוד. השיחה איתו הייתה הזדמנות לצלול לעומק הבעיות המבניות ההנדסיות של ארכיטקטורת ה-Transformers, להבין מדוע הגדלת כוח החישוב (Compute Scaling) מתחילה להיתקל בחסמים פיזיקליים וכלכליים, ולבחון את הגישות האלטרנטיביות שצומחות כעת במעבדות המחקר המובילות בעולם.

משל המערה של הבינה המלאכותית: מילכוד ה-Next-Token Prediction

כאשר שאלתי את גלעד על נקודת הכשל המרכזית במודלים הנוכחיים, הוא הציג ניתוח מעמיק המתבסס על אלגוריית המערה של אפלטון כדי לתאר את הכלא התפיסתי שבו כלואים מודלי השפה הגדולים (Large Language Models / LLMs). המודלים של ימינו מאומנים על גבי טקסטים או פריימים בודדים באמצעות מנגנון של חיזוי הטוקן הבא (Next-Token Prediction). תהליך זה מעניק למודל היקש (Inference) מרשים המבוסס על סטטיסטיקה של סדרות נתונים, אך אינו מקנה לו הבנה תפיסתית אמיתית של העולם. המודל רואה רק את ה"צללים" שהעולם הממשי מטיל על גבי טקסטים וסרטונים, מבלי להחזיק בייצוג פנימי דטרמיניסטי של חוקי הפיזיקה, יחסי סיבתיות או הגיוניויות בסיסיות.

סקרן אותי להבין כיצד המגבלה הזו מתרגמת לעלויות ולביצועים בפועל, וגלעד סיפק הסבר הנדסי חד: בעוד שמודל מסוג Transformer דורש הגדלה חריכה של כוח החישוב פי 10 כדי לשפר את הדיוק מ-99% ל-99.9%, התועלת השולית הולכת ופוחתת. מודל Transformer טיפוסי נדרש לשמר חלון הקשר (Context Window) מורכב ההולך ומתפשט בריבוע של קלט הנתונים, מה שמייצר חיכוך עצום בצריכת הזיכרון ובשיהוי (Latency). בטבע, תינוק בן שלוש אינו לומד על ידי קריאת טרה-בייטים של נתונים במקביל או הרצת טריליוני פרמטרים, אלא באמצעות אינטראקציה רציפה עם הסביבה. הניסיון להכריח ארכיטקטורה סטטית לעבד כל פריים ביוטיוב ברמת ה-Pixel כשלב של חיזוי הבא הוא בזבזני מבחינה חישובית ואינו בר-קיימא.

הפרשנות ההנדסית שלי לניתוח של גלעד היא שהתעשייה נמצאת בנקודת מפנה קריטית. ההסתמכות הבלעדית על הגדלת קלאסטרים של מעבדים גרפיים (GPUs) ושרשרת אספקה חנקנית מגיעה למיצוי כלכלי, ואנחנו חייבים לעבור מפרדיגמה של כוח חישוב ברוטלי לפרדיגמה של יעילות אלגוריתמית וארכיטקטורות למידה חדשות.

ארכיטקטורות ללא חיזוי טוקנים: מ-JEPA ועד Set-Invariant Transformers

הופתעתי לגלות את העומק המתמטי של האלטרנטיבות שגלעד והצוות שלו בוחנים, וראשיתן בגישת ה-Joint Embedding Predictive Architectures (JEPA) המובלת על ידי יאן לקון (Yann LeCun). במקום לאלץ את המודל לחזות פיקסלים או טוקנים עתידיים ברזולוציה מלאה – משימה בעלת מרחב הסתברויות אינסופי – ארכיטקטורת JEPA מבצעת חיזוי בתוך מרחב ייצוג חבוי (Latent Space). גלעד הדגים זאת באמצעות תרחיש של רכב אוטונומי המתקרב לצומת עם שלושה פיצולים: במקום לייצר סרטון וידאו של 10 שניות עבור כל נתיב אפשרי (דבר המצריך משאבי חישוב אדירים), המודל חוזה וקטור ייצוגי המכיל את ההסתברות המרחבית של התרחישים, ובכך משמר ייצוג מדויק ויעיל של מציאות מורכבת.

כדי למנוע תופעה של קריסת ייצוגים (Representation Collapse) – מצב שבו שני מקודדים (Encoders) מתאמים ביניהם פלט קבוע כמו וקטור האפס כדי לאפס את פונקציית ההפסד (Loss Function) – חוקרים משתמשים בשיטות רגולריזציה (Regularization) מתקדמות. טכניקות כמו VICReg או אלגוריתם SIGREG כופות על התפלגות הוקטורים במרחב החבוי לקבל מבנה גאוסיאני רציף (Gaussian Distribution). במקביל, בתחום הראייה הממוחשבת ומידול עולמות תלת-ממדיים, טכנולוגיות כגון Gaussian Splatting המיושמות במעבדות כמו World Labs מפרקות סצינות מרחביות לסכום של גאוסיאנים. כיוון שסכום אינו תלוי בסדר הקלט, נדרש שינוי מבני ב-Transformer: הסרת הטמעות המיקום (Positional Embeddings) ליצירת מודל בעל אינווריאנטיות לסדר (Set Invariance), המעבד מידע מרחבי בצורה טבעית בהרבה.

המסקנה העולה מניתוח זה היא שהחלופות אינן מנסות רק "לשפר" את ה-Transformers, אלא לשנות לחלוטין את אובייקט הלימוד. מעבר מחיזוי מפורש (Predictive Modeling) למידול ייצוגים חבויים מאפשר להפחית את נפח החישוב בסדרי גודל ולהשיג תוצאות מדויקות בהרבה בעבודה עם נתונים מולטימודיאליים ורובוטיקה.

למידה רציפה (Continuous Learning) ואינטראקציה בזמן אמת

סקרן אותי להבין כיצד Manifold ניגשת לבניית הארכיטקטורה הייעודית שלה, וגלעד חשף כי אבן הפינה של המחקר שלהם היא למידה רציפה (Continuous Learning). מודלי LLM קלאסיים פועלים בסביבה סטטית: הם מקבלים פסקת טקסט או קובץ, מעבדים אותם בתוך חלון הקשר קבוע, ומחזירים פלט. בני אדם, לעומת זאת, מעבדים זרם נתונים בלתי פוסק (Stream) הכולל משוב אקטיבי מן הסביבה. כשאנו מפילים חפץ כדי להבין את כוח הכבידה, אנו פועלים כסוכנים חוקרים ולא כצופים סביליים.

המשמעות הטכנולוגית של מעבר ללמידה רציפה היא ביטול הצורך באימון מחדש יקר (Retraining) או בתהליכי Fine-tuning מורכבים עבור כל עדכון ידע קטן. ארכיטקטורות המבוססות על מודלי מרחב מצב (State Space Models / SSM) או מודלים היברידיים כדוגמת Jamba מציגות יכולת לעבד סדרות נתונים ארוכות בסיבוכיות ליניארית במקום ריבועית. הדבר מאפשר למערכת לעדכן את מצבה הפנימי בזמן אמת, לשמר זיכרון ארוך טווח בצורה יעילה, ולמנוע את בעיית השכחה הקטסטרופלית (Catastrophic Forgetting) המאפיינת רשתות נוירונים קלאסיות.

מנקודת מבטי כאיש דאטה, ליכולת זו יש אימפקט מסחרי והנדסי אדיר. מודלים בעלי למידה רציפה מייצרים דביקות (Stickiness) אמיתית מול המשתמש, שכן המודל מכיר את ההיסטוריה והסביבה התפעולית שלו באופן אינטגרלי. זאת בניגוד למודלי מדף גנרטיביים שבהם עלות המעבר (Migration Cost) בין מתחרים שואפת לאפס.

אתגר התשתית הישראלי: בניית מעבדות מחקר Deep-Tech מול מודל ה-VC

כששאלתי את גלעד על האתגרים בהקמת מעבדת מחקר ארכיטקטונית בתל אביב, הדיון עבר מן המישור האלגוריתמי למישור המבני והכלכלי. האקוסיסטם הטכנולוגי בישראל מצטיין בבניית מוצרי תוכנה ובמימוש אפליקטיבי מהיר המוביל לאקזיטים, אך מתקשה לתמוך במעבדות מחקר ארוכות טווח. חוקרים ישראלים מובילים נאלצים לעבור למוסדות כמו Berkeley, Stanford או למעבדות תאגידיות בחו"ל בשל החסר בתשתיות חישוב לאומיות ובתקציבי מחקר גמישים. בעוד שקרנות הון סיכון (VCs) דורשות מוצר בעל ערך עסקי מיידי תוך 6 עד 12 חודשים, פיתוח ארכיטקטורת AI חדשה דורש אופק מחקרי חזק והשקעה מסיבית בחומרה.

נדהמתי לגלות את הפער בין סכומי הגיוס של מעבדות מחקר בודדות בעולם – כדוגמת הגיוסים של SSI או המעבדה של יאן לקון שהגיעו להיקפים של 1.2 מיליארד דולר – לבין אופן הקצאת משאבי ה-AI בישראל. גלעד ציין כי כדי שמדינת ישראל תישאר פקטור משמעותי במפת ה-AI העולמית, היא חייבת ליצור קונפיגורציה חדשה המשלבת בין הון סיכון, תמיכה ממשלתית בתשתיות חישוב (National Compute Clusters) ואקדמיה. מעבדה נדרשת לפעול כמנוע מחקרי מתמיד שמזין תהליך פיתוח הנדסי מוסדר (Research Engineering Pipeline), מבלי לאבד את זהותה המחקרית או להפוך לחברת אפליקציות רגילה.

מבחינתי, הקמת מעבדות כמו Manifold היא סנונית ראשונה והכרחית. אם לא נדע לייצר כאן תשתיות מחקר עמוקות עבור טלנטים מקומיים, ישראל תאבד את מקומה בחזית הטכנולוגית ותהפוך למשתמשת בלבד במקום לפורצת דרך.

מבט לעתיד: השינוי התפיסתי של מפתחי ומנהלי AI

השיחה עם גלעד לוי מוכיחה כי תעשיית הבינה המלאכותית עומדת בפני שינוי תפיסתי עמוק. עידן ה-Scaling הבלתי מבוקר של מודלי Transformer מגיע לשלב ההתבגרות שלו, והשלב הבא של המהפכה לא יישען רק על עוד אלפי מעבדים גרפיים, אלא על פריצות דרך ארכיטקטוניות. עבור מנהלים, מפתחים ואנשי Data Science, הלקח המרכזי הוא שאין להסתמך על מודל בודד או על טכניקה יחידה של חיזוי טוקנים. ארכיטקטורות עתידיות ישלבו למידה רציפה, יציגו ייצוגים חבויים במרחבים רב-ממדיים, ויפעלו בסנכרון הדוק עם חומרה מותאמת. לא נספייל את כל הדוגמאות והמודלים המתמטיים המרתוניים שניתוחנו במהלך המפגש.

לפרק המלא ולכל הפרטים, האזינו כאן.

לצפייה ביוטיוב, לחצו כאן.