עושים סדר בחומרה ל-AI: ראיון בלעדי עם ד"ר עדי מחברת SpeeData

בפרק פודקאסט Hidden Layers, אירחתי באולפן את ד"ר עדי, ארכיטקט חומרה ומוביל תחום הבינה המלאכותית (AI) בחברת SpeeData. עדי מגיע עם רקע אקדמי והנדסי עשיר שכולל דוקטורט בארכיטקטורת מחשבים מאוניברסיטת פרינסטון (Princeton University) ועבודה בחברות כמו SambaNova, מלנוקס (Mellanox), אפל (Apple) ופיליפס (Philips). השיחה שלנו התמקדה באתגרים הפיזיקליים, ההנדסיים והכלכליים שעומדים מאחורי השבבים המניעים את מודלי השפה הגדולים, מתשתיות האימון ועד לארכיטקטורות העסקה (Inference) המתקדמות ביותר בשוק.

המנגנון שמאחורי האימון: מגבלות זיכרון, חוקי סקיילינג ותקשורת בין-מעבדים

כששאלתי את עדי על האבולוציה של שבבים המיועדים לשלב האימון (Training), סקרן אותי להבין מדוע חברות שהשקיעו מאות מיליוני דולרים בפיתוח מעבדים ייעודיים נתקלו בקשיים מול השליטה של NVIDIA. עדי הסביר לי שבסביבות השנים 2017–2018, ההנחה הרווחת בתעשייה הייתה שכל מה שנדרש כדי לאמן מודלים ענקיים הוא הגדלת נפח הזיכרון על גבי השבב (On-chip Memory) או שימוש בזיכרון חיצוני מסורתי. אולם, החל משנת 2020, בעקבות הפרסום של מאמר חוקי הסקיילינג (Scaling Laws of Neural Language Models) על ידי חוקרי OpenAI, השוק הגיב בזינוק מעריכי בדרישות כוח החישוב והנתונים.

הופתעתי לגלות עד כמה רכיב התקשורת ברשת (Networking) הפך לקריטי לא פחות מהמעבד עצמו. כדי לאמן מודל כמו GPT-4 או Claude 3, כבר לא ניתן להסתפק במעבד בודד או אפילו בשרת יחיד, אלא נדרשים אשכולות עצומים של עשרות אלפי יחידות עיבוד גרפי (GPU) או יחידות עיבוד טנזורים (TPU). עדי הדגיש כי הרכישה של מלנוקס על ידי NVIDIA בולטת כאחד המהלכים האסטרטגיים המשמעותיים בתחום, שכן הטכנולוגיה של InfiniBand איפשרה לבצע חישובים מבוזרים ברשת (In-Network Computing) ולהעביר נגזרות (Gradients) בין עשרות אלפי רכיבים בשיהוי (Latency) אפסי. כתוצאה מכך, ארכיטקטורת המערכת הפכה למקבלית לחלוטין ברמת ה-Tensor Parallelism וה-Pipeline Parallelism.

תגובתי לניתוח של עדי הייתה שרבים בתעשייה מתמקדים רק במספרי ה-TFLOPS של השבב הבודד, בעוד שצוואר הבקבוק ההנדסי האמיתי באימון בסקייל ארגוני עבר לחלוטין לשכבת התקשורת והסינכרון בין האשכולות. כיום, כשחברות מתכננות חוות שרתים (Data Centers) בהספקים של מאות מגה-וואט, היכולת לנהל את מעבר המידע בתוך הרשת היא שמכריעה אם ניצולת החישוב (Utilization) תגיע לשיעורים גבוהים או תתבזבז על המתנה למידע.

הפיצול בעולם ההסקה: Disaggregated Prefill and Decode וארכיטקטורת LPU

כשעברנו לדבר על שלב ההסקה (Inference), נדהמתי לגלות עד כמה אופי החישוב במודלי שפה גדולים (LLMs) מורכב ושונה מזה של שלב האימון. עדי הסביר לי שכל שאילתה המופנית למודל שפה מורכבת למעשה משני שלבים נפרדים בעלי פרופיל חישובי הפוך לגמרי. השלב הראשון, שנקרא Prefill, מקבל את הנחיית המשתמש (Prompt), מעבד את כל הטוקנים במקביל ומחשב את מטריצות ה-KV Cache. שלב זה דורש עבודת חישוב מאסיבית על גבי המעבד (Compute-bound) ואינו תלוי בקצב הגישה לזיכרון החיצוני.

לעומת זאת, השלב השני, שנקרא Decode, הוא שלב יצירת הטוקנים הסדרתי (Autoregressive Token Generation). בכל צעד של יצירת טוקן יחיד, המעבד נדרש לקרוא את כל משקולות המודל וה-KV Cache מהזיכרון החיצוני. כתוצאה מכך, שלב ה-Decode מוגבל לחלוטין על ידי רוחב הפס של הזיכרון (Memory Bandwidth-bound). עדי ציין כי התובנה הזו הובילה לפיתוח ארכיטקטורת Disaggregated Prefill and Decode, שבה מפרידים פיזית בין השרתים המבצעים את שלב ה-Prefill לבין השרתים המיועדים לשלב ה-Decode.

סקרן אותי להבין כיצד חברות כמו Groq הצליחו להשיג מהירויות יצירת טוקנים יוצאות דופן. עדי פירט כי שבב ה-LPU (Language Processing Unit) של Groq מושתת על שימוש בלעדי בזיכרון סטטי מהיר (SRAM) המשולב ישירות על גבי הרכיב, ללא שימוש בזיכרון דינמי חיצוני (DRAM או HBM). הגישה הזו מעניקה רוחב פס פנימי אדיר וחישוב דטרמיניסטי לחלוטין ברמת ה-Cycle. מנגד, המחיר ההנדסי הוא נפח זיכרון קטן בכל שבב בודד, מה שמוביל לדרישה לחבר מאות שבבים יחד רק כדי להחזיק מודל בודד בזיכרון. הפרשנות שלי לכך היא שבשוק ההסקה, שבו זמן לטוקן ראשון (Time to First Token / TTFT) וקצב הטוקנים לשנייה קובעים את חווית המשתמש וההכנסות, אין פתרון יחיד שטוב לכל המשימות, והתחרות החופשית מול NVIDIA פתוחה בהרבה.

הכלכלה של הסיליקון: תשתיות ייעודיות מול עלויות CAPEX של ענקית הטכנולוגיה

מה שריתק אותי במיוחד בשיחה היה הדיון הכלכלי סביב ההחלטות של ענקית טכנולוגיה דוגמת OpenAI, Meta, Microsoft ו-Anthropic לפתח שבבים ייעודיים (Custom ASICs) בשיתוף פעולה עם יצרניות כמו Broadcom ו-ARM. כששאלתי את עדי האם יש הגיון כלכלי בהשקעת מאות מיליוני דולרים בפיתוח סיליקון מאפס, הוא הציג בפניי חישוב מספרי שפקח את עיניי. כיום, עלות הקמה של חוות שרתים (Data Center) בהספק של 1 גיגה-וואט (1GW) המבוססת על חומרת מדף מגיעה לכ-50 מיליארד דולר.

עדי הסביר שכאשר חברות מתכננות לפרוס תשתיות מחשוב בהספקים מצטברים של 30 עד 40 גיגה-וואט בשנים הקרובות, מדובר בתקציבי עתק של מעל טריליון דולר. אם פיתוח שבב ייעודי מותאם ארכיטקטונית מצליח לחסוך 10 עד 15 מיליארד דולר לכל גיגה-וואט מותקן על ידי הורדת הפרמיה המסחרית ושיפור היעילות האנרגטית, ההשקעה בצוות של 1,000 מהנדסי חומרה למשך שנתיים החוזרת על עצמה הופכת לזניחה לחלוטין. בנוסף, קצב השחיקה (Depreciation Cycle) של חומרה מקוצר כיום מארבע שנים לשנתיים או שלוש בלבד, מה שמכפיל את המעמסה הכלכלית של עלויות הציוד (CAPEX).

פרשנתי את הדברים בכך שהמהפכה הנוכחית אינה רק מלחמה אלגוריתמית, אלא קודם כול מלחמת תשתיות וספלאי-צ'יין (Supply Chain). חברות אינן יכולות להרשות לעצמן תלות מלאה בספק יחיד או במחזורי אספקה קשיחים. עם זאת, עדי הדגיש בצדק שחומרה לבדה אינה מספקת. בניית מחסנית תוכנה (Software Stack), מהדרים (Compilers) וספריות חישוב התואמות ל-PyTorch היא משימה הנדסית שנמשכת שנים, וזהו החפיר (Moat) העיקרי שמשאיר את NVIDIA בעמדת הובלה.

המגבלה הפונדמנטלית: אלגברה ליניארית מול חישוב נוירומורפי

לקראת סיום הראיון, ביקשתי מעדי לקחת צעד אחורה ולהסתכל על התמונה הרחבה של עתיד החומרה. עדי העלה נקודה פילוסופית והנדסית שגרמה לי לעצור ולחשוב. כיום, כמעט 94% משטח המעבדים המתקדמים ביותר, כדוגמת ה-H100, מוקדשים ליחידות חישוב טנזוריות (Tensor Cores) המיועדות לביצוע פעולה אחת עיקרית: הכפלת מטריצות (Matrix Multiplication). אם קוד התוכנה אינו מבצע הכפלת מטריצות, ניצולת הרכיב צונחת לפחות מ-6%.

עדי הסביר כי ההתבססות המוחלטת על אלגברה ליניארית היא פשרה הנדסית הנובעת מארכיטקטורת המחשב הקלאסית (Von Neumann Architecture). כיוון שהגישה לזיכרון היא הפעולה היקרה ביותר מבחינת אנרגיה ושיהוי, הדרך היחידה שלנו לייעל את המערכת היא לקרוא מידע מהזיכרון ולבצע עליו כמות עצומה של מכפלות וקטוריות ומטריציאליות בטרם נחזיר אותו לזיכרון. לעומת זאת, המוח הביולוגי אינו עובד באמצעות הכפלת מטריצות צפופות, אלא מבוסס על רשת דלילה (Sparsity) של סינפסות וניורונים הפועלים בצורה סינכרונית ואנלוגית.

התגובה שלי לניתוח הזה הייתה שמדובר בדילמה מרתקת לגבי העתיד. מצד אחד, קשה מאוד להתחרות ביעילות האנרגטית של המוח האנושי באמצעות חומרת סיליקון קלאסית. מצד שני, המעבר למחשוב נוירומורפי (Neuromorphic Computing) או למערכות אנלוגיות נתקל במחסום של ממירי אנלוג-לדיגיטל (ADC), שגובים מחיר אנרגטי כבד שמבטל את היתרון. בעולם שנע במהירות לעבר סוכנים אוטונומיים (Agentic AI) ומודלים המשלבים תכנון ארוך טווח, ייתכן שנראה דווקא רנסנס של מעבדים מרכזיים (CPU) לצד מאיצים ייעודיים שיודעים לנהל זיכרון לטווח ארוך בצורה יעילה הרבה יותר.

מבט לעתיד

השיחה המעמיקה עם ד"ר עדי הבהירה כי תעשיית ה-AI נמצאת בנקודת מפנה שבה החומרה, התוכנה והארכיטקטורה הופכות למקשה אחת בלתי נפרדת. הגידול בדרישות החישוב כבר אינו בעיה של מדעני נתונים בלבד, אלא אתגר הנדסי מורכב של אופטימיזציית סיליקון, ניהול זיכרון ומערכות תקשורת בסקייל חסר תקדים. הלקח המרכזי שלי מהמפגש הוא שהפתרונות המנצחים בשנים הקרובות לא יגיעו רק משיפור המודלים האלגוריתמיים, אלא מהבנה מעמיקה של מעטפת המערכת מקצה לקצה – מהנוירון הבודד בקוד ועד הברזל והחשמל בחוות השרתים.

לפרק המלא ולכל הפרטים, האזינו כאן.

לצפייה בפרק יוטיוב, לחצו כאן.