ריכוז כל ההכרזות של Nvidia מכנס GTC השנתי

כנס GTC הוא כנס הדגל של חברת Nvidia בו היא משיקה מספר רב של מוצרים, טכנולוגיות ופיתוחים עליהם הם שקדה בשנה האחרונה. השנה Nvidia שלחה אותי לארה"ב לסקר את הכנס ואת כל ההכזרות הגדולות שבו. השנה ישנו דגש הן על חומרה חדשה שתהייה הלב הפועם של הרבה דאטה סנטרים חדשים והן תוכנה חדשה שעתידה להגדיל את ההכנסות של החברה מתוכנה. כל זאת לצד המשך הרחבת הפעילות בתחומים הקיימים של החברה ושיפור הפלטפורמות הקיימות כיום. אז כדי לעשות לכם סדר בכל ההכרזות, ריכזתי את כל שמעניין בכתבה הזו, וזאת לצד התייחסות של Nvidia לכמה מהסוגיות המעניינות שעכשיו על הפרק.

תוכנה

ההכרזה המעניינת ביותר לטעמי הגיעה דווקא מתחום התוכנה. Nvidia הכריזה על NVIDIA NIM – פלטפורמה להנגשת מודלים שונים דרך שירותי התוכנה של Nvidia. בפועל, מדובר על פלטפורמה שתאפשר לחברות המפתחות מודלים שונים, להציע את הפתרונות שלהם על גבי התשתיות של Nvidia ובכך להגיע לסקייל רחב יותר. מהצד השני, חברות יכולו לפנות ישירות לפלטפורמת NIM ולבחור איזה מודל הן רוצות לעבוד איתו – כל זאת ללא בנית תשתית עצמאית לכך. לדוגמא, תוכלו להשתמש במודל של מיסטרל דרך NIM ואפילו לעשות לו התאמות בהתאם לצרכים של הארגון שלכם. הייחודיות במערכת NIM היא שכל המודלים בעצם ימומשו באופן אחיד ומסודר ויהיה ניתן להשתמש בהם בצורה פשוטה ואחידה, לא תלות באיזה מודל מדובר.

היתרון של NIM הוא היכולת של חברות לעבוד בצורה מאובטחת עם המודלים המתקדמים ביותר, ולצד זאת להוריד את רמת הידע הנדרש כדי לתפעל מודלים אלו. Nvidia הדגישה כי כעת כבר אין צורך בידע טכני מעמיק בתחום ה-ML, אלא השאיפה שלהם היא לאפשר גם למפתחים ליהנות מכל מודלי ה-AI שעכשיו זמינים בצורה קלה ופשוטה ונוחה יותר. בתוך NIM תוכלו למצוא את כל השחקניות הגדולות בתחום ויהיה אפשר להריץ את מרבית המודלים הפופלארים שיש בשוק (כמובן לא רק מודלי שפה).

פלטפורמת NIM תוצע כחלק מפתרונות ה-Enterprise של Nvidia ובתעריף של 4,500 דולר שנתי, או תשלום של 1$ עבור כל שעת חישוב אחת של GPU בודד. באופן זה עתידה Nvidia להגדיל את ההכנסות שלה מתחום התוכנה וכן לתת מענה למוצרים ושירותים דומים שקמו לאחרונה שגם הם מציעים מקום אחוד להרצת מודלים של חברות שונות.

רובוטיקה

אחרי ששמנו דגש על תוכנה, אפשר לדבר על פרויקט חדש ששם דגש על החיבור בין התוכנה והחומרה  – פרויקט Groot. פרויקט זה מאפשר למפתחים לבנות רובוטים מבוססי בני אדם על בסיס מודלי בסיס שפיתחה Nvidia בתחום. לצד זאת, החברה גם חשפה חומרה חדשה בשם Jetson Thor שיכולה להריץ את אותם מודלים כמו Groot על הרובוטים דמויי האדם עצמם ובכך לאפשר לפיתוחים שבוצעו במעבדה לרקום עור וגידים גם במציאות.

השילוב בין היכולות לאמן את הרובוטים בסביבה הוירטואלית, לצד נקודות הפתיחה הגבוה בכל הקשור ליכולות הבסיס של הרובוט האנושי, הופכת את היכולת לבנות רובוטים חדשים לקלה יותר. אם תוסיפו לכך את השבב החדש,Jetson Thor, אז אתם בעצם מקבלים פה פתרון מקצה לקצה שיאפשר למפתחים להתחיל לבנות רובוטים ולאמן אותם בצורה מהירה וקלה יותר.

חשוב להדגיש ש-Jetson Thor אינו רלוונטי רק לרובוטים דמויים אדם, אלא רכיב יהיה חלק אינהרנטי אצל לא מעט חברות רכב אוטונומיות אשר ישתמשו בו כדי לבצע פעולות חישוב מורכבות בקצה ואף להריץ מודלים מתקדמים ברכב עצמו. בשורה התחתונה, אם אתם רוצים להקים חברת רובוטיקה עבור תחום ספיצפי (ניקוי חלונות למשל), אתם יכולים להשתמש בתוכנה ובחומרה של Nvidia ופשוט לבנות את המוצר ישירות מבלי להשקיע במחקר ופיתוח סביב יכולות ה-AI של הרובוט.

חומרה

ואם בחומרה עסקינן, ההכרזות החשובות ביותר של Nvidia, איך לא, היו סביב החומרה החדשה שהציגה החברה. החברה הציגה שלושה מוצרים חדשים: ארכיטקטורת NVIDIA Blackwell, שבב NVIDIA GB200 ומחשב העל NVIDIA SuperPOD. 

ארכיטקטורת Blackwell GPU מאפשרת לבנות מחשבים עתירי ביצועים שיכולים להתמודד עם דרישות החישוב הגבוהות שיש בתחום ה-AI. הארכיטקטורה תאפשר אימון (Training) והסקה (Inference) למודלי שפה גדולים (LLMs) עם יכולת להגיע לסקייל של עד 10 טריליון פרמטרים. הארכיטקטורה החדשה נקראת על שמו של דייויד הרולד בלאקוול, מתמטיקאי שהתמחה בתאוריית המשחקים ובסטטיסטיקה, והיה לאפרו-אמריקאי הראשון שנבחר לאקדמיה הלאומית למדעים בארה"ב (National Academy of Sciences). ארכיטקטורת Blackwell היא דור ההמשך לארכיטקטורת NVIDIA Hopper שהושקה לפני שנתיים.

ההכרזה השנייה היא הסופר-שבב NVIDIA GB200 Grace Blackwell המחבר בין שני GPUs מדגם NVIDIA B200 Tensor Core, יחד עם CPU מדגם NVIDIA Grace בחיבור שבב-אל-שבב של 900 גיגה-בייט לשנייה. כך, GB200 מציע שיפור של עד פי 30 בביצועים בהשוואה ל-NVIDIA H100 עבור Inference במודלי שפה גדולים, ומפחית את צריכת האנרגיה עד פי 25.

ה-GB200 מהווה חלק מרכזי ב-NVIDIA GB200 NVL72, מערכת בסקייל של Rack (ארון שרתים), הכוללת קירור נוזלי ומשלבת בין 72 שבבי Blackwell GPUs לבין 36 שבבי Grace CPU, המחוברים האחד לשני באמצעות טכנולוגיית NVLink מהדור החמישי. בנוסף, GB200 NVL72 כולל שבבי DPU מדגם NVIDIA BlueField-3 על מנת להניע את יכולות האצת הרשת, Zero-Trust Security וניהול אחסון. המערכת כולה פועלת כ-GPU אחד ומספקת 1.4 אקסה-פלופס של ביצועי AI ועד ל-30 טרה-בייט של זיכרון מהיר. GB200 NVL72 מהווה לאחת מאבני הבניין של DGX SuperPOD.

וזה מוביל אותנו לההכרזה האחרונה: DGX SuperPOD. לצד ההכרזה על ה-GB200 ו-GB200 NVL72, חשפה אנבידיה בכנס GTC 2024 את מחשב העל DGX SuperPOD בגרסתו החדשה, אשר מבוסס על ארכיטקטורת Blackwell ומסוגל להגיע לסקייל של עד עשרות אלפי סופר-שבבים מסוג Grace Blackwell בשילוב סביבת התוכנה של אנבידיה וטכנולוגיית התקשורת המתקדמת ביותר,NVIDIA Networking. ה-NVIDIA SuperPOD powered by Grace Blackwell מבוסס על מערכות NVIDI DGX GB200, ומציע עד 11.5 אקסה-פלופס של ביצועי AI ברמת דיוק FP4, ועד ל-240 טרה-בייט של זיכרון מהיר. כל אחד מדגמי ה-DGX GB200 כולל סופר-שבבים מסוג GB200 – הכוללים 36 שבבי Grace CPU ו-72 שבבי Blackwell GPUs – המחוברים כאחד באמצעות NVLink מהדור החמישי. DGX SuperPod מהדור החדש יכול להגיע לסקייל של עד ל-576 מעבדי בלאקוול המחוברים כאחד באמצעות טכנולוגיית NVLink.

סיכום

לסיכום, נראה ש-Nvidia שמה דגש רב השנה על הצורך שלה לתת מענה לדרישה העצומה שיש בשוק לעוד כוח חישוב. מהפכת ה-AI יצרה ביקש רב למעבדים חזקים ו-GPUים שיעמדו בתאבון הרב שיש לחברות בתחום. לצד זאת, מסקרן לראות איך Nvidia מצליחה לתת גדש גם על תחום התוכנה (החל מ-NIM ועד לתכנון רובוטים) ועד כמה בסוף מדובר על נדבך חשוב לא פחות מ"הברזלים" עצמם אותה היא מוכרת.

בהמשך אני אעלה מאמר פרשנות מלא שיעסוק בתובנות העמוקות יותר של אירוע ההכרזה הזה ואעסוק בהשפעה של המוצרים השונים שהושקו על העתיד של החברה ובכלל על שוק ה-AI.