AI Edge: תובנות מעמיקות משיחה עם האראלד קרוגר מ-SiMa.AI על עתיד ה-AI בקצה

במסגרת הפודקאסט, זכיתי לשבת ולראיין את האראלד (הארי) קרוגר, ראש מחלקת מכירות ונשיא מחלקת הרכב SiMa.AI כחלק משיתוף פעולה איתם. הראיון הזה לא היה עוד ראיון רגיל שדברנו על מודלים, אלא הוא היה צלילה לעומק אל עולם ה-AI edge ובכלל על נושא האינפרנס – נושא שאני מאוד חובב. בפרק דנו באתגרים והפוטנציאל העצום של הטכנולוגיה הזו ואיך היא יכולה לשנות תעשיות רבות. מה שאהבתי במיוחד בפרק הוא הדוגמאות הקונקרטיות והדרך שבה הרצת מודלים על שבבים יכולה באמת להשפיע על הרבה מאוד תעשיות ויישומים. לבנות מודלים כמו שצריך זו ללא משימה קלה ובשיחה עם האראלד הבנתי בדיוק עד כמה זה מאתגר. 

מי זה האראלד קרוגר?

רגע לפני שאנחנו מתחילים, נבין רגע מי זה האראלד. הראלד מגיע מתעשיית הרכב, עם רקורד של שנים במרצדס בנץ ובוש, לפני שהצטרף ל-SiMa.AI. זה נתן לו את היכולת להבין את הצרכים הספציפיים של התעשייה הזו, וגם את הדרך שבה AI edge יכול לפתור אותם. מה שחזר לא מעט פעמים בשיחה זה הניסיון הרב שיש לו בתחום וההסתכלות הרחבה על התעשייה כולה. בשיחה באמת יכלתי רגע לקבל את הזווית המלאה של הסוגיה שאנחנו מדברים עליה ולא רק פריזמה צרה.

את SiMa.AI הכרתי בעקבות כנס DefenseML שערכנו בקיץ 2024. החברה מציעה גישה ייחודית ומאתגרת לציוד קצה: פיתוח שבבי AI יעילים במיוחד, המותאמים במיוחד עבור הפעלת מודלי בינה מלאכותית על התקני קצה – מצלמות, רובוטים, מכוניות אוטונומיות ועוד. המטרה שלהם היא להביא את העוצמה של הבינה המלאכותית אל המכשיר עצמו, ולהביא איתה המון יתרונות.

הארי חשף את ארכיטקטורת השבבים שלהם, המבוססת על שבבי AI מותאמים (ASIC) ולא על פתרונות GPU או FPGA קיימים. גישה זו מאפשרת להם להתמקד באופטימיזציה של ביצועים וניצולת הספק עבור עומסי עבודה ספציפיים של AI בציוד קצה. במקום להסתמך על ארכיטקטורה גנרית, SiMa.AI עיצבה את השבבים שלהם באופן מיוחד לטובת ביצועי ה-inference, המאפשרים יעילות אנרגטית גבוהה וזמני תגובה נמוכים במיוחד. מה שבאמת הרשים אותי בשיחה זה שהם הצליחו אפילו להדהים את TSMC באיכות התכנון שלהם. בשיחה הארי סיפר כי בדרך כלל חברות לא מצליחות לקלוע על הפעמים הראשונות בתכנון השבב ו-Sima.ai הצליחו להצטיין בזה מה שהפתיע מאוד את TSMC.

יתרונות טכניים עיקריים

בשיחה עם הארי ניסינו לצלול לעומק של הפתרון שלהם ובכלל להבין מה היתרונות בלהריץ את המודלים בצורה מקומית ולא בענן שגם ככה זמין היום. אז הנה כמה מהנקודות:

• ביצועי Inference:
  • השבבים של SiMa.AI תוכננו במיוחד לבצע ביצועי inference בצורה יעילה. הארכיטקטורה המותאמת מאפשרת לטפל במודלים מורכבים בזמני תגובה קצרים, אפילו עבור יישומים דורשי ביצועים כמו ראייה ממוחשבת בזמן אמת.
  • במקום להשתמש ב-GPU, FPGA או פתרונות מדף אחרים , SiMa.AI יכולה להתאים את החומרה שלהם לדרישות הספציפיות של מודלים שונים, מה שמביא ליתרון בביצועים ובצריכת חשמל.

• יעילות אנרגטית:
  • צריכת החשמל היא גורם קריטי ביישום AI בציוד קצה, במיוחד עבור מכשירים ניידים וסוללות. השבבים של SiMa.AI מתוכננים במיוחד כדי לצרוך מינימום אנרגיה, וזה חשוב עבור מכשירים כמו מכוניות אוטונומיות, שבהן חיי הסוללה הם גורם חשוב.
  • באמצעות אופטימיזציה ברמת החומרה, ניתן למזער את צריכת החשמל מבלי לפגוע בביצועים.

• גמישות:
  • השבבים תומכים במגוון רחב של מודלים ומסגרות עבודה של AI, כולל TensorFlow ו-PyTorch. זה מאפשר למפתחים להשתמש בכלים ובמודלים הקיימים שלהם מבלי לבצע שינויים גדולים.
  • החברה מספקת כלים לקימפול, אופטימיזציה ופריסה של מודלים על השבבים שלהם, מה שמפשט את תהליך הפיתוח.

במהלך השיחה הארי שיתף אותי בדוגמאות מרתקות לשימוש בצ'יפים החכמים שלהם כמו: קיצור זמני התגובה של מערכות הבטיחות ברכבים אוטונומיים, היכולת לבצע בקרת איכות בזמן אמת ואופטימזציות של תהליכי ייצור, ניתוח התנהגות של לקוחות בחניות פיזיות (תוך שמירה על הפרטיות), עיבוד וידאו על גבי מצלמות אבטחה ועוד. הדוגמא שהכי סקרנה אותי היא היכולת לרתח בזמן אמת באמצעות מודל AI במפעל מסוים. הדוגמא הזו הדגימה איך משימה שפעם לא הייתה אפשרית בגלל קבצי הדגימה והכוח עיבוד, עכשיו אפשרית. לא אעשה לכם ספוילרים אבל באמת ששווה לשמוע את הדוגמא הזו בשיחה שלנו.

בנוסף אחד הנושאים המרתקים שעלו בשיחה הוא מה הם האתגרים שיש כיום במימוש AI בציוד קצה? הארי הדגיש מספר אתגרים משמעותיים בתחום הנוגעים לאילוצים הטכניים המאפיינים את סביבות העבודה בהן פועלים מכשירי הקצה. הבנה מעמיקה של אתגרים אלו היא קריטית עבור מהנדסי דאטה ובינה מלאכותית, אלו חלק מהאתגרים שעליהם דיברנו:

• צריכת אנרגיה: אחד האתגרים המרכזיים הוא צריכת החשמל. מודלי AI מורכבים, במיוחד מודלי למידה עמוקה, דורשים כוח עיבוד רב. הפעלת מודלים אלו על גבי התקני קצה מוגבלים (סוללות, צריכת הספק נמוכה) מהווה מכשול משמעותי. מה שנדרש הוא מציאת איזון בין ביצועים ויעילות אנרגטית. השבבים של  SiMa.AI עונים על האתגר על ידי הארכיטקטורה המותאמת אישית, המאפשרת למזער את צריכת החשמל מבלי לפגוע בביצועי ה-inference.

• זמני תגובה: יישומים רבים, כמו רכב אוטונומי, דורשים זמני תגובה מיידיים. עיבוד נתונים בענן יכול ליצור עיכובים (latency) שאינם מקובלים. האתגר כאן הוא לנסות להקטין את זמני התגובה. כדי להתמודד עם אתגר זה,  SiMa.AI מציע מודלים שמסוגלים לבצע inference בצורה מהירה, ואופטימיזציה של הביצועים ברמת החומרה, מה שמבטיח זמני תגובה קצרים במיוחד.

• אילוצי חומרה: התקני קצה מוגבלים מבחינת משאבי חישוב, זיכרון, רוחב פס (bandwidth) וכו'. הפעלת מודלים גדולים ומורכבים על מכשירים אלו מחייבת אופטימיזציה זהירה של המודל, בחירת חומרה מתאימה ויצירת איזון בין ביצועים לצריכת משאבים. הפתרון של SiMa AI עבור בעיית התאמת המודל לסביבת חומרה מוגבלת הוא פלטפורמה המאפשרת למפתחים להריץ מודלים שונים על חומרה שונה, מתוך מטרה לבצע אופטימיזציה של הביצועים ללא צורך בשינויים מהותיים בקוד.

• פרטיות ואבטחת מידע: עיבוד נתונים רגישים על גבי מכשירי קצה מעלה חששות בנוגע לפרטיות ואבטחת מידע. העברת נתונים לענן חושפת את המידע לסיכונים פוטנציאליים. חשוב לראות כיצד ניתן לבצע שמירה על פרטיות תוך כדי הפקת תועלת מהמידע. השבבים של  SiMa.AI  מציעים פיתרון של עיבוד נתונים מקומי, המאפשר עיבוד המידע ישירות על ההתקן, ובכך מונע את הצורך בשליחת נתונים רגישים לענן.

• מורכבות הפיתוח: פיתוח ופריסה של יישומי AI בציוד קצה דורשים מומחיות במגוון תחומים, החל מארכיטקטורת חומרה ותוכנה, דרך ניתוח נתונים ועד לאופטימיזציה של מודלים. האתגר כאן הוא להפוך את תהליך הפיתוח ליעיל ונגיש. SiMa.AI מציעים תוכנה המאפשרת למפתחים להריץ מודלים שונים על חומרה שונה, מה שמקל על הפיתוח והפריסה של יישומי AI.

הבנת האתגרים האלו, היא קריטית להצלחת כל פרויקט בתחום ה-AI בציוד קצה.

חזון העתיד

השיחה עם הארי השאירה אותי עם הרבה מחשבות. הוא הדגיש את החשיבות של התוכנה ואת האופן שבו זה ישנה את העולם שלנו. אני רואה עתיד שבו בינה מלאכותית היא לא רק משהו שעובד בענן, אלא חלק אינטגרלי מהמכשירים שאנחנו משתמשים בהם יום-יום. בעיקר זכיתי לשיחה מעניינת על תחום מחשוב הקצה והאינפרנס. מי שקורא את הטקסטים שאני כותב יודע כמה אני שם דגש על הנושאים האלה לאחרונה ועד כמה זה מבחינתי השלב הקריטי הבא באימוץ מודלי AI.

לצפייה בפרק, לחצו כאן.

לשמיעה באחד מערוצי הפודקאסטים: Spotify,

למי שרוצה לשמוע עוד על הפעילות של Sima.AI בארץ, מוזמנים לפנות אלינו ונקשר אתכם לנציגים שלהם בארץ. הם עושים עבודה מרתקת ושווה לבדוק אותם.