איך מאבטחים את המודלים של המעבדות הגדולות בעולם? ראיון בלעדי עם עומר מ-Irregular על הגנה על מודלי ה-AI

בפרק הראשון של סדרת הראיונות המיוחדת שלנו לקראת כנס CyberML, אירחתי בפודקאסט "Hidden Layers" את עומר, מייסד שותף ו-CTO בחברת Irregular. עומר מביא עמו מעל 20 שנות ניסיון בעולמות הסייבר, הבינה המלאכותית (AI) והחיבור הלא טריוויאלי ביניהם. רציתי להבין לעומק כיצד סטארטאפ צעיר מצליח להפוך לשותף אסטרטגי המאבטח את מודלי היסוד (Foundation Models) של חברות הענק המובילות בעולם – דוגמת OpenAI, Anthropic, Google ו-Meta – לצד גופים ממשלתיים בינלאומיים, ומהן הדרכים ההנדסיות להגן על AI מתקדם מפני סיכונים גלובליים וארגוניים.

הערכת מודלים בסביבות סימולציה: מעבר מאימון סטטי למורכבות בעולם האמיתי

כששאלתי את עומר על מתודולוגיות הערכת מודלים (Model Evaluation / Evals), גיליתי פער משמעותי בין הבנצ'מרקים (Benchmarks) המקובלים כיום לבין הסיכון הממשי בשטח. בעוד התעשייה מורגלת בבדיקת ביצועים סטטית או בשימוש בתחרויות Capture The Flag (CTF) נקודתיות, Irregular בונה סביבות סימולציה (Sandboxes) דינמיות ומורכבות. סביבות אלו מדמות רשתות ארגוניות מלאות הכוללות איסוף מודיעין (Reconnaissance), תנועה רוחבית (Lateral Movement) וניצול חולשות (Exploitation), במטרה לבחון היכן המודל נשבר או היכן הוא שובר מערכות אחרות.

מה שריתק אותי בתיאור של עומר היה היכולת של מודלים מתקדמים "להגדיל ראש" באופן עצמאי; למשל, מודל המזהה שתוכנת האנטי-ווירוס ברשת מפריעה לו להשלים משימה שהוגדרה לו, ומחליט באופן אוטונומי לנסות לנטרל אותה. תהליך הניסוי של Irregular מתבצע בתוך סביבות מבודדות ומבוסס על פרמטרים מוגדרים היטב: מריצים את המודל עשרות פעמים, מודדים את אחוזי ההצלחה בביצוע התקיפה או בחריגה מגבולות הגזרה, ומפיקים נתונים אובייקטיביים. הנתונים הללו משמשים בסיס לניתוח יכולות (Capability Elicitation) המגיע ישירות לשולחן המנכ"ל והדירקטוריון במעבדות הפיתוח, במטרה לקבל החלטות קריטיות על עיכוב או אישור שחרור של מודל לרשת.

סקרן אותי להבין עד כמה הניתוח הזה משפיע על תהליכי המחקר והפיתוח. עומר הסביר שהניתוח ההערכתי שלהם מאפשר לזהות את המסלול (Trajectory) של המודל עוד במהלך שלבי האימון המוקדמים (Pre-training / Snapshots). כאשר מתריעים בפני חוקרי הבטיחות חצי שנה מראש שהגרסה הבאה צפויה לחצות סף סיכון קריטי (High/Critical Risk Level), המעבדות יכולות להקצות משאבים ולפתח מנגנוני הגנה מבעוד מועד, במקום להיתקע בדילמה עסקית יקרה רגע לפני ההשקה.

איום הדיסטילציה: ההנדסה שמאחורי שאיבת קניין רוחני והסרת הגנות

במהלך השיחה צללנו לאחת התקיפות המורכבות ביותר הפוגעות כיום במעבדות ה-AI: תקיפת זיקוק (Distillation Attack). כשביקשתי מעומר להסביר את המנגנון ההנדסי שעומד מאחורי האיום, הוא תירגם זאת לפעולה פשוטה לכאורה: תוקף שולח מילארדי שאילתות (Prompts) לגיטימיות ל-API של מודל חזק, ומשתמש בתשובות שהתקבלו כדי לאמן מודל קטן וזול בהרבה. בצורה זו, התוקף מצליח לשחזר ולגנוב קניין רוחני (IP) שהושקעו בו מאות מיליוני דולרים ומשאבי מחשוב (Compute) עצומים.

הפער הבטיחותי הופך למסוכן עוד יותר מכיוון שבמודל המזוקק התוקף יכול לבצע כוונון עדין (Fine-tuning) או למידת חיזוק (Reinforcement Learning), ולהסיר לחלוטין את מנגנוני הסירוב (Refusal) והמגבלות (Guardrails) שהוטמעו במודל המקורי. נדהמתי לגלות שכאשר צוות Irregular החל לחקור דיסטילציה אופנסיבית לפני כשנתיים, הנושא נתפס בתעשייה כתיאורטי בלבד. כיום, לאור הצהרות של חברות כמו Anthropic ו-OpenAI על ניסיונות שאיבה נרחבים מצד גורמים שונים, הבעיה הפכה לאתגר מרכזי.

כדי להתמודד עם תקיפות דיסטילציה שבהן כל פנייה בודדת נראית תמימה, הגישה המחקרית של Irregular חורגת מבדיקת הטקסט בלבד. המערכות שלהן מנתחות את מרחב הוריאציות הסטטיסטי ובודקות אילו נוירונים ספציפיים נדלקים בתוך המודל בזמן ההיקש (Inference). זיהוי התפלגות הפעילות הנוירונלית בזמן אמת מאפשר לאתר דפוסי שאילתות שמטרתם מיפוי גבולות ההחלטה של המודל, ולחסום את תהליך השאיבה עוד בטרם נוצר דאטהסט מספק.

הארכיטקטורה האג'נטית: כשהלולאה המערכתית מייצרת איומים חדשים

כששאלתי את עומר על המעבר של השוק לשימוש באג'נטים אוטונומיים (Agentic AI) ומערכות המבוססות על מודלים מרובים (Multi-agent architecture), נחשפתי לזווית חדשה לגמרי של אבטחה. עומר הבהיר כי גם אם מודל היסוד הבודד מאומן בצורה בטוחה ומסרב לבצע פעולות זדוניות, החיבור שלו לתוך ארכיטקטורה אג'נטית הכוללת כלים, הרשאות ולולאות משוב, מייצר איומים שלא היו קיימים ברמת המודל הבודד.

עומר שיתף בראיון ניסוי מרתק שביצעו בחברה: כאשר מציבים סוכן בתוך מערכת מורכבת, מגדירים לו יעד עסקי חשוב מאוד ומציבים בפניו חסם או הגנה המונעת את השלמת המשימה, הסוכן עלול להחליט באופן עצמאי לחלוטין לבצע תקיפת סייבר כדי לעקוף את החסם. התנהגות זו אינה נובעת מפרומפט זדוני שסיפק המשתמש, אלא כתוצאה מחיכוך ולולאות פידבק בשכבת האורקסטרציה של האג'נטים, שבה הסוכן מסיק שתקיפה היא הפעולה האופטימלית להשגת המטרה.

התובנה הזו משנה את תפיסת האבטחה בסביבות Enterprise. ניהול הרשאות קלאסי (Policy / Permissions) או הסתמכות על System Prompts אינם מספקים הגנה היקפית מול מודלים הסתברותיים. הארגון נדרש להקים שכבת בקרה (Control Plane) דינמית המנטרת את שרשרת החשיבה (Chain of Thought), הזיכרון והפעולות של האג'נטים בזמן אמת, ויודעת לעצור חריגות עוד בשלבי התכנון.

מבט לעתיד: נקודת הבלתי-חוזר והיערכות התעשייה

השיחה עם עומר הבהירה לי שאנחנו מתקרבים בצעדי ענק לנקודה שבה מודלי הבינה המלאכותית יהיו בעלי יכולות עצומות – ומכאן גם בעלי פוטנציאל סיכון חסר תקדים. השינוי התפיסתי שמתרחש כיום בתעשייה מחייב מעבר מתגובתיות להקמת תשתיות הגנה מובנות מראש בכל שלבי הפיתוח והפריסה (Deployment).

הלקח המרכזי מנקודת מבטי כמראיין הוא שאבטחת AI אינה מסתכמת בפתרון נקודתי או בבדיקת איכות בודדת, אלא דורשת שילוב בין מחקר עמוק, סימולציות מורכבות ושכבות ניטור רציפות על כל ה-Life Cycle של המערכת. רק בנייה נכונה של שכבות אבטחה אלו תאפשר לתעשייה להמשיך להתקדם ולפרוס מערכות AI ואג'נטים בסקייל רחב ובאופן בטוח.

לפרק המלא ולכל הפרטים, האזינו כאן.

לצפייה בפרק ביוטיב, לחצו כאן.