close menu

ראיון עם אנדריי אוסטרובסקי מ-Intuit: איך משתמשים ב-AI לכתיבת קוד בסקייל בארגונים

בפרק האחרון של פודקאסט Hidden Layers, אירחתי את אנדרי אוסטרובסקי מ-Intuit לשיחה מעמיקה על אחד הנושאים הבוערים ביותר בתעשייה כיום: כתיבת קוד באמצעות AI בסקייל ארגוני. כמי שעוקב אחרי התחום מקרוב, היה לי חשוב להבין איך חברה שמשרתת מעל 100 מיליון לקוחות ומנהלת דאטה פיננסי רגיש, מצליחה להשתמש ב-AI באופן שבאמת עובד בפרודקשן, תוך שמירה על דטרמיניסטיות ודיוק מוחלט שנדרשים בעולמות המיסוי והבנקאות.

המנגנון שמאחורי הקלעים: לולאות אבולוציוניות

אחד המושגים המרתקים ביותר שעלו במהלך השיחה שלנו היה "הלולאה האבולוציונית" (Evolutionary Loop). כששאלתי את אנדרי איך הם עוברים מהשלמת קוד בסיסית לייצור מערכות שלמות, הוא הסביר לי שהם לא מסתמכים על הנחיה (Prompt) בודדת. במקום זאת, הם פיתחו תשתית המריצה איטרציות רבות המבוססות על עקרונות של אלגוריתמים גנטיים. המערכת מייצרת מספר "קנדידטים" של קוד, בוחנת אותם מול עשרות Test Cases אמפיריים, ומשתמשת בגרסאות המוצלחות ביותר כבסיס לדור הבא של הקוד.

הופתעתי לגלות עד כמה התהליך הזה דומה למחקר אקדמי המיושם בשטח. אנדרי תיאר מצבים שבהם ה-AI עלול להגיע ל"מבוי סתום" אבולוציוני, וכיצד הם מסייעים לו על ידי הצגת מספר אפשרויות לפתרון בו-זמנית. המטרה היא לא רק לייצר קוד שעובד, אלא קוד שמצליח לעמוד בסטנדרטים של תוצאות שכבר ראינו בפרודקשן. השימוש ב-LangGraph מאפשר להם לנהל את זרימת העבודה הזו בצורה מבוקרת, תוך שילוב "גייטס" (Gates) שבהם נדרש אישור אנושי או בדיקה אוטומטית נוספת לפני המעבר לשלב הבא.

עבודת התשתית: דאטה, פוליסי ובידוד

במהלך הראיון, חזרנו לנקודה שכמעט כל איש פיתוח מכיר – העבודה הקשה באמת היא לא המודל, אלא הכנת הנתונים. אנדרי שיתף אותי בכך שעיקר המאמץ ההנדסי שלהם הושקע בבניית מערכות Masking וטוקניזציה. כיוון שהם עובדים עם מידע פיננסי רגיש, הם מחויבים לוודא ששום פרט מזהה (PII) לא דולף למודלים החיצוניים. זהו שלב קריטי שקודם לכל שימוש ב-AI ומחייב בניית סביבות בידוד (Shadow Testing) שבהן בוחנים את הקוד החדש מול התנהגות המערכות הקיימות בזמן אמת.

מעבר לפרטיות, דנו בהגדרת ה"פוליסי" (Policy) של המערכת. אנדרי הסביר שהם מגבילים באופן אקטיבי את מרחב הפעולה של ה-AI: המערכת לא מורשית לבצע פעולות מחיקה או שינוי בשרתים, אלא רק הורדה ועיבוד של מידע. הם אפילו הרחיקו לכת עד לרמת הגבלת השפה והספריות (Dependencies) שהמודל רשאי להשתמש בהן. ב-Intuit קיימים צוותים שלמים שתפקידם הייעודי הוא לייצר את המעטפת הזו, המנטרת כל מה שיוצא ונכנס מה-LLM ופותחת טיקטים אוטומטיים במקרה של חריגה מנהלי האבטחה.

אסטרטגיית מודלים: בין ה-Planner ל-Executor

כששאלתי את אנדרי על נושא העלויות והלאטנסי (Latency), הוא הציג גישה הנדסית מפוקחת. בסקייל של עשרות מיליוני לקוחות, אי אפשר להריץ LLM על כל טרנזקציה. הפתרון שלהם הוא להשתמש ב-AI כ"אמצעי" לייצור קוד דטרמיניסטי ומהיר, ולא כמנוע ריצה בפרודקשן. המודל מחפש את הפתרון האופטימלי במרחב החיפוש, אך התוצר הסופי שנפרס בשטח בשיטות שונות המאפשרות שיפור ביצועים. התוצר הסופי הוא קוד יעיל וחסכוני, עם יעד ביצועים של פחות מ-10 שניות באחוזון ה-90.

נקודה מעניינת נוספת היא ההפרדה בין מודלים לפי משימות (Multi-agent planning). אנדרי הסביר שהם משתמשים במודלים כמו Gemini או GPT כ"מתכננים" (Planners) בשל יכולת הראייה המערכתית שלהם, בעוד שמודלים כמו Claude 3.5 Sonnet משמשים כ"מבצעים" (Executors) לכתיבת הקוד עצמו. התובנה הזו, שאין מודל אחד שמתאים להכול ושפרומפטים של מתכנן צריכים להיות קצרים ומזוקקים כדי לא לבלבל את המבצע, היא קריטית עבור כל מי שבונה אג'נטים מורכבים ב-2025.

העתיד המקצועי: אבולוציה של המפתח

לקראת סיום השיחה, נגענו בצד האנושי והרגשי של המהפכה הזו. אנדרי תיאר את האתגר של מפתח שעובד עשרות שנים בשפה מסוימת, נהנה מחדוות היצירה של כתיבת קלאסים, ופתאום נדרש לעבור לניהול פרומפטים ואורקסטרציה. המסקנה שלנו הייתה שמקצוע הפיתוח לא נעלם, אלא עובר אבולוציה. המפתחים הופכים לאדריכלי מערכות המגדירים את הכללים, בעוד שהעבודה ה"שחורה" של כתיבת טסטים ותשתיות משעממות עוברת ל-AI.

למרות ההתקדמות המטאורית של כלים כמו Cursor, אנדרי הדגיש שיש עוד פער משמעותי עד שנוכל לשחרר קוד לפרודקשן בצורה אוטונומית לחלוטין בארגון גדול. תהליכי Deployment, ניטור וניהול ענן מהווים כ-80% מיצירת הערך ועדיין דורשים אינטואיציה אנושית. מבחינתי, המסר מהשיחה היה ברור: ה-AI הוא מכפיל כוח אדיר שמאפשר לנו לתת הרבה יותר ערך, אך הוא מחייב אותנו לפתח מיומנויות חדשות של בקרה, תכנון וניהול סוכנים ברמה גבוהה מאי פעם.

להאזנה כללית לחצו כאן.

לצפייה ביוטיוב לחצו כאן.

להאזנה בספוטפיי לחצו כאן.

עוד בנושא: