DefenseML

בהרצאה נעמיק בסיכונים הנלווים למערכות ראייה ממוחשבת, תוך התמקדות במתקפות "קופסא שחורה" בהן התוקף נגיש אך ורק לקלט ולפלט של רשת הנוירונים העמוקה. נסקור מימושים שביצענו של מתקפות Inversion ומודלי שיחזור תמונות מוקטורי Embedding, ונראה את ביצועיהם של מודלי תקיפה אלו בתרחישים שונים כגון מערכות זיהוי פנים. נבחן את איכות השיחזור של מודלים אלו ונציג שיטות הגנה פשוטות אך אפקטיביות לצמצום הסיכונים תוך פגיעה מזערית בדיוק המודלים. העבודה בוצעה בשיתוף מפא"ת

ניסויי רגישות הם ניסויים בהם משתנה התוצאה הנו בינארי ומושפע ממשתנה רציף המבטא עומס המופעל על משתנה התוצאה. דוגמה נפוצה תהיה מדידת רמת מתח על מכשור בעל חומר נפץ וקביעת ספי מתח בטיחותיים לשימוש. בשיחה זו נסקור את האלגוריתם, שפותח תחת הנחיית פרופ' דוד שטיינברג מאונ' תל אביב עבור חברה בטחונית מוכרת, ונותן מענה לתכנון סדרתי של ניסויי רגישות. הגישה הסדרתית היא כזו בה תצפית חדשה נבחרת על סמך תוצאות התצפיות הקודמות שנדגמו בניסוי, והיא הרווחת בתעשייה כיום. הסיבה לנקיטת גישה זו נעוצה בעלויות הגבוהות בהן ניסויים אלה מאופיינים וישנו הצורך להמעיט בתצפיות. האלגוריתם פועל תחת הנחת מודל רגרסיית Probit שהיא המקובלת בניתוח נתונים מניסויי רגישות. הרעיון הכללי המוצג בעבודה מציע למזער את חוסר הוודאות המשוייך לרמת העומס של התצפית הבאה, אשר טרם נדגמה. נדגים כיצד הקריטריון לבחירת התצפית הבאה בכל שלב בסדרה נשען על סטטיסטי שמקורו באינפורמציה ההדדית ומשוערך באמצעות שיטות בייסיאניות בהסתמך על התצפיות שנדגמו בינתיים במהלך הניסוי. ביצועי השיטה ביחס לשיטות הקיימות נמדדו בניסוי סימולציות המדמה מצבי מציאות שונים.

בהרצאה זו נספר על המסע שלנו לאימון מודל בסיס משלנו על פני כל מאגרי הטקסט בארגון. נשתף על האתגרים שבדרך, איך בוחרים אילו טקסטים נכנסים לאימון, איך אומדים את איכות המודל ולמה perplexity הוא חברכם הטוב ביותר.