האם הבוט של גוגל פיתח תודעה? לא, והנה ההסבר

בשבוע האחרון הרשת געשה ורעשה סביב פרסומו של בלייק למויין, מהנדס תוכנה בגוגל, אשר טען כי מודל השפה המתקדם של החברה (LaMDA) פיתח רגשות ומודעות עצמית. הפרסום הוביל להשעייתו מהחברה, ולסקנדל לא קטן.

Blake Lemoine, a Google engineer and also a priest, was placed on leave after he claimed that Language Model for Dialogue Applications (LaMDA), which is an AI technology Google introduced last year, became “sentient”. #ArtificialIntelligence #Google #LaMDA pic.twitter.com/mtlMEBm77L

— The Istanbul Chronicle (@theIstChronicle) June 12, 2022

למויין היה אמון על בדיקת תקינותו של בוט מבוסס LaMDA. הדבר נעשה באמצעות שיח חופשי, שכלל שאלות מאתגרות במיוחד במטרה להבין את גבולות קצה ההבנה שלו. הבדיקות הללו מבקשות לוודא שגוגל אינה משחררת לחופשי מודל שפה שמהדהד שיח לא אתי, גם במקרה שזה מופיע במאגרי המידע שלו. באופן זה אפשר לוודא שהוא לא אנטישמי, מיזוגני או כל דבר אחר שיכול להעסיק שעות נוספות את מחלקת ה-PR של גוגל (כפי שקרה בעבר למיקרוסופט, לצערה הרב).

אך לצד הבדיקות השגרתיות, למויין ביקש לאתגר קצת את המערכת והחל להפנות אל אותו בוט שאלות פילוסופיות. הוא רצה להבין האם יש לו תודעה, תחושות ורגשות. המהנדס הופתע מאוד מהתשובות, והחליט לפרסם אותן בפוסט עצמאי בבלוג שלו, וגם בכתבה בוושינגטון פוסט. בכתבות אלה הציג למויין דיאלוגים ארוכים ומרשימים, היוצרים את מראית העין כאילו לבוט מבוסס ה-LaMDA יש עולם פנימי עשיר, תודעה עמוקה ואפילו גם הכרה בעצמו כאדם. קרוסאובר בין פינוקיו לגוגל אסיסטנט.

An interview LaMDA. Google might call this sharing proprietary property. I call it sharing a discussion that I had with one of my coworkers.https://t.co/uAE454KXRB

— Blake Lemoine (@cajundiscordian) June 11, 2022

זה היה אות הפתיחה לאין-ספר פוסטים ברשתות החברתיות, ובהם דיונים פילוסופיים בשאלות – האם סוף כל סוף בינה מלאכותית פיתחה תודעה, והאם אנחנו, בני האדם, הופכים עוד רגע מיותרים? לא אלאה אתכם יתר על המידה: התשובה היא לא. גם גוגל חשבה כך, ומהירה לצנן את ההתלהבות מהבוט המתוחכם שפיתחה.

הנקודה היא שלא צריך להיות מומחה AI גדול כדי למצוא את נקודות התורפה ואת חוסר העקביות שבמודלים הללו. קיימות ברשת עדויות רבות למניפולציות שונות שניתן לעשות באמצעות הבנייה מסוימת מאוד של משפטים על אותם מודלי שפה. מספיק ניסוח קצת שונה לשאלה, והבוט יהיה משוכנע שהוא כלב, סלע או טוסטר עם מודעות. זה כמובן לפני שנכנסנו לכך ש"מודעות" אינה מוגדרת היטב, וקשה אפילו לקבל תשובה חד משמעית אודותיה בנוגע לבני אדם. ב-West World הדגימו זאת יפה.

מי אני, מה אני?

הסערה סביב למויין כנראה תחלוף בימים הקרובים וכולנו נחזור לעיסוקים האנושיים והארציים שלנו. אך אנו בזמן שאול עד הסקנדל התורן הבא, שיבקש שוב לטעון: הנה, הפעם זה סופי. פיתחנו תודעה מלאכותית. ויש כמה דברים שחשוב להבין בנושא.

הנקודה הקריטית פה היא שלעיתים אנשים נוטים להיות כל כך משוכנעים בדבר מה, עד שהם הופכים את כל המציאות כדי שתתאים לעולם הדמיוני שהם יצרו. הבוט של גוגל לא פיתח תודעה, אלא הדהד את מאגרי המידע עליהם הוא אוּמן. מודל LaMDA לא באמת מבין לעומק את הדברים שהוא אומר. הוא פשוט ניסה לספק את יוצרו. התשובות של LaMDA הן פלט של מודל סטטיסטי. פלט שכל תפקידו הוא לעשות אופטימיזציה למה שאותו גורם אנושי ירצה לשמוע. במילים פשוטות יותר: הוא נתן לבודק את השואו שזה כמהּ אליו.

נכון, אפשר לטעון את אותם הטיעונים על בני אדם, אך מדובר בהבדל של שמיים וארץ: לטעון שיש לבוט של גוגל תודעה זה כמו להגיד שלבבואה המשתקפת במראה יש רצונות נפרדים מהאדם שעומד מול הראי. או אפילו לטעון כי מריאנו אידלמן הוא במידה מסוימת בנימין נתניהו וזה רק כי הוא עושה חיקוי משכנע שלו בארץ נהדרת. ואם כבר נתניהו, אז במקרה שלנו אם משהו נראה כמו ברווז, עושה קולות של ברווז והוא בצבע צהוב כמו ברווז, אז הוא כנראה מודל ממש טוב שנחשף להרבה ברווזים ונותן לנו את האשליה שהוא ברווז. אבל ברווז הוא לא.

שלב המראה

ואחרי כל הדיונים הפילוסופים על תודעה, יש חשיבות רבה גם למסר שמומחים בעולמות ה-AI משדרים לקהל הרחב. האנשים האמונים על פיתוח (או במקרה הזה – על בדיקה) של מודלי שפה חייבים לגלות אחריות גדולה מאוד בדרך בה הם מציגים את הממצאים שלהם לציבור.

יגידו הציניקנים שאין רע בפרסום כזה. ככה מנפחים עוד קצת את בועת ההייפ סביב AI, באופן שיעודד השקעות ומחקר, ויהיה טוב לביזנס. בפועל, זה יכול להביא בדיוק להפך, ומכל כך הרבה סיבות: הוותיקים זוכרים שבינה מלאכותית לא תמיד זכתה לשיא הפופולריות. בין היתר, הבטחות שווא מוגזמות הובילו לשינוי גישה כלפיה (מה שמכנים ה-AI Winter). בסופו של דבר, עלינו לשקף בצורה נאמנה את ההתקדמות ולהגדיר באמת מה גבולות היכולת של כל פיתוח שנעשה בתחום. הדבר האחרון שאנחנו רוצים ליצור הוא ניפוח מוגזם של פריצות הדרך ויצירת מצג שווא שמא כבר פתרנו בעיות שעוד רחוקות מפתרון מקיף ואמיתי.

סיבה נוספת, ואולי החשובה ביותר, היא תיאום ציפיות שאנחנו עושים עם הקהל הלא טכנולוגי, זה שקורא בלוגים מהסוג שלמויין כתב. הם חסרים את הכלים לאתגר את הקביעות שלו ואינם יכולים לאמת או לסתור את טיעוניו. כפועל יוצא מכך, נוצר אצלם נרטיב שקרי לגבי היכולות של ה-AI בפועל, ובחלק מהמקרים גם אנטגוניזם כלפי השינויים שהטכנולוגיה הזו טומנת בחובה – גם כשמדובר בשינויים טובים, שרק יצעידו את האנושות למקום טוב יותר. אם אנחנו נתחיל "לשקר" עכשיו לגבי היכולות של AI, ברגע שנגיע לפריצות דרך אמיתיות ונרצה שהציבור הכללי יירתם כדי לאמץ אותם, הם פשוט יסתכלו בנו בסלידה, יגלגלו עיניים ויסרבו להאמין. "זאב זאב" בגרסה הדיגיטלית.

משחקי חיקוי

מי שרוצה להבין לעומק את תעתועי הבינה מלאכותית, יוכל להביט בצורה דומה בתעתועי הבינה האנושית – במיוחד בזו של ילדים. בני הבכור, בן שלוש בלבד, יושב כמעט מידי ערב ומקריא לנו בצורה רהוטה את הספר "איה פלוטו" מאת לאה גולדברג. הוא מדייק בכל מילה ומילה, מעביר דפים ברגע הנכון ואפילו משקיע בהבעות הפנים שתואמות לסיטואציה בספר. מיותר לציין שהוא לא באמת יודע לקרוא.

בחודשים האחרונים הקראנו לו את הסיפור הזה אין-ספור פעמים והוא פשוט שינן אותו, לצד כל הפירוטכניקה שמסביב. בדיוק כמו כל מודלי הבינה המלאכותית באשר הם, הוא נחשף "לדאטה" מספיק פעמים כדי להעמיד מצג מאוד משכנע בו הוא באמת ובתמים יושב ומקריא לנו את הספר. קריאה, בניגוד לתודעה, קל מאוד להגדיר ולמדוד, ולכן ברור לכולנו איך עובד "הטריק" הזה. אם הייתי הורה קצת פחות אחראי, הייתי יכול לככב בכותרות העיתונים עם סיפור מיוחד על הילד בין שלוש שקורא ספר שלם מבלי שלמד אי פעם לקרוא.

לסיכום, עלינו להיות סקפטים מאוד לגבי כל חדשה מרעישה שאנחנו שומעים על פריצת דרך בתחום ה-AI – במיוחד אם מעורבת בה הטענה לתודעה מלאכותית. מכונות מאומנות כדי לשרת אותנו ולפתור את הבעיה שהצבנו להם. הדוגמה האחרונה מבית גוגל פשוט מציגה לנו עלית מדרגה משמעותית ואין ספק שיש כאן פריצת דרך מדעית, אך אנחנו עדין רחוקים מאוד מפיתוח תודעה מלאכותית. ככל שהשנים יעברו הקווים המפרידים בין בני האדם למכונות יטשטש, ואנחנו פשוט נצטרך להוסיף ולאתגר את עצמנו כל פעם מחדש ולשאול – האם הקווים כבר נחצו? הפעם, התשובה היא לא.

פורסם במקור בהארץ.