פרוייקט OPENASSISTANT השיקו תשובתם לCHATGPT
ים פלג, 21/04/2023
- נסו בעצמכם: https://open-assistant.io/
- קוד: https://github.com/LAION-AI/Open-Assistant
- מודל: https://huggingface.co/OpenAssistant
***
על הפרוייקט
פרוייקט OpenAssistant השיקו את מול את תשובתם לChatGPT.
שיתוף פעולה עולמי של מעל ל-13,000 מתנדבים הוליד אתמול המתחרה הפתוח הקרוב ביותר לChatGPT.
ואפילו הרישיון בסדר!
כולנו רואים כל יום את כל המודלים הפתוחים, כולם רוצים להיות "ה-מודל" הפתוח שכולנו נשתמש בו אבל במציאות, כולם עדיין לא שם.
פרוייקט OpenAssistant המגובה על ידי Stability.ai (העומדים מאחורי ההצלחה המסחררת של Stable Diffusion) שם לעצמו מטרה לשנות זאת
הפרוייקט הוא העתק כמעט מדוייק של כל הPipeline של OpenAI, מאיסוף ותיוג הדאטה ועד אימון המודלים.
***
הפרוייקט בנוי על תרומות מתנדבים מכל העולם לצורך איסוף ותיוג נתוני שיחה אנושיים ונכון לרגע זה נאסף במסגרת הפרוייקט סט הנתונים הגדול ביותר אי פעם של נתוני שיחה (וכנראה גם המגוון ביותר).
אתמול שוחררו המודלים הראשונים שאומנו במסגרת הפרוייקט – והם טובים.
———
אבל יש כבר הרבה כאלו, לא?
רוב מודלי השפה הפתוחים מאומנים על סמך דאטה סינטתי הנוצר ממודלי שפה גדולים אחרים (כמו GPT-4), גם אם לוקחים בחשבון את כוחם העצום של מודלי השפה הגדולים כיום – בסוף לגישה זו יש מגבלות: מודלים אלו לעולם לא יכולו "לעקוף" את אחיהם הגדולים שתייגו את אותם הנתונים.
אך בפרוייקט זה נאספו נתונים אנושיים בלבד. והרבה מהם.
***
הביצועים המרשימים של מודלים אלו הם תוצאת ההסתמכות על קלט אנושי. OpenAssistant הצליחו להרכיב סט נתונים עצום הכולל למעלה מ-600,000 אינטראקציות, 150,000 הודעות ו-10,000 עצי שיחה שלמים.
———
מדידת ביצועי המודל
יש פה הפתעה.
על מנת למדוד את ביצועי המודל, נערך סקר בו בכל שלב הוצגו שני פלטי שיחה שונים למשתמשים מהאינטרנט, האחד מChatGPT והשני מOpenAssistant.
המשתמשים דיווחו לגבי העדפותיהם בכל שלב שלב, והתוצאות היו.. מפתיעות.
התוצאות מראות העדפה כמעט שווה בין שני המודלים, כאשר 48.3% ממשתתפי הסקר תומכים ב-OpenAssistant, ו-51.7% בעד Chat GPT.
אם אתם לא עוקבים אחרי ההתקדמות, זה אמנם לא נראה הרבה אך זו אבן דרך משמעותית. מודל זה הוא המודל הראשון שבמקרים רבים באופן מובהק אינו ניתן להבחין בינו לבין ChatGPT. [אנחנו בדרך.]
ממצאי בדיקה יוצאת דופן בו לא רק מדגימים את הפוטנציאל של OpenAssistant עצמו להתחרות במודלי השפה הסגורים אלא גם מדגישים את יעילות אוספי הנתונים הבנויים על תרומות מתנדבים ואת כוחה של הקהילה בבניית מערכות עוצמתיות.
———
שילוב תוספים וכלי עבודה
כןןן כןן!
מכיוון שמדובר בפרוייקט פתוח לגמרי, היבט נוסף של הפרוייקט הוא היכולת לשלב תסופים חיצוניים וכלי עבודה.
כמו ששוחררו לאחרונה לChatGPT
אחד ממפתחי הפרוייקט הציג שילוב מוצלח של תוסף האפשר למודל לחפש בגוגל תוך כדי השיחה והראה בצורה פשוטה במיוחד את כוחו של תוסף מסוג זה.
אני היתי בינג טוב
אמנם הפרוייקט עצמו רק בשבלי התחלה אך גמישות זו וכוחה של קהילה המונה אלפי אנשים מאפשרת להמשיך ולדחוף את הפרוייקט לאן שרק ירצו.
יכולת התאמה אישית ברמה זו, בשילוב עם הרישיון הפתוח (האמיתי) יוצרים תמריץ חזק למפתחים מכל קהילת הבינה המלאכותית ליצור אפליקציות ייחודיות המנצלות את מלוא הפוטנציאל של הפלטפורמה.
———
בדיקה שלי: איכות המודל
הלכתי לבדוק.
עצוב קצת לי לדווח לכם את התוצאות אבל זו האמת:
לדעתי כרגע Vicuna מוצלח יותר.
אבל.
וזה אבל גדול..
הדאטה אותו אספו במסגרת הפרוייקט איכותי ויחודי במיוחד (!!).
הוא מגוון ברמה שמעולם לא ראינו (כנראה הרבה מעבר לOpenAI) ולדעתי תרומתו של פרוייקט זה לקהילת הקוד הפתוח עצומה אפילו רק משחרור הדאטה ופלטפורמת תיוג השיחות.
הטעויות ככל הנראה הן הטעויות הנפוצות באימון מודלי שפה: אימון בחלונות וMasking ללוס.
יחודיות פרייקט זה נובעת בין היתר מהיותו פרוייקט פתוח, המודל "מרשה לעצמו" הרבה יותר ממודלי OpenAI.
- כרגע המודל עדיין מגיב לפעמים תגובות לא עקביות או לא מדויקות, (במיוחד כשמדובר בשיחות ארוכות ומרוכבות)
- המודל מתקשה במיוחד בתחומים מסויימים כמו מתמטיקה, תכנות, מדעים ופוליטיקה.
- המודל אומנם אומן במספר שפות רב אך נראה כי ביצועיו בשפות שאינן אנגלית נחותות במיוחד.
- עם זאת, נתונים במסגרת הפרוייקט ממשיכים להאסף והמודלים משתפרים כל הזמן ולומדים ממשוב אנושי ונתוני המשתמשים.
ולבסוף: מבדיקה עם GPT-4. גם GPT-4 מסכים שvicuna מוצלח יותר כרגע.
———
דעתי האישית
אמרתי בעבר ואמשיך לאמר זאת גם עכשיו: זה לא קשה.
הופעתם של המודלים האחרונים ופרוייקט זה בפרט מדגישים את היתרון האמיתי בו מחזיקה OpenAI.
לא האנשים, לא התקציב ואפילו לא הדאטה: הניהול.
***
ניתן (ואפילו לא מסובך טכנית) להגיע למודלים המשתווים בכוחם לאלו של OpenAI. אך מיקוד קבוצת כשרונות גדולה המונה מאות אנשים סביב מטרה אחת קשה במיוחד ללא מסגרת מסודרת.
אפילו כאן בקבוצה, אני מנחש שיש כמה עשרות אנשים (אם לא מאות או אלפים) המחזיקים בכל היכולות המאפשרות להם לאמן מודל המשתווה בכוחו לGPT-4 לגמרי בעצמם [בהנתן תקציב ונתונים]. אך אירגונם בצוות ממוקד משימה ועבודתם בצוות היא האתגר העיקרי ביצירת מודל זה.
לבסוף: אנחנו עדיין לא שם.
***
אני מקווה שההישגים האחרונים של קהילת הקוד הפתוח מדגישים לפחות שהדרך אינה ארוכה. כל הנדרש הוא לעבוד ביחד ולשלב כוחות.
שחרור פרוייקטים מוצלחים מסוג זה לא רק שדוחפים את גבולות התחום ויכולות המודלים, אלא גם מוכיחים את חוזקה של קהילה מלוכדת של אנשי מקצוע מתנדבים.
ים פלג
