מודל פתוח ראשון אומן על פלטי GPT-4
ים פלג, 10/04/2023
זה רק עניין של זמן..
—
מודל
המודל אומן על בסיס אלפקה (כרגע בגודל 7B בלבד).
אלפקה: למה שאומן על בסיס "מה GPT-3 היה עונה?"
דאטה
הדאטהסט מכיל כ20,000 שיחות ארוכות עם GPT-4 המתחלקות לשלוש קטגוריות:
- הוראות (Instruct) – תפקידן ללמד את המודל לבצע הוראות בשפה אנושית. דוגמה: "כתוב מייל לרמי לוי שבמשלוח האחרון קיבלתי מילקי רגיל ולא מילקי רק קצפת ואני רוצה פיצוי על עוגמת הנפש."
- העמדת פנים (Roleplay) – תפקידן ללמד את המודל לכתוב מנקודת מבטו של אדם אחר. דוגמה: "אתה נוסע בזמן מלפני 30 שנה. הסבר לכולנו איך יכול להיות שעדיין סרטי הצעקה בקולנוע בשנת 2023?!"
- שימוש בכלים (Toolformer) – תפקידן ללמד את המודל להשתמש בכלים. מודלי שפה אמנם טובים מאוד בכל מניי משימות. (למשל: תרגילי חשבון) אבל "ייצוא" חלקים מהעבודה לכלים חיצוניים (למשל: מחשבון) מפחית את התלות בהם וממזער טעויות. דוגמה: "הכבישים החסומים היום הם ynet_traffic(datetime.now())"
בונוס:
ו GPT-4-ALL – מודל פתוח אומן על ChatGPT
וסרטון המסביר איך להוריד, להשתמש ולאמן אותו.
—
- קוד: https://github.com/nomic-ai/gpt4all
- מאמר: https://s3.amazonaws.com/…/2023_GPT4All_Technical…
- משקולות: https://www.kaggle.com/datasets/konradb/gpt4all-weights
- סרטון הדרכה: https://www.youtube.com/watch?v=DDfUoQWnrfM…
—
בשבועיים האחרונים התפתח מירוץ חימוש לשחזור תוצאות ChatGPT וGPT-4.
אם עד עכשיו ניסו אותם הפרוייקטים להצניע את העובדה שהם מאומנים על "מה המודלים של OpenAI היו עונים?"
לפרוייקט GPT-4-ALL כבר לא אכפת מכלום – "אנחנו עושים דיסטילציה לGPT-3.5-Turbo"
https://user-images.githubusercontent.com/…/228352356…
הפוסט נכתב על ידי
ים פלג
