close menu

מודל פתוח ראשון אומן על פלטי GPT-4

זה רק עניין של זמן..

מודל

המודל אומן על בסיס אלפקה (כרגע בגודל 7B בלבד).

אלפקה: למה שאומן על בסיס "מה GPT-3 היה עונה?"

דאטה

הדאטהסט מכיל כ20,000 שיחות ארוכות עם GPT-4 המתחלקות לשלוש קטגוריות:

  1. הוראות (Instruct) – תפקידן ללמד את המודל לבצע הוראות בשפה אנושית. דוגמה: "כתוב מייל לרמי לוי שבמשלוח האחרון קיבלתי מילקי רגיל ולא מילקי רק קצפת ואני רוצה פיצוי על עוגמת הנפש."
  2. העמדת פנים (Roleplay) – תפקידן ללמד את המודל לכתוב מנקודת מבטו של אדם אחר. דוגמה: "אתה נוסע בזמן מלפני 30 שנה. הסבר לכולנו איך יכול להיות שעדיין סרטי הצעקה בקולנוע בשנת 2023?!"
  3. שימוש בכלים (Toolformer) – תפקידן ללמד את המודל להשתמש בכלים. מודלי שפה אמנם טובים מאוד בכל מניי משימות. (למשל: תרגילי חשבון) אבל "ייצוא" חלקים מהעבודה לכלים חיצוניים (למשל: מחשבון) מפחית את התלות בהם וממזער טעויות. דוגמה: "הכבישים החסומים היום הם ynet_traffic(datetime.now())"
בונוס:

ו GPT-4-ALL – מודל פתוח אומן על ChatGPT

וסרטון המסביר איך להוריד, להשתמש ולאמן אותו.

בשבועיים האחרונים התפתח מירוץ חימוש לשחזור תוצאות ChatGPT וGPT-4.

אם עד עכשיו ניסו אותם הפרוייקטים להצניע את העובדה שהם מאומנים על "מה המודלים של OpenAI היו עונים?"

לפרוייקט GPT-4-ALL כבר לא אכפת מכלום – "אנחנו עושים דיסטילציה לGPT-3.5-Turbo"

https://user-images.githubusercontent.com/…/228352356…

עוד בנושא: