מודל מאומן מאפס מבית StabilityAI
ים פלג, 21/04/2023
- נסו פה: https://huggingface.co/…/stab…/stablelm-tuned-alpha-chat
- קוד: https://github.com/Stability-AI/StableLM
- בלוג: https://stability.ai/…/stability-ai-launches-the-first…
———
בכל יום אנחנו פוגשים מודל פתוח המבטיח להתחיל מהפכה.
אבל לא בכל יום אנו מקבלים מודל המגיע מאותם האנשים שכבר עשו מהפיכה אחת בעבר.
הכירו את StableLM -שחזור למה (LLaMA) ברישיון פתוח לגמרי.
בלי משקולות שהודלפו. בלי טריקים. בלי בערך: מודל פתוח אמיתי. זמין עבורכם בHuggingface ובקוד המצורף.
הנה כל מה שאתם צריכים לדעת
____
מודל מגיע אלינו בשלב זה בשני גדלים שונים:
.
- אלפא: 3 מיליארד פרמטרים.
- בסיס: 7 מיליארד פרמטרים.
פרטים נוספים
- מבוסס ארכיטקטורת למה
- מאומן על The Pile V2
- גודל סט האימון: 1.5 טריליון טוקנים
- רישיון: CC BY-SA-4.0 license
המודל מרשים ומגיע לתוצאות איכותיות במיוחד גם בשיחה וגם בכתיבת קודם (למרות שהוא קטן!).
כי הדאטה עליו אומן נקי במיוחד.
בנוסף:
- המודל מאומן גם עם טוקני SYSTEM כמו ChatGPT וGPT-4 דרכם ניתן לשלוט ב"אישיותו" של המודל
שימו לב בקוד המוצרף.
- לפי מידע בריפוסיטורי של הפרוייקט, המודל אומן גם באמצעות RLHF לאורך האימון
אנו יודעים כבר קרוב לשנה שאימון לסירוגין של RLHF ורגיל מוביל לתוצאות טובות הרבה יותר מאימון בשני שלבים בלבד.
***
כל הכבוד לStabilityAI
מדהים לראות שStability פשוט לקחו יוזמה.
בלי לשאול אף אחד: אימנו מודל ושחררו אותו לעולם.
אימון מודלים בסדר גודל כזה יקר להחריד.
למרות.. שהם כבר עשו את זה פעם.. לא היתי מתעסק איתם.
***
- LLaMA המקורי (65 מיליארד) – עלות האימון כ 4,000,000$
- מודל PaLM (גוגל) – עלות האימון כ 27,000,000$
***
ישרררר!! תחליפו את האטנשן שלו לFlash Attention. באמצעות הקוד המוכן שיש בVicuna. ממש כאן: https://vicuna.lmsys.org/. אתם תקבלו גם מהירות אימון פי 3 וחסכון של 20% בזכרון הGPU
ים פלג
