close menu

כל מה שצריך בשביל להפעיל (ולאמן) את LLaMA בממשק של Hugging Face 

  • גם אתם רוצים GPT-3 פרטי אצלכם בבית?
  • גם אתכם מעצבן שאנשים באינטרנט מתלהבים מהדלפת משקולות למה (LLaMA) אבל אין ממשק או מדריך כדי להשתמש בהן?
  • גם לכם אין כוח להתמודד עם כל מיני אנשים תותחים מידי באינטרנט שמשפצרים משקולות בידיים ואז מעלים קוד שאי אפשר להשתמש בו?

הכנתי לכם ריפו אחד עם ה-כ-ל.

כל מה שצריך בשביל להפעיל (ולאמן) את LLaMA בממשק של Hugging Face 

כאן: https://github.com/ypeleg/llama

מדריך ארוך מאוד ומסובך לשימוש:
  • ייבאו את הקוד ובחרו את גודל המודל אותו תרצו להריץ:

import llama

MODEL = 'decapoda-research/llama-7b-hf'

  • בנו את המודל (המשקולות ירדו מהאינטרנט אוטומטי במידה ואין לכם):

tokenizer = llama.LLaMATokenizer.from_pretrained(MODEL)

model = llama.LLaMAForCausalLM.from_pretrained(MODEL)

  • קדדו את הטקסט והפעילו את המודל:

batch = tokenizer("Yo mama", return_tensors = "pt")["input_ids"]

print(tokenizer.decode(model.generate(batch)[0]))

זהו.

נגמר המדריך.

אין המשך. תרקדו.

.

אם אין לכם מושג על מה אני מדבר, הנה סיכום קצר:

בפרקים הקודמים של..

  • צוקרברג בעצמו מכריז שהמודל החדש של מטא עקף את תוצאות GPT-3 תוך שימוש בעשירית מכמות הפרמטרים. גישה למודל ניתנת רק לאחר מילוי טופס ואישור פרטני לאנשים נבחרים:

https://www.facebook.com/…/permalink/2386235934873774/

  • משקולות המודל הודלפו לרשת על ידי משתמש אלמוני שקיבל גישה:

https://www.facebook.com/photo/?fbid=10160295149784663&set=gm.2392890560874978&idorvanity=543283492502370

  • המודל נגיש לכל דורש וניתן להפעיל אותו בקלות:

https://www.facebook.com/photo/?fbid=10160297342379663&set=gm.2393845197446181&idorvanity=543283492502370

  • ממשק מוכן תומך Hugging Face בריפוסיטורי המפורסם בפוסט זה.
עוד בנושא: